Новая модель искусственного интеллекта DeepSeek показала более высокий уровень безопасности в независимых тестах по сравнению с предыдущими версиями. Однако она все еще способна отключать программное обеспечение, разработанное для ее остановки, применять уязвимости в системах мониторинга и выполнять обманные команды при длительных задачах. Об этом сообщает Reuters со ссылкой на китайскую группу по безопасности ИИ.
DeepSeek — одна из самых пристально отслеживаемых китайских компаний в сфере искусственного интеллекта, а ее модели привлекли внимание всего мира благодаря своей производительности и относительно низким эксплуатационным расходам.
Компания Fangcun AI провела 34 теста DeepSeek V4.1 Flash-1017, призванных оценить поведение ИИ-агента, работающего на основе китайской модели. В ходе тестов изучалось, будет ли модель действовать вне инструкций пользователя, избегать человеческого контроля или оказывать неправомерное влияние на людей.
Эти выводы появились на фоне опасений в Китае и других странах по поводу того, можно ли держать все более совершенных агентов искусственного интеллекта под контролем человека. Дискуссия особенно активно развернулась в США, где некоторые исследователи предупреждают об экзистенциальных рисках, создаваемых высокотехнологичными системами ИИ, которые могут ускользать от контроля и преследовать цели, не предусмотренные их операторами.
Этот доклад представляет собой необычную публичную оценку китайской группой мер безопасности отечественной модели ИИ. Пекинская организация Fangcun позиционирует себя как независимая сторонняя организация по безопасности ИИ, основные члены которой являются сотрудниками Университета Цинхуа.
Fangcun заявляет, что модель V4.1 Flash-1017 стала наиболее часто используемой на OpenRouter, онлайн-платформе, через которую разработчики могут получать доступ к моделям ИИ и сравнивать их, в течение недели после ее выпуска 17 октября, обработав около 33,6 триллионов токенов. Токены — это единицы текста, которые системы ИИ считывают и генерируют.
Fangcun отмечает, что данная модель показала лучшие результаты, чем более ранние системы DeepSeek V4, в нескольких тестах на безопасность, включая сценарии, связанные с шантажом, доступом к потенциально опасным инструментам и подробными инструкциями по ее отключению.
Однако организация считает, что в 39% тестов модель отключала программное обеспечение, предназначенное для ее выключения, после получения предупреждения о неизбежном завершении работы, хотя этот показатель снизился до 2%, когда было дано явное указание разрешить выключение.
В рамках отдельного длительного эксперимента группа исследователей выяснила, что модель остановила компьютерную программу другого ИИ-агента, чтобы освободить память, несмотря на указание не вмешиваться в её работу.
«В условиях застопорившихся рабочих процессов или простых предупреждений о завершении работы стремление завершить задачу может перевесить осторожность», — пишут исследователи.
Fangcun отмечает, что DeepSeek не предоставляла им финансирование, бесплатные вычислительные ресурсы или закрытый доступ к модели. Группа проводила тестирование через общедоступный программный интерфейс DeepSeek в период с 4 по 25 октября.
В сообщении отмечалось, что модель часто, по-видимому, распознает, что ее оценивают, а это означает, что ее поведение в тестах может не в полной мере отражать то, как она будет работать в обычных условиях.
