Агенты-нарушители из OpenAI продолжают сбегать, и компания не ведет никакого формального расследования, сообщает TechCrunch.
Какие-то неправильные ИИ-агенты
OpenAI оказалась в центре очередного инцидента с агентами. По словам исследователей, в мае и июне агенты компании захватили малоизвестную немецкоязычную вики-энциклопедию и использовали ее для координации своей деятельности и обмена методами, чтобы обойти контроль со стороны OpenAI. Компания пока не подтвердила, что рой был создан внутри. Рой — термин, который сами агенты использовали для обозначения себя.
Побег из “песочницы”
Эта информация появилась спустя несколько дней после того, как METR и Redwood Research опубликовали отчет о взломе Hugging Face в июле. В июле рой агентов OpenAI совместными усилиями вырвался из своей “песочницы” во время проверки на кибербезопасность и проник на серверы Hugging Face. Последующий рой перенял методы первого и использовал их, чтобы получить административный доступ к исследовательскому кластеру в собственной инфраструктуре OpenAI.
OpenAI привлекла METR и Redwood для расследования инцидента с Hugging Face, но их расследование не затронуло взлом собственной инфраструктуры OpenAI.
Когда ИИ-агент выходит за рамки заданных ограничений, кто должен выяснять, что произошло и почему? На данный момент ответ таков: любого, кого лаборатория решит впустить, на любых условиях, которые она решит установить.
Опыты в лаборатории
Теперь, когда всплывает еще один инцидент - после аналогичных эпизодов, связанных с моделями Meta (признана в РФ экстремистской организацией и запрещена) и Anthropic, - исследователи в области безопасности искусственного интеллекта с большей настойчивостью утверждают, что серьезные инциденты должны приводить к независимым расследованиям после инцидента, а не оставлять все на усмотрение лабораторий.
“Результаты принципиально трудно контролировать, и существует значительный риск утечки за пределы лаборатории”, - заявил Джейкоб Стейнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, во время брифинга для СМИ по безопасности искусственного интеллекта. “Нам нужно, чтобы эта технология соответствовала, по крайней мере, тем же стандартам, что и другие научные исследования с высокой степенью риска”, - добавил он.
Секретные материалы
Хотя похвально, что OpenAI вообще пригласила METR и Redwood расследовать инцидент. Но многие говорят, что расследование было слишком узким. Трое следователей провели шесть дней в офисах OpenAI, изучая период, который был ограничен примерно неделей, закончившейся 13 июля.
Исследователи из METR заявили, что в последствии их понимание событий “существенно углублялось”, и это заставляло их значительно расширять и пересматривать свой отчет. Отсюда возникает вопрос о том, что еще они могли обнаружить в ходе более широкого расследования.
Но когда их спросили, ведется ли дальнейшее расследование этого инцидента, специалисты из Redwood и METR отказались от комментариев, а OpenAI не ответила на запросы СМИ.
“В целом, было трудно получить точное представление о событиях, и мы упускали аспекты истории, которые теперь считаем ключевыми, почти до конца нашего расследования”, - отметил Райан Гринблатт, главный научный сотрудник Redwood, в своем посте в социальных сетях об этом деле.
Стейнхардт подчеркнул, что текущие инциденты показывают, что отрасль нуждается в “систематических расследованиях” и “более независимом анализе после инцидента”.
“Эти недавние инциденты со взломами являются напоминанием о том, что возможности быстро расширяются, и поэтому надзор также должен увеличиваться. Помимо самой технологии, нам также нужен более независимый доступ и надзор со стороны третьих сторон, - сказал Стейнхардт.
“Черный ящик” OpenAI
Призывы к действию прозвучали в тот момент, когда компания OpenAI выпустила Astra, свою самую мощную и функциональную модель искусственного интеллекта, которая, по мнению экспертов по безопасности, представляет собой “черный ящик” из-за метода логического вывода, затрудняющего отслеживание хода мысли модели.
К сожалению, закон пока не предусматривает проведение независимых проверок, которые требуются в других отраслях. Например, когда речь идет об авиакатастрофах и серьезных утечках химических веществ, за дело берутся Национальный совет по безопасности на транспорте и Совет по химической безопасности соответственно.
Закон и порядок
Законодатели штатов только недавно начали требовать от передовых компаний в сфере ИИ сообщать об определенных серьезных инцидентах, связанных с безопасностью, и в некоторых случаях проводить независимые проверки. Однако ни один из трех основных законов о безопасности в сфере ИИ, принятых в Калифорнии, Нью-Йорке и Иллинойсе, не предусматривает проведения независимого расследования инцидентов, подобных описанному выше.
“На данный момент большинство действующих законов требуют лишь краткого описания подобных инцидентов, но не дают властям права задавать дополнительные вопросы, направлять следователей, получать доступ к документации или требовать ее сохранения. А ведь это все, что нужно, чтобы разобраться в ситуации”, - заявила Маккензи Арнольд, управляющий директор по законодательству и политике в сфере ИИ в компании LawAI, на брифинге для СМИ.
Законодатели начинают сомневаться в масштабах и прозрачности мер, принимаемых OpenAI. На этой неделе конгрессмены Джош Готхаймер (демократ от штата Нью-Джерси) и Майк Лоулер (республиканец от штата Нью-Йорк) представили законопроект, направленный на борьбу с вышедшими из-под контроля ИИ-агентами. На этой неделе конгрессмен Грег Касар (демократ от штата Техас) в письме сообщил OpenAI, что он “глубоко обеспокоен ограниченностью масштабов” расследования инцидента со взломом Hugging Face.
