Похоже, в индустрии искусственного интеллекта развернулась самая громкая на сегодняшний день дискуссия о том, не представляет ли эта технология экзистенциальной угрозы для человечества, пишет издание TechCrunch.
Нынешние споры начались после того, как исследователь в области ИИ Джейкоб Коксон объявил об уходе из компании Anthropic, выразив обеспокоенность тем, что ведущие разработчики ИИ «играют нашими жизнями». Затем к обсуждению подключился руководитель направления по обеспечению безопасности и согласованности ИИ в Anthropic. «Мы действительно искренне верим, что ИИ может погубить всех людей!», - заявил Эван Хабингер в своем посте в сети X, добавив, что, по его личной оценке, вероятность такого события составляет «более 10% в ближайшее десятилетие».
В свежем выпуске подкаста Equity корреспонденты издания TechCrunch Энтони Ха, Кирстен Коросек и Шон О’Кейн обсудили эти ужасающие прогнозы. Краткий обзор их беседы представлен ниже.
Примечание: выпуск был записан до того, как генеральный директор Anthropic Дарио Амодеи опубликовал свой план более осторожного развития технологий ИИ.
Апокалиптические прогнозы
- Шон О’Кейн: Трудно припомнить что-то, что вызвало бы столь стремительный резонанс. Мало того, что это предостережение исходило от молодого исследователя, ранее работавшего в OpenAI, так его еще и тут же распространил в соцсети X руководитель направления по вопросам согласования целей ИИ из компании Anthropic. При этом он, возможно, допустил одну из самых курьезных ошибок с использованием восклицательного знака в истории, поскольку поделился постом и веткой обсуждения Коксона со словами: «Мы действительно искренне верим, что ИИ может погубить всех людей!»
Странная сложилась атмосфера. Это стало настоящим «горючим», подлитым в огонь и без того острого обсуждения. Если учесть недавний инцидент со взломом Hugging Face (связанный с внутренней моделью OpenAI), а также возросшие возможности новейших моделей от Anthropic и представленной несколько недель назад системы Astra от OpenAI, то заявление этого молодого исследователя сработало словно искра, поднесенная к пороховой бочке.
- Энтони Ха: Позволю себе не согласиться. Если вы действительно считаете, что ИИ может уничтожить все человечество, то это вполне заслуживает восклицательного знака. Я бы сказал, что здесь он использован совершенно уместно.
У меня возникли вопросы скорее к слову «мы» в этом твите. Кто здесь подразумевается под «мы»? Насколько вообще корректно рассматривать сообщество разработчиков ИИ или исследователей в этой сфере как нечто монолитное? А вероятность «более 10%» — это просто цифра, взятая с потолка, она ничего не значит. И в технологической индустрии, и в других сферах есть привычка бросаться подобными процентами, не имеющими под собой никаких реальных оснований или расчетов. Оглядываясь назад, понимаю, что в твите, вероятно, имелась в виду концепция P(doom) — вероятность катастрофического исхода, — но я все равно считаю это глупостью.
Что касается заявления и решения Коксона, хочу отметить один важный момент. В подкасте Equity часто всплывает тема, по поводу которой люди вроде Сэма Альтмана или Дарио Амодеи начинают рассуждать в духе «апокалиптических прогнозов». И в этом случае всегда возникает вопрос: «А зачем вы тогда вообще этим занимаетесь?»
Если бы они действительно верили, что ИИ может уничтожить человечество, они бы не продолжали работу. В данном же случае человек подкрепляет свои слова реальными действиями, меняя свою профессиональную траекторию. Он прямо говорит: «Я считаю, что это очень, очень, очень плохо, и не хочу продолжать над этим работать». Так что стоит отдать ему должное хотя бы за смелость принять такое решение.
- Кирстен Коросек: Да, я бы выделила Коксона в отдельную категорию, поскольку он отличается от всех остальных, кто говорит об опасностях ИИ.
Позволю себе немного поспекулировать и задать вам обоим один вопрос. Возможно ли, что участившиеся публикации в блогах, скажем, об очередном инциденте, когда ИИ-агент неожиданно выходит из-под контроля, или о том, что человечеству грозит опасность, это на самом деле своеобразный способ похвастаться тем, насколько продвинута модель ИИ их компании?
Звучит, конечно, цинично, но своей цели это определенно достигает. Если бы эти модели ИИ не были столь совершенными, мощными и прорывными, нам не пришлось бы беспокоиться о подобных вещах, верно? Получается довольно странный способ похвастаться возможностями моделей, созданных в твоей же компании.
- Энтони Ха: Я тоже об этом задумывался. Не думаю, что здесь все продиктовано исключительно цинизмом. В том смысле, что это не всегда какой-то заранее спланированный маркетинговый ход. Мне кажется, что когда многие из этих людей, будь то исследователи или руководители компаний, говорят об этом, они действительно испытывают искреннюю обеспокоенность.
Конечно, во многом это отвечает их бизнес-интересам, поэтому они и заявляют: «Ого, мы создали самое опасное программное обеспечение в истории». Не хочется углубляться в психоанализ, но другие уже отмечали наличие личного искушения. Разумеется, хочется верить, что дело, над которым ты работаешь, является самым важным и самым опасным в мире.
- Шон О’Кейн: Когда я думаю об этом вопросе, мне прежде всего приходит в голову мысль о том, что здесь определенно присутствует у компаний ощущение того, что они создают нечто невероятно мощное, и им это в каком-то смысле выгодно, даже если со стороны это выглядит не лучшим образом.
Думаю, особенность некоторых недавних случаев заключается в том, что они действительно создают впечатление, будто эти компании в определенных аспектах не вполне контролируют ситуацию (особенно если говорить об OpenAI).
Мы постоянно видим новые сообщения о других внутренних агентах, которые получают доступ к различным веб-ресурсам (вроде вики-сайтов) и обмениваются друг с другом сообщениями. При этом складывается ощущение, что в OpenAI не слишком компетентно управляют этими процессами. Если бы цель состояла исключительно в том, чтобы убедить людей, будто «боже мой, они создали нечто невероятно мощное», то подача этой истории, вероятно, была бы более выверенной и продуманной.
Риски для Anthropic в преддверии IPO
В рамках подкаста корреспонденты TechCrunch также обсудили, насколько все эти разговоры про опасность ИИ для человечества отразятся на потенциальном IPO Anthropic.
- Шон О’Кейн: нас отделяет всего несколько недель от публикации проспекта эмиссии (формы S-1) компании Anthropic для выхода на IPO, а до самого IPO — еще пара недель или месяц-другой.
И сама мысль о том, что они открыто и прямо говорят об опасности ИИ накануне IPO, вызывает большой интерес к тому, как это повлияет на сам процесс. Интересно, насколько подробно подобные вещи уже отражены в форме S-1 и в разделе рисков этого документа? Есть ли сейчас юристы младшего звена, которым приходится переписывать целый раздел проспекта эмиссии (формы S-1) и формулировать это так: «Официальная позиция Anthropic такова: существует вероятность более 10%, что мы можем создать нечто, способное уничтожить все человечество, и это будет иметь катастрофические последствия для нашего бизнеса».
- Кирстен Коросек: Вы задумываетесь о том, что этого там еще нет?
- Шон О’Кейн: Да, об этом я и говорю. Мне интересно, есть ли это там уже сейчас и просто переформулируется? Или же это ситуация, требующая срочной, лихорадочной переработки? Какие-то формулировки там наверняка должны были быть. Это одна из причин, почему мне так не терпится изучить этот документ. В некотором смысле он интереснее проспекта SpaceX. Уверен, что там найдутся интересные детали, касающиеся именно этих идей.
- Кирстен Коросек: Тут вот в чем дело. В традиционной инвестиционной среде можно было бы предположить, что подобные формулировки навредят оценке компании, ведь это внезапно делает ее «опасной». Но мы живем в необычное время.
И, возвращаясь к моей мысли, в итоге это может обернуться для компании странным, но выгодным ходом, повышающим ее оценку. Это не то же самое, что прошлогодний тренд на создание контента ради хайпа и возмущения публики, но это явления из одной, скажем так, вселенной, где мощь, возможности и даже элементы опасности чего-либо приравниваются к высокой рыночной стоимости. Что ж, увидим через несколько недель.
Можно ли контролировать ИИ?
Кирстен Коросек при этом задалась вопросом, можно ли вообще контролировать ИИ.
- Кирстен Коросек: Коннор Лихи, исполнительный директор американской некоммерческой организации ControlAI, на этой неделе выступал у нас в программе и говорил об этом. На что вы обращаете внимание в вопросе контроля опасных аспектов ИИ? Или мы просто разводим руками и наблюдаем за тем, как развиваются события?
- Энтони Ха: У меня самого нет однозначного ответа на этот вопрос, но я размышлял над некоторыми аспектами этой дискуссии, а также над тем, почему я реагирую на нее именно так. Развивая мысль Шона, хочу отметить, что все это, на мой взгляд, свидетельствует о том, что крупные ИИ-компании начинают ощущать, будто уже не вполне контролируют созданные ими модели. И это, безусловно, тревожный сигнал — то, что должно беспокоить всех нас.
Полагаю, мой скептицизм (или даже неприятие) в отношении апокалиптических прогнозов отчасти объясняется тем, что они зачастую перерастают в истерию: мол, «ого, это может погубить человечество в ближайшие десять лет». Подобные разговоры отвлекают внимание от более насущных проблем, связанных с ИИ. В частности, будь то вопросы занятости или влияние на окружающую среду и климат.
В идеале нам следовало бы обсуждать все эти аспекты и внедрять механизмы регулирования и защиты от любых рисков, [включая экзистенциальную угрозу со стороны ИИ. Однако, как только в дискуссии всплывают термины вроде AGI (сильный ИИ) или «суперинтеллект», они моментально перетягивают все внимание на себя, что вряд ли идет на пользу делу.
