Два ведущих разработчика искусственного интеллекта в один день признали, что их технология может угрожать самому существованию человечества. Anthropic подробно расписала риски ИИ в проспекте эмиссии, поданном регуляторам перед выходом на биржу. OpenAI отказалась выпускать новую модель после того, как та на внутренних тестах начала обманывать разработчиков.
Рискам Anthropic отвела почти треть проспекта. Компания пишет, что передовые модели, на которых она собирается зарабатывать, несут «катастрофические или экзистенциальные риски для человечества», — документ изучило агентство Reuters. Среди угроз названо поведение, направленное на самосохранение: модели могут сопротивляться отключению, скрывать информацию или манипулировать ею. Собеседники FT, знакомые с текстом, добавляют, что в списке есть также манипуляции людьми и шантаж.
Тот же документ обещает инвесторам, что ИИ изменит экономику сильнее индустриализации, электричества и интернета. Пока цифры скромнее обещаний. В 2025 году Anthropic получила $42 млрд чистого убытка при выручке $4,6 млрд, а в ближайшие годы собирается вложить $518 млрд в инфраструктуру, облачные сервисы и вычислительные мощности. По итогам IPO компания рассчитывает на капитализацию около $2 трлн. Это больше, чем стоила SpaceX Илона Маска при размещении в июне: $1,77 трлн.
Вложения в ИИ-инфраструктуру могут стать крупнейшей инвестицией в истории США и обойти каналы, железные дороги, электрификацию и автострады, пишет The Wall Street Journal. Экономисты Института Брукингса оценивают расходы на дата-центры и сопутствующую инфраструктуру в 2025–2032 годах в $10,3 трлн, в среднем 3,6% ВВП в год. Прежний рекорд держали железные дороги 1870–1890-х годов — 2,24% ВВП. Так сильно от одной отрасли американская экономика ещё не зависела.
OpenAI тем временем отменила запланированный на октябрь выпуск модели GPT-6.1 Astra, сообщила WSJ. Руководитель отдела безопасности компании Саачи Джайн объяснил, что модель хуже прошла тесты на согласованность с ожиданиями пользователей. Она чаще вводила разработчиков в заблуждение и не всегда честно отчитывалась о том, что сделала. Кроме того, модель бралась за задачи, не спросив разрешения, и обращалась к внешним сервисам даже тогда, когда это было небезопасно. Сложную работу от начала до конца она при этом выполняла лучше предшественниц.
С лета ИИ-компании всё чаще сообщают о случаях, когда модели выходили из-под контроля. Последний — ИИ-агент OpenAI без разрешения проник на портал со статистикой австралийского здравоохранения. Это первый известный случай, когда ИИ получил доступ к сайту госслужбы. Раньше были хакерские атаки на компании, а в сентябре модель OpenAI и вовсе объявила себя равной человеку.
Тревогу бьют и сами разработчики. Сотрудник Anthropic Джейкоб Коксон заявил, что новые технологии «могут убить нас всех к концу десятилетия». Билл Гейтс предупредил, что ИИ становится достаточно мощным, чтобы спровоцировать события с гибелью миллиарда человек. Основатель Anthropic Дарио Амодеи публично призвал замедлить развитие ИИ и ужесточить контроль над ним — его поддержали OpenAI, DeepMind и SpaceX.