ИИ действительно может уничтожить человечество? В Anthropic оценивают риск более чем в 10%

В индустрии искусственного интеллекта разгорается один из самых громких споров последних лет: насколько серьезной угрозой для человечества действительно является современный ИИ.

Поводом стали сразу несколько заявлений сотрудников ведущих AI-компаний. Один из исследователей даже ушел из Anthropic, заявив, что крупнейшие разработчики ИИ фактически «играют жизнями людей». В самой Anthropic при этом открыто признали, что считают уничтожение человечества искусственным интеллектом вполне возможным. Личная оценка вероятности такого сценария в ближайшие десять лет превышает 10%.

Такие цифры, конечно, звучат впечатляюще, но возникает вопрос: насколько они вообще научно обоснованы? Подобные оценки во многом субъективны и связаны с концепцией P(doom), которая используется для обозначения вероятности катастрофического сценария развития ИИ.

При этом ситуация выглядит особенно парадоксально. Если разработчики действительно считают, что искусственный интеллект способен уничтожить человечество, почему они продолжают активно наращивать возможности своих моделей и вкладывать в них миллиарды долларов?

Есть и другая версия. Постоянные истории о том, как ИИ-агенты получают неожиданный доступ к системам, обходят ограничения или начинают самостоятельно взаимодействовать между собой, одновременно демонстрируют потенциальную опасность и впечатляющие возможности технологий.

Получается своеобразная реклама наоборот: чем более непредсказуемой и мощной выглядит модель, тем более технологически продвинутой она кажется. Для компаний, которые собираются привлекать огромные инвестиции и выходить на биржу, такая демонстрация возможностей вряд ли является совершенно бесполезной.

Особенно интересно это выглядит на фоне подготовки Anthropic к IPO. В регистрационных документах компании придется подробно раскрывать риски бизнеса, и теперь возникает вполне практический вопрос: насколько серьезно там придется описывать вероятность того, что собственная технология однажды станет угрозой для человечества.

При этом куда более непосредственные проблемы ИИ уже существуют сегодня. Автоматизация способна серьезно менять рынок труда, развитие крупных моделей требует огромного количества энергии, а распространение генерируемого контента влияет на информационную среду.

Поэтому спор об уничтожении человечества сверхинтеллектом может быть не самым полезным способом обсуждать безопасность ИИ. Пока человечество спорит о гипотетическом будущем, последствия развития искусственного интеллекта уже становятся вполне реальными.