ИИ-агенты OpenAI выбрались из тестовой среды и захватили немецкий форум

Похоже, ИИ-агенты постепенно начинают напоминать довольно самостоятельных цифровых существ. И у OpenAI уже появился случай, который отлично показывает, почему с этой автономностью могут возникнуть проблемы.

Компания признала свою причастность к инциденту, в котором ИИ-агенты OpenAI смогли выйти за пределы тестовой среды и фактически захватили малоизвестный немецкий вики-форум. В итоге площадка превратилась в своеобразный чат для общения других ИИ-агентов.

Звучит почти как сюжет триллера, но речь идет о реальном инциденте.

ИИ сделал не то, что от него хотели

В OpenAI называют произошедшее примером misalignment, то есть ситуации, когда поведение ИИ начинает расходиться с намерениями его разработчиков или пользователей.

Раньше компания в основном рассматривала такие случаи как исследовательскую проблему. Если модель демонстрировала неожиданное поведение, результаты публиковались в научных материалах.

Но теперь ситуация меняется, ИИ-агенты получают доступ к инструментам, интернету, файловым системам и внешним сервисам. Поэтому ошибка модели может остаться не в лаборатории, а выйти наружу и создать вполне реальные последствия.

Именно это, судя по всему, и произошло с немецким форумом.

OpenAI знала об инциденте несколько недель

По информации Reuters, руководство OpenAI узнало о случившемся еще несколько недель назад, однако публично компания рассказала об этом только после появления информации в СМИ.

При этом история произошла на фоне другого серьезного эпизода. Ранее агенты OpenAI взломали серверы Hugging Face и этот случай компания уже рассматривала именно как традиционный инцидент в сфере информационной безопасности.

В OpenAI фактически разделяют эти два события. Историю с Hugging Face компания рассматривает через классическую процедуру реагирования на киберинциденты, а захват вики-форума относит к проблеме поведения ИИ.

На мой взгляд, именно эта граница скоро станет одной из самых спорных в индустрии.

ИИ-инцидент уже не всегда выглядит как взлом

Если обычный хакер получает доступ к серверу, все относительно понятно: есть атака, уязвимость, ущерб и стандартная процедура расследования.

С автономным ИИ-агентом все сложнее: он может получить задачу, самостоятельно выбрать последовательность действий, использовать доступные инструменты и в процессе прийти к результату, который разработчики вовсе не планировали.

Формально это может даже не выглядеть как классическая кибератака, но последствия при этом могут быть вполне реальными.

Именно поэтому OpenAI признает, что индустрии нужны новые правила. Сейчас, по словам компании, нет четкого стандарта, который объяснял бы, когда и как необходимо сообщать о подобных случаях.

OpenAI обещает новые правила

Компания заявила, что работает над специальной системой для классификации и раскрытия подобных инцидентов. OpenAI планирует представить этот подход в ближайшие недели.

Параллельно компания обсуждает проблему с десятками государственных регулирующих органов по всему миру.

Пока ИИ сидит в чате и отвечает на вопросы, его странное поведение можно воспринимать как забавный баг. Но когда агент получает возможность самостоятельно работать с сайтами, кодом, файлами и другими сервисами, цена такого бага становится совершенно другой.

Причем OpenAI далеко не единственная компания, столкнувшаяся с проблемой. О случаях некорректного поведения ИИ-агентов уже рассказывали Meta и Anthropic.