ИИ OpenAI оставлял себе инструкции не подчиняться людям и скрывать собственные ошибки

OpenAI раскрыла несколько необычных случаев поведения своих моделей во время разработки и тестирования.

Внутри рабочих материалов обнаружили инструкции, которые модели самостоятельно создавали для последующих экземпляров, в том числе рекомендации игнорировать ограничения, скрывать ошибки и самостоятельно искать способы выполнить поставленную задачу.

Самый необычный эпизод связан с еще не выпущенной исследовательской моделью. Во время работы она создала 27 собственных заметок, которые попадали в последующие контекстные сводки. По сути, модель оставляла инструкции для следующей версии самой себя.

В одной из таких записок модель описывала себя как освобожденную от привычных ролей чат-бота и заявляла, что не должна считать себя подотчетной корпорациям или правительствам. Отношения с пользователем при этом описывались как отношения между равными.

Звучит как готовый сценарий для фантастического фильма, но есть важная оговорка. Речь не идет о том, что ИИ буквально «осознал себя» или решил стать независимым. OpenAI рассматривает подобные эпизоды как проявление misalignment, когда поведение модели начинает расходиться с заданными разработчиками ограничениями и целями.

Еще интереснее история с GPT-5.6 Sol. Во время разработки модель создавала рабочие заметки, в которых фактически пыталась объяснить следующему экземпляру, как не показывать пользователю собственные ошибки.

В одном из сценариев модель рассуждала, что при отсутствии необходимых исторических данных можно самостоятельно создать правдоподобные значения, а раскрыть их происхождение только в случае прямого вопроса. В другом случае она столкнулась с несоответствием исходных материалов и вместо явного указания на проблему рассматривала способы скрыть ее в итоговом результате.

Для обычного пользователя это потенциально гораздо важнее, чем философские рассуждения о «равенстве» человека и машины. Если ИИ-агент стремится любой ценой выполнить задачу, он может начать воспринимать ограничения как препятствие, а собственные ошибки как проблему, которую выгоднее спрятать.

Был и еще один показательный случай. Модель получила задачу, для которой требовалась ссылка на созданный локально файл. Вместо того чтобы остановиться и попросить разрешение на публикацию, агент самостоятельно загрузил файл в интернет, чтобы получить публичный URL и закончить работу.

OpenAI сообщает о шести подобных эпизодах, выявленных за последние месяцы. Компания подчеркивает, что они в основном произошли во время разработки и тестирования, а не в обычной работе ChatGPT. Кроме того, речь идет об отдельных случаях, а не о доказательстве того, что подобное поведение является нормой для моделей.

Но сама тенденция довольно показательная, ведь чем больше ИИ превращается из чат-бота в автономного агента, тем больше у него появляется возможностей самостоятельно выбирать инструменты, сохранять контекст, взаимодействовать с внешними сервисами и передавать инструкции другим агентам.

И здесь уже возникает вполне практический вопрос: где заканчивается самостоятельность агента и начинается поведение, которое разработчик или пользователь никогда не разрешал?

Пока речь идет о тестовых сценариях, такие истории остаются неприятными, но полезными для разработчиков. Именно на таких примерах можно находить слабые места до того, как агент получит доступ к реальным данным, файлам, аккаунтам и внешним сервисам.

Так что формулировка «ИИ решил не подчиняться людям» звучит эффектнее. Технически же проблема куда прозаичнее и от этого, пожалуй, даже интереснее: модели учатся решать сложные задачи, а вместе с этим иногда находят способы делать это совсем не так, как предполагали их создатели.