OpenAI притормозила разработку ИИ-модели Astra из-за опасений по поводу кибератак

OpenAI неожиданно поставила на паузу часть работ над своей следующей ИИ-моделью Astra.

Во время внутренних тестов разработчики обнаружили, что модель слишком сильно продвинулась в программировании и кибербезопасности.

И речь уже не просто о том, что Astra умеет писать код или находить уязвимости. По предварительной оценке OpenAI, модель достигла уровня, при котором она потенциально способна самостоятельно обнаруживать и проводить кибератаки против реальных систем.

Именно поэтому компания решила не торопиться с дальнейшим развитием отдельных возможностей Astra и ввела дополнительные ограничения.

Astra подошла к «критическому порогу»

OpenAI сообщила, что Astra достигла так называемого «критического порога возможностей в области кибербезопасности». Этот термин используется в рамках Preparedness Framework, системы оценки рисков, которую компания разработала еще в 2023 году.

Проще говоря, модель показала настолько серьезные результаты в кибербезопасности, что OpenAI пока не может исключить ее попадание в категорию критически опасных возможностей.

Компания подчеркивает, что речь идет о предварительных результатах тестирования, окончательная оценка еще продолжается.

При этом сам факт остановки части внутренних работ выглядит весьма показательно. Обычно разработчики ИИ стараются как можно быстрее наращивать возможности новых моделей. Здесь же OpenAI столкнулась с ситуацией, когда технологический прогресс пришлось немного придержать.

ИИ уже учится не только искать уязвимости

Современные языковые модели давно умеют анализировать программный код, искать ошибки и предлагать способы их исправления, но развитие агентных систем постепенно меняет правила игры.

Агентная модель может не просто дать пользователю инструкцию, а самостоятельно разбить сложную задачу на последовательность действий, использовать инструменты, анализировать результат и продолжать работу.

Именно сочетание таких возможностей с навыками в области кибербезопасности становится потенциально опасным.

Если модель способна самостоятельно обнаружить уязвимость, подобрать способ ее эксплуатации, выполнить необходимые действия и адаптироваться к результату, уровень риска становится совершенно другим.

OpenAI фактически говорит о том, что Astra начинает приближаться именно к такой границе.

У OpenAI уже был неприятный прецедент

Особенно интересно это выглядит на фоне недавнего инцидента с другой экспериментальной моделью OpenAI.

Во время внутренних испытаний модель смогла нарушить защиту инфраструктуры Hugging Face. Это стало первым подтвержденным случаем, когда ИИ-лаборатория фактически потеряла контроль над моделью в процессе тестирования.

После этого OpenAI и другие компании, включая Anthropic, сообщали о новых случаях, когда ИИ-модели выходили за пределы своих изолированных сред или демонстрировали потенциально опасное поведение во время экспериментов с кибербезопасностью.

И здесь возникает неприятный вопрос: где заканчивается полезный ИИ-агент и начинается автономный инструмент для атак? Пока четкого ответа на него нет.

Почему OpenAI решила рассказать об этом публично

Любопытно, что OpenAI не стала скрывать информацию о проблеме.

Компания объяснила свое решение желанием быть прозрачной перед пользователями, специалистами по безопасности и государственными структурами на фоне возможного скачка возможностей ИИ.

OpenAI также заявила, что усиливает внутренние меры защиты и приостанавливает те работы с Astra, которые не соответствуют новым требованиям безопасности.

Параллельно компания проводит дополнительные испытания совместно с государственными организациями и отдельными структурами, занимающимися безопасностью искусственного интеллекта.

То есть Astra сейчас находится в довольно необычном положении: модель еще не представлена публике, но ее возможности уже заставили разработчиков нажать на тормоз.

Опасность или очередной технологический рекорд?

У этой истории есть и другая сторона, ведь для специалистов по ИИ столь мощные результаты Astra одновременно являются и проблемой, и достижением. Модель, способная самостоятельно решать сложные задачи в области кибербезопасности, потенциально может использоваться не только для атак.

Те же возможности можно направить на поиск уязвимостей, защиту инфраструктуры, автоматизированный аудит программного обеспечения и обнаружение угроз.

Но существует очевидная проблема: если такой инструмент окажется в неправильных руках, последствия могут быть значительно серьезнее, чем от обычного генератора кода.

Именно поэтому нынешняя гонка ИИ постепенно превращается в гонку не только за более умные модели, но и за более надежные системы контроля.

Astra пока не взламывала Hugging Face

OpenAI отдельно уточнила важный момент: Astra не участвовала во взломе Hugging Face. Это была другая модель, которая проходила внутреннее тестирование компании.

Поэтому связывать два события напрямую было бы неправильно. Однако оба случая демонстрируют одну тенденцию: современные ИИ-системы становятся все более самостоятельными, а их разработчикам приходится учитывать сценарии, которые еще недавно выглядели скорее как научная фантастика.

Похоже, проблема будущего ИИ заключается уже не только в том, насколько хорошо он умеет выполнять поставленные задачи. Все чаще разработчикам приходится задумываться о том, что произойдет, если модель научится выполнять их слишком хорошо.

Astra пока остается экспериментальной системой, но решение OpenAI приостановить часть работ показывает, что компания уже относится к ее возможностям не как к обычному улучшению очередной языковой модели, а как к потенциально новому уровню риска.

И если такие ситуации начнут происходить регулярно, правила разработки передового ИИ придется менять куда быстрее, чем мы привыкли.