«Аварийный тормоз» для ИИ. Microsoft тоже начинает беспокоиться?

Искусственный интеллект становится умнее, получает больше самостоятельности и все активнее выполняет задачи без участия человека.

Но чем больше возможностей мы ему доверяем, тем важнее понимать, кто и как сможет остановить его работу, если что-то пойдет не так.

Глава Microsoft Сатья Наделла считает, что разработчикам ИИ пора пересмотреть саму архитектуру доверия к своим системам. И, судя по его словам, одной надежды на то, что модель будет вести себя правильно, уже недостаточно.

В публикации в социальной сети X Наделла заявил, что пришло время сделать шаг назад и заново оценить принципы безопасности искусственного интеллекта. По его мнению, нельзя воспринимать ИИ как набор закрытых систем, которым мы просто задаем вопросы, а затем принимаем или отклоняем полученные ответы и действия. Особенно когда речь идет о так называемом сверхинтеллекте, который потенциально способен самостоятельно решать сложные задачи и действовать с минимальным участием человека.

ИИ нужен не только умный мозг, но и возможность его остановить

Одно из главных предложений Наделлы заключается в разделении самой ИИ-модели и управляющей системы, которая организует ее работу. Проще говоря, искусственный интеллект не должен единолично контролировать все процессы, связанные с выполнением поставленной задачи. Механизмы надзора и ограничения необходимо выносить на отдельный уровень, чтобы они не зависели исключительно от поведения самой модели.

Еще один важный момент касается прозрачности. Наделла предлагает документировать каждое значимое действие ИИ, причем так, чтобы записи были понятны человеку и защищены от подделки. Это позволит разбираться в произошедшем, отслеживать решения модели и проверять, почему система поступила именно так.

Но наиболее интересная идея звучит почти банально: у человека должна оставаться возможность остановить модель прямо во время выполнения задачи. Не после завершения операции, не после того, как ИИ успел что-то изменить или запустить цепочку нежелательных действий, а непосредственно в процессе работы.

Сам Наделла сравнил такой механизм с аварийным тормозом. И метафора здесь вполне уместна: автомобиль может быть напичкан электроникой, самостоятельно удерживать полосу и помогать водителю управлять движением, но возможность остановить машину никуда не исчезает. По крайней мере, так должно быть устроено.

Глава Microsoft также предлагает изначально исходить из того, что модель может оказаться скомпрометированной, и заранее ограничивать возможный ущерб. Это принципиально иной подход по сравнению с надеждой на то, что разработчики достаточно хорошо обучили ИИ и он не станет делать ничего непредусмотренного.

Почему об этом заговорили именно сейчас

Заявление Наделлы появилось в момент, когда разработчики все активнее сталкиваются с проблемами управления ИИ-агентами. Такие системы уже не просто генерируют текст по запросу пользователя. Они могут выполнять последовательности действий, обращаться к инструментам, работать с данными и самостоятельно двигаться к поставленной цели.

Чем больше полномочий получает агент, тем серьезнее становятся последствия ошибки. Неверный ответ чат-бота можно перепроверить. А вот самостоятельно запущенная операция, измененные данные или действие с доступом к внешним сервисам могут потребовать совершенно другого уровня контроля.

На этом фоне показательно, что глава Anthropic Дарио Амодеи также выступает за более осторожное развитие ИИ. Сама компания сталкивалась с трудностями при обеспечении надежного контроля над своими агентами и пересматривала подходы к внутренней оценке их поведения.

Получается интересная картина: индустрия одновременно стремится сделать искусственный интеллект более автономным и пытается разобраться, как не потерять над ним контроль. Чем больше задач можно поручить машине, тем сложнее становится гарантировать, что она будет действовать в нужных пределах.

Мнение: аварийный тормоз нужен, но кто будет держать руку на нем?

Я считаю, что предложение Наделлы звучит разумно. Более того, возможность остановить ИИ должна быть базовым требованием к системам, которые самостоятельно выполняют действия, а не просто разговаривают с пользователем. Особенно если им предоставлен доступ к корпоративным данным, программам, финансовым операциям или другим критически важным инструментам.

Но есть нюанс. Само наличие кнопки остановки еще не означает, что система действительно безопасна. Важно понимать, кто имеет право ее нажать, насколько быстро сработает механизм и можно ли обойти установленные ограничения. Если человек узнает о проблеме уже после того, как ИИ выполнил нежелательное действие, аварийный тормоз рискует превратиться в красивую, но бесполезную деталь интерфейса.

Не менее важна независимость защитных механизмов от самой модели. Если искусственный интеллект контролирует собственные ограничения, проверяет собственные решения и сам определяет, когда ему следует остановиться, это уже не полноценная система надзора. Это скорее просьба к ИИ вести себя хорошо.

И еще один момент. Крупные технологические компании вкладывают огромные ресурсы в развитие все более мощных моделей и агентов. Автономность становится одним из главных преимуществ новых продуктов, но ответственность за последствия тоже должна расти вместе с возможностями. Нельзя бесконечно расширять полномочия ИИ, а потом удивляться, что контроль над ним оказывается сложнее, чем казалось на презентациях.

Поэтому я бы сформулировал главный вопрос немного иначе: не только как остановить искусственный интеллект, но и как построить систему, в которой он не сможет самостоятельно отключить ограничения, обойти контроль или продолжить выполнение опасной задачи вопреки команде человека.

Заявление Наделлы само по себе не означает, что Microsoft столкнулась с какой-то конкретной катастрофой или уже готовит универсальный механизм экстренного отключения ИИ. Пока речь идет о принципах построения более надежных систем. Но направление мысли правильное: чем самостоятельнее становится искусственный интеллект, тем меньше безопасности можно оставлять на уровне обещаний разработчиков.

В конце концов, хороший ИИ должен уметь не только решать задачи. Он должен работать в заданных пределах, объяснять свои действия и останавливаться, когда этого требует человек. И желательно до того, как исправлять последствия его самостоятельности станет дороже, чем сама задача.