ИИ едва не спровоцировал военную операцию США против Китая

Искусственный интеллект едва не стал причиной серьезного международного конфликта.

Как сообщает CNN, этой весной американские военные уже подняли самолеты в воздух для операции против китайского судна, когда выяснилось, что ключевые разведданные были сгенерированы ИИ и оказались ложными.

Согласно ошибочному отчету, судно перевозило компоненты для китайской ядерной программы. Информацию получил аналитик Командования специальных операций США, который попросил ИИ сопоставить данные из открытых источников с засекреченной разведывательной информацией.

Чат-бот неправильно интерпретировал грузовой манифест судна. Затем аналитик снова использовал ИИ, на этот раз для оформления ошибочных выводов в виде официального отчета. Документ разошелся по командным каналам, и только в последний момент ошибку обнаружили и операцию отменили.

История особенно показательна на фоне активного внедрения ИИ американскими военными. Пентагон рассчитывает с его помощью быстрее анализировать информацию и принимать решения, в том числе в ситуациях, связанных с применением силы.

Но именно скорость здесь может стать проблемой. ИИ способен не только быстро находить информацию, но и так же быстро создавать убедительно выглядящие выдумки. Если человек не проверит результат, ошибка может пройти по всей цепочке принятия решений.

Исследователь GovAI и бывший офицер армии США Джейк Стеклер считает, что этот случай не означает необходимости отказаться от ИИ. По его словам, нужны более надежные механизмы контроля, особенно когда речь идет о разведке, выборе целей и решениях, которые могут привести к применению силы.

И, пожалуй, это главный вывод всей истории. Ошибка нейросети сама по себе не сенсация, но гораздо опаснее ситуация, когда ее уверенно написанный текст начинают воспринимать как настоящие разведданные. В обычном чат-боте это может закончиться неправильно выбранным смартфоном. В военной системе цена такой ошибки совершенно другая.