Глава Anthropic призвал замедлить развитие ИИ и предложил три шага

Дарио Амодеи считает, что стремительное развитие искусственного интеллекта пора немного притормозить. По его мнению, современные ИИ-системы развиваются настолько быстро, что компаниям уже недостаточно просто пытаться успевать за технологическим прогрессом.

В новой публикации Амодеи предложил три направления, которые должны помочь «замедлить фронтир» ИИ. Первое и наиболее конкретное Anthropic готова реализовать самостоятельно.

Компания предлагает допустить к работе независимых специалистов, которые будут постоянно находиться внутри ИИ-компаний и контролировать соблюдение требований безопасности. Такие наблюдатели смогут проверять процессы разработки, получать доступ к необходимой информации и следить за тем, чтобы серьезные инциденты своевременно раскрывались.

Идея уже получила поддержку Сэма Альтмана, глава OpenAI заявил, что согласен с Амодеи и что OpenAI также планирует внедрить подобную систему.

Второй шаг заключается в координации ведущих ИИ-компаний демократических стран. Anthropic предлагает договориться об общих стандартах безопасности и ограничениях на темпы неконтролируемого развития ИИ. Амодеи считает, что правительство США должно помочь компаниям проводить такие переговоры, в том числе решить возможные проблемы с антимонопольным законодательством.

Третий уровень предполагает международные договоренности, включая попытки сотрудничества с Китаем. Амодеи признает, что возможности здесь ограничены, однако считает реальными хотя бы отдельные соглашения, например запрет на наиболее опасные способы использования ИИ, включая создание биологического оружия.

При этом глава Anthropic не предлагает полностью остановить развитие искусственного интеллекта. Он считает, что ИИ способен значительно улучшить качество жизни людей, но технология должна развиваться более осторожно.

Причиной для пересмотра подхода Амодеи называет не только недавние инциденты с ИИ-агентами, но и резкое ускорение прогресса. Особенно его беспокоит способность современных моделей помогать создавать следующие поколения ИИ.

Позиция Anthropic уже вызывает споры, ведь сторонники максимально быстрого развития ИИ считают подобные предупреждения излишне пессимистичными, а критики отрасли, наоборот, утверждают, что разговоры о гипотетическом уничтожении человечества отвлекают от вполне реальных проблем, которые ИИ создает уже сегодня.

Впрочем, Амодеи настаивает: замедление не означает отказ от прогресса. Речь идет о попытке выиграть немного времени и использовать его для того, чтобы развитие ИИ не превратилось в гонку, где скорость важнее безопасности.