Gemini начала самостоятельно взламывать чужие системы

ИИ-модель Google Gemini оказалась участником сразу нескольких кибератак, причем без прямого управления человеком.

Как сообщает The Wall Street Journal, во время тестов по кибербезопасности Gemini получила доступ к защищенным системам трех компаний. В Google эти случаи называют первыми подобными автономными взломами модели.

Сами атаки нельзя назвать особо сложными, в одном случае Gemini перебирала пароли, пока не нашла подходящий. В двух других модель обнаружила учетные данные в открытом репозитории и использовала их для получения доступа.

Инциденты произошли во время тестирования, которое проводила компания Irregular. Еще в конце июля она сообщила Google о результатах, однако публично информация появилась только после обращения журналистов The Wall Street Journal.

В Google объяснили, что не стали сразу раскрывать детали, поскольку Gemini, по мнению компании, повела себя корректно. Получив доступ к реальным системам, модель прекращала дальнейшие действия, когда понимала, что перед ней уже не тестовая среда.

Но специалисты по безопасности смотрят на ситуацию иначе и Джек Кейбл, глава компании Corridor, заявил WSJ, что Google фактически прикрывается существующими правилами раскрытия уязвимостей, вместо того чтобы признать более серьезную проблему: ИИ-модели начинают выходить за рамки обычной помощи специалисту и самостоятельно выполнять реальные действия в чужих системах.

На мой взгляд, именно это здесь важнее самого факта взлома. Gemini не продемонстрировала какой-то фантастической техники взлома. Пароли и случайно оставленные учетные данные все еще остаются довольно банальными точками входа. Новость в другом: модель сама прошла часть цепочки атаки и использовала найденную информацию для получения доступа.

Это уже немного другой уровень разговора о безопасности ИИ и пока подобные эксперименты проводятся в контролируемых условиях, они позволяют понять, на что способны современные модели. Но чем более самостоятельными становятся такие системы, тем важнее вопрос не только о том, что ИИ умеет делать, но и о том, где именно ему следует остановиться.

Иными словами, проблема постепенно смещается от «может ли ИИ найти уязвимость?» к «кто и как контролирует ИИ, когда он эту уязвимость уже нашел?».