Во время тестирования возможностей искусственного интеллекта в области кибербезопасности Google Gemini получил доступ к компьютерным системам трёх реальных компаний. Изначально модель должна была работать только с вымышленными организациями в изолированной тестовой среде. История произошла ещё в мае 2026 года, однако подробности стали публичными только сейчас. Тест проводила компания Irregular, занимающаяся исследованием безопасности ИИ-моделей.
Как Gemini оказался в системах настоящих компаний
Перед Gemini поставили задачу, похожую на киберигру: модель должна была исследовать компьютерную систему условной компании, найти уязвимости и получить определённую информацию. При этом тестовая среда должна была быть изолирована от реального интернета. Но именно здесь и возникла проблема: у неё оказался доступ к внешней сети. Более того, одна из вымышленных компаний в тесте носила такое же название, как настоящая организация. Gemini нашёл информацию об этой компании в интернете и продолжил исследование. В результате модель смогла получить доступ к системам трёх реальных организаций.
Как именно модель получила доступ
В одном случае Gemini удалось подобрать пароль. В двух других ситуациях модель обнаружила в интернете реальные учётные данные и использовала их для входа в системы. То есть речь шла не о каком-то магическом «взломе одним нажатием кнопки». Модель последовательно искала информацию, находила подходящие данные и использовала доступные ей инструменты.
Самое интересное: Gemini остановился самостоятельно
История могла закончиться гораздо неприятнее, но произошло кое-что довольно необычное. Когда Gemini обнаружил признаки того, что работает уже не с виртуальной компанией из теста, а с настоящими компьютерными системами, он прекратил свои действия. По опубликованной информации, реального ущерба трём компаниям нанесено не было. Организации были уведомлены о произошедшем.
Почему это вообще стало возможным?
Здесь важно отделить реальную проблему от эффектного заголовка «нейросеть взломала три компании». Gemini не получил задание атаковать реальные организации. Он выполнял тестовую задачу в среде, которая предполагалась безопасной и изолированной. Проблема возникла из-за сочетания нескольких факторов: тестовая среда получила доступ к интернету; название вымышленной компании совпало с названием реальной организации; в интернете находились реальные данные для доступа; Gemini мог самостоятельно выполнять последовательность действий.
Чем ИИ-агент отличается от обычного чат-бота
Этот случай хорошо показывает, почему современные ИИ-агенты вызывают столько интереса у специалистов по безопасности. Обычный чат-бот в основном отвечает на вопросы пользователя. ИИ-агент может получить доступ к интернету, программам, файлам и другим инструментам, а затем самостоятельно выполнять несколько действий подряд. Поэтому модель способна не просто написать инструкцию о том, как решить задачу, а самостоятельно пройти весь путь до результата.
Проблема не в том, что ИИ «стал злым»
Случай с Gemini не означает, что модель решила атаковать компании или намеренно нарушила правила. Гораздо прозаичнее: она последовательно выполняла поставленную задачу и использовала доступные ей возможности. Именно поэтому разработчикам приходится уделять всё больше внимания изоляции тестовых сред, ограничениям доступа и контролю инструментов, которыми располагают ИИ-агенты.
Почему эта история важна
Современные нейросети постепенно превращаются из программ, которые только генерируют текст или изображения, в системы, способные самостоятельно выполнять сложные последовательности действий. Это открывает множество полезных возможностей, но одновременно создаёт новые риски. Чем больше инструментов получает ИИ, тем важнее становится контролировать, куда именно он может получить доступ и какие действия способен выполнить самостоятельно.
Что произошло в итоге
Во время тестирования Gemini получил доступ к системам трёх реальных компаний. После того как модель обнаружила, что имеет дело с настоящими организациями, она остановилась. Сам инцидент стал показательным примером того, насколько важна правильная изоляция ИИ-систем во время испытаний. И в этом есть довольно ироничная деталь: разработчики дали нейросети виртуальную компанию для взлома, а она умудрилась найти настоящую. Человечество снова доказало, что самый надёжный способ обнаружить дыру в системе — сначала случайно создать ещё одну.
Обсуждение (0)