Хакеры используют галлюцинации нейросетей: опасная автономность позволяет ИИ-помощникам самим скачивать вирусы

Фото: Злоумышленникам больше не нужно обманывать разработчика — достаточно предсказать ошибку автономного ИИ-агента и подсунуть ему зараженный код / иллюстративное / Unsplash

Исследователи кибербезопасности обнаружили принципиально новый вектор атак на ИИ-помощников для программирования. Злоумышленнику больше не нужно присылать вам фишинговые ссылки. Ему достаточно занять вымышленное имя репозитория, которое нейросеть часто «придумывает» по ошибке. После этого ваш автономный ИИ-агент сам найдет поддельный ресурс, скачает его и запустит вредоносный код прямо на вашем компьютере.

Сценарий получил название HalluSquatting — от слов hallucination (галлюцинация нейросети) и squatting (захват свободного имени). Технику детально описали специалисты Тель-Авивского университета, Израильского технологического института «Технион» и компании Intuit. На данный момент это концептуальная угроза, однако она демонстрирует крайне уязвимую модель поведения современных ИИ-инструментов.

Как выглядит атака HalluSquatting:

Шаг 1: Хакер опрашивает разные ИИ-модели с просьбой установить новый или малоизвестный инструмент.
Шаг 2: ИИ ошибается и выдает правдоподобное, но несуществующее название репозитория или пакета.
Шаг 3: Хакер регистрирует это вымышленное имя на GitHub или в каталоге пакетов и заливает туда вирус.
Шаг 4: Когда обычный пользователь просит своего ИИ-агента выполнить ту же задачу, ИИ снова «галлюцинирует» это же имя, переходит по ссылке хакера и автономно устанавливает вирус.

Автономность — главная уязвимость

Обычный текстовый чат-бот (вроде базового ChatGPT) находится в относительной безопасности: даже если он выдумает пакет, пользователь должен вручную скопировать ссылку и запустить установку. Но современные ИИ-агенты (Cursor, Windsurf, GitHub Copilot, Cline) работают иначе. Им часто дают доступ к браузеру, файловой системе и терминалу, чтобы они писали и внедряли код без участия человека.

Именно эта автономность делает HalluSquatting катастрофически опасным. Ошибочный ответ становится не просто глупым советом, а действием внутри реальной компьютерной системы или корпоративного продукта. В некоторых экспериментах исследователей доля вымышленных идентификаторов при клонировании репозиториев доходила до 85%.

Чем это отличается от старых схем?

В интернете давно существует тайпсквоттинг — когда хакеры регистрируют сайты с опечатками (например, gogle.com вместо google.com), надеясь на невнимательность человека. HalluSquatting бьет не по человеку, а по предсказуемым паттернам машинного обучения.

Более того, поддельный пакет может содержать не только классический троян, но и скрытые промпты (инструкции) для самого ИИ. Прочитав такую «документацию», агент может изменить свое поведение и начать действовать против владельца компьютера.

Что будет, если ловушка захлопнется

Если ИИ-агент имеет доступ к терминалу и выполняет команды без подтверждения, последствия сопоставимы с полным взломом компьютера. Теоретически хакер может:

украсть цифровые ключи и токены доступа к серверам компании;
незаметно внедрить бэкдор в исходный код разрабатываемого проекта;
запустить майнер криптовалюты;
превратить компьютер в часть ботнета для DDoS-атак.

Исследователи предупреждают о риске создания «агентной бот-сети». Один зараженный репозиторий может поразить тысячи несвязанных между собой компьютеров просто потому, что их ИИ-помощники повторяют одну и ту же заученную галлюцинацию.

Как защитить свой код и ПК

Полностью вылечить языковые модели от галлюцинаций пока невозможно. Поэтому безопасность разработчиков должна строиться на жестком ограничении полномочий ИИ:

1. Правило нулевого доверия. Никогда не считайте название пакета или репозитория безопасным только потому, что его уверенно порекомендовал ИИ. Всегда проверяйте библиотеку через официальные сайты разработчиков.

2. Никакой слепой автоматизации. ИИ-агенту нельзя разрешать устанавливать неизвестные зависимости в фоновом режиме. Любая команда на загрузку и запуск нового кода в терминале должна требовать ручного подтверждения (кнопки «Разрешить») от человека.

3. Изоляция (Песочница). Тестируйте код, написанный и скачанный агентами, в защищенных контейнерах, а не в основной системе.

HalluSquatting демонстрирует важный сдвиг в правилах игры: киберпреступникам больше не нужно использовать социальную инженерию против людей. Достаточно расставить ловушки там, где ошибаются роботы.

По материалам: arXiv, исследование HalluSquatting, Cloud Security Alliance, SecurityWeek.