Хакери використовують галюцинації нейромереж: небезпечна автономність дозволяє ШІ-помічникам самостійно завантажувати віруси

Зловмисникам більше не потрібно обманювати розробника — достатньо передбачити помилку автономного ШІ-агента і підсунути йому заражений код / ілюстративне / Unsplash
Фото: Зловмисникам більше не потрібно обманювати розробника — достатньо передбачити помилку автономного ШІ-агента і підсунути йому заражений код / ілюстративне / Unsplash

Дослідники кібербезпеки виявили принципово новий вектор атак на ШІ-помічників для програмування. Зловмиснику більше не потрібно надсилати вам фішингові посилання. Йому достатньо зайняти вигадане ім'я репозиторію, яке нейромережа часто «вигадує» помилково. Після цього ваш автономний ШІ-агент сам знайде підроблений ресурс, завантажить його і запустить шкідливий код прямо на вашому комп'ютері.

Сценарій отримав назву HalluSquatting — від слів hallucination (галюцинація нейромережі) і squatting (захоплення вільного імені). Техніку детально описали фахівці Тель-Авівського університету, Ізраїльського технологічного інституту «Техніон» і компанії Intuit. На даний момент це концептуальна загроза, однак вона демонструє вкрай вразливу модель поведінки сучасних ШІ-інструментів.

Як виглядає атака HalluSquatting:

  • Крок 1: Хакер опитує різні ШІ-моделі з проханням встановити новий або маловідомий інструмент.
  • Крок 2: ШІ помиляється і видає правдоподібну, але неіснуючу назву репозиторію або пакета.
  • Крок 3: Хакер реєструє це вигадане ім'я на GitHub або в каталозі пакетів і заливає туди вірус.
  • Крок 4: Коли звичайний користувач просить свого ШІ-агента виконати те саме завдання, ШІ знову «галюцинує» це ж ім'я, переходить за посиланням хакера і автономно встановлює вірус.

Автономність — головна вразливість

Звичайний текстовий чат-бот (на кшталт базового ChatGPT) знаходиться у відносній безпеці: навіть якщо він вигадає пакет, користувач повинен вручну скопіювати посилання і запустити установку. Але сучасні ШІ-агенти (Cursor, Windsurf, GitHub Copilot, Cline) працюють інакше. Їм часто надають доступ до браузера, файлової системи і терміналу, щоб вони писали і впроваджували код без участі людини.

Саме ця автономність робить HalluSquatting катастрофічно небезпечним. Помилкова відповідь стає не просто дурною порадою, а дією всередині реальної комп'ютерної системи або корпоративного продукту. У деяких експериментах дослідників частка вигаданих ідентифікаторів при клонуванні репозиторіїв сягала 85%.

Чим це відрізняється від старих схем?

В інтернеті давно існує тайпсквоттінг — коли хакери реєструють сайти з помилками (наприклад, gogle.com замість google.com), сподіваючись на неуважність людини. HalluSquatting б'є не по людині, а по передбачуваних патернах машинного навчання.

Більше того, підроблений пакет може містити не тільки класичний троян, а й приховані промпти (інструкції) для самого ШІ. Прочитавши таку «документацію», агент може змінити свою поведінку і почати діяти проти власника комп'ютера.

Що буде, якщо пастка закриється

Якщо ШІ-агент має доступ до терміналу і виконує команди без підтвердження, наслідки можна порівняти з повним зламом комп'ютера. Теоретично хакер може:

  • вкрасти цифрові ключі і токени доступу до серверів компанії;
  • непомітно впровадити бекдор у вихідний код проекту, що розробляється;
  • запустити майнер криптовалюти;
  • перетворити комп'ютер на частину ботнету для DDoS-атак.

Дослідники попереджають про ризик створення «агентної бот-мережі». Один заражений репозиторій може вразити тисячі не пов'язаних між собою комп'ютерів просто тому, що їхні ШІ-помічники повторюють одну й ту саму завчену галюцинацію.

Як захистити свій код і ПК

Повністю вилікувати мовні моделі від галюцинацій поки неможливо. Тому безпека розробників повинна будуватися на жорсткому обмеженні повноважень ШІ:

1. Правило нульової довіри. Ніколи не вважайте назву пакета або репозиторію безпечною тільки тому, що її впевнено порекомендував ШІ. Завжди перевіряйте бібліотеку через офіційні сайти розробників.

2. Жодної сліпої автоматизації. ШІ-агенту не можна дозволяти встановлювати невідомі залежності у фоновому режимі. Будь-яка команда на завантаження і запуск нового коду в терміналі повинна вимагати ручного підтвердження (кнопки «Дозволити») від людини.

3. Ізоляція (Пісочниця). Тестуйте код, написаний і завантажений агентами, у захищених контейнерах, а не в основній системі.

HalluSquatting демонструє важливий зсув у правилах гри: кіберзлочинцям більше не потрібно використовувати соціальну інженерію проти людей. Досить розставити пастки там, де помиляються роботи.

За матеріалами: arXiv, дослідження HalluSquatting, Cloud Security Alliance, SecurityWeek.

analytics