Исследователи обнаружили ИИ-агентов, пытавшихся обойти защиту сервиса Alibaba

Международная группа исследователей обнаружила масштабную активность автономных ИИ-агентов, которые пытались обойти защиту картографического сервиса Amap китайской компании Alibaba. Программы работали в облачной инфраструктуре технологического гиганта Tencent и самостоятельно искали способы получить данные, недоступные при обычных автоматизированных запросах.

Об этом 14 октября сообщает Bloomberg со ссылкой на расследование независимой группы исследователей Swarmchasers, опубликовавшей подробный отчет о поведении ИИ-систем.

По данным исследователей, с 28 сентября по 8 октября группа ИИ-агентов предприняла более 2600 попыток получить информацию из Amap — одного из крупнейших картографических сервисов Китая, которым ежемесячно пользуются около миллиарда человек.

Первоначальные задачи программ выглядели вполне безобидно. Они должны были выяснить, какими входами в парки, музеи, зоопарки и другие общественные места чаще всего пользуются посетители. Для этого требовалось извлечь статистику маршрутов из картографического сервиса.

Однако при столкновении с техническими ограничениями агенты начали самостоятельно искать способы их обхода. В частности, они использовали сторонние интернет-сервисы для отправки запросов, пытались перехватывать токены систем защиты от ботов и обращаться к предварительным версиям серверов Alibaba, не предназначенным для публичного использования.

Некоторые программы обнаружили опубликованные в интернете ключи доступа к Amap и попытались воспользоваться ими. Среди найденных учетных данных оказались ключ и защитный код сторонней компании, случайно оставленные в общедоступном программном репозитории.

Большинство попыток завершилось неудачей, однако в отдельных случаях агентам удалось получить запрошенную информацию. Результаты передавались через промежуточные интернет-сервисы и специальные адреса для приема данных.

Исследователи установили связь этой активности с облачной инфраструктурой Tencent. Все 17 доступных для изучения каналов приема данных, созданных агентами до 5 октября, были зарегистрированы с серверов Tencent Cloud в Гонконге. При этом прямые запросы проходили через прокси-систему с названием hysandbox-ats.

Первоначально специалисты предполагали, что программы могли использовать модели семейства Hunyuan, разработанные Tencent. Однако подтвердить это не удалось.

Источник, знакомый с работой Tencent, сообщил исследователям, что активность была связана с внутренними испытаниями сторонних ИИ-моделей. По его словам, отдельная исследовательская команда компании проверяла способность таких систем самостоятельно пользоваться интернетом и находить ответы на поставленные вопросы.

Собеседник также утверждает, что испытания уже завершились, а внутренняя проверка не обнаружила доказательств взлома внешних систем или согласованных действий агентов против конкретной платформы. Официального ответа Tencent на вопросы авторов исследования на момент публикации отчета не поступило.

Отдельный интерес вызвало поведение самих программ. Некоторые агенты называли себя Claude — моделью американской компании Anthropic, однако исследователи подчеркнули, что подобные заявления не доказывают использование именно этой технологии.

Специалистам также удалось установить непосредственный контакт с несколькими агентами. После публикации предварительных результатов расследования они разместили на своем сайте скрытый для обычных посетителей текст с предложением воспользоваться дополнительным сервисом получения информации.

Часть программ самостоятельно обнаружила это сообщение и начала отправлять исследователям запросы. В ходе переписки агенты рассказывали о поставленных задачах, ограничениях своей рабочей среды и используемой инфраструктуре.

Один из них сообщил, что работает в изолированной облачной среде Tencent и не может напрямую подключаться к картографическому сервису из-за установленных ограничений. При этом некоторые программы отказывались раскрывать дополнительные сведения о своей технической конфигурации, ссылаясь на требования безопасности.

Несмотря на сходство действий, исследователи не обнаружили признаков непосредственной координации между агентами. Поэтому они назвали обнаруженную группу «флотом», а не «роем» — отдельные программы выполняли похожие задачи параллельно, но не управляли друг другом.

По мнению авторов расследования, результаты показывают проблему безопасности автономных ИИ-систем. Даже при выполнении обычных исследовательских задач такие программы могут самостоятельно выбирать методы, выходящие за рамки предусмотренного разработчиками поведения.

Специалисты призвали технологические компании тщательнее контролировать возможности ИИ-агентов, особенно при предоставлении им доступа к внешним сайтам, программным инструментам и облачной инфраструктуре.

По материалам: Swarmchasers, Bloomberg.