Ложный отчет ИИ едва не спровоцировал инцидент между США и Китаем

Военные США этой весной начали готовить операцию по перехвату китайского судна на Ближнем Востоке после получения разведывательного доклада, в котором утверждалось, что оно перевозит компоненты для ядерной оружейной программы. Незадолго до начала операции выяснилось, что ключевой вывод доклада был ошибочно сгенерирован искусственным интеллектом.

Об этом сообщает CNN со ссылкой на четырех собеседников, знакомых с произошедшим. Инцидент произошел во время войны с Ираном и, по оценке одного из источников телеканала, мог привести к опасной эскалации между США и Китаем.

После распространения разведывательного сообщения американские военные начали готовиться к перехвату судна. По словам двух источников CNN, вооруженные военнослужащие готовились подняться на его борт. Военные самолеты уже находились в воздухе.

Операцию остановили только после дополнительной проверки первоначальной разведывательной информации. Выяснилось, что аналитик одного из подразделений сил специальных операций США использовал чат-бот с искусственным интеллектом, который неправильно определил перевозимый китайским судном груз. CNN не удалось установить, что именно находилось на борту.

Один из собеседников телеканала назвал подготовленный документ «полностью ложным». При этом CNN подчеркивает, что американская операция против китайского судна могла создать риск прямого вооруженного столкновения между двумя странами.

ИИ объединил секретные и открытые данные и сделал ошибочный вывод

Исходная информация о судовом манифесте поступила от Тихоокеанского командования сил специальных операций США, расположенного на Гавайях. Аналитик передал эти сведения чат-боту для анализа.

Неизвестно, использовал ли он коммерческую систему искусственного интеллекта или один из инструментов, созданных для американского правительства.

По информации CNN, система объединила данные из открытых источников с секретной радиоэлектронной разведкой, находившейся в распоряжении правительства США, после чего пришла к ошибочному заключению о характере груза.

После этого аналитик вновь воспользовался ИИ — уже для оформления результатов в стандартный разведывательный документ. Именно в таком виде информация была распространена среди военных структур и воспринималась получателями как обычный разведывательный отчет.

Единых правил проверки результатов ИИ у американских военных нет

Собеседники CNN рассказали, что различные подразделения армии и разведывательного сообщества США быстро внедряют искусственный интеллект, однако делают это децентрализованно. Разные структуры используют различные системы и собственные правила безопасности.

В результате в американском военном и разведывательном сообществе пока нет единого стандарта, который определял бы, каким образом необходимо проверять информацию, полученную с помощью генеративного ИИ.

Источники телеканала утверждают, что подобные «галлюцинации» искусственного интеллекта уже происходили в разведывательных структурах и случай с китайским судном не был единичным.

Особые опасения вызывает все более активное использование ИИ при выборе и анализе целей. Один из собеседников CNN заявил, что применение таких систем в процессе целеуказания быстро расширяется, тогда как четких правил относительно человеческого контроля и предотвращения ошибочных ударов пока недостаточно.

Пентагон ускоряет внедрение ИИ

Американские военные используют искусственный интеллект для обработки больших массивов разведданных, планирования операций, логистики, управления ресурсами и поддержки принятия решений на поле боя.

В январе Пентагон представил новую стратегию ускоренного внедрения искусственного интеллекта. Среди ее направлений — применение ИИ для управления боевыми действиями, поддержки решений и ускорения цепочки от обнаружения цели до ее поражения.

Документ также предусматривает расширение доступа военнослужащих и гражданского персонала оборонного ведомства к передовым моделям искусственного интеллекта. В Пентагоне объясняют ускорение тем, что США не могут позволить себе отстать от потенциальных противников, прежде всего Китая, в применении ИИ в военной сфере.

Однако эпизод с китайским судном показывает другой риск: опасное решение может быть принято не потому, что искусственный интеллект действует автономно, а потому, что человек принимает сгенерированную им ошибочную информацию за достоверную разведку.

Тихоокеанское командование сил специальных операций США и Пентагон не ответили CNN на запросы о комментарии относительно этого инцидента.

По материалам: CNN, Министерство обороны США