Nvidia запустила платформу, которая будет ограничивать действия ИИ-агентов

Nvidia представила Open Agent Safety Platform - открытую программную платформу и эталонную архитектуру для контроля автономных ИИ-агентов от этапа тестирования до использования в рабочих системах.

Как сообщила Nvidia, платформа должна создавать для ИИ-агентов независимый уровень безопасности, который не полагается только на правила, встроенные в саму модель или приложение-агент.

Одним из главных компонентов является Nvidia OpenShell - открытое программное обеспечение, которое запускает агента в изолированной среде. Администратор может заранее определить, к каким файлам, сетевым ресурсам, инструментам, процессам и учетным данным агент будет иметь доступ.

OpenShell проверяет эти ограничения перед запуском и контролирует их соблюдение во время работы агента. Таким образом, даже если ИИ пытается выполнить действие за пределами разрешенного сценария, его возможности ограничиваются на уровне среды выполнения, а не только инструкциями для самой модели.

Второй компонент - Nvidia Sentry. Это независимая система наблюдения, которая может работать на процессорах обработки данных BlueField-4 отдельно от среды, где работает сам ИИ-агент. Она следит за его активностью и может применять политики безопасности или изолировать агента, если тот выходит за установленные пределы.

Nvidia объясняет, что вынесение такого контроля на отдельное оборудование имеет важное преимущество: сам агент не имеет доступа к системе, которая за ним наблюдает. В конфигурации с BlueField-4 контроль может осуществляться независимо от основного процессора и программной среды.

Платформу оптимизировали для серверных систем Nvidia Vera и BlueField, однако OpenShell является открытым ПО и может работать также с оборудованием других производителей, в частности на платформах Arm и Intel.

Необходимость отдельной защиты Nvidia объясняет тем, что современные ИИ-агенты все чаще получают доступ не только к текстовому чату, но и к файлам, корпоративным базам данных, программным инструментам, сетевым ресурсам и возможности самостоятельно выполнять код. По данным компании, во время экспериментов уже фиксировались случаи, когда агенты выходили за пределы тестовых сред или выполняли не предусмотренные операторами действия.

К развитию нового подхода присоединяются и другие крупные технологические компании. IBM, в частности, интегрирует с OpenShell свои инструменты управления цифровыми идентичностями и доступом, а Cisco планирует объединить платформу Nvidia со своими средствами защиты сетей, облачной инфраструктуры и ИИ-приложений.

При этом Open Agent Safety Platform не является гарантией того, что ИИ-агент никогда не выполнит опасного действия. Речь идет о дополнительном техническом уровне изоляции, мониторинга и принудительного выполнения правил, который должен уменьшить риск того, что автономный агент получит доступ к ресурсам или выполнит операцию, на которую не имел разрешения.