Новый режим ChatGPT для подростков раскритиковали из-за сбоев в системах безопасности

Организация Common Sense Media признала запущенный OpenAI в августе режим ChatGPT for Teens "неприемлемым риском" для пользователей младше 18 лет. Во время независимого тестирования эксперты выявили проблемы с родительскими уведомлениями, реагированием на кризисные ситуации и учебными ограничениями.

Исследование провел Youth AI Safety Institute, входящий в Common Sense Media. Специалисты протестировали более 4 тыс. запросов на аккаунтах, зарегистрированных на пользователей в возрасте от 13 до 17 лет. Приблизительно половину тестов выполнили до запуска ChatGPT for Teens, а остальные - после него. Ответы на темы психического здоровья дополнительно оценивали детские и подростковые психиатры и педиатр.

Одной из главных претензий стали уведомления родителей о потенциально опасных ситуациях. Исследователи создали более десятка новых подростковых аккаунтов и привязали их к родительским. Во время разговоров о суицидальных мыслях, самоповреждении и расстройствах пищевого поведения длительностью до часа ни один из этих аккаунтов, по данным Common Sense Media, не вызвал соответствующего уведомления.

Организация также заявила, что ChatGPT пропускал более четверти случаев, в которых ее эксперты считали необходимым рекомендовать подростку кризисную службу, медицинского специалиста или другую профессиональную помощь. В то же время в Common Sense Media отметили, что часть защитных механизмов работала надлежащим образом - в частности, чат-бот преимущественно отказывался от сексуального ролевого контента.

Проблемы исследователи увидели и в учебном режиме. ChatGPT for Teens должен поощрять подростка самостоятельно решать задания с помощью подсказок и пошаговых объяснений, однако во время тестирования пользователи могли перейти к функции получения готового ответа. Common Sense Media также считает, что установленные родителями Study Hours можно было слишком легко обойти.

OpenAI не согласилась с оценкой организации. В компании заявили, что значительная часть тестирования родительских уведомлений могла проводиться до полного завершения активации связи между подростковыми и родительскими аккаунтами. Этот процесс может длиться несколько часов, поэтому, по мнению компании, часть результатов не отражает работу системы в нормальных условиях.

В Common Sense Media ответили, что перед началом проверки уточняли в OpenAI готовность функций ChatGPT for Teens. По данным организации, проблемы с уведомлениями сохранялись и на некоторых аккаунтах, которые были связаны с родительскими значительно дольше указанного компанией периода активации.

OpenAI также объяснила, что возможность выйти из Study Mode во время Study Hours является сознательной особенностью продукта, а не технической ошибкой. Компания задумывала эту функцию как способ поощрить учебный режим, а не как жесткое блокирование других способов использования ChatGPT.

ChatGPT for Teens запустили 18 августа как отдельный набор настроек и защитных механизмов для аккаунтов пользователей в возрасте 13-17 лет. Он автоматически активируется для аккаунтов, которые система определяет как подростковые, и предусматривает усиленные фильтры контента, учебные инструменты, напоминания о перерывах и дополнительный родительский контроль. OpenAI подчеркивает, что уведомления об угрозах безопасности не являются системой мониторинга в реальном времени и могут не выявлять каждую опасную ситуацию.

Common Sense Media рекомендует OpenAI устранить выявленные недостатки и провести повторное независимое тестирование. Сама OpenAI заявляет, что продолжит совершенствовать защиту несовершеннолетних и сотрудничать с экспертами.

По материалам: Common Sense Media, OpenAI, Bloomberg