OpenAI заявила про масову спробу витягнути дані з її моделей

OpenAI заявила, що виявила та зупинила масштабну скоординовану кампанію, учасники якої намагалися отримати приховані міркування її ШІ-моделей. Компанія пов'язала основну групу такої активності з людьми, асоційованими з китайською Moonshot AI - розробником сімейства моделей і чатбота Kimi.

За даними OpenAI, перші ознаки активності з'явилися 1 липня. Спочатку кількість запитів була невеликою, однак 24-25 липня компанія зафіксувала різкий сплеск - близько 16 тисяч запитів від понад 4 тисяч користувачів, які відповідали схемі вилучення захищених міркувань.

Після розширення розслідування OpenAI виявила пов'язану активність із подібними шаблонами запитів у кластері, який охоплював понад 15 тисяч користувачів. За твердженням компанії, до 28 липня цю активність вдалося повністю припинити.

OpenAI характеризує такі дії як ворожу дистиляцію моделей. Дистиляція сама по собі є поширеним методом розробки ШІ, коли результати потужнішої моделі використовують для навчання іншої. Однак у цьому випадку, за версією OpenAI, йшлося про несанкціоноване систематичне отримання даних, які могли допомогти відтворити або поліпшити можливості конкурентної моделі.

Учасники кампанії, як стверджує OpenAI, намагалися отримати не лише звичайні відповіді моделей, а їхні захищені внутрішні міркування. Один зі способів полягав у тому, що зашифровані дані про міркування з однієї розмови переносили до іншої та просили модель розшифрувати й відтворити їх у доступному вигляді.

При цьому компанія наголосила, що зловмисники не зламували шифрування, не отримували доступу до баз даних і не проникали до збережених розмов користувачів. Йшлося про маніпулювання взаємодією з моделями через велику кількість спеціально сформованих запитів.

Bloomberg Law зазначає, що OpenAI не змогла встановити, чи всі учасники кампанії діяли від імені одного суб'єкта. Водночас компанія заявила, що основний кластер активності пов'язаний із людьми, асоційованими з Moonshot AI.

Moonshot AI є одним із найбільших китайських розробників генеративного ШІ. Компанія розвиває лінійку Kimi, а її актуальна флагманська модель Kimi K3 орієнтована на складні завдання, програмування та логічні міркування.

Після інциденту OpenAI закрила механізм, який дозволяв повторно використовувати зашифровані фрагменти міркувань, додала нові перевірки для потенційного витоку таких даних і почала блокувати пов'язані акаунти. Інформацію про виявлену схему компанія також передала іншим розробникам ШІ через Frontier Model Forum та державним структурам.

OpenAI очікує, що спроби несанкціонованої дистиляції моделей ставатимуть складнішими в міру розвитку передових систем ШІ. Компанія планує посилювати технічний захист, системи виявлення скоординованої активності та обмін інформацією про такі загрози з іншими учасниками ринку.