OpenAI долго и публично объясняла, почему не станет добавлять водяной знак в тексты ChatGPT. Теперь компания всё же это сделает. Дело не в том, что технология изменилась. Причина — закон с конкретным сроком исполнения и штрафом.

Компания сообщает, что тексты, которые ChatGPT и Codex создают для пользователей в Европейском союзе, получат невидимую статистическую метку. Её будут внедрять в течение ближайших недель во всех тарифных планах. Во всех остальных странах та же функция доступна только как переключатель в API для разработчиков, причём по умолчанию она выключена. Граница, которую провела OpenAI, проходит по рубежу юрисдикции, способной назначить ей штраф.

Как работает водяной знак ChatGPT

Метод под названием textGrain не оставляет на тексте никаких видимых отметок. Если для продолжения фразы одинаково хорошо подходят несколько следующих слов, секретный ключ смещает выбор в пользу одного из них. Один такой сдвиг ничего не значит. Но сотни подобных изменений в тексте складываются в закономерность, которую может проверить детектор с тем же ключом. Поскольку сигнал заложен в самих словах, он сохраняется при копировании и вставке. Технический отчёт OpenAI подготовила совместно с исследователями из University of Pennsylvania и Yale. Согласно отчёту, заметного ухудшения качества нет: в Artificial Analysis Intelligence Index результат текста с водяным знаком составил 49,76 балла против 49,57 без него.

Инструмент, который уже был у OpenAI

Для OpenAI в этом нет ничего нового. Летом 2024 года Wall Street Journal сообщил, что у компании уже был готовый водяной знак для текста, который, согласно внутренним документам, работал с эффективностью 99,9%, однако OpenAI не стала его внедрять. Компания ответила, что действует «осмотрительно». Свои доводы она объясняла техническими и социальными соображениями: метод было «несложно обойти злоумышленникам» с помощью перевода или перефразирования другой моделью, а сам водяной знак мог бы создать стигму вокруг ИИ как помощника в письме для людей, говорящих по-английски не как на родном языке. TechCrunch, рассказывая о нынешнем объявлении, напоминает и о третьей причине, звучавшей тогда: опасении, что пользователи перейдут к конкурентам, не использующим водяные знаки.

Если сопоставить прежние объяснения с нынешним запуском, становится понятно, с какими из этих опасений OpenAI действительно справилась. Проблема обхода никуда не делась — это видно из собственных данных компании. Коммерческий риск же удалось ограничить одним рынком.

Данные OpenAI, а не её критиков

В благоприятных условиях, при доле ложноположительных результатов в 1%, детектор распознаёт примерно 80% фрагментов с водяным знаком длиной в 200 токенов и около 95% — длиной в 400 токенов. Если заменить синонимами 10% слов, точность обнаружения падает с 92% до 66%. При замене четверти слов она снижается до 17%. Короткие ответы, математические тексты и переводы детектору почти не под силу. Сама OpenAI предупреждает: высокая эффективность в идеальных условиях «не гарантирует надёжного обнаружения в повседневном использовании», а отсутствие водяного знака ничего не доказывает в отношении авторства человека. Компания также подчёркивает, что метка не позволяет установить личность пользователя.

Иными словами, textGrain — полезный сигнал против тех, кто просто копирует и вставляет текст, но слабая защита от любого, кто готов потратить минуту на правку. Для сообщества, где говорят и пишут на множестве языков, проблема с переводами — не мелкая оговорка.

Почему ЕС и почему сейчас

Юридическая причина — статья 50 AI Act, требования которого к прозрачности вступили в силу 2 августа. Она обязывает поставщиков генеративных систем помечать синтетические тексты, аудио, изображения и видео способом, который могут считывать машины, а также предоставлять механизм обнаружения. У систем, уже вышедших на рынок до этой даты, включая ChatGPT, есть время на выполнение требований до 2 декабря. Нарушителям грозит штраф до 15 миллионов евро или 3% от годового мирового оборота — в зависимости от того, какая сумма больше, говорится в анализе юридической фирмы Cooley.

Две детали показывают, насколько запуск привязан к требованиям закона, а не к некоему принципу. Первая — детектор. Закон требует предоставить механизм обнаружения; OpenAI его создала, но открыла доступ только для одобренных исследователей и экспертных организаций, которым нужно подать заявку. Компания обещает расширить доступ, «когда мы сочтём, что результаты можно интерпретировать ответственно», сообщает The Decoder, но сроков не называет. Учитель или редактор в Лиссабоне или Варшаве, получивший подозрительный текст, сегодня не может его проверить.

Вторая деталь — география. Anthropic, начавшая ставить водяной знак на тексты Claude в августе, применяет его по всему миру, независимо от того, как люди пользуются её моделями, и столкнулась из-за этого с критикой некоторых пользователей. OpenAI выбрала противоположный подход: по умолчанию функция включена там, где регулятор может выписать штраф, а в остальных странах разработчики должны включать её сами. При запуске глобального режима по умолчанию нет. Если бы прежнее опасение, что пользователи уйдут к конкурентам без водяных знаков, исчезло, вряд ли понадобилось бы проводить такую границу.

Что дальше

OpenAI обещает открыть исходный код textGrain и утверждает, что метод не уступает таким решениям, как SynthID от Google, или превосходит их. Обе эти оценки можно будет проверить, когда код станет общедоступным. Для Брюсселя вопрос уже: отвечает ли требованиям закона метка, которая исчезает после лёгкой правки, а обнаружить её может детектор, почти недоступный для самостоятельного использования? Ведь закон написан так, чтобы другие системы могли распознавать тексты, созданные ИИ.

После 2 декабря по умолчанию подпись OpenAI будет стоять только на словах тех пользователей ChatGPT, чей регулятор может выставить компании счёт.

Теги: OpenAI, chatgpt, Codex, водяные знаки, закон ЕС об ИИ