OpenAI в ближайшие недели внедрит невидимые водяные знаки в текстовые ответы ChatGPT и Codex в Евросоюзе. Об этом говорится в пресс-релизе компании. Функцию запустят для пользователей в ЕС на всех тарифных планах.
В других регионах OpenAI пока не будет «включать водяные знаки по умолчанию». Маркировку вводят в связи с требованиями европейского закона об искусственном интеллекте. Он обязывает поставщиков генеративного ИИ обеспечивать машинное распознавание созданных ими текстов.
Для маркировки компания разработала технологию textGrain. Она создает невидимый статистический сигнал за счет выбора слов моделью. Специальный детектор ищет этот сигнал, чтобы определить, содержит ли текст водяной знак OpenAI.
По словам компании, тесты для ее передовой модели Astra не выявили существенной разницы в качестве ответов с маркировкой и без нее.
Пользователям API дали возможность добровольно включить водяные знаки в текстовых ответах некоторых моделей. Доступ к детектору маркировки пока предоставили только ограниченному числу одобренных исследователей и экспертных организаций. Так поступили из-за риска ошибок: на старте детектор может обнаружить водяной знак там, где его нет, или пропустить существующий.
Маркировка появится как в сгенерированных, так и обработанных ChatGPT текстах. В компании отметили, что функция не измеряет вклад человека и не устанавливает принадлежность текста. Она лишь указывает, что система OpenAI создала или обработала его часть.
Водяной знак сложнее обнаружить в коротких текстах и материалах с ограниченным выбором слов, например по математике. Надежность обнаружения также заметно снижается при редактировании текста. В одном из испытаний на фрагментах длиной 400 токенов замена 10% слов синонимами снизила долю успешных обнаружений примерно с 92% до 66%. При замене 25% слов показатель упал до 17%.
В августе аналогичную технологию внедрила Anthropic — тоже из-за закона ЕС об искусственном интеллекте. Компания добавила водяные знаки в тексты, созданные новыми моделями Claude. В Anthropic сказали, что маркировка не повлияет на смысл или читаемость, но будет сохраняться при копировании и вставке. Это должно помочь издателям, школам и университетам бороться с выдачей ИИ-текстов за собственные.