OpenAI добавит текстовые водяные знаки к выводу ChatGPT и Codex в ЕС

OpenAI заявила, что внедрит технологию текстовых водяных знаков под названием Textgrain для идентификации текстов, созданных искусственным интеллектом, отвечая на обязательства по прозрачности для генеративного ИИ в рамках Закона ЕС об ИИ. Компания объявила о плане 5 октября по местному времени и заявила, что функция будет применена к выводу ChatGPT и Codex в ЕС в течение следующих нескольких недель, согласно Yonhap, Dong-A Ilbo, Chosun Ilbo, AI Times, Electronic Times и Kyunghyang Shinmun. [ 1 , 2 , 3 , 4 , 5 , 6 ]

Согласно сообщениям, Textgrain вставляет незаметный статистический сигнал, пока модель выбирает слова, а не встраивает скрытые символы или специальные знаки, оставляя невидимые глазу следы, которые может прочитать специальное программное обеспечение; Dong-A Ilbo и AI Times сообщили, что сигнал встроен в сам текст. OpenAI заявила, что метка не производит существенных различий в качестве, производительности или читаемости ответов. AI Times добавила, что, по словам OpenAI, сигнал частично сохраняется при копировании и вставке, и что компания планирует выпустить Textgrain как открытый исходный код. [ 1 , 2 , 4 , 6 ]

В сообщениях изложены ограничения технологии. OpenAI заявила, что показатели обнаружения падают для коротких текстов или контента, такого как математические формулы, где выбор слов менее гибок, и что последующее редактирование ослабляет сигнал. Yonhap, AI Times, Electronic Times и Kyunghyang сообщили, что в отрывке объёмом 400 токенов замена одного из десяти слов синонимами снизила показатель обнаружения с 92% до 66%, а замена одного из четырёх довела его примерно до 17%. Kyunghyang сообщила об обнаружении около 80% для психологических текстов объёмом 200 токенов и около 95% для текстов объёмом 400 токенов, но лишь около 60% для математических текстов объёмом 400 токенов; AI Times сообщила о примерно 80% при 200 токенах и около 95% при 400 токенах при настройке ложноположительных срабатываний в 1%. [ 1 , 2 , 4 , 5 , 6 ]

Обнаружение сначала не будет общедоступным. Yonhap, AI Times и Electronic Times сообщили, что детектор будет предоставлен сначала одобренным исследователям и специализированным учреждениям, подавшим заявку на доступ, и AI Times сообщила, что он показывает только наличие водяного знака, но не пользователей, аккаунты, запросы или содержание разговоров. Для вывода API разработчиков водяной знак по умолчанию отключён, но учреждения могут его включить, и AI Times сообщила, что планируется поддержка моделей, поставляемых через облачных партнёров. По данным AI Times и Kyunghyang, OpenAI заявила, что водяной знак не показывает, какова была роль человека, не может определить право собственности или юридическую ответственность, и что его отсутствие не доказывает авторство человека. [ 1 , 4 , 5 , 6 ]

Этот шаг следует за аналогичными действиями других разработчиков. AI Times сообщила, что Anthropic применяла водяные знаки к выводу Claude глобально с августа, тогда как Electronic Times описала меру Anthropic как применяющуюся в ЕС, а Kyunghyang сообщила, что Anthropic внедрила текстовые водяные знаки в августе после жалоб пользователей на то, что написанный человеком текст, отредактированный с помощью Claude, может рассматриваться как написанный ИИ. Kyunghyang сообщила, что Google применяет SynthID к Gemini с 2024 года; Yonhap и Electronic Times отметили сопоставимую функцию SynthID-Text. AI Times сообщила, что правила прозрачности Закона ЕС об ИИ применяются с 2 августа. [ 1 , 4 , 5 , 6 ]

Electronic Times сообщила, что теперь внимание приковано к тому, распространится ли мера на страны с обязанностями по маркировке, включая Корею, где такие обязанности действуют в рамках Закона об основах ИИ. Kyunghyang сообщила, что школам и компаниям придётся решить, какой вес придавать результатам обнаружения, и процитировала Ким Мёнджу, главу Института исследований безопасности ИИ в ETRI, заявившую, что техническая точность имеет пределы, поэтому один лишь водяной знак нельзя использовать для вывода о том, что текст написан ИИ, или для наложения наказания, хотя сама возможность проверки может оказывать сдерживающий эффект и помогать отсеивать подозрительный контент. [ 5 , 6 ]

В том же объявлении, как сообщил Yonhap, OpenAI представила рекламную политику: пилотный тест визуальной рекламы, нацеленной на некоторых американских рекламодателей, при использовании функции генерации изображений внутри ChatGPT. OpenAI заявила, что реклама не повлияет на ответы ChatGPT, а содержание разговоров останется приватным. [ 1 ]