Claude получил невидимый водяной знак: выдавать тексты ИИ за написанные человеком станет сложнее

Anthropic внедрила в новые модели Claude «невидимый водяной знак», который не меняет смысл или читаемость текста, но остаётся связанным с ним при копировании и вставке. По заявлению компании, отметка может сохраняться после некоторых видов редактирования.

Модели Claude, запущенные 2 августа и позже, поддерживают маркировку с момента выхода, Anthropic также работает над её добавлением в более старые модели. Маркировка распространяется на весь текст, создаваемый Claude, в том числе при работе через облачных провайдеров.

Anthropic планирует предоставить сторонним организациям инструменты для обнаружения таких отметок. Компания связывает внедрение технологии с обязательствами по обеспечению прозрачности в рамках закона Европейского союза об искусственном интеллекте (EU AI Act).

Для издателей, школ и университетов такая маркировка может стать дополнительным инструментом при проверке текстов на использование ИИ. В издательской сфере уже возникали случаи, когда авторов подозревали в использовании генеративных моделей. В июле литературный агент отказался от поддержки романа "Call Me, I'll Hide the Body" после вопросов о возможном использовании ИИ, ранее издательство Hachette сняло с публикации хоррор-роман "Shy Girl" на фоне аналогичных обвинений. В обоих случаях авторы отрицали самостоятельное использование ИИ для написания текста.

При этом водяной знак не позволит однозначно установить происхождение текста. Anthropic признаёт, что интенсивное редактирование, перефразирование, перевод или смешивание вывода Claude с другим текстом могут сделать отметку необнаружимой. Кроме того, обнаруженный водяной знак не доказывает, что Claude написал исходный текст целиком: он может появиться даже после использования модели только для корректуры или перевода.

Anthropic стала второй крупной ИИ-компанией, внедрившей такую технологию после Google DeepMind, которая в 2024 году объявила о маркировке текста и видео из Gemini с помощью системы SynthID. Разработчик присоединился к требованиям Закона ЕС об искусственном интеллекте и внедряет статистические водяные знаки во все новые модели с переходным периодом в 4 месяца для старых систем.

Обновлено:
Механизм скрытой маркировки текста работает за счёт внесения статистических паттернов непосредственно в процессе генерации ответа. На каждом шаге создания текста алгоритм использует секретный ключ и контекст предыдущих токенов, разделяя словарь на «базовые» и «предпочтительные» варианты. Модель слегка смещает выбор в пользу предпочтительных токенов там, где это не портит качество ответа, благодаря чему в тексте накапливается невидимый глазу математический паттерн. Детектор с аналогичным ключом проверяет частоту совпадений и определяет, создан ли материал нейросетью. При этом метка крайне чувствительна к изменениям: если пользователь отредактирует текст, смешает его с другим или запросит слишком короткую формулировку, статистический паттерн перестаёт быть надёжно обнаружимым.
Для нетекстовых файлов технология устроена иначе: в их структуру напрямую встраиваются метаданные стандарта C2PA (Coalition for Content Provenance and Authenticity).
При этом новая маркировка применяется глобально, хотя на данном этапе остаётся скорее формальностью. Сейчас считать водяные знаки может только сама компания Anthropic, так как публичные детекторы и документация ещё не выпущены. Кроме того, обязательное встраивание меток с 2 августа действует только для новых систем, для ранее выпущенных моделей семейства Claude предусмотрен переходный период длительностью 4 месяца.