ИИ-гиганты сдались: одна строчка запретит им учиться на вашем сайте

OpenAI, Google, Microsoft и Anthropic 30 октября договорились об общем сигнале для владельцев сайтов. Теперь, чтобы запретить обучать ИИ на своих текстах, не нужно перечислять в robots.txt каждого краулера по отдельности. Достаточно одной группы с общим «токеном политики», и её поймут все участники сразу.

Выглядит это как обычная запись в robots.txt: в строке User-Agent пишется __usage_ai-training, ниже Disallow: /. Можно оставить исключения, например открыть для обучения только раздел с пресс-материалами. Никаких новых директив и синтаксиса нет, старые парсеры такую группу просто проигнорируют.

Идею предложил Кевин Келли, технический руководитель Anthropic по стандартам, в рабочей группе AIPREF при IETF, организации, которая пишет стандарты интернета. Пока это черновик, а не принятый стандарт.

Сроки у всех разные. Anthropic уже поддерживает сигнал. Google и Microsoft обещают включить его в следующем году, OpenAI говорит про «ближайшие месяцы». Google будет читать запрет как отказ от Google-Extended, если тот не указан отдельно. Microsoft добавит более тонкую настройку: можно отдельно запретить обучение и отдельно использование сайта как источника для ответов ИИ, а в поиске Bing сайт останется в любом случае. Старые правила для конкретных ботов продолжат работать.

Повод понятен: издатели давно жалуются, что ИИ-краулеры выгребают их контент. Кто-то берёт с ботов деньги, Cloudflare по умолчанию их блокирует. Теперь крупнейшие игроки сами дали одну кнопку «не трогать».

Вердикт: соблюдать сигнал компании будут добровольно, но одна строчка вместо десятка правил это уже победа для любого, у кого есть сайт.