Одна строка в robots.txt закроет сайт от обучения ИИ Google и OpenAI

Тем, кто хотел исключить свой сайт из обучения ИИ, до сих пор приходилось прописывать отдельное правило для каждой компании и разбираться в названиях вроде GPTBot, ClaudeBot и Google-Extended. Теперь Google, OpenAI, Anthropic и Microsoft заявляют, что будут учитывать одну и ту же строку: общий «токен политики» в robots.txt — небольшом текстовом файле, который ещё с первых лет существования интернета указывает поисковым системам, куда не следует заходить. Достаточно добавить запись один раз — и она донесёт один и тот же ответ до четырёх крупнейших разработчиков ИИ.

Эту идею предложил Кевин Келли (Kevin Kelley), технический руководитель по вопросам стандартов в Anthropic. Он направил её в Internet Engineering Task Force — организацию, разрабатывающую технические правила для интернета. Главное достоинство предложения в том, что оно не вводит новый синтаксис. Владелец сайта задаёт обычную группу правил, но в строке User-Agent указывает не поискового робота, а способ использования контента: __usage_ai-training. Следующая за ней команда «Disallow: /» означает, что обучать модели на материалах сайта нельзя; строка «Allow» позволяет сделать исключения — например, открыть для обучения пресс-кит, на котором компания не против обучать модель.

Для блога, магазина или редакции важнее всего то, на что эта строка не влияет. Она выражает предпочтение относительно использования контента, а не доступа к сайту, поэтому поиск продолжает работать. Google поясняет: если сайт откажется от обучения с помощью общего токена и отдельно не упомянет Google-Extended, компания воспримет это как блокировку Google-Extended. Это распространяется на обучение Gemini, но не мешает появлению страницы в Google Search. Microsoft обещает то же самое для Bing: эта настройка не повлияет на возможность показа страницы в результатах поиска.

Microsoft идёт дальше остальных. Помимо обучения, компания вводит отдельную настройку для использования страниц при подготовке ответов: её можно задать для каждой страницы с помощью метатега или HTTP-заголовка. Она определяет, сможет ли Bing, Copilot и Microsoft 365 использовать страницу как источник для ответов, которые сервисы генерируют в реальном времени. Сайт сможет запретить обучение, но разрешить такое использование контента, сохранив цитаты и ссылки на свои материалы в ответах ИИ. Microsoft предупреждает, что отказ от этого сценария «значительно снизит» видимость сайта в соответствующих сервисах; при этом ни один из вариантов не гарантирует, что материалы попадут в ответы, принесут трафик или будут оплачены.

В уже существующем файле многих сайтов скрывается важный нюанс. В черновике Келли намеренно предусмотрено, что привычное правило для всех роботов — «User-agent: *» — не распространяется на новый токен. Поэтому robots.txt, который сегодня блокирует всех ботов, сам по себе никак не выражает предпочтение относительно обучения ИИ. Тем, кто хочет отказаться от него, придётся добавить отдельную группу правил с новым названием. Сигнал действует только на будущее: всё, что компании успели просканировать до появления этой строки, уже могло попасть в обучающие наборы, а черновик не обязывает ни одну из них соблюдать запрет. Это просьба, которую четыре компании пообещали уважать, а не надёжный замок.

Самое заметное отсутствие — Meta. Руководитель по коммуникациям компании Энди Стоун (Andy Stone) сообщил The Verge, что общий сигнал, который сразу смогут учитывать несколько провайдеров, — «важный шаг», но не уточнил, станет ли его соблюдать Meta. Момент для этого заявления выбран неудачно. В тот же день, когда четыре компании объявили о поддержке инициативы, вступили в силу обновлённые коммерческие условия Meta: они разрешают компании направлять краулеры на сайты, связанные с бизнес-аккаунтами Facebook, Instagram и WhatsApp, а собранные материалы использовать для обучения своих продуктов.

Внедрение идёт неравномерно. Anthropic уже начала поддерживать токен, хотя Келли написал, что на его распространение на все сервисы компании потребуется время. Microsoft будет учитывать его при сканировании сайтов начиная с 1 февраля 2027 года, а с 1 марта перестанет воспринимать старые теги NoArchive и NoCache как сигналы о запрете на обучение или использование материалов для подготовки ответов. Google рассчитывает внедрить поддержку токена в 2027 году и обещает сообщать о ходе работ, тогда как OpenAI пока взяла на себя обязательство сделать это лишь в ближайшие месяцы. Прежде чем стать официальным стандартом, предложение должно пройти рабочую группу по предпочтениям в сфере ИИ при Internet Engineering Task Force. Google также отмечает, что инициатива соответствует кодексу практики ЕС для универсальных моделей ИИ: в нём robots.txt уже рассматривается как основной способ, с помощью которого издатели могут сообщать машиночитаемые предпочтения.

Примечательнее всего в этой истории масштаб решения: после многолетних судебных тяжб и споров о лицензировании и правах на открытый интернет первый общий ответ уместился в нескольких символах обычного текстового файла, который любой может отредактировать за минуту. Насколько действенной окажется эта защита, зависит от того, кто ещё присоединится к инициативе. А компания, на платформах которой больше всего бизнес-страниц, пока не сказала ей «да».

Теги: искусственный интеллект, Google, OpenAI, Anthropic, microsoft, meta