Один robots.txt, чтобы запретить обучение ИИ: что он меняет

30 октября 2026 года четыре крупнейшие ИИ-компании, Google, OpenAI, Microsoft и Anthropic, сообщили, что будут учитывать один общий сигнал в robots.txt для отказа от обучения генеративного ИИ. Раньше владельцу сайта, не желавшему, чтобы его страницы шли в обучение, приходилось знать название краулера каждой компании и следить за списком. Теперь вместо этого одно правило.

Шаг настоящий, но скромнее, чем в некоторых заголовках. Разберём, что известно, что пока не ясно и что это значит и для владельцев сайтов, и для тех, кто просто много пишет.

Что объявили

Общий сигнал это группа в robots.txt со специальным именем __usage_ai-training. Чтобы отказаться, достаточно двух строк:

`` User-Agent: __usage_ai-training Disallow: / ``

Правило можно ограничить отдельными папками, а не всем сайтом. Синтаксис обычный для robots.txt, поэтому привычные инструменты работают. По сообщениям СМИ, это индивидуальное предложение в IETF (организации, которая пишет интернет-стандарты), автор которого сотрудник Anthropic. То есть это черновик, а не принятый стандарт.

Кто и когда начнёт

Здесь важно быть внимательным: сообщения расходятся, а компании движутся с разной скоростью.

• Anthropic, по сообщениям, уже начала поддержку токена.
• OpenAI, по сообщениям, планирует поддержку в ближайшие месяцы.
• Microsoft, по сообщениям, начнёт 1 февраля 2027 года.
• Google целится в 2027 год, по некоторым данным в его начало.

Считайте эти даты приблизительными. Документацию самих компаний открыть из нашей исследовательской сессии удалось не везде, поэтому перед тем как на них полагаться, проверьте официальные страницы краулеров. Пока компания не подтвердила, что поддержка включена, оставьте прежние правила для её роботов (например, для GPTBot, Google-Extended и Bingbot). Новый токен это дополнение, а не замена.

Чего он не делает

• Не действует задним числом. Он говорит краулерам, как поступать впредь. Страницы, которые уже попали в наборы данных и модели, он не убирает.
• Он про обучение, а не про поиск. Может ли поисковик или ИИ-ответ цитировать вашу страницу, регулируется отдельно. Сообщения расходятся в том, как Google и Microsoft трактуют ИИ-ответы (grounding) при новом токене, так что читайте документацию вендоров.
• Это просьба, а не замок. robots.txt всегда держался на доверии. Те, кто его соблюдает, соблюдают; остальные могут не соблюдать. Часть комментаторов считает шаг во многом символическим, вспоминая прежние сообщения о краулерах, игнорирующих robots.txt.
• Это не закон. Он не заменяет авторское право и требования регуляторов. О том, как движется регулирование, читайте в разборе указа Трампа о проверке мощных моделей.

Стоит ли добавлять

Если у вас блог, портфолио или сайт компании и вы не хотите, чтобы тексты шли в обучение моделей, две строки ничего не стоят и не мешают обычной индексации поисковиками. Только не удаляйте существующие правила для отдельных компаний. Если же вы хотите попадать в ответы ИИ, подумайте перед блокировкой: некоторые вендоры могут трактовать обучение и функции ответов вместе.

Если вы пишете много текстов по работе, урок шире, чем robots.txt: для открытых страниц по умолчанию «их может прочитать кто угодно». Для личных черновиков, звонков и заметок по умолчанию должно быть наоборот.

А как же ваши собственные слова

История с robots.txt о публичных страницах. Большая часть рабочих материалов публичной не бывает: черновики, письма клиентам, заметки по звонкам, голосовые. Там вопрос не в краулере, а в сервисе: куда уходит аудио или текст, когда вы пользуетесь ИИ-инструментом, и как долго там хранится.

Несколько привычек:

1. Читайте, что инструмент делает с данными и обучается ли на них по умолчанию.
2. Для чувствительных материалов выбирайте инструменты, которые умеют работать на устройстве. Как это устроено, мы описали в статье про голосовой ввод в 2026 году без интернета.
3. Выбирайте режим под задачу: облако для удобства, устройство для конфиденциального.

По этой схеме работает и Тихо на Mac и iPhone: вы сами решаете, обрабатывать ли аудио в облаке, а режим на устройстве оставляет речь на вашем компьютере.

Коротко

• Четыре крупных ИИ-компании поддержали один токен robots.txt, __usage_ai-training, для отказа от обучения.
• Поддержка вводится до 2027 года, у каждой компании свои сроки. Старые правила оставьте, пока каждая не подтвердит.
• Токен действует вперёд, касается обучения, а не поиска, и держится на добросовестности.
• Для личной работы настоящая защита это выбор инструментов, которые обрабатывают ваши слова там, где вы хотите.