22.10.2026
robots.txt не запрещает обучать нейросети на тексте сайта
Запрет в robots.txt закрывает роботу доступ к странице, но не ограничивает, что компания сделает с уже скачанным текстом. Общей строки, которая закрыла бы сайт сразу от всех ИИ-роботов, в файле не существует.
Об этом сказал Гэри Илш из команды Google Поиска во втором выпуске «The Non-Canonical Cabinet». Илш называет robots. txt протоколом предпочтений доступа: файл определяет, какие адреса робот может запрашивать, и про дальнейшее использование скачанного не говорит ничего.
Закрыть сайт от конкретного ИИ-робота можно только одним способом — указав его название отдельной строкой.
Остальная механика из выпуска:
- парсер Google читает четыре правила — User-agent, Allow, Disallow и Sitemap; строку, которую он не понял, он молча отбрасывает и идёт дальше, поэтому запрет, написанный словами, не срабатывает, а страница остаётся открытой;
- токен Google-Extended управляет не обходом, а тем, можно ли использовать уже собранный текст для обучения будущих моделей Gemini; на индексацию и на место сайта в поиске он не влияет;
- в названии робота допустимы только латинские буквы, дефис и подчёркивание — эмодзи и символы вне ASCII там не работают;
- в путях парсер Google принимает исходные символы и сам переводит их в процентную кодировку, а другие роботы могут их не разобрать.
Зачем об этом знать
Фраза «сайт закрыт от нейросетей» через robots. txt верна только наполовину: файл мешает скачать страницу, но не запрещает обучение на тексте, который уже скачан.
Отдельного правила, которое запрещало бы именно обучение, в стандарте пока нет — черновик с правилом Content-Usage Илш внёс в IETF вместе с Мартином Томсоном из Mozilla, он от 19 августа и всё ещё обсуждается в рабочей группе.
Что делать:
- Открыть robots.txt сайта и убрать строки, которых нет в списке из четырёх поддерживаемых правил.
- Перечислить названия ИИ-роботов, которым закрывается доступ, по одному — общей строки для всех нет.
- Добавить Google-Extended отдельной строкой, если текст сайта не должен попадать в обучение моделей Gemini.
- Адреса с эмодзи и нелатинскими буквами записывать в правилах в процентной кодировке.
- После правки проверить файл в кабинете вебмастера и убедиться, что нужные страницы из поиска не ушли.
Источники
