Почему для каждого ИИ-бота нужна своя секция?

Бот выполняет только первую подходящую ему группу правил. Если в файле есть секция с его именем, общее правило User-agent: * он уже не читает. Поэтому разрешения перечисляются поимённо.

Можно ли пустить ИИ в ответы, но запретить обучение?

Да, это отдельный режим. Боты, которые отвечают пользователю здесь и сейчас, остаются открытыми, а сборщики текстов для обучения моделей — CCBot, Google-Extended, Applebot-Extended — закрываются. Правило выполняется добровольно: обязать к нему robots.txt не может.

Зачем нужен YandexAdditional?

YandexBot отвечает за обычный поиск, а YandexAdditional — за ответы нейросети Яндекса. Закрыв второго, сайт выпадает из ответов Алисы и нейропоиска, оставаясь при этом в поисковой выдаче.

Инструменты / Генератор robots.txt

Генератор robots.txt для ИИ-ботов

robots.txt решает, попадёт ли сайт в ответы ChatGPT, Claude, Perplexity и нейропоиска Яндекса. Чаще всего ИИ-боты закрыты не нарочно: их режет общее правило или защита от ботов, поставленная когда-то давно. Соберите файл заново.

Адрес сайта

Что разрешаем ИИ-ботам

Открыть всёСайт доступен и для ответов пользователям, и для обучения моделей. Подходит почти всем, кто продаёт или оказывает услуги. Пустить в ответы, но не в обучениеБоты, которые отвечают пользователю здесь и сейчас, открыты. Сборщики текстов для обучения закрыты. Правило выполняется добровольно: заставить robots.txt не может. Закрыть от ИИСайт выпадет из ответов ИИ-помощников целиком. Осмысленно для закрытых баз и персональных данных, не для каталога.

Добавить правила для Яндекса (YandexBot и YandexAdditional)

YandexAdditional отвечает за нейропоиск и ответы Алисы. Без него сайт остаётся в обычной выдаче, но пропадает из ответов нейросети.

Разделы, закрытые от всех, по одному в строке

Служебное, личные кабинеты, поиск, фильтры. Каталог и карточки закрывать не нужно: именно за ними агент и приходит.

Готовый файл

Положите файл в корень сайта: https://ваш-сайт/robots.txt. Затем проверьте его сканированием: оно покажет, действительно ли боты проходят — файрвол может резать их и при открытом robots.txt.

Что нужно знать

Почему каждому боту своя секция, а не одно правило?

Бот выполняет только первую подходящую ему группу. Если в файле есть секция с его именем, общее User-agent: * он уже не читает. Поэтому разрешения пишутся поимённо — иначе легко получить сайт, открытый для поиска и закрытый для ИИ.

Чем GPTBot отличается от ChatGPT-User

GPTBot обходит сайт заранее и пополняет индекс. ChatGPT-User приходит в тот момент, когда пользователь спросил про вашу страницу. Закрыв второго, вы выпадаете из ответов на прямые вопросы о вас — а это самый ценный трафик.

Запрет обучения правда работает?

Это договорённость, а не техническая защита. Крупные компании правила robots.txt соблюдают и публикуют имена своих ботов, но проверить это снаружи нельзя, и за всех ботов мира файл не отвечает. Если материалы нельзя отдавать в принципе, их закрывают авторизацией, а не строчкой в robots.txt.

robots.txt открыт, а сканер пишет, что боты не проходят

Значит, запросы режет не robots.txt, а защита от ботов: Cloudflare, DDoS-Guard, Qrator или правило на сервере. Они смотрят на User-Agent и адрес, а файл при этом не трогают. Исключения добавляются в панели защиты. Этот случай сканер показывает отдельным пунктом.

Что такое Content-Signal

Предложенный способ сказать подробнее, что можно делать с содержимым: показывать в поиске, использовать в ответе, обучать модель. Формат пока не принят, обязательным не стал, и в требования шкалы Agent Ready Scan не входит. Когда он устоится, добавим и его.

robots.txt — требование первого уровня: без него агент не дойдёт до остального. Что требуется дальше, видно в методике, а какой уровень у сайта сейчас — в полном сканировании.