# Генератор robots.txt для ИИ-ботов: GPTBot, ClaudeBot, Яндекс

Форма на https://agentreadyscan.ru/instrumenty/robots-txt/ собирает robots.txt в браузере: на сервер ничего не отправляется.

## Три режима

- Открыть всё: сайт доступен и для ответов пользователям, и для обучения моделей. Подходит почти всем, кто продаёт или оказывает услуги.
- Пустить в ответы, но не в обучение: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot и PerplexityBot открыты; CCBot, Google-Extended и Applebot-Extended закрыты. Правило выполняется добровольно.
- Закрыть от ИИ: сайт выпадет из ответов ИИ-помощников целиком. Осмысленно для закрытых баз, не для каталога.

Отдельно добавляются правила для Яндекса: YandexBot отвечает за поиск, YandexAdditional — за ответы нейросети и Алисы.

## Что нужно знать

- Почему каждому боту своя секция: бот выполняет только первую подходящую ему группу. Если в файле есть секция с его именем, общее `User-agent: *` он уже не читает.
- Чем GPTBot отличается от ChatGPT-User: первый обходит сайт заранее, второй приходит в момент, когда пользователь спросил про вашу страницу.
- Запрет обучения — договорённость, а не техническая защита. То, что нельзя отдавать в принципе, закрывается авторизацией.
- Если robots.txt открыт, а боты не проходят, запросы режет защита от ботов (Cloudflare, DDoS-Guard, Qrator) по User-Agent и адресу. Исключения добавляются в её панели.

robots.txt — требование первого уровня шкалы: https://agentreadyscan.ru/metodika/index.md