AI-краулеры: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot — кто есть кто

У OpenAI, Anthropic и Perplexity не один бот, а несколько. Один собирает данные для обучения, другой строит индекс для ИИ-поиска, третий открывает страницу, когда об этом просит человек. Если закрыть не того бота, можно случайно убрать сайт из поиска ChatGPT, хотя хотели только отказаться от обучения.

Ниже — три группы ботов, что будет, если закрыть каждую, таблица с источниками и готовые блоки robots.txt. Все факты сверены с официальными страницами вендоров 13 октября 2026 года.

Три группы ИИ-ботов

1. Обучение моделей

Эти боты собирают страницы, которые могут попасть в обучение будущих моделей. OpenAI пишет, что запрет GPTBot означает: контент сайта не должен использоваться для обучения. Anthropic — что запрет ClaudeBot исключает будущие материалы сайта из обучающих данных. На поиск ChatGPT или Claude эти запреты не влияют: за поиск отвечают другие боты.

Google-Extended и Applebot-Extended — не краулеры, а токены в robots.txt. Google: у Google-Extended нет своего user-agent, страницы сканируют обычные боты Google, а токен решает, можно ли использовать их для обучения будущих моделей Gemini и для ответов в Gemini Apps и Vertex AI. На попадание в Google Search и на ранжирование он не влияет. Apple: Applebot-Extended сам страницы не сканирует; сайт, который его закрыл, остаётся в поиске Apple.

Google не пишет на этой странице, как Google-Extended связан с AI Overviews и AI Mode. Поэтому мы ничего не утверждаем об этих функциях.

2. Поисковый индекс ИИ

OAI-SearchBot, Claude-SearchBot и PerplexityBot собирают страницы для поиска внутри ChatGPT, Claude и Perplexity. OpenAI: сайты, закрытые от OAI-SearchBot, не показываются в ответах поиска ChatGPT, но могут остаться в виде навигационных ссылок. После правки robots.txt нужно около 24 часов. Perplexity: PerplexityBot нужен, чтобы показывать сайты со ссылкой в поиске, и не используется для обучения моделей; изменения применяются до 24 часов.

3. Заход по запросу человека

ChatGPT-User, Claude-User и Perplexity-User не обходят сайт сами. Они открывают страницу, когда человек задаёт вопрос или даёт ссылку. Здесь вендоры расходятся. OpenAI: раз действие начал пользователь, «правила robots.txt могут не применяться». Perplexity: Perplexity-User «как правило, не соблюдает robots.txt». Anthropic пишет, что все её боты соблюдают robots.txt, а запрет Claude-User не даёт Claude получить страницу в ответ на вопрос.

Таблица: user-agent, вендор, robots.txt

«Да» значит, что вендор описывает управление ботом через robots.txt. Это заявление вендора, а не наша проверка поведения бота.

Готовые блоки robots.txt

Файл лежит в корне сайта: https://ваш-сайт/robots.txt. Несколько строк User-agent подряд образуют одну группу с общими правилами. Замените example.com на свой домен.

Политика 1. Пускать всех

Подходит большинству сайтов, которым нужны клиенты: магазинам, локальному бизнесу, сервисам. Ни одна группа не закрыта.

# Пускать всех ИИ-ботов
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Политика 2. Пускать в поиск, не пускать в обучение

Сайт остаётся доступен поиску ChatGPT, Claude и Perplexity и ассистентам, которые открывают страницы по просьбе человека. Боты обучения закрыты.

# Обучение: нет
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

# ИИ-поиск и запросы людей: да
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Все остальные, включая Googlebot
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

• Google-Extended закрывает и обучение Gemini, и использование страниц для ответов в Gemini Apps и Vertex AI (Google).
• meta-externalagent, по словам Meta, нужен для обучения моделей и для улучшения продуктов через индексацию. Его запрет может задеть не только обучение.

Политика 3. Закрыть всех

# Закрывает сайт для ИИ-ботов ниже.
# Страницы пропадут из их поиска и ответов.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Частые ошибки

• Закрыли GPTBot и думают, что ушли из ChatGPT. Поиск ChatGPT использует OAI-SearchBot, а не GPTBot.
• Общее правило User-agent: * с Disallow: / закрывает всех ботов, у которых нет своей группы. Боту, которого хотите пустить, нужна своя группа с Allow: /.
• Устаревшие имена. В документации Anthropic на 13.10.2026 нет «anthropic-ai» и «Claude-Web» — только ClaudeBot, Claude-SearchBot и Claude-User.
• robots.txt разрешает, а файрвол или CDN блокирует. robots.txt — это просьба к боту; защита от ботов на хостинге работает отдельно.

Другие материалы