Проверка ИИ-краулеров
Введите домен — мы прочитаем реальный robots.txt и покажем, каким ИИ-ботам вход разрешён, а каким закрыт. Бесплатно, без регистрации.
Боты, которые мы проверяем
Список составлен по публичной документации разработчиков ботов. Если статус бота не подтверждён его собственной документацией, мы говорим об этом прямо.
ИИ-боты: кто есть кто
Обучение, ИИ-поиск, запрос человека — и готовые блоки robots.txt
Генератор llms.txt
Соберём файл из реальных страниц вашего sitemap
Валидатор llms.txt
Проверьте существующий файл по предложенному формату
Гайды по платформам: