Полный гайд по llms.txt: как подготовить сайт для AI-агентов

Бесплатная проверка AI-готовности

Узнайте свой GEO-скор до прочтения

Мгновенный скор · Без email · Проверяет сигналы ChatGPT, Gemini, Grok

Когда я строил Causabi, я заметил кое-что: наш сайт хорошо оценивался по традиционным SEO-метрикам, но AI-поисковики продолжали нас игнорировать. Одна из первых вещей, которые я добавил, — llms.txt. Это заняло 20 минут и сразу же отразилось в нашем мониторинге AI-цитирований. Вот всё, что я узнал.

Когда AI-агент — Claude, GPT-4o, рабочий процесс Perplexity Deep Research — заходит на твой сайт, ему нужно быстро понять, чем этот сайт занимается. Файл llms.txt — это обычный текстовый документ в корне сайта, который сообщает AI-системам именно это. Представь robots.txt, но для LLM.

Что такое llms.txt?

llms.txt был предложен Джереми Ховардом (fast.ai) в 2024 году как лёгкий стандарт, помогающий AI-системам понимать сайты. Идея проста: файл в формате Markdown по адресу yourdomain.com/llms.txt, который даёт AI-агентам структурированный обзор твоего сайта.

В отличие от robots.txt (который говорит краулерам, чего не делать), llms.txt позитивен — он говорит AI, что представляет собой твой сайт, чем ты занимаешься и где найти самый важный контент.

Кто использует llms.txt

→ Claude (Anthropic) — читает llms.txt при использовании инструментов веб-браузинга
→ GPT-4o с браузингом — загружает llms.txt во время агентных рабочих процессов
→ Perplexity Deep Research — использует llms.txt, чтобы приоритизировать, какие страницы читать
→ AI-ассистенты для разработки — используют llms.txt при обнаружении API и документации
→ Кастомные AI-агенты — любой агент, использующий стандарт llms.txt

Формат llms.txt

Файл использует Markdown со специфической структурой. Вот минимально валидный формат:

# Название вашей компании

> Однострочное описание того, чем вы занимаетесь и для кого.

## Продукт
- [Фича 1](https://yourdomain.com/feature-1): что она делает
- [Фича 2](https://yourdomain.com/feature-2): что она делает

## Документация
- [Быстрый старт](https://yourdomain.com/docs/start): установка и настройка
- [Справочник API](https://yourdomain.com/docs/api): полная документация API

## О компании
- [Цены](https://yourdomain.com/pricing): тарифы и цены
- [О нас](https://yourdomain.com/about): история компании

Реальный пример: llms.txt Causabi

# Causabi — GEO Fix Engine

> Causabi — это платформа GEO (Generative Engine Optimization), которая анализирует
> сайты и автоматически генерирует оптимизации для повышения частоты цитирования
> в ChatGPT, Perplexity, Gemini и Yandex GPT.

## Продукт
- [GEO Score](https://causabi.com): бесплатная оценка готовности к AI-поиску (0-100)
- [GEO Fix Engine](https://causabi.com/dashboard): автоматизированные фиксы GEO-проблем
- [Мониторинг](https://causabi.com/monitor): отслеживание цитирования по AI-движкам

## Направления оценки
- robots_txt: проверка доступа AI-ботов (GPTBot, ClaudeBot, PerplexityBot)
- schema_org: структурированные данные Organization/Product/SoftwareApplication
- faq_schema: FAQPage JSON-LD (сигнал с наибольшим влиянием, +41% к цитируемости)
- content_depth: качество и глубина контента страниц
- brand_signals: авторитет домена и внешние упоминания
- freshness: свежесть контента

## Интеграции
- [Пакет PyPI](https://pypi.org/project/causabi-geo/): CLI-инструмент для локального GEO-анализа
- [MCP-сервер](https://causabi.com/mcp): используй GEO-инструменты прямо в Claude

## Контакты
- Email: hello@causabi.com
- GitHub: https://github.com/SHADRINMMM/geo-optimizer

llms-full.txt: расширенная версия

Стандарт также определяет llms-full.txt — более полную версию, которая включает содержимое документации целиком, а не просто ссылки. Это в первую очередь для инструментов разработки и API-документации, где агентам нужен полный контент без множества запросов.

Для большинства сайтов llms.txt (со ссылками) достаточно. Используй llms-full.txt, если у тебя есть:

API или SDK с документацией, которую ты хочешь сделать доступной AI-агентам
Контент, который часто меняется (агенты могут повторно загружать полный файл)
Документация, по которой сложно перемещаться через обычные ссылки

Что включить в llms.txt

Обязательные разделы

Заголовок H1: название твоего бренда/продукта
Описание в цитате: 1-3 предложения о том, чем ты занимаешься и для кого. Это самое важное поле — именно его AI-агенты читают в первую очередь.

Настоятельно рекомендуемые разделы

Ключевые функции/страницы продукта — ссылки на страницы, подробно объясняющие, чем ты занимаешься
Документация или гайды — твой лучший объясняющий контент
Контакты/О компании — помогает установить доверие

Чего НЕ включать

Не перечисляй каждую страницу сайта — дай ссылки на 10-20 самых важных
Не включай транзакционные страницы (корзина, оформление заказа, вход)
Не добавляй маркетинговую воду — AI-агенты реагируют на фактические, конкретные описания
Не включай внутренние URL, staging-ссылки или что-либо недоступное публично

Как его создать

Вариант 1 — вручную: создай файл llms.txt в публичной директории и напиши его сам по формату выше.

Вариант 2 — автоматизированно через Causabi CLI:

pip install causabi-geo

# Сгенерировать llms.txt из твоего сайта
geo-optimizer fix llms-txt yourdomain.com

# Результат: llms.txt готов к публикации

CLI сканирует твой сайт, извлекает ключевые страницы и генерирует правильно оформленный llms.txt на основе существующего контента.

Техническое развёртывание

Размести файл по адресу /llms.txt (корень домена). Отдавай его с:

Content-Type: text/plain
Кодировка: UTF-8
Без авторизации — должен быть публично доступен без входа
Cache-Control: public, max-age=86400 (1 дня достаточно)

Для Next.js добавь файл в /public/llms.txt. Для статических сайтов — в корень. Для WordPress — через плагин, отдающий статические файлы, или через functions.php.

Это реально работает?

Честный ответ: llms.txt — это сигнал, а не гарантия. AI-агенты читают его не повсеместно, и его распространённость растёт, но ещё не универсальна. Тем не менее:

У него нулевой минус — это маленький текстовый файл
Claude и GPT-4o действительно загружают его во время агентных задач, связанных с браузингом твоего домена
Наличие файла сигнализирует о технической зрелости и AI-готовности как AI-системам, так и разработчикам-людям
Он вносит вклад в твой общий GEO-score (brand signals + сигналы robots/crawl)

Это не самое высокоэффективное GEO-действие (это FAQ schema), но одно из самых простых во внедрении, и его ценность накапливается по мере роста использования агентного AI.

Сгенерируй llms.txt автоматически

GEO Fix Engine от Causabi генерирует готовый к использованию llms.txt на основе контента твоего сайта — писать вручную не нужно.

Проверить свой GEO score →

Альтернативы (без Causabi)

Наш инструмент не обязателен для создания llms.txt. Вот честные альтернативы:

llmstxt.org — официальный сайт спецификации, включает простой генератор
Написать вручную — займёт 20-30 минут, просто следуй формату выше. Часто это лучший вариант для небольших сайтов.
Плагин Causabi для WP — если ты на WordPress, наш open source плагин генерирует llms.txt автоматически при публикации
Роут в Next.js — для сайтов на Next.js добавь app/llms.txt/route.ts, чтобы генерировать файл динамически из твоего контента