AI-боты на сайте: GPTBot, robots.txt и llms.txt

AI-боты — это программы, которые компании в сфере ИИ (OpenAI, Anthropic, Perplexity, Google) используют, чтобы читать сайты: для обучения моделей, для поиска в ответах чат-ботов или для посещения страницы по просьбе конкретного пользователя. Управлять ими можно через файл `robots.txt`, но одним правилом всех не охватить, потому что у каждой компании несколько ботов с разными задачами.

Простыми словами

Бот вроде GPTBot не покупает товары, а только читает страницы. Вопрос для владельца магазина такой: хочу ли я, чтобы мои тексты и каталог читали для обучения моделей, и хочу ли я, чтобы ChatGPT, Claude или Perplexity могли показать мой магазин в ответе. Это две разные вещи, и решать их можно отдельно.

Какие бывают боты

Источники: OpenAI, Anthropic, Perplexity, Google, Google, AI features.

Важно: robots.txt — это просьба, а не защита. Google пишет, что добросовестные краулеры его соблюдают, а другие могут игнорировать; для по-настоящему закрытой информации нужен пароль (Google).

Сколько их

Cloudflare оценил назначение AI-сканирования за 12 месяцев до августа 2025 года: примерно 80% на обучение, 18% на поиск, 2% на действия по запросу пользователя. Соотношение (данные января–июля 2025) «сколько страниц просканировал бот на один визит, который он привёл» в июле 2025: Anthropic 38 066 к 1, OpenAI 1 091 к 1, Perplexity 195 к 1, Google 5,4 к 1 (Cloudflare, 2025). В итоге за 2025 год Cloudflare сообщал, что AI-боты без Googlebot давали в среднем 4,2% запросов к HTML-страницам, а сам Googlebot — 4,5% (SEJ, декабрь 2025). Эти цифры про интернет в целом, а не про украинский сегмент.

Блокировать или пускать

Единственно верного ответа нет, потому что это вопрос о целях, а не о технике.

• Бот для поиска (OAI-SearchBot, Claude-SearchBot, PerplexityBot): если закрыть, магазин, по словам самих компаний, не будет показываться или будет показываться хуже в ответах этих сервисов. Взвесьте это с тем, сколько покупателей реально приходит из чат-ботов: в исследовании Ahrefs (июнь 2025, 81 947 сайтов) три главных AI-источника давали в среднем 0,19% трафика сайта, а Google — 39,35% всего реферального трафика (Ahrefs, 2025). Для Украины такой цифры нет.
• Бот для обучения (GPTBot, ClaudeBot, Google-Extended): блокировка не вредит ни позициям в Google, ни показу в поиске чат-ботов, судя по описаниям самих компаний. Решение здесь принципиальное: согласны ли вы, чтобы ваши тексты обучали модели.
• Googlebot блокировать нельзя, если хотите быть в Google, в том числе в AI-ответах. Google просит также не блокировать его на уровне CDN и хостинга (Google, AI features).

Пример robots.txt, который закрывает обучение, но оставляет поисковые боты (условный, проверьте названия ботов в документации компаний):

``` User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: Google-Extended Disallow: /

User-agent: OAI-SearchBot Allow: /

User-agent: PerplexityBot Allow: / ```

Отдельно: защитные сервисы и CDN могут блокировать ботов автоматически. Проверьте, не закрыты ли случайно нужные.

llms.txt: работает ли

llms.txt — это файл в корне сайта, который предлагают как «карту» для языковых моделей. Это неформальное предложение, а не стандарт.

• Google в руководстве (май 2026): файлы llms.txt, другие «файлы для ИИ» и специальную разметку Google Search не использует; создавать их можно, но на видимость в поиске Google они не повлияют (Google, 2026).
• SE Ranking (почти 300 000 доменов; отчёт SEJ от 20 ноября 2025): файл был примерно на 10% доменов, связи с частотой цитирования в ИИ не найдено. Единственный бот, который, по данным журналов, иногда его запрашивал, — GPTBot, нечасто и без связи с цитированием. Это корреляционный анализ, авторы предупреждают, что выводы зависят от модели и выборки (SEJ, 2025).

То есть доказательств пользы нет, а инструкция Google прямо говорит «не нужно». Если создадите, потратите мало времени; приоритет у обычной индексации и доступности сайта. Подробнее о смежных мифах — в статье GEO.

Типичные ошибки

• Закрыть в robots.txt всех ботов с «ИИ» в названии, а потом удивляться отсутствию в ответах чат-ботов.
• Считать robots.txt защитой от копирования.
• Заблокировать Googlebot вместе с AI-ботами.
• Забыть про настройки CDN и защиты от ботов.
• Тратить неделю на llms.txt вместо технического SEO-аудита.

FAQ

Что такое GPTBot? Бот OpenAI, который собирает данные, способные использоваться для обучения моделей. Для показа в поиске ChatGPT есть отдельный бот OAI-SearchBot.

Как заблокировать GPTBot? Добавить в robots.txt `User-agent: GPTBot` и `Disallow: /`. Это означает, что контент не следует использовать для обучения.

Нужно ли блокировать AI-ботов? Зависит от целей. Блокировка ботов обучения не вредит поиску Google; блокировка поисковых ботов может убрать вас из ответов соответствующих сервисов.

Работает ли llms.txt? Google его не использует, а в анализе 300 000 доменов влияния на цитирование не найдено.

Связанные термины

• GEO (generative engine optimization)
• AI Overviews и AI Mode в Google
• SEO-аудит интернет-магазина
• Технический аудит сайта

Источники

• OpenAI, Overview of OpenAI crawlers — developers.openai.com/api/docs/bots
• Anthropic, Does Anthropic crawl data from the web — support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
• Perplexity, Perplexity crawlers — docs.perplexity.ai/guides/bots
• Google, Google's common crawlers — developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• Google Search Central, Introduction to robots.txt — developers.google.com/search/docs/crawling-indexing/robots/intro
• Google Search Central, AI features and your website — developers.google.com/search/docs/appearance/ai-features
• Google Search Central, Optimizing your website for generative AI features (май 2026) — developers.google.com/search/docs/fundamentals/ai-optimization-guide
• Cloudflare, The crawl-to-click gap (29.08.2025) — blog.cloudflare.com/crawlers-click-ai-bots-training
• Search Engine Journal, Cloudflare report: Googlebot tops AI crawler traffic (15.12.2025) — searchenginejournal.com/cloudflare-report-googlebot-tops-ai-crawler-traffic/563303
• Search Engine Journal, llms.txt shows no clear effect on AI citations (20.11.2025) — searchenginejournal.com/llms-txt-shows-no-clear-effect-on-ai-citations-based-on-300k-domains
• Ahrefs, AI traffic study (26.06.2025) — ahrefs.com/blog/ai-traffic-increase