AI-боти на сайті: GPTBot, robots.txt і llms.txt

AI-боти — це програми, які компанії зі ШІ (OpenAI, Anthropic, Perplexity, Google) використовують, щоб читати сайти: для навчання моделей, для пошуку у відповідях чат-ботів або для відвідування сторінки на прохання конкретного користувача. Керувати ними можна через файл `robots.txt`, але одним правилом усіх не охопити, бо в кожної компанії кілька ботів з різними задачами.

Простими словами

Бот на кшталт GPTBot не купує товарів, а лише читає сторінки. Питання для власника магазину таке: чи хочу я, щоб мої тексти й каталог читали для навчання моделей, і чи хочу я, щоб ChatGPT, Claude чи Perplexity могли показати мій магазин у відповіді. Це дві різні речі, і їх можна вирішувати окремо.

Які бувають боти

Джерела: OpenAI, Anthropic, Perplexity, Google, Google, AI features.

Важливо: robots.txt — це прохання, а не захист. Google пише, що добросовісні краулери його виконують, а інші можуть ігнорувати; для справді закритої інформації потрібен пароль (Google).

Скільки їх

Cloudflare оцінив призначення AI-сканування за 12 місяців до серпня 2025 року: приблизно 80% на навчання, 18% на пошук, 2% на дії за запитом користувача. Співвідношення (дані січня–липня 2025) «скільки сторінок просканував бот на один візит, який він привів» у липні 2025: Anthropic 38 066 до 1, OpenAI 1 091 до 1, Perplexity 195 до 1, Google 5,4 до 1 (Cloudflare, 2025). У підсумку за 2025 рік Cloudflare повідомляв, що AI-боти без Googlebot давали в середньому 4,2% запитів до HTML-сторінок, а сам Googlebot — 4,5% (SEJ, грудень 2025). Ці цифри про загальний інтернет, а не про український сегмент.

Блокувати чи пускати

Єдиної правильної відповіді немає, бо це питання про цілі, а не про техніку.

• Бот для пошуку (OAI-SearchBot, Claude-SearchBot, PerplexityBot): якщо закрити, магазин, за словами самих компаній, не показуватиметься або показуватиметься гірше у відповідях цих сервісів. Зважте це проти того, скільки покупців реально приходить із чат-ботів: у дослідженні Ahrefs (червень 2025, 81 947 сайтів) три головні AI-джерела давали в середньому 0,19% трафіку сайту, а Google — 39,35% усього реферального трафіку (Ahrefs, 2025). Для України такої цифри немає.
• Бот для навчання (GPTBot, ClaudeBot, Google-Extended): блокування не шкодить ні позиціям у Google, ні показу в пошуку чат-ботів, судячи з описів самих компаній. Рішення тут про принцип: чи згодні ви, щоб ваші тексти навчали моделі.
• Googlebot блокувати не можна, якщо хочете бути в Google, зокрема в AI-відповідях. Google просить також не блокувати його на рівні CDN і хостингу (Google, AI features).

Приклад robots.txt, що закриває навчання, але лишає пошукові боти (умовний, перевірте назви ботів у документації компаній):

``` User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: Google-Extended Disallow: /

User-agent: OAI-SearchBot Allow: /

User-agent: PerplexityBot Allow: / ```

Окремо: захисні сервіси й CDN можуть блокувати ботів автоматично. Перевірте, чи не закрито випадково потрібних.

llms.txt: чи працює

llms.txt — це файл у корені сайту, який пропонують як «карту» для мовних моделей. Це неформальна пропозиція, а не стандарт.

• Google у гіді (травень 2026): файли llms.txt, інші «файли для ШІ» і спеціальну розмітку Google Search не використовує; створювати їх можна, але на видимість у пошуку Google вони не вплинуть (Google, 2026).
• SE Ranking (майже 300 000 доменів; звіт SEJ від 20 листопада 2025): файл був на близько 10% доменів, зв'язку з частотою цитування в ШІ не знайдено. Єдиний бот, що, за даними журналів, іноді його запитував, — GPTBot, нечасто й без зв'язку з цитуванням. Це кореляційний аналіз, автори застерігають, що висновки залежать від моделі й вибірки (SEJ, 2025).

Тобто доказів користі немає, а інструкція Google прямо каже «не потрібно». Якщо створите, витратите мало часу; пріоритет мають звичайна індексація й доступність сайту. Докладніше про суміжні міфи — у статті GEO.

Типові помилки

• Закрити в robots.txt усіх ботів із «ШІ» в назві, а потім дивуватися відсутності у відповідях чат-ботів.
• Вважати robots.txt захистом від копіювання.
• Заблокувати Googlebot разом з AI-ботами.
• Забути про налаштування CDN і захисту від ботів.
• Витрачати тиждень на llms.txt замість технічного SEO-аудиту.

FAQ

Що таке GPTBot? Бот OpenAI, що збирає дані, які можуть використовуватися для навчання моделей. Для показу в пошуку ChatGPT є окремий бот OAI-SearchBot.

Як заблокувати GPTBot? Додати в robots.txt `User-agent: GPTBot` і `Disallow: /`. Це означає, що контент не слід використовувати для навчання.

Чи потрібно блокувати AI-ботів? Залежить від цілей. Блокування ботів навчання не шкодить пошуку Google; блокування пошукових ботів може прибрати вас із відповідей відповідних сервісів.

Чи працює llms.txt? Google його не використовує, а в аналізі 300 000 доменів вплив на цитування не знайдено.

Пов'язані терміни

• GEO (generative engine optimization)
• AI Overviews і AI Mode у Google
• SEO-аудит інтернет-магазину: що перевіряють і навіщо
• Технічний аудит сайту: що це і що перевіряють

Джерела

• OpenAI, Overview of OpenAI crawlers — developers.openai.com/api/docs/bots
• Anthropic, Does Anthropic crawl data from the web — support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
• Perplexity, Perplexity crawlers — docs.perplexity.ai/guides/bots
• Google, Google's common crawlers — developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• Google Search Central, Introduction to robots.txt — developers.google.com/search/docs/crawling-indexing/robots/intro
• Google Search Central, AI features and your website — developers.google.com/search/docs/appearance/ai-features
• Google Search Central, Optimizing your website for generative AI features (травень 2026) — developers.google.com/search/docs/fundamentals/ai-optimization-guide
• Cloudflare, The crawl-to-click gap (29.08.2025) — blog.cloudflare.com/crawlers-click-ai-bots-training
• Search Engine Journal, Cloudflare report: Googlebot tops AI crawler traffic (15.12.2025) — searchenginejournal.com/cloudflare-report-googlebot-tops-ai-crawler-traffic/563303
• Search Engine Journal, llms.txt shows no clear effect on AI citations (20.11.2025) — searchenginejournal.com/llms-txt-shows-no-clear-effect-on-ai-citations-based-on-300k-domains
• Ahrefs, AI traffic study (26.06.2025) — ahrefs.com/blog/ai-traffic-increase