Robots d'IA sur votre site : GPTBot, robots.txt et llms.txt

Les robots d'IA sont des programmes que les entreprises d'IA (OpenAI, Anthropic, Perplexity, Google) utilisent pour lire les sites : pour entraîner des modèles, pour alimenter la recherche dans les réponses des chatbots, ou pour consulter une page à la demande d'un utilisateur précis. Vous pouvez les gérer avec `robots.txt`, mais une seule règle ne suffit pas, car chaque entreprise exploite plusieurs robots aux rôles différents.

En clair

Un robot comme GPTBot n'achète rien, il se contente de lire des pages. La question pour un dirigeant de boutique est la suivante : est-ce que je veux que mes textes et mon catalogue soient lus pour entraîner des modèles, et est-ce que je veux que ChatGPT, Claude ou Perplexity puissent montrer ma boutique dans une réponse ? Ce sont deux choses différentes, et vous pouvez en décider séparément.

Les types de robots

Sources : OpenAI, Anthropic, Perplexity, Google, Google, fonctionnalités d'IA.

Important : robots.txt est une demande, pas une protection. Google écrit que les robots respectueux des règles les suivent et que les autres peuvent les ignorer ; une information réellement privée doit être protégée par un mot de passe (Google).

Quelle est leur part

Cloudflare a estimé la finalité de l'exploration par les IA sur les 12 mois jusqu'en août 2025 : environ 80 % pour l'entraînement, 18 % pour la recherche, 2 % pour des actions à la demande d'un utilisateur. Le ratio (données de janvier à juillet 2025) « nombre de pages explorées par un robot pour une visite renvoyée » en juillet 2025 : Anthropic 38 066 pour 1, OpenAI 1 091 pour 1, Perplexity 195 pour 1, Google 5,4 pour 1 (Cloudflare, 2025). Pour l'ensemble de l'année 2025, Cloudflare a indiqué que les robots d'IA hors Googlebot représentaient en moyenne 4,2 % des requêtes vers des pages HTML, et Googlebot seul 4,5 % (SEJ, décembre 2025).

Bloquer ou autoriser

Il n'y a pas de réponse unique, car c'est une question d'objectifs, pas de technique.

• Robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) : si vous les bloquez, la boutique, selon les entreprises elles-mêmes, ne sera pas affichée ou le sera moins bien dans les réponses de ces services. Mettez cela en balance avec le nombre d'acheteurs qui viennent réellement des chatbots : dans une étude d'Ahrefs (juin 2025, 81 947 sites), les trois principales sources d'IA représentaient en moyenne 0,19 % du trafic d'un site, tandis que Google représentait 39,35 % de tout le trafic de référence (Ahrefs, 2025).
• Robots d'entraînement (GPTBot, ClaudeBot, Google-Extended) : les bloquer ne nuit ni à votre classement Google ni à votre présence dans la recherche des chatbots, d'après les descriptions des entreprises elles-mêmes. La décision relève ici d'un principe : acceptez-vous que vos textes servent à entraîner des modèles.
• Googlebot ne doit pas être bloqué si vous voulez figurer dans Google, y compris dans ses réponses d'IA. Google demande aussi de ne pas le bloquer au niveau du CDN et de l'hébergement (Google, fonctionnalités d'IA).

Exemple de robots.txt qui bloque l'entraînement mais garde les robots de recherche (à titre indicatif, vérifiez les noms des robots dans la documentation de chaque entreprise) :

``` User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: Google-Extended Disallow: /

User-agent: OAI-SearchBot Allow: /

User-agent: PerplexityBot Allow: / ```

À part : les services de protection et les CDN peuvent bloquer des robots automatiquement. Vérifiez qu'ils n'ont pas bloqué ceux dont vous avez besoin.

llms.txt : est-ce que ça marche

llms.txt est un fichier à la racine du site, proposé comme une « carte » pour les modèles de langage. C'est une proposition informelle, pas une norme.

• Guide de Google (mai 2026) : Google Search n'utilise pas les fichiers llms.txt, ni d'autres « fichiers pour l'IA » ou balisages spéciaux ; vous pouvez en créer, mais ils n'auront pas d'effet sur la visibilité dans Google Search (Google, 2026).
• SE Ranking (près de 300 000 domaines ; rapport SEJ du 20 novembre 2025) : le fichier était présent sur environ 10 % des domaines, et aucun lien avec la fréquence de leur citation dans les IA n'a été trouvé. Le seul robot qui, selon les journaux, l'a parfois demandé était GPTBot, rarement et sans lien avec les citations. Il s'agit d'une analyse de corrélation, et les auteurs précisent que les conclusions dépendent du modèle et de l'échantillon (SEJ, 2025).

Il n'existe donc aucune preuve d'un bénéfice, et les recommandations de Google disent clairement qu'il n'est pas nécessaire. Si vous en créez un, cela prend peu de temps ; l'indexation ordinaire et l'accessibilité du site passent d'abord. Pour en savoir plus sur les mythes voisins, voir l'article GEO.

Erreurs fréquentes

• Bloquer dans robots.txt tous les robots dont le nom contient « AI », puis s'étonner de ne pas figurer dans les réponses des chatbots.
• Considérer robots.txt comme une protection contre la copie.
• Bloquer Googlebot avec les robots d'IA.
• Oublier les réglages du CDN et de la protection anti-robots.
• Passer une semaine sur llms.txt au lieu d'un audit SEO technique.

FAQ

Qu'est-ce que GPTBot ? Un robot d'OpenAI qui collecte des données pouvant servir à entraîner des modèles. Pour afficher les sites dans la recherche ChatGPT, il existe un robot distinct, OAI-SearchBot.

Comment bloquer GPTBot ? Ajoutez `User-agent: GPTBot` et `Disallow: /` dans robots.txt. Cela signifie que le contenu ne doit pas servir à l'entraînement.

Faut-il bloquer les robots d'IA ? Cela dépend de vos objectifs. Bloquer les robots d'entraînement ne nuit pas à la recherche Google ; bloquer les robots de recherche peut vous retirer des réponses des services concernés.

llms.txt fonctionne-t-il ? Google ne l'utilise pas, et une analyse de 300 000 domaines n'a trouvé aucun effet sur les citations.

Termes associés

• GEO (generative engine optimization)
• AI Overviews et AI Mode dans Google
• Audit SEO d'une boutique en ligne
• Audit technique d'un site

Sources

• OpenAI, Overview of OpenAI crawlers — developers.openai.com/api/docs/bots
• Anthropic, Does Anthropic crawl data from the web — support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
• Perplexity, Perplexity crawlers — docs.perplexity.ai/guides/bots
• Google, Google's common crawlers — developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• Google Search Central, Introduction to robots.txt — developers.google.com/search/docs/crawling-indexing/robots/intro
• Google Search Central, AI features and your website — developers.google.com/search/docs/appearance/ai-features
• Google Search Central, Optimizing your website for generative AI features (May 2026) — developers.google.com/search/docs/fundamentals/ai-optimization-guide
• Cloudflare, The crawl-to-click gap (29.08.2025) — blog.cloudflare.com/crawlers-click-ai-bots-training
• Search Engine Journal, Cloudflare report: Googlebot tops AI crawler traffic (15.12.2025) — searchenginejournal.com/cloudflare-report-googlebot-tops-ai-crawler-traffic/563303
• Search Engine Journal, llms.txt shows no clear effect on AI citations (20.11.2025) — searchenginejournal.com/llms-txt-shows-no-clear-effect-on-ai-citations-based-on-300k-domains
• Ahrefs, AI traffic study (26.06.2025) — ahrefs.com/blog/ai-traffic-increase