IABIGEN · English
Données ouvertes hebdomadaires

Recensement des robots d'IA

Comment les 10 000 domaines les plus populaires du web traitent les robots d'IA dans leur robots.txt, et combien publient un llms.txt. Mesuré chaque semaine, publié en données ouvertes.

Dernier passage : 15 novembre 2026 · liste Tranco 947V2 · prochain passage : dimanche 02:15 UTC.

Les chiffres clés

7 920domaines dont la réponse robots.txt est lisible (sur 9 999)
69,5 %servent un vrai fichier robots.txt
12,9 %bloquent entièrement GPTBot (entraînement OpenAI)
7,9 %bloquent les 8 robots d'entraînement
19,3 %nomment au moins un robot d'IA
12,6 %publient un llms.txt

Les pourcentages portent sur les 7 920 domaines dont la requête robots.txt a reçu une réponse exploitable (un fichier, un statut 4xx ou une page HTML à la place du fichier). Les 2 079 autres domaines de la liste n'ont pas répondu, ont renvoyé une erreur serveur ou n'hébergent pas de site (beaucoup de domaines très populaires sont des CDN, des régies publicitaires ou des API).

Ce que disent les données

  • Le robot le plus bloqué est CCBot (13,8 % des sites) ; le moins bloqué est Googlebot (2,1 %).
  • Entraînement et recherche ne sont pas traités pareil : GPTBot est bloqué entièrement par 12,9 % des sites, mais le robot de recherche d'OpenAI, OAI-SearchBot, par 5,4 % ; ClaudeBot par 12,3 % contre 5,4 % pour Claude-SearchBot.
  • 5,9 % des sites bloquent GPTBot et ClaudeBot tout en laissant passer OAI-SearchBot et Claude-SearchBot : la configuration « pas d'entraînement, mais rester citable ».
  • Google-Extended, le jeton qui règle l'entraînement de Gemini sans toucher à la recherche Google, est bloqué par 11,2 % des sites.
  • 14,2 % des sites bloquent au moins un robot d'IA en le nommant, et 2,0 % bloquent tous les robots suivis, le plus souvent avec un User-agent: * / Disallow: / général.
  • 12,5 % des sites refusent la requête robots.txt elle-même (HTTP 401 ou 403), souvent à cause d'une protection anti-robots : selon la RFC 9309 cela vaut « aucune restriction », mais ces sites filtrent en général les robots au niveau du réseau.

Taux de blocage de chaque robot d'IA

Part des sites dont le robots.txt interdit au robot à la fois la page d'accueil et une page quelconque, dans un groupe qui le nomme ou via le groupe générique User-agent: *.

CCBot : 13,8 % bloqué entièrement (dont 10,8 % nommément)CCBot13,8 %Bytespider : 13,7 % bloqué entièrement (dont 10,7 % nommément)Bytespider13,7 %GPTBot : 12,9 % bloqué entièrement (dont 10,2 % nommément)GPTBot12,9 %ClaudeBot : 12,3 % bloqué entièrement (dont 9,4 % nommément)ClaudeBot12,3 %meta-externalagent : 11,6 % bloqué entièrement (dont 8,6 % nommément)meta-externalagent11,6 %Amazonbot : 11,5 % bloqué entièrement (dont 8,5 % nommément)Amazonbot11,5 %Applebot-Extended : 11,4 % bloqué entièrement (dont 8,4 % nommément)Applebot-Extended11,4 %Google-Extended : 11,2 % bloqué entièrement (dont 8,4 % nommément)Google-Extended11,2 %PerplexityBot : 7,5 % bloqué entièrement (dont 4,7 % nommément)PerplexityBot7,5 %ChatGPT-User : 6,5 % bloqué entièrement (dont 3,8 % nommément)ChatGPT-User6,5 %meta-externalfetcher : 6,0 % bloqué entièrement (dont 2,9 % nommément)meta-externalfetcher6,0 %Perplexity-User : 5,8 % bloqué entièrement (dont 2,8 % nommément)Perplexity-User5,8 %DuckAssistBot : 5,8 % bloqué entièrement (dont 2,7 % nommément)DuckAssistBot5,8 %Claude-User : 5,7 % bloqué entièrement (dont 2,8 % nommément)Claude-User5,7 %MistralAI-User : 5,4 % bloqué entièrement (dont 2,3 % nommément)MistralAI-User5,4 %Claude-SearchBot : 5,4 % bloqué entièrement (dont 2,4 % nommément)Claude-SearchBot5,4 %OAI-SearchBot : 5,4 % bloqué entièrement (dont 2,6 % nommément)OAI-SearchBot5,4 %Applebot : 3,8 % bloqué entièrement (dont 1,2 % nommément)Applebot3,8 %Bingbot : 2,7 % bloqué entièrement (dont 0,5 % nommément)Bingbot2,7 %Googlebot : 2,1 % bloqué entièrement (dont 0,1 % nommément)Googlebot2,1 %
Bloqué nommémentBloqué via User-agent: *
Intégrer ce graphique

Version PNG actualisée après chaque passage, réutilisable sous CC BY 4.0 avec le lien de crédit :

/charts/census-block-rates.png

RobotBloqué entièrement…nommémentRestreint en partieNommé dans robots.txt
CCBot
Common Crawl · Entraînement
13,8 %10,8 %1,6 %13,1 %
Bytespider
ByteDance · Entraînement
13,7 %10,7 %1,2 %12,1 %
GPTBot
OpenAI · Entraînement
12,9 %10,2 %3,0 %15,0 %
ClaudeBot
Anthropic · Entraînement
12,3 %9,4 %2,4 %13,2 %
meta-externalagent
Meta · Entraînement
11,6 %8,6 %1,3 %10,5 %
Amazonbot
Amazon · Entraînement
11,5 %8,5 %1,5 %10,5 %
Applebot-Extended
Apple · Entraînement
11,4 %8,4 %1,4 %10,4 %
Google-Extended
Google · Entraînement
11,2 %8,4 %2,3 %12,5 %
PerplexityBot
Perplexity · Recherche
7,5 %4,7 %2,6 %9,2 %
ChatGPT-User
OpenAI · Navigation
6,5 %3,8 %2,8 %8,4 %
meta-externalfetcher
Meta · Navigation
6,0 %2,9 %0,8 %3,9 %
Perplexity-User
Perplexity · Navigation
5,8 %2,8 %1,5 %5,0 %
DuckAssistBot
DuckDuckGo · Recherche
5,8 %2,7 %1,2 %4,1 %
Claude-User
Anthropic · Navigation
5,7 %2,8 %1,6 %5,1 %
MistralAI-User
Mistral AI · Navigation
5,4 %2,3 %0,8 %3,3 %
Claude-SearchBot
Anthropic · Recherche
5,4 %2,4 %1,8 %4,8 %
OAI-SearchBot
OpenAI · Recherche
5,4 %2,6 %2,8 %7,3 %
Applebot
Apple · Recherche
3,8 %1,2 %1,8 %3,8 %
Bingbot
Microsoft · Recherche
2,7 %0,5 %3,6 %5,7 %
Googlebot
Google · Recherche
2,1 %0,1 %4,8 %6,9 %

Selon le rang de popularité

Tranches cumulées du classement Tranco : le top 100 fait aussi partie du top 1 000, et ainsi de suite.

Top 100Top 1 000Top 10 000
Domaines avec réponse lisible717277 920
Servent un fichier robots.txt67,6 %65,5 %69,5 %
Nomment au moins un robot d'IA26,8 %21,9 %19,3 %
Bloquent tous les robots d'entraînement15,5 %8,1 %7,9 %
Publient un llms.txt12,7 %17,1 %12,6 %
Bloquent entièrement GPTBot19,7 %13,6 %12,9 %
Bloquent entièrement ClaudeBot19,7 %13,6 %12,3 %
Bloquent entièrement CCBot19,7 %15,1 %13,8 %
Bloquent entièrement Google-Extended19,7 %11,8 %11,2 %
Bloquent entièrement PerplexityBot21,1 %11,0 %7,5 %
Bloquent entièrement OAI-SearchBot15,5 %7,8 %5,4 %

Selon l'extension

Extensions comptant au moins 30 domaines avec une réponse lisible.

ExtensionDomainesrobots.txtBloquent GPTBotBloquent tout l'entraînementllms.txt
.com4 05470,3 %12,8 %7,5 %16,3 %
.net41262,9 %15,5 %11,9 %9,2 %
.org40776,4 %14,0 %8,8 %8,4 %
.ru21664,8 %7,9 %3,7 %6,9 %
.jp17357,2 %9,8 %5,8 %3,5 %
.de16175,2 %21,1 %8,7 %9,9 %
.io15166,2 %9,3 %7,9 %31,8 %
.edu11481,6 %5,3 %3,5 %3,5 %
.gov10965,1 %2,8 %1,8 %0,9 %
.br9264,1 %6,5 %3,3 %13,0 %
.fr9175,8 %26,4 %14,3 %2,2 %
.uk8267,1 %17,1 %7,3 %4,9 %
.it7770,1 %20,8 %5,2 %9,1 %
.in7546,7 %5,3 %5,3 %9,3 %
.cn7143,7 %2,8 %2,8 %2,8 %

Évolution depuis le passage précédent

Comparaison sur les 7 666 domaines présents, et lisibles, dans ce passage et dans celui du 8 novembre 2026, pour que les changements de composition de la liste Tranco ne faussent pas la tendance. llms.txt : 953 → 968 sites.

RobotAvantMaintenantÉcart (points)Nouveaux blocagesDéblocages
Google-Extended11,3 %11,1 %-0,2 %518
GPTBot12,9 %12,8 %-0,1 %615
PerplexityBot7,7 %7,6 %-0,1 %29
ChatGPT-User6,6 %6,6 %-0,1 %49
ClaudeBot12,3 %12,3 %-0,1 %711
Amazonbot11,4 %11,5 %+0,0 %106
CCBot13,8 %13,7 %-0,0 %812
Claude-User5,7 %5,7 %+0,0 %41
meta-externalagent11,6 %11,6 %+0,0 %107
DuckAssistBot5,8 %5,8 %+0,0 %41
OAI-SearchBot5,4 %5,4 %-0,0 %35
Claude-SearchBot5,4 %5,4 %+0,0 %42
MistralAI-User5,4 %5,5 %+0,0 %31
Perplexity-User5,9 %5,9 %+0,0 %43
Googlebot2,1 %2,1 %-0,0 %01
Bingbot2,7 %2,7 %-0,0 %01
Applebot3,8 %3,8 %-0,0 %01
Bytespider13,7 %13,7 %-0,0 %1011
Applebot-Extended11,3 %11,3 %+0,0 %77
meta-externalfetcher6,1 %6,1 %+0,0 %44

Historique

PassageDomainesGPTBotClaudeBotTout l'entraînementllms.txt
15 novembre 20267 92012,9 %12,3 %7,9 %12,6 %
8 novembre 20267 92412,8 %12,2 %7,7 %12,3 %
6 novembre 20267 92012,8 %12,3 %7,7 %12,3 %

Entre deux recensements

Le suivi des politiques IA relit robots.txt et llms.txt des 2 000 premiers domaines deux fois par jour : 19 changement(s) concernant l'IA ces 7 derniers jours.

  • cnbc.com (#486) bloque GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot, Bytespider; restreint en partie Googlebot (10 novembre 2026)
  • unesco.org (#614) retire son llms.txt (15 novembre 2026)
  • techcrunch.com (#633) débloque ChatGPT-User, Google-Extended (13 novembre 2026)
  • fiverr.com (#828) restreint en partie OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, MistralAI-User, DuckAssistBot (11 novembre 2026)
  • hbr.org (#912) bloque ClaudeBot, Applebot-Extended, meta-externalagent, meta-externalfetcher, Bytespider (13 novembre 2026)

Au-delà de robots.txt, l'indice de préparation à l'IA audite les pages d'accueil des mêmes 10 000 domaines : texte rendu côté serveur, données structurées, Open Graph, titres, sitemap et llms.txt.

Consulter un domaine du recensement

Voyez comment un domaine de la liste a été classé au dernier passage, robot par robot. Pour analyser un autre site, utilisez le scanner de visibilité IA.

Télécharger les données

Agrégats uniquement (aucune ligne par domaine), sous licence CC BY 4.0 : citez « Recensement des robots d'IA IABIG, iabig.com » avec un lien vers cette page.

  • census.json — dernier passage (tous les comptes, tranches de rang, extensions, évolution) et historique de tous les passages
  • census.csv — blocages par robot et par tranche de rang, dernier passage

Méthode

Liste des domaines. Chaque passage télécharge la dernière liste quotidienne Tranco (domaines enregistrables, combinant Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic et Farsight sur 30 jours) et en garde les 10 000 premiers. Tranco classe des domaines, pas des sites : un CDN ou une API peut être très populaire sans servir de pages.

Requêtes. Pour chaque domaine, nous demandons https://domaine/robots.txt, puis https://www.domaine/robots.txt, puis http://domaine/robots.txt jusqu'à obtenir une réponse, en suivant jusqu'à 5 redirections, en lisant 512 Kio au plus, avec un délai de connexion de 6 secondes. Nous demandons ensuite /llms.txt sur l'hôte qui a répondu. Les requêtes partent d'un serveur situé en Europe, 12 à la fois, avec le User-Agent iabig-census/1.0 (+https://iabig.com/ai-crawler-census/). Les sites qui répondent selon le pays, bloquent notre IP ou servent autre chose aux robots d'IA connus sont mesurés tels qu'ils nous ont répondu.

Interprétation. Les robots.txt sont lus avec le même analyseur RFC 9309 que notre testeur de robots.txt (groupe le plus spécifique, règle la plus longue, Allow gagne à égalité, jokers * et $). Pour chacun des 20 robots suivis :

Bloqué entièrement
La page d'accueil / et une page quelconque sont toutes deux interdites, par un groupe qui nomme le robot (« nommément ») ou par le groupe User-agent: *.
Restreint en partie
Pas bloqué entièrement, mais un groupe qui nomme le robot interdit quelque chose, ou les pages quelconques sont interdites alors que l'accueil est permis.
Nommé
Le jeton du robot figure dans une ligne User-agent, quelles que soient les règles.

Une réponse 4xx signifie « pas de robots.txt » et une page HTML servie à la place du fichier ne contient aucune règle exploitable : les deux valent autorisation complète, comme le prévoit la RFC 9309. Les erreurs serveur (5xx) et les hôtes injoignables sont exclus des pourcentages. Pour « nomment au moins un robot d'IA », Googlebot, Bingbot et Applebot, moteurs de recherche généralistes, ne comptent pas. Un llms.txt est compté comme présent quand /llms.txt répond HTTP 200 avec un contenu non HTML dont la première ligne est un titre Markdown, comme l'exige le format llmstxt.org.

Robots suivis : GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Google-Extended, Bingbot, Applebot, Applebot-Extended, meta-externalagent, meta-externalfetcher, Amazonbot, MistralAI-User, CCBot, Bytespider, DuckAssistBot.

Limites. robots.txt est une demande, pas un contrôle d'accès : il dit ce que le site demande, pas ce que font les robots (certains agents déclenchés par un utilisateur peuvent ne pas l'appliquer, selon leurs éditeurs). Beaucoup de sites bloquent aussi les robots d'IA au niveau du pare-feu ou du CDN (Cloudflare par exemple), ce que robots.txt ne montre pas. Les résultats sont des instantanés pris une fois par semaine.

Citation de la source. Classement issu de la liste Tranco 947V2 générée le 2026-11-14. Victor Le Pochat, Tom Van Goethem, Samaneh Tajalizadehkhoob, Maciej Korczyński and Wouter Joosen. “Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation.” In Proceedings of the 26th Network and Distributed System Security Symposium (NDSS 2019). https://doi.org/10.14722/ndss.2019.23386

Vous voulez choisir pour votre site ? Composez un robots.txt avec le générateur, testez-le avec le testeur ou prenez des listes de blocage prêtes à l'emploi. Les visites réelles des robots d'IA sont suivies dans l'Observatoire.