Les chiffres clés
Les pourcentages portent sur les 7 920 domaines dont la requête robots.txt a reçu une réponse exploitable (un fichier, un statut 4xx ou une page HTML à la place du fichier). Les 2 079 autres domaines de la liste n'ont pas répondu, ont renvoyé une erreur serveur ou n'hébergent pas de site (beaucoup de domaines très populaires sont des CDN, des régies publicitaires ou des API).
Ce que disent les données
- Le robot le plus bloqué est CCBot (13,8 % des sites) ; le moins bloqué est Googlebot (2,1 %).
- Entraînement et recherche ne sont pas traités pareil : GPTBot est bloqué entièrement par 12,9 % des sites, mais le robot de recherche d'OpenAI, OAI-SearchBot, par 5,4 % ; ClaudeBot par 12,3 % contre 5,4 % pour Claude-SearchBot.
- 5,9 % des sites bloquent GPTBot et ClaudeBot tout en laissant passer OAI-SearchBot et Claude-SearchBot : la configuration « pas d'entraînement, mais rester citable ».
- Google-Extended, le jeton qui règle l'entraînement de Gemini sans toucher à la recherche Google, est bloqué par 11,2 % des sites.
- 14,2 % des sites bloquent au moins un robot d'IA en le nommant, et 2,0 % bloquent tous les robots suivis, le plus souvent avec un
User-agent: */Disallow: /général. - 12,5 % des sites refusent la requête robots.txt elle-même (HTTP 401 ou 403), souvent à cause d'une protection anti-robots : selon la RFC 9309 cela vaut « aucune restriction », mais ces sites filtrent en général les robots au niveau du réseau.
Taux de blocage de chaque robot d'IA
Part des sites dont le robots.txt interdit au robot à la fois la page d'accueil et une page quelconque, dans un groupe qui le nomme ou via le groupe générique User-agent: *.
User-agent: *Intégrer ce graphique
Version PNG actualisée après chaque passage, réutilisable sous CC BY 4.0 avec le lien de crédit :
| Robot | Bloqué entièrement | …nommément | Restreint en partie | Nommé dans robots.txt |
|---|---|---|---|---|
| CCBot Common Crawl · Entraînement | 13,8 % | 10,8 % | 1,6 % | 13,1 % |
| Bytespider ByteDance · Entraînement | 13,7 % | 10,7 % | 1,2 % | 12,1 % |
| GPTBot OpenAI · Entraînement | 12,9 % | 10,2 % | 3,0 % | 15,0 % |
| ClaudeBot Anthropic · Entraînement | 12,3 % | 9,4 % | 2,4 % | 13,2 % |
| meta-externalagent Meta · Entraînement | 11,6 % | 8,6 % | 1,3 % | 10,5 % |
| Amazonbot Amazon · Entraînement | 11,5 % | 8,5 % | 1,5 % | 10,5 % |
| Applebot-Extended Apple · Entraînement | 11,4 % | 8,4 % | 1,4 % | 10,4 % |
| Google-Extended Google · Entraînement | 11,2 % | 8,4 % | 2,3 % | 12,5 % |
| PerplexityBot Perplexity · Recherche | 7,5 % | 4,7 % | 2,6 % | 9,2 % |
| ChatGPT-User OpenAI · Navigation | 6,5 % | 3,8 % | 2,8 % | 8,4 % |
| meta-externalfetcher Meta · Navigation | 6,0 % | 2,9 % | 0,8 % | 3,9 % |
| Perplexity-User Perplexity · Navigation | 5,8 % | 2,8 % | 1,5 % | 5,0 % |
| DuckAssistBot DuckDuckGo · Recherche | 5,8 % | 2,7 % | 1,2 % | 4,1 % |
| Claude-User Anthropic · Navigation | 5,7 % | 2,8 % | 1,6 % | 5,1 % |
| MistralAI-User Mistral AI · Navigation | 5,4 % | 2,3 % | 0,8 % | 3,3 % |
| Claude-SearchBot Anthropic · Recherche | 5,4 % | 2,4 % | 1,8 % | 4,8 % |
| OAI-SearchBot OpenAI · Recherche | 5,4 % | 2,6 % | 2,8 % | 7,3 % |
| Applebot Apple · Recherche | 3,8 % | 1,2 % | 1,8 % | 3,8 % |
| Bingbot Microsoft · Recherche | 2,7 % | 0,5 % | 3,6 % | 5,7 % |
| Googlebot Google · Recherche | 2,1 % | 0,1 % | 4,8 % | 6,9 % |
Selon le rang de popularité
Tranches cumulées du classement Tranco : le top 100 fait aussi partie du top 1 000, et ainsi de suite.
| Top 100 | Top 1 000 | Top 10 000 | |
|---|---|---|---|
| Domaines avec réponse lisible | 71 | 727 | 7 920 |
| Servent un fichier robots.txt | 67,6 % | 65,5 % | 69,5 % |
| Nomment au moins un robot d'IA | 26,8 % | 21,9 % | 19,3 % |
| Bloquent tous les robots d'entraînement | 15,5 % | 8,1 % | 7,9 % |
| Publient un llms.txt | 12,7 % | 17,1 % | 12,6 % |
| Bloquent entièrement GPTBot | 19,7 % | 13,6 % | 12,9 % |
| Bloquent entièrement ClaudeBot | 19,7 % | 13,6 % | 12,3 % |
| Bloquent entièrement CCBot | 19,7 % | 15,1 % | 13,8 % |
| Bloquent entièrement Google-Extended | 19,7 % | 11,8 % | 11,2 % |
| Bloquent entièrement PerplexityBot | 21,1 % | 11,0 % | 7,5 % |
| Bloquent entièrement OAI-SearchBot | 15,5 % | 7,8 % | 5,4 % |
Selon l'extension
Extensions comptant au moins 30 domaines avec une réponse lisible.
| Extension | Domaines | robots.txt | Bloquent GPTBot | Bloquent tout l'entraînement | llms.txt |
|---|---|---|---|---|---|
| .com | 4 054 | 70,3 % | 12,8 % | 7,5 % | 16,3 % |
| .net | 412 | 62,9 % | 15,5 % | 11,9 % | 9,2 % |
| .org | 407 | 76,4 % | 14,0 % | 8,8 % | 8,4 % |
| .ru | 216 | 64,8 % | 7,9 % | 3,7 % | 6,9 % |
| .jp | 173 | 57,2 % | 9,8 % | 5,8 % | 3,5 % |
| .de | 161 | 75,2 % | 21,1 % | 8,7 % | 9,9 % |
| .io | 151 | 66,2 % | 9,3 % | 7,9 % | 31,8 % |
| .edu | 114 | 81,6 % | 5,3 % | 3,5 % | 3,5 % |
| .gov | 109 | 65,1 % | 2,8 % | 1,8 % | 0,9 % |
| .br | 92 | 64,1 % | 6,5 % | 3,3 % | 13,0 % |
| .fr | 91 | 75,8 % | 26,4 % | 14,3 % | 2,2 % |
| .uk | 82 | 67,1 % | 17,1 % | 7,3 % | 4,9 % |
| .it | 77 | 70,1 % | 20,8 % | 5,2 % | 9,1 % |
| .in | 75 | 46,7 % | 5,3 % | 5,3 % | 9,3 % |
| .cn | 71 | 43,7 % | 2,8 % | 2,8 % | 2,8 % |
Évolution depuis le passage précédent
Comparaison sur les 7 666 domaines présents, et lisibles, dans ce passage et dans celui du 8 novembre 2026, pour que les changements de composition de la liste Tranco ne faussent pas la tendance. llms.txt : 953 → 968 sites.
| Robot | Avant | Maintenant | Écart (points) | Nouveaux blocages | Déblocages |
|---|---|---|---|---|---|
| Google-Extended | 11,3 % | 11,1 % | -0,2 % | 5 | 18 |
| GPTBot | 12,9 % | 12,8 % | -0,1 % | 6 | 15 |
| PerplexityBot | 7,7 % | 7,6 % | -0,1 % | 2 | 9 |
| ChatGPT-User | 6,6 % | 6,6 % | -0,1 % | 4 | 9 |
| ClaudeBot | 12,3 % | 12,3 % | -0,1 % | 7 | 11 |
| Amazonbot | 11,4 % | 11,5 % | +0,0 % | 10 | 6 |
| CCBot | 13,8 % | 13,7 % | -0,0 % | 8 | 12 |
| Claude-User | 5,7 % | 5,7 % | +0,0 % | 4 | 1 |
| meta-externalagent | 11,6 % | 11,6 % | +0,0 % | 10 | 7 |
| DuckAssistBot | 5,8 % | 5,8 % | +0,0 % | 4 | 1 |
| OAI-SearchBot | 5,4 % | 5,4 % | -0,0 % | 3 | 5 |
| Claude-SearchBot | 5,4 % | 5,4 % | +0,0 % | 4 | 2 |
| MistralAI-User | 5,4 % | 5,5 % | +0,0 % | 3 | 1 |
| Perplexity-User | 5,9 % | 5,9 % | +0,0 % | 4 | 3 |
| Googlebot | 2,1 % | 2,1 % | -0,0 % | 0 | 1 |
| Bingbot | 2,7 % | 2,7 % | -0,0 % | 0 | 1 |
| Applebot | 3,8 % | 3,8 % | -0,0 % | 0 | 1 |
| Bytespider | 13,7 % | 13,7 % | -0,0 % | 10 | 11 |
| Applebot-Extended | 11,3 % | 11,3 % | +0,0 % | 7 | 7 |
| meta-externalfetcher | 6,1 % | 6,1 % | +0,0 % | 4 | 4 |
Historique
| Passage | Domaines | GPTBot | ClaudeBot | Tout l'entraînement | llms.txt |
|---|---|---|---|---|---|
| 15 novembre 2026 | 7 920 | 12,9 % | 12,3 % | 7,9 % | 12,6 % |
| 8 novembre 2026 | 7 924 | 12,8 % | 12,2 % | 7,7 % | 12,3 % |
| 6 novembre 2026 | 7 920 | 12,8 % | 12,3 % | 7,7 % | 12,3 % |
Entre deux recensements
Le suivi des politiques IA relit robots.txt et llms.txt des 2 000 premiers domaines deux fois par jour : 19 changement(s) concernant l'IA ces 7 derniers jours.
- cnbc.com (#486) bloque GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot, Bytespider; restreint en partie Googlebot (10 novembre 2026)
- unesco.org (#614) retire son llms.txt (15 novembre 2026)
- techcrunch.com (#633) débloque ChatGPT-User, Google-Extended (13 novembre 2026)
- fiverr.com (#828) restreint en partie OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, Applebot-Extended, MistralAI-User, DuckAssistBot (11 novembre 2026)
- hbr.org (#912) bloque ClaudeBot, Applebot-Extended, meta-externalagent, meta-externalfetcher, Bytespider (13 novembre 2026)
Au-delà de robots.txt, l'indice de préparation à l'IA audite les pages d'accueil des mêmes 10 000 domaines : texte rendu côté serveur, données structurées, Open Graph, titres, sitemap et llms.txt.
Consulter un domaine du recensement
Voyez comment un domaine de la liste a été classé au dernier passage, robot par robot. Pour analyser un autre site, utilisez le scanner de visibilité IA.
Télécharger les données
Agrégats uniquement (aucune ligne par domaine), sous licence CC BY 4.0 : citez « Recensement des robots d'IA IABIG, iabig.com » avec un lien vers cette page.
- census.json — dernier passage (tous les comptes, tranches de rang, extensions, évolution) et historique de tous les passages
- census.csv — blocages par robot et par tranche de rang, dernier passage
Méthode
Liste des domaines. Chaque passage télécharge la dernière liste quotidienne Tranco (domaines enregistrables, combinant Chrome UX Report, Cloudflare Radar, Cisco Umbrella, Majestic et Farsight sur 30 jours) et en garde les 10 000 premiers. Tranco classe des domaines, pas des sites : un CDN ou une API peut être très populaire sans servir de pages.
Requêtes. Pour chaque domaine, nous demandons https://domaine/robots.txt, puis https://www.domaine/robots.txt, puis http://domaine/robots.txt jusqu'à obtenir une réponse, en suivant jusqu'à 5 redirections, en lisant 512 Kio au plus, avec un délai de connexion de 6 secondes. Nous demandons ensuite /llms.txt sur l'hôte qui a répondu. Les requêtes partent d'un serveur situé en Europe, 12 à la fois, avec le User-Agent iabig-census/1.0 (+https://iabig.com/ai-crawler-census/). Les sites qui répondent selon le pays, bloquent notre IP ou servent autre chose aux robots d'IA connus sont mesurés tels qu'ils nous ont répondu.
Interprétation. Les robots.txt sont lus avec le même analyseur RFC 9309 que notre testeur de robots.txt (groupe le plus spécifique, règle la plus longue, Allow gagne à égalité, jokers * et $). Pour chacun des 20 robots suivis :
- Bloqué entièrement
- La page d'accueil
/et une page quelconque sont toutes deux interdites, par un groupe qui nomme le robot (« nommément ») ou par le groupeUser-agent: *. - Restreint en partie
- Pas bloqué entièrement, mais un groupe qui nomme le robot interdit quelque chose, ou les pages quelconques sont interdites alors que l'accueil est permis.
- Nommé
- Le jeton du robot figure dans une ligne
User-agent, quelles que soient les règles.
Une réponse 4xx signifie « pas de robots.txt » et une page HTML servie à la place du fichier ne contient aucune règle exploitable : les deux valent autorisation complète, comme le prévoit la RFC 9309. Les erreurs serveur (5xx) et les hôtes injoignables sont exclus des pourcentages. Pour « nomment au moins un robot d'IA », Googlebot, Bingbot et Applebot, moteurs de recherche généralistes, ne comptent pas. Un llms.txt est compté comme présent quand /llms.txt répond HTTP 200 avec un contenu non HTML dont la première ligne est un titre Markdown, comme l'exige le format llmstxt.org.
Robots suivis : GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Google-Extended, Bingbot, Applebot, Applebot-Extended, meta-externalagent, meta-externalfetcher, Amazonbot, MistralAI-User, CCBot, Bytespider, DuckAssistBot.
Limites. robots.txt est une demande, pas un contrôle d'accès : il dit ce que le site demande, pas ce que font les robots (certains agents déclenchés par un utilisateur peuvent ne pas l'appliquer, selon leurs éditeurs). Beaucoup de sites bloquent aussi les robots d'IA au niveau du pare-feu ou du CDN (Cloudflare par exemple), ce que robots.txt ne montre pas. Les résultats sont des instantanés pris une fois par semaine.
Citation de la source. Classement issu de la liste Tranco 947V2 générée le 2026-11-14. Victor Le Pochat, Tom Van Goethem, Samaneh Tajalizadehkhoob, Maciej Korczyński and Wouter Joosen. “Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation.” In Proceedings of the 26th Network and Distributed System Security Symposium (NDSS 2019). https://doi.org/10.14722/ndss.2019.23386