Liste des robots d'IA en 2026 - user-agents, jetons robots.txt et rôle de chaque crawler
GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, Google-Extended… éditeur, jeton robots.txt, rôle, respect de robots.txt et plages IP officielles.
Les éditeurs d'IA n'envoient plus un seul robot mais plusieurs agents aux rôles distincts : collecte pour l'entraînement, indexation pour un moteur de recherche conversationnel, ou visite ponctuelle déclenchée par la question d'un utilisateur. Les confondre conduit à bloquer la visibilité en croyant bloquer l'entraînement, ou l'inverse. Cette liste ne reprend que les agents décrits dans la documentation officielle de leur éditeur, consultée le 25 octobre 2026 ; les liens sont regroupés en fin de page.
Trois familles à distinguer
- Entraînement : le robot collecte des pages qui peuvent servir à entraîner des modèles. Le bloquer n'a en principe aucun effet sur la présence dans les réponses de recherche.
- Recherche et indexation : le robot alimente l'index qui permet à un assistant de citer et de lier votre site. Le bloquer réduit la visibilité.
- Action à la demande : l'agent visite une page parce qu'un utilisateur l'a demandé (lien collé dans la conversation, recherche en direct, tâche d'agent). Plusieurs éditeurs indiquent que robots.txt peut ne pas s'appliquer à ces requêtes.
Deux cas particuliers : Google-Extended et Applebot-Extended sont des jetons robots.txt, pas des robots. Aucune requête HTTP ne porte ces noms : la collecte est faite par Googlebot et Applebot, et le jeton sert uniquement à exprimer une préférence sur l'usage des données.
Robots d'entraînement
| Jeton robots.txt | Éditeur | Rôle déclaré | robots.txt selon l'éditeur | Plages IP publiées |
|---|---|---|---|---|
GPTBot |
OpenAI | Contenu pouvant servir à entraîner les modèles de fondation d'OpenAI | Oui | https://openai.com/gptbot.json |
ClaudeBot |
Anthropic | Contenu pouvant contribuer à l'entraînement des modèles | Oui, ainsi que Crawl-delay |
https://claude.com/crawling/bots.json (liste commune à tous les robots Anthropic) |
CCBot |
Common Crawl | Archive ouverte du web, réutilisable par quiconque | Oui (robots.txt lu avant chaque site, Crawl-delay respecté) |
https://index.commoncrawl.org/ccbot.json |
meta-externalagent |
Meta | Cas d'usage « tels que l'entraînement de modèles d'IA de fondation » | Meta indique d'ajouter un Disallow pour le bloquer |
Aucune liste publiée sur la page de Meta |
MistralAI-Training |
Mistral AI | Constitution de jeux de données d'entraînement | Oui, Disallow possible |
Aucune liste publiée |
Amazonbot |
Amazon | Amélioration des produits Amazon ; « peut servir à entraîner les modèles d'IA d'Amazon » | Oui, mais pas Crawl-delay |
https://developer.amazon.com/amazonbot/ip-addresses/ (page HTML) |
Bytespider |
ByteDance | Non confirmé : aucune documentation officielle trouvée | Non confirmé | Non confirmé |
Common Crawl ne présente pas CCBot comme un robot d'entraînement : il constitue une archive publique que n'importe qui peut télécharger, y compris pour entraîner des modèles. Le bloquer est donc le seul moyen d'empêcher que vos pages entrent dans les futures archives.
Pour Bytespider, le jeton circule dans tous les journaux et listes de blocage, mais nous n'avons trouvé aucune page de ByteDance qui décrive son rôle, son respect de robots.txt ou ses adresses IP. Les affirmations à son sujet proviennent de sources tierces.
Jetons de contrôle sans robot
| Jeton robots.txt | Éditeur | Ce qu'il contrôle | Effet sur la recherche |
|---|---|---|---|
Google-Extended |
L'usage du contenu collecté par Google pour entraîner les futurs modèles Gemini (Gemini Apps, Vertex AI API for Gemini) et pour l'ancrage (grounding) dans Gemini Apps et Grounding with Google Search sur Vertex AI | Selon Google, aucun effet sur l'inclusion dans Google Search ni sur le classement | |
Applebot-Extended |
Apple | L'usage des données collectées par Applebot pour entraîner les modèles de fondation d'Apple | Selon Apple, les pages restent dans les résultats et la règle n'est pas prise en compte dans le classement |
Point souvent ignoré : interdire Google-Extended retire aussi le contenu de l'ancrage dans les applications Gemini, pas seulement de l'entraînement. Côté Apple, l'exclusion des réponses génératives de Siri et de Search passe par la balise meta nosnippet, et non par Applebot-Extended.
Robots de recherche et d'indexation
| Jeton robots.txt | Éditeur | Rôle déclaré | robots.txt selon l'éditeur | Plages IP publiées |
|---|---|---|---|---|
OAI-SearchBot |
OpenAI | Faire apparaître les sites dans les fonctions de recherche de ChatGPT | Oui ; un site exclu peut encore apparaître comme simple lien de navigation | https://openai.com/searchbot.json |
Claude-SearchBot |
Anthropic | Indexer le web pour améliorer la pertinence des réponses de recherche | Oui | https://claude.com/crawling/bots.json |
PerplexityBot |
Perplexity | Faire apparaître et lier les sites dans les résultats de Perplexity ; non utilisé pour les modèles de fondation | Oui (jeton robots.txt documenté, prise en compte sous 24 h) | https://www.perplexity.com/perplexitybot.json |
Applebot |
Apple | Recherche dans Spotlight, Siri et Safari ; les données peuvent aussi servir à l'entraînement, sauf refus via Applebot-Extended |
Oui ; suit les règles de Googlebot si Applebot n'est pas nommé ; ignore Crawl-delay |
https://search.developer.apple.com/applebot.json |
Amzn-SearchBot |
Amazon | Expériences de recherche d'Amazon, dont Alexa ; pas d'entraînement génératif | Oui ; suit les règles des autres robots de recherche s'il n'est pas nommé | https://developer.amazon.com/amazonbot/searchbot-ip-addresses/ |
meta-webindexer |
Meta | Améliorer les résultats de recherche de Meta AI | Meta invite à l'autoriser pour être cité ; respect non précisé | Aucune liste publiée |
MistralAI-Index |
Mistral AI | Indexation pour la recherche de Mistral ; pas d'entraînement | Non précisé par Mistral | https://mistral.ai/mistralai-index-ips.json |
OpenAI précise que si GPTBot et OAI-SearchBot sont tous deux autorisés, une seule exploration peut servir aux deux usages : vous verrez alors moins de passages de l'un des deux dans vos journaux.
Agents agissant à la demande d'un utilisateur
| Jeton | Éditeur | Rôle déclaré | robots.txt selon l'éditeur | Plages IP publiées |
|---|---|---|---|---|
ChatGPT-User |
OpenAI | Visite d'une page lors d'une question dans ChatGPT ou un GPT personnalisé, GPT Actions | « Les règles robots.txt peuvent ne pas s'appliquer » ; non utilisé pour décider de l'apparition dans la recherche | https://openai.com/chatgpt-user.json |
Claude-User |
Anthropic | Accès à un site quand un utilisateur pose une question à Claude | Anthropic déclare que ses robots respectent robots.txt ; bloquer Claude-User empêche la récupération |
https://claude.com/crawling/bots.json |
Perplexity-User |
Perplexity | Visite d'une page pour répondre à une question et la citer | « Ignore généralement les règles robots.txt » | https://www.perplexity.com/perplexity-user.json |
MistralAI-User |
Mistral AI | Visite d'une page pour répondre à un utilisateur et citer la source | Jeton documenté ; respect non précisé | https://mistral.ai/mistralai-user-ips.json |
meta-externalfetcher |
Meta | Récupération de liens à la demande, y compris pour des tâches d'agent | « Peut contourner les règles robots.txt » | Aucune liste publiée |
Amzn-User |
Amazon | Informations en direct pour répondre aux requêtes Alexa | « Peut ne pas suivre toutes les directives » | https://developer.amazon.com/amazonbot/live-ip-addresses/ |
Google-Agent (chaîne HTTP) |
Agents hébergés par Google qui naviguent et agissent à la demande | Les fetchers déclenchés par un utilisateur ignorent généralement robots.txt ; pas de jeton robots.txt documenté | https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json |
Google liste aussi Google-GeminiNotebook (sources ajoutées par les utilisateurs de Gemini Notebook, anciennement Google-NotebookLM), dans la même catégorie des fetchers déclenchés par l'utilisateur.
Chaînes User-Agent complètes publiées
Les éditeurs suivants publient la chaîne exacte. Les numéros de version peuvent changer : filtrez sur le jeton, pas sur la chaîne entière.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
CCBot/2.0 (https://commoncrawl.org/faq/)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots)
meta-externalagent/1.1
OpenAI signale qu'il peut ajouter un marqueur robots.txt à la chaîne lorsqu'il récupère ce fichier. Anthropic ne publie que les noms (ClaudeBot, Claude-SearchBot, Claude-User), sans chaîne complète. D'anciens jetons comme anthropic-ai ou Claude-Web figurent encore dans de nombreuses listes, mais n'apparaissent pas dans la documentation actuelle d'Anthropic.
Ce qu'il faut retenir
- Une chaîne User-Agent se falsifie en une ligne : seules les plages IP publiées (ou le DNS inverse pour Google, Apple et Common Crawl) permettent d'authentifier un robot.
- Bloquer un robot d'entraînement ne retire pas votre site des réponses de recherche, à l'exception de
Google-Extended, qui couvre aussi l'ancrage dans Gemini. - Pour les agents à la demande, robots.txt n'est pas une garantie : OpenAI, Perplexity, Meta, Amazon et Google le disent explicitement.
- Anthropic rappelle que bloquer ses adresses IP n'est pas un moyen fiable de refuser l'entraînement, car le robot ne peut alors plus lire robots.txt.
Pour vérifier votre site, utilisez le scanner IABIG.
Sources officielles
- OpenAI, Overview of OpenAI Crawlers : https://developers.openai.com/api/docs/bots
- Anthropic, Does Anthropic crawl data from the web : https://support.claude.com/en/articles/8896518
- Perplexity, Perplexity Crawlers : https://docs.perplexity.ai/docs/resources/perplexity-crawlers
- Google, Google's common crawlers (Google-Extended) : https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google, User-triggered fetchers : https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
- Apple, About Applebot : https://support.apple.com/en-us/119829
- Common Crawl, CCBot et FAQ : https://commoncrawl.org/ccbot et https://commoncrawl.org/faq
- Meta, Meta Web Crawlers : https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/
- Amazon, Amazonbot : https://developer.amazon.com/amazonbot
- Mistral AI, Mistral crawlers : https://docs.mistral.ai/robots
À lire aussi
- robots.txt - bloquer l'entraînement des IA et rester visible dans ChatGPT Search, Perplexity et ClaudeUn robots.txt commenté qui refuse GPTBot, ClaudeBot ou CCBot sans quitter ChatGPT Search, Perplexity et Claude, avec les pièges de la RFC 9309 à éviter.
- Vérifier qu'un robot GPTBot, ClaudeBot ou PerplexityBot est authentique - plages IP et DNS inverseConfirmer qu'une requête GPTBot, ClaudeBot ou PerplexityBot vient bien de son éditeur grâce aux plages IP officielles ou au DNS, puis bloquer les imitateurs.
- Mesurer les visites des robots d'IA dans les logs nginx et Apache - grep, awk et GoAccessCompter les visites de GPTBot, ClaudeBot, PerplexityBot et autres robots d'IA dans les logs nginx ou Apache, par robot et par page, avec un script complet.