# Liste des robots d'IA en 2026 - user-agents, jetons robots.txt et rôle de chaque crawler > GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, Google-Extended… éditeur, jeton robots.txt, rôle, respect de robots.txt et plages IP officielles. Source : https://iabig.com/robots-ia/liste-robots-ia-user-agents/ — Guides CC BY 4.0, extraits de code MIT Les éditeurs d'IA n'envoient plus un seul robot mais plusieurs agents aux rôles distincts : collecte pour l'entraînement, indexation pour un moteur de recherche conversationnel, ou visite ponctuelle déclenchée par la question d'un utilisateur. Les confondre conduit à bloquer la visibilité en croyant bloquer l'entraînement, ou l'inverse. Cette liste ne reprend que les agents décrits dans la documentation officielle de leur éditeur, consultée le 25 octobre 2026 ; les liens sont regroupés en fin de page. ## Trois familles à distinguer - **Entraînement** : le robot collecte des pages qui peuvent servir à entraîner des modèles. Le bloquer n'a en principe aucun effet sur la présence dans les réponses de recherche. - **Recherche et indexation** : le robot alimente l'index qui permet à un assistant de citer et de lier votre site. Le bloquer réduit la visibilité. - **Action à la demande** : l'agent visite une page parce qu'un utilisateur l'a demandé (lien collé dans la conversation, recherche en direct, tâche d'agent). Plusieurs éditeurs indiquent que robots.txt peut ne pas s'appliquer à ces requêtes. Deux cas particuliers : **Google-Extended** et **Applebot-Extended** sont des jetons robots.txt, pas des robots. Aucune requête HTTP ne porte ces noms : la collecte est faite par Googlebot et Applebot, et le jeton sert uniquement à exprimer une préférence sur l'usage des données. ## Robots d'entraînement | Jeton robots.txt | Éditeur | Rôle déclaré | robots.txt selon l'éditeur | Plages IP publiées | |---|---|---|---|---| | `GPTBot` | OpenAI | Contenu pouvant servir à entraîner les modèles de fondation d'OpenAI | Oui | `https://openai.com/gptbot.json` | | `ClaudeBot` | Anthropic | Contenu pouvant contribuer à l'entraînement des modèles | Oui, ainsi que `Crawl-delay` | `https://claude.com/crawling/bots.json` (liste commune à tous les robots Anthropic) | | `CCBot` | Common Crawl | Archive ouverte du web, réutilisable par quiconque | Oui (robots.txt lu avant chaque site, `Crawl-delay` respecté) | `https://index.commoncrawl.org/ccbot.json` | | `meta-externalagent` | Meta | Cas d'usage « tels que l'entraînement de modèles d'IA de fondation » | Meta indique d'ajouter un `Disallow` pour le bloquer | Aucune liste publiée sur la page de Meta | | `MistralAI-Training` | Mistral AI | Constitution de jeux de données d'entraînement | Oui, `Disallow` possible | Aucune liste publiée | | `Amazonbot` | Amazon | Amélioration des produits Amazon ; « peut servir à entraîner les modèles d'IA d'Amazon » | Oui, mais pas `Crawl-delay` | `https://developer.amazon.com/amazonbot/ip-addresses/` (page HTML) | | `Bytespider` | ByteDance | Non confirmé : aucune documentation officielle trouvée | Non confirmé | Non confirmé | Common Crawl ne présente pas CCBot comme un robot d'entraînement : il constitue une archive publique que n'importe qui peut télécharger, y compris pour entraîner des modèles. Le bloquer est donc le seul moyen d'empêcher que vos pages entrent dans les futures archives. Pour Bytespider, le jeton circule dans tous les journaux et listes de blocage, mais nous n'avons trouvé aucune page de ByteDance qui décrive son rôle, son respect de robots.txt ou ses adresses IP. Les affirmations à son sujet proviennent de sources tierces. ## Jetons de contrôle sans robot | Jeton robots.txt | Éditeur | Ce qu'il contrôle | Effet sur la recherche | |---|---|---|---| | `Google-Extended` | Google | L'usage du contenu collecté par Google pour entraîner les futurs modèles Gemini (Gemini Apps, Vertex AI API for Gemini) et pour l'ancrage (*grounding*) dans Gemini Apps et Grounding with Google Search sur Vertex AI | Selon Google, aucun effet sur l'inclusion dans Google Search ni sur le classement | | `Applebot-Extended` | Apple | L'usage des données collectées par Applebot pour entraîner les modèles de fondation d'Apple | Selon Apple, les pages restent dans les résultats et la règle n'est pas prise en compte dans le classement | Point souvent ignoré : interdire `Google-Extended` retire aussi le contenu de l'ancrage dans les applications Gemini, pas seulement de l'entraînement. Côté Apple, l'exclusion des réponses génératives de Siri et de Search passe par la balise meta `nosnippet`, et non par `Applebot-Extended`. ## Robots de recherche et d'indexation | Jeton robots.txt | Éditeur | Rôle déclaré | robots.txt selon l'éditeur | Plages IP publiées | |---|---|---|---|---| | `OAI-SearchBot` | OpenAI | Faire apparaître les sites dans les fonctions de recherche de ChatGPT | Oui ; un site exclu peut encore apparaître comme simple lien de navigation | `https://openai.com/searchbot.json` | | `Claude-SearchBot` | Anthropic | Indexer le web pour améliorer la pertinence des réponses de recherche | Oui | `https://claude.com/crawling/bots.json` | | `PerplexityBot` | Perplexity | Faire apparaître et lier les sites dans les résultats de Perplexity ; non utilisé pour les modèles de fondation | Oui (jeton robots.txt documenté, prise en compte sous 24 h) | `https://www.perplexity.com/perplexitybot.json` | | `Applebot` | Apple | Recherche dans Spotlight, Siri et Safari ; les données peuvent aussi servir à l'entraînement, sauf refus via `Applebot-Extended` | Oui ; suit les règles de Googlebot si Applebot n'est pas nommé ; ignore `Crawl-delay` | `https://search.developer.apple.com/applebot.json` | | `Amzn-SearchBot` | Amazon | Expériences de recherche d'Amazon, dont Alexa ; pas d'entraînement génératif | Oui ; suit les règles des autres robots de recherche s'il n'est pas nommé | `https://developer.amazon.com/amazonbot/searchbot-ip-addresses/` | | `meta-webindexer` | Meta | Améliorer les résultats de recherche de Meta AI | Meta invite à l'autoriser pour être cité ; respect non précisé | Aucune liste publiée | | `MistralAI-Index` | Mistral AI | Indexation pour la recherche de Mistral ; pas d'entraînement | Non précisé par Mistral | `https://mistral.ai/mistralai-index-ips.json` | OpenAI précise que si `GPTBot` et `OAI-SearchBot` sont tous deux autorisés, une seule exploration peut servir aux deux usages : vous verrez alors moins de passages de l'un des deux dans vos journaux. ## Agents agissant à la demande d'un utilisateur | Jeton | Éditeur | Rôle déclaré | robots.txt selon l'éditeur | Plages IP publiées | |---|---|---|---|---| | `ChatGPT-User` | OpenAI | Visite d'une page lors d'une question dans ChatGPT ou un GPT personnalisé, GPT Actions | « Les règles robots.txt peuvent ne pas s'appliquer » ; non utilisé pour décider de l'apparition dans la recherche | `https://openai.com/chatgpt-user.json` | | `Claude-User` | Anthropic | Accès à un site quand un utilisateur pose une question à Claude | Anthropic déclare que ses robots respectent robots.txt ; bloquer `Claude-User` empêche la récupération | `https://claude.com/crawling/bots.json` | | `Perplexity-User` | Perplexity | Visite d'une page pour répondre à une question et la citer | « Ignore généralement les règles robots.txt » | `https://www.perplexity.com/perplexity-user.json` | | `MistralAI-User` | Mistral AI | Visite d'une page pour répondre à un utilisateur et citer la source | Jeton documenté ; respect non précisé | `https://mistral.ai/mistralai-user-ips.json` | | `meta-externalfetcher` | Meta | Récupération de liens à la demande, y compris pour des tâches d'agent | « Peut contourner les règles robots.txt » | Aucune liste publiée | | `Amzn-User` | Amazon | Informations en direct pour répondre aux requêtes Alexa | « Peut ne pas suivre toutes les directives » | `https://developer.amazon.com/amazonbot/live-ip-addresses/` | | `Google-Agent` (chaîne HTTP) | Google | Agents hébergés par Google qui naviguent et agissent à la demande | Les fetchers déclenchés par un utilisateur ignorent généralement robots.txt ; pas de jeton robots.txt documenté | `https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json` | Google liste aussi `Google-GeminiNotebook` (sources ajoutées par les utilisateurs de Gemini Notebook, anciennement `Google-NotebookLM`), dans la même catégorie des fetchers déclenchés par l'utilisateur. ## Chaînes User-Agent complètes publiées Les éditeurs suivants publient la chaîne exacte. Les numéros de version peuvent changer : filtrez sur le jeton, pas sur la chaîne entière. ```text Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) CCBot/2.0 (https://commoncrawl.org/faq/) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots) meta-externalagent/1.1 ``` OpenAI signale qu'il peut ajouter un marqueur `robots.txt` à la chaîne lorsqu'il récupère ce fichier. Anthropic ne publie que les noms (`ClaudeBot`, `Claude-SearchBot`, `Claude-User`), sans chaîne complète. D'anciens jetons comme `anthropic-ai` ou `Claude-Web` figurent encore dans de nombreuses listes, mais n'apparaissent pas dans la documentation actuelle d'Anthropic. ## Ce qu'il faut retenir - Une chaîne User-Agent se falsifie en une ligne : seules les plages IP publiées (ou le DNS inverse pour Google, Apple et Common Crawl) permettent d'authentifier un robot. - Bloquer un robot d'entraînement ne retire pas votre site des réponses de recherche, à l'exception de `Google-Extended`, qui couvre aussi l'ancrage dans Gemini. - Pour les agents à la demande, robots.txt n'est pas une garantie : OpenAI, Perplexity, Meta, Amazon et Google le disent explicitement. - Anthropic rappelle que bloquer ses adresses IP n'est pas un moyen fiable de refuser l'entraînement, car le robot ne peut alors plus lire robots.txt. Pour vérifier votre site, utilisez le [scanner IABIG](/). ## Sources officielles - OpenAI, Overview of OpenAI Crawlers : - Anthropic, Does Anthropic crawl data from the web : - Perplexity, Perplexity Crawlers : - Google, Google's common crawlers (Google-Extended) : - Google, User-triggered fetchers : - Apple, About Applebot : - Common Crawl, CCBot et FAQ : et - Meta, Meta Web Crawlers : - Amazon, Amazonbot : - Mistral AI, Mistral crawlers :