IABIGEN · English

Robots d'IA · Mis à jour le 2026-10-25 · Version Markdown

Liste des robots d'IA en 2026 - user-agents, jetons robots.txt et rôle de chaque crawler

GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, Google-Extended… éditeur, jeton robots.txt, rôle, respect de robots.txt et plages IP officielles.

Les éditeurs d'IA n'envoient plus un seul robot mais plusieurs agents aux rôles distincts : collecte pour l'entraînement, indexation pour un moteur de recherche conversationnel, ou visite ponctuelle déclenchée par la question d'un utilisateur. Les confondre conduit à bloquer la visibilité en croyant bloquer l'entraînement, ou l'inverse. Cette liste ne reprend que les agents décrits dans la documentation officielle de leur éditeur, consultée le 25 octobre 2026 ; les liens sont regroupés en fin de page.

Trois familles à distinguer

  • Entraînement : le robot collecte des pages qui peuvent servir à entraîner des modèles. Le bloquer n'a en principe aucun effet sur la présence dans les réponses de recherche.
  • Recherche et indexation : le robot alimente l'index qui permet à un assistant de citer et de lier votre site. Le bloquer réduit la visibilité.
  • Action à la demande : l'agent visite une page parce qu'un utilisateur l'a demandé (lien collé dans la conversation, recherche en direct, tâche d'agent). Plusieurs éditeurs indiquent que robots.txt peut ne pas s'appliquer à ces requêtes.

Deux cas particuliers : Google-Extended et Applebot-Extended sont des jetons robots.txt, pas des robots. Aucune requête HTTP ne porte ces noms : la collecte est faite par Googlebot et Applebot, et le jeton sert uniquement à exprimer une préférence sur l'usage des données.

Robots d'entraînement

Jeton robots.txt Éditeur Rôle déclaré robots.txt selon l'éditeur Plages IP publiées
GPTBot OpenAI Contenu pouvant servir à entraîner les modèles de fondation d'OpenAI Oui https://openai.com/gptbot.json
ClaudeBot Anthropic Contenu pouvant contribuer à l'entraînement des modèles Oui, ainsi que Crawl-delay https://claude.com/crawling/bots.json (liste commune à tous les robots Anthropic)
CCBot Common Crawl Archive ouverte du web, réutilisable par quiconque Oui (robots.txt lu avant chaque site, Crawl-delay respecté) https://index.commoncrawl.org/ccbot.json
meta-externalagent Meta Cas d'usage « tels que l'entraînement de modèles d'IA de fondation » Meta indique d'ajouter un Disallow pour le bloquer Aucune liste publiée sur la page de Meta
MistralAI-Training Mistral AI Constitution de jeux de données d'entraînement Oui, Disallow possible Aucune liste publiée
Amazonbot Amazon Amélioration des produits Amazon ; « peut servir à entraîner les modèles d'IA d'Amazon » Oui, mais pas Crawl-delay https://developer.amazon.com/amazonbot/ip-addresses/ (page HTML)
Bytespider ByteDance Non confirmé : aucune documentation officielle trouvée Non confirmé Non confirmé

Common Crawl ne présente pas CCBot comme un robot d'entraînement : il constitue une archive publique que n'importe qui peut télécharger, y compris pour entraîner des modèles. Le bloquer est donc le seul moyen d'empêcher que vos pages entrent dans les futures archives.

Pour Bytespider, le jeton circule dans tous les journaux et listes de blocage, mais nous n'avons trouvé aucune page de ByteDance qui décrive son rôle, son respect de robots.txt ou ses adresses IP. Les affirmations à son sujet proviennent de sources tierces.

Jetons de contrôle sans robot

Jeton robots.txt Éditeur Ce qu'il contrôle Effet sur la recherche
Google-Extended Google L'usage du contenu collecté par Google pour entraîner les futurs modèles Gemini (Gemini Apps, Vertex AI API for Gemini) et pour l'ancrage (grounding) dans Gemini Apps et Grounding with Google Search sur Vertex AI Selon Google, aucun effet sur l'inclusion dans Google Search ni sur le classement
Applebot-Extended Apple L'usage des données collectées par Applebot pour entraîner les modèles de fondation d'Apple Selon Apple, les pages restent dans les résultats et la règle n'est pas prise en compte dans le classement

Point souvent ignoré : interdire Google-Extended retire aussi le contenu de l'ancrage dans les applications Gemini, pas seulement de l'entraînement. Côté Apple, l'exclusion des réponses génératives de Siri et de Search passe par la balise meta nosnippet, et non par Applebot-Extended.

Robots de recherche et d'indexation

Jeton robots.txt Éditeur Rôle déclaré robots.txt selon l'éditeur Plages IP publiées
OAI-SearchBot OpenAI Faire apparaître les sites dans les fonctions de recherche de ChatGPT Oui ; un site exclu peut encore apparaître comme simple lien de navigation https://openai.com/searchbot.json
Claude-SearchBot Anthropic Indexer le web pour améliorer la pertinence des réponses de recherche Oui https://claude.com/crawling/bots.json
PerplexityBot Perplexity Faire apparaître et lier les sites dans les résultats de Perplexity ; non utilisé pour les modèles de fondation Oui (jeton robots.txt documenté, prise en compte sous 24 h) https://www.perplexity.com/perplexitybot.json
Applebot Apple Recherche dans Spotlight, Siri et Safari ; les données peuvent aussi servir à l'entraînement, sauf refus via Applebot-Extended Oui ; suit les règles de Googlebot si Applebot n'est pas nommé ; ignore Crawl-delay https://search.developer.apple.com/applebot.json
Amzn-SearchBot Amazon Expériences de recherche d'Amazon, dont Alexa ; pas d'entraînement génératif Oui ; suit les règles des autres robots de recherche s'il n'est pas nommé https://developer.amazon.com/amazonbot/searchbot-ip-addresses/
meta-webindexer Meta Améliorer les résultats de recherche de Meta AI Meta invite à l'autoriser pour être cité ; respect non précisé Aucune liste publiée
MistralAI-Index Mistral AI Indexation pour la recherche de Mistral ; pas d'entraînement Non précisé par Mistral https://mistral.ai/mistralai-index-ips.json

OpenAI précise que si GPTBot et OAI-SearchBot sont tous deux autorisés, une seule exploration peut servir aux deux usages : vous verrez alors moins de passages de l'un des deux dans vos journaux.

Agents agissant à la demande d'un utilisateur

Jeton Éditeur Rôle déclaré robots.txt selon l'éditeur Plages IP publiées
ChatGPT-User OpenAI Visite d'une page lors d'une question dans ChatGPT ou un GPT personnalisé, GPT Actions « Les règles robots.txt peuvent ne pas s'appliquer » ; non utilisé pour décider de l'apparition dans la recherche https://openai.com/chatgpt-user.json
Claude-User Anthropic Accès à un site quand un utilisateur pose une question à Claude Anthropic déclare que ses robots respectent robots.txt ; bloquer Claude-User empêche la récupération https://claude.com/crawling/bots.json
Perplexity-User Perplexity Visite d'une page pour répondre à une question et la citer « Ignore généralement les règles robots.txt » https://www.perplexity.com/perplexity-user.json
MistralAI-User Mistral AI Visite d'une page pour répondre à un utilisateur et citer la source Jeton documenté ; respect non précisé https://mistral.ai/mistralai-user-ips.json
meta-externalfetcher Meta Récupération de liens à la demande, y compris pour des tâches d'agent « Peut contourner les règles robots.txt » Aucune liste publiée
Amzn-User Amazon Informations en direct pour répondre aux requêtes Alexa « Peut ne pas suivre toutes les directives » https://developer.amazon.com/amazonbot/live-ip-addresses/
Google-Agent (chaîne HTTP) Google Agents hébergés par Google qui naviguent et agissent à la demande Les fetchers déclenchés par un utilisateur ignorent généralement robots.txt ; pas de jeton robots.txt documenté https://developers.google.com/static/crawling/ipranges/user-triggered-agents.json

Google liste aussi Google-GeminiNotebook (sources ajoutées par les utilisateurs de Gemini Notebook, anciennement Google-NotebookLM), dans la même catégorie des fetchers déclenchés par l'utilisateur.

Chaînes User-Agent complètes publiées

Les éditeurs suivants publient la chaîne exacte. Les numéros de version peuvent changer : filtrez sur le jeton, pas sur la chaîne entière.

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
CCBot/2.0 (https://commoncrawl.org/faq/)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots)
meta-externalagent/1.1

OpenAI signale qu'il peut ajouter un marqueur robots.txt à la chaîne lorsqu'il récupère ce fichier. Anthropic ne publie que les noms (ClaudeBot, Claude-SearchBot, Claude-User), sans chaîne complète. D'anciens jetons comme anthropic-ai ou Claude-Web figurent encore dans de nombreuses listes, mais n'apparaissent pas dans la documentation actuelle d'Anthropic.

Ce qu'il faut retenir

  • Une chaîne User-Agent se falsifie en une ligne : seules les plages IP publiées (ou le DNS inverse pour Google, Apple et Common Crawl) permettent d'authentifier un robot.
  • Bloquer un robot d'entraînement ne retire pas votre site des réponses de recherche, à l'exception de Google-Extended, qui couvre aussi l'ancrage dans Gemini.
  • Pour les agents à la demande, robots.txt n'est pas une garantie : OpenAI, Perplexity, Meta, Amazon et Google le disent explicitement.
  • Anthropic rappelle que bloquer ses adresses IP n'est pas un moyen fiable de refuser l'entraînement, car le robot ne peut alors plus lire robots.txt.

Pour vérifier votre site, utilisez le scanner IABIG.

Sources officielles

Outils gratuits

Scanner de visibilité IA gratuit

Analysez gratuitement si ChatGPT, Claude, Perplexity et Gemini peuvent lire et citer votre site - robots.txt, llms.txt, JavaScript, texte caché.

Générateur de robots.txt pour les robots d'IA (GPTBot, ClaudeBot, PerplexityBot…)

Créez en un clic un robots.txt qui bloque l'entraînement des IA tout en restant visible dans ChatGPT Search, Claude et Perplexity. Gratuit.

Testeur de robots.txt pour les robots d'IA

Collez votre robots.txt et voyez instantanément, robot par robot, si GPTBot, ClaudeBot, PerplexityBot ou Google-Extended peuvent lire une page.

À lire aussi