Robots de recherche (citation dans les réponses)
| Robot | Rôle | Visites (30 j) |
|---|---|---|
| OAI-SearchBot OpenAI | Robot d'OpenAI qui fait apparaître les sites dans les fonctions de recherche de ChatGPT. Un site qui le bloque n'est plus montré dans les réponses, sauf comme simple lien de navigation. | — |
| Claude-SearchBot Anthropic | Robot d'Anthropic qui parcourt le web pour améliorer la pertinence et la précision des réponses de recherche de Claude. Le bloquer peut réduire la visibilité du site dans ces résultats. | — |
| PerplexityBot Perplexity | Robot de Perplexity qui fait apparaître et lie les sites dans ses résultats de recherche. Perplexity indique qu'il n'est pas utilisé pour collecter des contenus destinés aux modèles de fondation. | — |
| Googlebot | Robot d'exploration principal de Google, en versions smartphone et ordinateur. Il alimente Google Search, Discover, Google Images, Google News et les autres fonctions de recherche. | 4675 |
| Bingbot Microsoft | Robot d'exploration standard de Bing. Selon les consignes de Microsoft, son index sert à la fois la recherche Bing, Copilot et les résultats d'ancrage fournis par API. | 8 |
| Applebot Apple | Robot d'Apple qui alimente la recherche dans Spotlight, Siri et Safari. Ses données peuvent aussi entraîner les modèles de fondation d'Apple, sauf refus exprimé via Applebot-Extended. | — |
| DuckAssistBot DuckDuckGo | Robot de DuckDuckGo qui explore des pages en temps réel pour ses réponses assistées par IA, qui citent leurs sources. DuckDuckGo indique que ces données ne servent pas à entraîner des modèles. | — |
Robots de navigation (à la demande d'un utilisateur)
| Robot | Rôle | Visites (30 j) |
|---|---|---|
| ChatGPT-User OpenAI | Agent d'OpenAI qui visite une page lorsqu'un utilisateur de ChatGPT ou d'un GPT personnalisé pose une question. OpenAI indique que robots.txt peut ne pas s'appliquer à ces requêtes. | — |
| Claude-User Anthropic | Agent d'Anthropic qui accède à un site quand un utilisateur pose à Claude une question qui le nécessite. Anthropic présente robots.txt comme le moyen de contrôler ces requêtes. | — |
| Perplexity-User Perplexity | Agent de Perplexity qui visite une page pour répondre à la question d'un utilisateur et la citer. Perplexity indique que, la requête venant d'un utilisateur, il ignore généralement robots.txt. | — |
| meta-externalfetcher Meta | Agent de Meta qui récupère des liens à la demande d'un utilisateur et sert aux fonctions d'IA agentique. Meta indique qu'il peut contourner les règles de robots.txt. | — |
| MistralAI-User Mistral AI | Agent de Mistral AI qui visite une page lorsqu'un utilisateur pose une question à Vibe, puis cite la source. Il n'explore pas le web automatiquement et ne collecte pas pour l'entraînement. | — |
Robots d'entraînement des modèles
| Robot | Rôle | Visites (30 j) |
|---|---|---|
| GPTBot OpenAI | Robot d'OpenAI qui collecte des pages web susceptibles de servir à l'entraînement de ses modèles d'IA générative. Son réglage est indépendant de celui de la recherche ChatGPT. | — |
| ClaudeBot Anthropic | Robot d'Anthropic qui collecte des contenus web pouvant contribuer à l'entraînement de ses modèles d'IA générative. Anthropic déclare respecter robots.txt et la directive non standard Crawl-delay. | 172 |
| Google-Extended | Jeton robots.txt de Google, sans robot propre, qui contrôle l'usage des contenus explorés pour entraîner les modèles Gemini et pour l'ancrage dans Gemini Apps et Vertex AI. | — |
| Applebot-Extended Apple | Jeton robots.txt d'Apple, sans robot propre, qui permet de refuser que les données collectées par Applebot servent à entraîner les modèles de fondation d'Apple. Il n'a pas d'effet sur la recherche. | — |
| meta-externalagent Meta | Robot de Meta qui explore le web pour des usages tels que l'entraînement de modèles d'IA de fondation ou l'amélioration de produits par l'indexation directe des contenus. | — |
| Amazonbot Amazon | Robot d'Amazon utilisé pour améliorer ses produits et services. Amazon indique que les données collectées peuvent servir à entraîner ses modèles d'IA. Il respecte robots.txt mais pas Crawl-delay. | — |
| CCBot Common Crawl | Robot de l'organisation à but non lucratif Common Crawl, qui constitue une archive ouverte du web téléchargeable gratuitement par des chercheurs, des entreprises et des particuliers. | — |
| Bytespider ByteDance | Robot attribué à ByteDance, très présent dans les journaux et les listes de blocage. Aucune documentation officielle décrivant son rôle, son respect de robots.txt ou ses adresses IP n'a été trouvée. | — |
Dernière mise à jour : 2026-10-25 14:07:01 UTC. Visites vérifiées sur iabig.com, voir l'Observatoire. Pour composer votre robots.txt : générateur de robots.txt.