Derniers fichiers : /blocklists/ai-bots.json
Choisissez une politique
| Fichier | Bloquer l'entraînement seulement | Bloquer tous les robots d'IA |
|---|---|---|
| Règles robots.txt Demande polie, respectée par les grands robots | robots-ai-training.txt | robots-ai-all.txt |
| Blocage nginx par User-Agent (403) | nginx-ai-training.conf | nginx-ai-all.conf |
| Apache .htaccess | htaccess-ai-training.txt | htaccess-ai-all.txt |
| Expression Cloudflare (WAF) | cloudflare-ai-training.txt | cloudflare-ai-all.txt |
| Plages IP officielles (une par ligne) | ips-ai-training.txt | ips-ai-all.txt |
| Liste nginx de refus par IP | nginx-deny-ai-training.conf | nginx-deny-ai-all.conf |
- Bloquer l'entraînement seulement : GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot, CCBot et Bytespider. Vos pages peuvent toujours être trouvées et citées par ChatGPT Search, Claude, Perplexity et les autres moteurs de recherche IA.
- Bloquer tous les robots d'IA : les robots d'entraînement, plus les robots de recherche IA et les agents qui lisent une page à la demande d'un utilisateur (ChatGPT-User, Claude-User, Perplexity-User…). Votre site disparaît des réponses des IA.
- Dans les deux cas, Googlebot, Bingbot et Applebot ne sont jamais bloqués : ce serait disparaître de Google, Bing et Apple. Leur usage IA se règle par les jetons robots.txt Google-Extended et Applebot-Extended, inclus dans les fichiers.
Quel fichier utiliser ?
- Commencez par robots.txt. C'est la méthode que les éditeurs eux-mêmes demandent d'utiliser, et les grands robots documentent qu'ils la respectent. Collez les règles dans votre robots.txt existant.
- Ajoutez un blocage par User-Agent (nginx, Apache ou Cloudflare) pour un refus ferme plutôt qu'une demande : toute requête qui s'annonce comme l'un de ces robots reçoit une erreur 403.
- Utilisez les listes d'IP pour bloquer au niveau du pare-feu, ou pour vérifier qu'un visiteur qui se dit GPTBot en est vraiment un (voir vérifier l'IP d'un robot). Elles ne contiennent que les plages publiées par OpenAI, Anthropic, Perplexity, Mistral AI, Common Crawl et DuckDuckGo.
Les limites
- robots.txt est une demande, pas un verrou. Un robot qui l'ignore se traite avec les fichiers User-Agent et IP.
- Un User-Agent peut être imité, pas une plage IP. Mais seuls certains éditeurs publient leurs plages : un robot sans liste officielle n'est bloqué que par son nom.
- Le blocage n'agit pas sur les contenus déjà collectés : il s'applique à partir de la prochaine visite du robot.
Récupérez les fichiers automatiquement (par exemple une fois par jour avec curl) ou utilisez le fichier lisible par machine ai-bots.json. Consultez la fiche de chaque robot dans les fiches des robots d'IA, ou composez vos propres règles avec le générateur de robots.txt.
Autres outils gratuits
Scanner de visibilité IA gratuit
Analysez gratuitement si ChatGPT, Claude, Perplexity et Gemini peuvent lire et citer votre site - robots.txt, llms.txt, JavaScript, texte caché.
Générateur de robots.txt pour les robots d'IA (GPTBot, ClaudeBot, PerplexityBot…)
Créez en un clic un robots.txt qui bloque l'entraînement des IA tout en restant visible dans ChatGPT Search, Claude et Perplexity. Gratuit.
Testeur de robots.txt pour les robots d'IA
Collez votre robots.txt et voyez instantanément, robot par robot, si GPTBot, ClaudeBot, PerplexityBot ou Google-Extended peuvent lire une page.
Vérifier l'IP d'un robot d'IA
Vérifiez si une adresse IP appartient vraiment à OpenAI, Anthropic, Perplexity, Google, Bing, Apple ou un autre éditeur d'IA grâce à leurs listes officielles.
Générateur de llms.txt gratuit à partir de votre sitemap
Générez un brouillon de llms.txt au format llmstxt.org à partir du sitemap de votre site - titres, descriptions et sections prêts à relire.
Détecteur d'injection de prompt gratuit
Vérifiez si une page web ou un texte contient des instructions cachées destinées aux IA - texte masqué, commentaires, caractères invisibles.
Calculateur du coût des API d'IA
Comparez le coût réel de 40 modèles d'IA (OpenAI, Anthropic, Google, Mistral, DeepSeek, xAI) selon vos volumes : prix officiels vérifiés, cache, lots, contexte long.