Cloudflare et robots d'IA - vérifier si votre site les bloque sans le savoir
Politiques Search, Agent et Training, Bot Preference Sync, AI Crawl Control, pay per crawl, comment voir ce que Cloudflare bloque et l'ajuster à votre objectif.
Si votre site passe par Cloudflare, ce n'est pas seulement votre robots.txt qui décide si ChatGPT, Claude ou Perplexity peuvent lire vos pages : plusieurs réglages de Cloudflare peuvent bloquer les robots d'IA à la périphérie du réseau, voire réécrire votre robots.txt. Ces réglages ont beaucoup changé : blocage par défaut annoncé en juillet 2025, nouvelles politiques Search, Agent et Training en juillet 2026, puis refonte du 15 septembre 2026. Ce guide décrit l'état actuel d'après la documentation et le blog de Cloudflare, et indique comment vérifier puis ajuster votre configuration.
Les noms de menus sont donnés en anglais, comme dans la documentation officielle ; l'interface peut afficher une traduction.
Les mécanismes en jeu
| Mécanisme | Où le trouver | Effet |
|---|---|---|
| Politiques de robots d'IA (Search, Agent, Training) | Security > Settings, filtre Bot traffic, Configure AI bot policies | Blocage à la périphérie par catégorie de comportement |
| Bot Preference Sync | Même écran, interrupteur Enable Bot Preference Sync | Ajoute des directives en tête de votre robots.txt |
| AI Crawl Control | Entrée AI Crawl Control du tableau de bord de la zone | Statistiques par robot, blocage robot par robot, facturation |
| Bot Fight Mode, Super Bot Fight Mode, règles WAF | Security > Settings, filtre Bot traffic ; règles personnalisées du WAF | Défis et blocages généraux, pas spécifiques à l'IA |
L'ancien réglage unique Block AI bots a été déprécié le 15 septembre 2026 au profit des trois politiques. De même, l'ancien « Managed robots.txt » est remplacé par Bot Preference Sync ; les clients qui l'utilisaient sont migrés.
Les politiques Search, Agent et Training
Cloudflare classe les robots selon leur comportement, un même robot pouvant en avoir plusieurs :
- Search : robots qui collectent ou indexent le contenu pour répondre plus tard (OAI-SearchBot, Claude-SearchBot, PerplexityBot, mais aussi les moteurs de recherche classiques ; depuis juillet 2026, Cloudflare ne distingue plus recherche « IA » et recherche traditionnelle) ;
- Agent : activité automatisée en temps réel pour le compte d'une personne, comme les robots de récupération des assistants (ChatGPT-User, Claude-User, Perplexity-User) et les agents qui pilotent un navigateur ;
- Training : robots qui collectent du contenu pour entraîner ou ajuster un modèle (GPTBot, ClaudeBot, etc.).
Pour chaque catégorie, les options sont Allow, Block on pages with ads (blocage limité aux pages où Cloudflare détecte de la publicité) et Block. La catégorie Training propose en plus Disallow AI Training.
Le piège introduit le 15 septembre 2026. Les options Block et Block on pages with ads s'appliquent désormais aussi aux robots « mixtes », qui font à la fois de la recherche et de l'entraînement : Cloudflare cite Googlebot, Bingbot et Applebot. Choisir Block sur Training peut donc couper votre site de Google Search et de Bing. Pour refuser l'entraînement tout en restant dans les moteurs de recherche, il faut choisir Disallow AI Training : Cloudflare publie alors la préférence dans robots.txt, laisse passer les robots mixtes qu'il qualifie de « Accountable » (Apple, Google, Microsoft) et bloque les robots dédiés à l'entraînement (ceux d'Amazon, Anthropic, Meta et OpenAI, entre autres). Cloudflare précise que Bing ne lit pas encore cette préférence dans robots.txt ; Microsoft vise début 2027.
Ce qui a pu être activé sans vous
Pour les domaines existants qui n'avaient jamais touché aux politiques détaillées, Cloudflare a migré l'ancien réglage ainsi :
| Ancien « Block AI bots » | Search | Training | Agent |
|---|---|---|---|
| Désactivé | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Conséquence peu visible : si vous aviez activé l'ancien blocage, les agents (ChatGPT-User, Claude-User, Perplexity-User) sont maintenant bloqués sur vos pages avec publicité. Quand un utilisateur demande à son assistant de lire une de ces pages, la requête échoue.
Pour un nouveau domaine ajouté depuis le 15 septembre 2026, Cloudflare propose à l'inscription deux préréglages, modifiables à tout moment :
| Réglage | Site sans publicité | Site financé par la publicité |
|---|---|---|
| Bot Preference Sync | Activé | Activé |
| Search | Allow | Allow |
| Training | Allow | Disallow AI Training |
| Agent | Allow | Block on pages with ads |
Une page de documentation datée de juillet 2026 annonçait des valeurs par défaut un peu différentes (Training et Agent bloqués sur les pages avec publicité). Le billet de blog du 15 septembre 2026, plus récent, est celui qui est repris ici ; vérifiez dans votre tableau de bord plutôt que de supposer.
Le robots.txt géré par Cloudflare
Avec Bot Preference Sync activé et au moins une politique sur Block, Block on pages with ads ou Disallow, Cloudflare ajoute des directives au début de votre robots.txt (ou en crée un si votre serveur d'origine n'en a pas). Votre contenu d'origine est conservé à la suite. Si toutes les politiques sont sur Allow, rien n'est ajouté. Le bloc ajouté contient la politique Content Signals, des lignes Disallow par robot et un marqueur de début et de fin :
# BEGIN Cloudflare Managed content
User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
# END Cloudflare Managed Content
Cet extrait est tiré de l'exemple de la documentation ; la liste réelle des robots est tenue à jour par Cloudflare et le libellé du marqueur peut varier. Content-signal distingue trois usages : search (index de recherche et extraits), ai-input (contenu injecté dans un modèle pour une réponse en temps réel) et ai-train (entraînement). Cloudflare teste aussi un champ use. Rappel : robots.txt n'exprime qu'une préférence ; ce sont les politiques et AI Crawl Control qui bloquent réellement.
Sur l'offre gratuite, un domaine sans robots.txt propre et sans robots.txt géré affiche la politique Content Signals sous forme de commentaires, sans préférence exprimée.
AI Crawl Control
AI Crawl Control (anciennement AI Audit, renommé en août 2025) est disponible sur toutes les offres. Ses onglets :
- Overview : synthèse de l'activité par robot et par opérateur ;
- Crawlers : liste des robots vus sur la zone, nombre de requêtes, violations de
robots.txt, et colonne Action pour choisir Allow ou Block (et Charge pour les participants à pay per crawl) ; - Metrics : détail par robot, code de statut HTTP, chemin, référents ; limité aux dernières 24 heures sur l'offre gratuite ;
- Directives (anciennement Robots.txt) : état de vos fichiers
robots.txtet robots qui demandent des chemins interdits ; - Settings : réponse renvoyée aux robots bloqués (403 ou 402, sur les offres payantes).
Bloquer un robot dans AI Crawl Control crée ou modifie une règle personnalisée du WAF ; ces règles passent avant les autres produits anti-robots de Cloudflare. Sur l'offre gratuite, la détection repose sur le user-agent ; la détection avancée nécessite Bot Management (offre Enterprise).
Pay per crawl
Pay per crawl permet de fixer un prix par requête pour les robots d'IA : un robot qui accepte de payer reçoit la page (HTTP 200), les autres reçoivent une réponse 402 Payment Required avec le tarif. Cloudflare agit comme marchand officiel et les paiements passent par Stripe. Fin octobre 2026, la documentation indique toujours une bêta fermée, sur inscription ; le tableau comparatif des offres place la facturation dans la colonne Enterprise avec Bot Management. Un blocage par le WAF ou par Bot Management l'emporte sur la facturation, et l'ancien Block AI Bots devait être désactivé pour que pay per crawl fonctionne.
Vérifier en cinq minutes
1. Lire le robots.txt servi au public, pas celui de votre serveur d'origine :
curl -s https://www.example.com/robots.txt | grep -n -i -E "cloudflare|content-signal|gptbot|claudebot|perplexitybot|oai-searchbot"
La présence d'un bloc BEGIN Cloudflare signifie que Bot Preference Sync (ou l'ancien robots.txt géré) est actif.
2. Comparer les réponses selon le user-agent :
for ua in "Mozilla/5.0" "OAI-SearchBot/1.4" "GPTBot/1.4" "ChatGPT-User/1.0" "ClaudeBot/1.0" "PerplexityBot/1.0"; do
printf "%-20s " "$ua"
curl -s -o /dev/null -w "%{http_code}\n" -A "$ua" https://www.example.com/
done
Un 403 ou une page de défi pour un robot donné révèle une règle fondée sur le user-agent. Un 200 ne prouve pas que le vrai robot passe : Cloudflare identifie les robots vérifiés autrement que par leur seul nom, et une requête qui imite un user-agent n'est pas traitée comme le robot authentique.
3. Dans le tableau de bord, ouvrez Security > Settings, filtrez sur Bot traffic, et notez la valeur des trois politiques, l'état de Enable Bot Preference Sync et de Bot fight mode.
4. Dans AI Crawl Control > Crawlers, vérifiez la colonne Action robot par robot, puis dans Metrics la répartition des codes de statut : beaucoup de 403 pour OAI-SearchBot ou Claude-SearchBot signalent un blocage.
5. Dans Security > Analytics, onglet Events, cherchez les requêtes bloquées ou défiées et le service responsable (règle WAF, Bot Fight Mode, etc.). Pensez aussi aux règles WAF créées à la main et aux règles d'accès par IP : elles bloquent indépendamment des réglages d'IA.
Ajuster selon votre objectif
| Objectif | Search | Training | Agent |
|---|---|---|---|
| Être trouvé et cité par les assistants, sans restriction | Allow | Allow | Allow |
| Être trouvé et cité, mais refuser l'entraînement | Allow | Disallow AI Training | Allow |
| Site financé par la publicité, protéger les pages avec annonces | Allow | Disallow AI Training | Block on pages with ads |
| Ne pas apparaître du tout dans les services d'IA | Block | Block | Block |
La dernière ligne bloque aussi Googlebot, Bingbot et Applebot : votre site disparaît alors des moteurs de recherche classiques. Si votre but est la visibilité, ne bloquez pas Search et Agent : ce sont eux qui permettent d'apparaître dans les réponses de ChatGPT, Claude ou Perplexity et d'être lu quand un utilisateur cite votre page. Pour une politique au cas par cas (un robot autorisé, un autre non), désactivez Bot Preference Sync, réglez les robots individuellement dans AI Crawl Control et maintenez votre robots.txt à la main.
Après chaque modification, refaites les vérifications 1 et 2 ; la documentation indique que le contenu géré apparaît dans robots.txt en quelques secondes, sans purge du cache. Pour vérifier votre site, utilisez le scanner IABIG.
Sources
- Cloudflare blog, Have it both ways (15 septembre 2026)
- Cloudflare blog, Say it once, introducing Bot Preference Sync (août 2026)
- Cloudflare blog, Content Independence Day (1er juillet 2025)
- Cloudflare docs, Block AI Bots
- Cloudflare docs, robots.txt setting
- Cloudflare docs, AI bots (classification)
- Cloudflare docs, Verified bots
- Cloudflare docs, AI Crawl Control
- Cloudflare docs, AI Crawl Control, Get started
- Cloudflare docs, Manage AI crawlers
- Cloudflare docs, AI Crawl Control changelog
- Cloudflare docs, AI Crawl Control with Cloudflare Bots
- Cloudflare docs, What is Pay Per Crawl
- Cloudflare docs, Bot reference
- Cloudflare docs, Bot Fight Mode
Outils gratuits
Scanner de visibilité IA gratuit
Analysez gratuitement si ChatGPT, Claude, Perplexity et Gemini peuvent lire et citer votre site - robots.txt, llms.txt, JavaScript, texte caché.
Générateur de robots.txt pour les robots d'IA (GPTBot, ClaudeBot, PerplexityBot…)
Créez en un clic un robots.txt qui bloque l'entraînement des IA tout en restant visible dans ChatGPT Search, Claude et Perplexity. Gratuit.
Testeur de robots.txt pour les robots d'IA
Collez votre robots.txt et voyez instantanément, robot par robot, si GPTBot, ClaudeBot, PerplexityBot ou Google-Extended peuvent lire une page.
À lire aussi
- llms.txt - format exact, exemples et adoption réelle par les IALe fichier llms.txt selon llmstxt.org, avec exemples pour un site vitrine et une documentation, et ce que les fournisseurs d'IA confirment vraiment à son sujet.
- Site React, Vue ou Angular invisible pour les IA - pourquoi et comment corrigerPourquoi ChatGPT, Claude ou Perplexity peuvent ne pas voir un site rendu en JavaScript, comment le tester avec curl et quelles solutions SSR ou SSG appliquer.