IABIGEN · English

Guides par plateforme · Mis à jour le 2026-10-25 · Version Markdown

Autoriser ou bloquer les robots d'IA sur Webflow - règles robots.txt et sous-domaine webflow.io

Écrire les règles robots.txt de Webflow pour refuser GPTBot ou ClaudeBot sans bloquer ChatGPT, Claude et Perplexity, sans le piège de l'interrupteur AI bots.

Webflow permet d'écrire soi-même les règles du fichier robots.txt depuis les réglages SEO du site, et propose en plus des interrupteurs qui bloquent des familles entières de robots en un clic. Ces interrupteurs sont pratiques, mais leur classement ne correspond pas à la distinction entre entraînement et recherche : couper la catégorie « AI bots » bloque aussi des agents qui servent à vous citer. Ce guide montre où écrire vos règles, donne un fichier prêt à coller et explique le comportement particulier du sous-domaine webflow.io.

Où se trouvent les réglages

Les menus sont cités en anglais, comme dans la documentation de Webflow. Tout se passe dans Site settings > SEO > Indexing. Cette section regroupe :

  • le champ des règles robots.txt ;
  • l'interrupteur Staging indexing, qui concerne le sous-domaine webflow.io ;
  • les interrupteurs Traffic control, qui génèrent des règles pour des familles de robots ;
  • l'option Remove sitemap.xml from robots.txt ;
  • le réglage de l'en-tête HTTP Content-Signal.

Pour ajouter vos règles :

  1. Ouvrez Site settings > SEO > Indexing.
  2. Saisissez vos règles dans le champ robots.txt.
  3. Cliquez sur Save, puis publiez le site.

Les modifications ne s'appliquent qu'après publication. Selon le centre d'aide, il faut un forfait de site (Site plan) ou un espace de travail payant pour ajouter un fichier robots.txt.

Le robots.txt prêt à coller

Par défaut, le robots.txt d'un site Webflow sur domaine personnalisé ne contient souvent que la ligne Sitemap, que Webflow ajoute automatiquement. Vous partez donc d'une page presque blanche.

# 1. Entraînement de modèles : refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: MistralAI-Training
User-agent: Applebot-Extended
User-agent: Google-Extended
Disallow: /

# 2. Recherche et récupération à la demande : autorisé
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# 3. Tous les autres robots
User-agent: *
Allow: /

N'ajoutez pas de ligne Sitemap : Webflow insère celle du plan du site généré, sauf si vous activez Remove sitemap.xml from robots.txt. Si vous ajoutez des exclusions au groupe * (une page de remerciement, un dossier de tests), recopiez-les dans le groupe 2 : un robot qui trouve un groupe à son nom n'applique que celui-ci. Retirez du groupe 1 les robots que vous acceptez, en gardant en tête que Google-Extended couvre aussi l'ancrage des réponses dans les applications Gemini.

Le piège des interrupteurs Traffic control

Les interrupteurs Traffic control génèrent automatiquement des règles pour deux familles de robots, autorisées par défaut. La documentation de Webflow les définit ainsi :

  • Search engine crawlers : YandexBot, Googlebot, Bingbot, Baiduspider, OAI-SearchBot, Sogou, DuckDuckBot, MojeekBot, SeznamBot, Qwantify, Yeti, Slurp et 360Spider.
  • AI bots : meta-externalagent, ChatGPT-User, ClaudeBot, PerplexityBot, GPTBot, GoogleOther, Timpibot, SBIntuitionsBot, Bytespider, AI2Bot, Amazon Q, Claude-User, CCBot, Diffbot, YandexGPT, MistralBot, cohere-ai, youBot et NeevaAI.

La catégorie « AI bots » mélange donc des robots d'entraînement (GPTBot, ClaudeBot, CCBot) et des agents de recherche ou de récupération à la demande (PerplexityBot, ChatGPT-User, Claude-User). Désactiver cet interrupteur pour refuser l'entraînement vous retire aussi de Perplexity et réduit les visites déclenchées depuis ChatGPT et Claude. À l'inverse, Claude-SearchBot, Google-Extended et Applebot-Extended ne figurent dans aucune des deux listes. Webflow prévient d'ailleurs que bloquer ces familles peut réduire la visibilité du site dans la recherche classique comme dans la recherche par IA.

Pour l'objectif « refuser l'entraînement, rester cité », laissez les deux interrupteurs sur la position autorisée et écrivez vos propres règles. La documentation ne précise pas comment les règles générées par ces interrupteurs se combinent avec les vôtres : si vous utilisez les deux, lisez le fichier publié.

L'en-tête Content-Signal

Webflow permet aussi de servir un en-tête HTTP Content-Signal, réglable dans la même section, pour exprimer séparément vos préférences d'usage :

Content-Signal: ai-train=no, search=yes, ai-input=no

Webflow précise que ce mécanisme repose sur une proposition d'extension de la RFC 9309 et n'est pas une norme acceptée. Rien n'indique quels robots en tiennent compte : il complète robots.txt sans le remplacer. Notez que ai-input=no exprime un refus d'usage comme source des réponses générées, ce qui va à l'encontre d'un objectif de visibilité dans les assistants.

Le sous-domaine webflow.io

Chaque site Webflow est aussi publié sur une adresse de préproduction en webflow.io, qui duplique votre contenu. Pour l'exclure, passez Staging indexing sur la position désactivée dans Site settings > SEO > Indexing, puis enregistrez et publiez. Webflow publie alors un robots.txt propre au sous-domaine, qui demande aux moteurs d'ignorer ce domaine ; sur les sous-domaines que nous avons consultés, il contenait User-agent: * suivi de Disallow: /, ce qui vaut aussi pour les robots d'IA. Ce réglage demande lui aussi un forfait de site ou un espace de travail payant.

Deux conséquences pratiques :

  • vos règles personnalisées concernent le domaine personnalisé, et le sous-domaine webflow.io a son propre fichier quand Staging indexing est désactivé. La documentation ne précise pas quel fichier sert le sous-domaine lorsque l'interrupteur reste actif ;
  • tant que le sous-domaine reste ouvert, les robots, y compris ceux des assistants, peuvent trouver deux copies de vos pages : désactiver son indexation dès la mise en ligne évite ce doublon.

Limites et pièges propres à Webflow

  • Le fichier ne se supprime pas. Une fois créé, le robots.txt personnalisé ne peut pas être retiré complètement. Pour revenir à un fichier permissif, Webflow conseille de le remplacer par User-agent: * suivi d'un Disallow: vide, puis de republier.
  • Les fichiers servis par le CDN. Les images et documents d'un site Webflow sont servis depuis le CDN de Webflow, pas depuis votre domaine. Votre robots.txt ne s'y applique pas, ce que la documentation confirme.
  • Pas pour masquer une page. Pour retirer une page des résultats, Webflow recommande l'interrupteur Sitemap indexing des réglages de page, qui ajoute une balise noindex, plutôt qu'une règle Disallow.
  • L'API Enterprise. Les sites Enterprise peuvent aussi remplacer ou supprimer les règles par l'API de Webflow ; vérifiez qu'aucun outil d'automatisation n'écrase vos modifications.

Vérifier le résultat

Après publication, ouvrez https://www.example.com/robots.txt, puis https://votre-site.webflow.io/robots.txt. Le premier doit contenir vos groupes et la ligne Sitemap, le second un Disallow: / général si vous avez désactivé Staging indexing. Testez ensuite la page d'accueil pour GPTBot, OAI-SearchBot et PerplexityBot avec le testeur de robots.txt IABIG : le premier doit être refusé, les deux autres autorisés. Comptez jusqu'à 24 heures avant que les robots relisent le fichier.

Sources officielles

Outils gratuits

Scanner de visibilité IA gratuit

Analysez gratuitement si ChatGPT, Claude, Perplexity et Gemini peuvent lire et citer votre site - robots.txt, llms.txt, JavaScript, texte caché.

Générateur de robots.txt pour les robots d'IA (GPTBot, ClaudeBot, PerplexityBot…)

Créez en un clic un robots.txt qui bloque l'entraînement des IA tout en restant visible dans ChatGPT Search, Claude et Perplexity. Gratuit.

Testeur de robots.txt pour les robots d'IA

Collez votre robots.txt et voyez instantanément, robot par robot, si GPTBot, ClaudeBot, PerplexityBot ou Google-Extended peuvent lire une page.

À lire aussi