IABIG

Guides par plateforme · Mis à jour le 2026-10-25 · Version Markdown

Autoriser ou bloquer les robots d'IA sur Webflow - règles robots.txt et sous-domaine webflow.io

Écrire les règles robots.txt de Webflow pour refuser GPTBot ou ClaudeBot sans bloquer ChatGPT, Claude et Perplexity, sans le piège de l'interrupteur AI bots.

Webflow permet d'écrire soi-même les règles du fichier robots.txt depuis les réglages SEO du site, et propose en plus des interrupteurs qui bloquent des familles entières de robots en un clic. Ces interrupteurs sont pratiques, mais leur classement ne correspond pas à la distinction entre entraînement et recherche : couper la catégorie « AI bots » bloque aussi des agents qui servent à vous citer. Ce guide montre où écrire vos règles, donne un fichier prêt à coller et explique le comportement particulier du sous-domaine webflow.io.

Où se trouvent les réglages

Les menus sont cités en anglais, comme dans la documentation de Webflow. Tout se passe dans Site settings > SEO > Indexing. Cette section regroupe :

Pour ajouter vos règles :

  1. Ouvrez Site settings > SEO > Indexing.
  2. Saisissez vos règles dans le champ robots.txt.
  3. Cliquez sur Save, puis publiez le site.

Les modifications ne s'appliquent qu'après publication. Selon le centre d'aide, il faut un forfait de site (Site plan) ou un espace de travail payant pour ajouter un fichier robots.txt.

Le robots.txt prêt à coller

Par défaut, le robots.txt d'un site Webflow sur domaine personnalisé ne contient souvent que la ligne Sitemap, que Webflow ajoute automatiquement. Vous partez donc d'une page presque blanche.

# 1. Entraînement de modèles : refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: MistralAI-Training
User-agent: Applebot-Extended
User-agent: Google-Extended
Disallow: /

# 2. Recherche et récupération à la demande : autorisé
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# 3. Tous les autres robots
User-agent: *
Allow: /

N'ajoutez pas de ligne Sitemap : Webflow insère celle du plan du site généré, sauf si vous activez Remove sitemap.xml from robots.txt. Si vous ajoutez des exclusions au groupe * (une page de remerciement, un dossier de tests), recopiez-les dans le groupe 2 : un robot qui trouve un groupe à son nom n'applique que celui-ci. Retirez du groupe 1 les robots que vous acceptez, en gardant en tête que Google-Extended couvre aussi l'ancrage des réponses dans les applications Gemini.

Le piège des interrupteurs Traffic control

Les interrupteurs Traffic control génèrent automatiquement des règles pour deux familles de robots, autorisées par défaut. La documentation de Webflow les définit ainsi :

La catégorie « AI bots » mélange donc des robots d'entraînement (GPTBot, ClaudeBot, CCBot) et des agents de recherche ou de récupération à la demande (PerplexityBot, ChatGPT-User, Claude-User). Désactiver cet interrupteur pour refuser l'entraînement vous retire aussi de Perplexity et réduit les visites déclenchées depuis ChatGPT et Claude. À l'inverse, Claude-SearchBot, Google-Extended et Applebot-Extended ne figurent dans aucune des deux listes. Webflow prévient d'ailleurs que bloquer ces familles peut réduire la visibilité du site dans la recherche classique comme dans la recherche par IA.

Pour l'objectif « refuser l'entraînement, rester cité », laissez les deux interrupteurs sur la position autorisée et écrivez vos propres règles. La documentation ne précise pas comment les règles générées par ces interrupteurs se combinent avec les vôtres : si vous utilisez les deux, lisez le fichier publié.

L'en-tête Content-Signal

Webflow permet aussi de servir un en-tête HTTP Content-Signal, réglable dans la même section, pour exprimer séparément vos préférences d'usage :

Content-Signal: ai-train=no, search=yes, ai-input=no

Webflow précise que ce mécanisme repose sur une proposition d'extension de la RFC 9309 et n'est pas une norme acceptée. Rien n'indique quels robots en tiennent compte : il complète robots.txt sans le remplacer. Notez que ai-input=no exprime un refus d'usage comme source des réponses générées, ce qui va à l'encontre d'un objectif de visibilité dans les assistants.

Le sous-domaine webflow.io

Chaque site Webflow est aussi publié sur une adresse de préproduction en webflow.io, qui duplique votre contenu. Pour l'exclure, passez Staging indexing sur la position désactivée dans Site settings > SEO > Indexing, puis enregistrez et publiez. Webflow publie alors un robots.txt propre au sous-domaine, qui demande aux moteurs d'ignorer ce domaine ; sur les sous-domaines que nous avons consultés, il contenait User-agent: * suivi de Disallow: /, ce qui vaut aussi pour les robots d'IA. Ce réglage demande lui aussi un forfait de site ou un espace de travail payant.

Deux conséquences pratiques :

Limites et pièges propres à Webflow

Vérifier le résultat

Après publication, ouvrez https://www.example.com/robots.txt, puis https://votre-site.webflow.io/robots.txt. Le premier doit contenir vos groupes et la ligne Sitemap, le second un Disallow: / général si vous avez désactivé Staging indexing. Testez ensuite la page d'accueil pour GPTBot, OAI-SearchBot et PerplexityBot avec le testeur de robots.txt IABIG : le premier doit être refusé, les deux autres autorisés. Comptez jusqu'à 24 heures avant que les robots relisent le fichier.

Sources officielles

Vérifiez votre site avec nos outils gratuits : scanner de visibilité IA, générateur de robots.txt, testeur de robots.txt, détecteur d'injection de prompt.

À lire aussi