# Autoriser ou bloquer les robots d'IA sur Webflow - règles robots.txt et sous-domaine webflow.io > Écrire les règles robots.txt de Webflow pour refuser GPTBot ou ClaudeBot sans bloquer ChatGPT, Claude et Perplexity, sans le piège de l'interrupteur AI bots. Source : https://iabig.com/fr/plateformes/robots-ia-webflow/ — Guides CC BY 4.0, extraits de code MIT Webflow permet d'écrire soi-même les règles du fichier `robots.txt` depuis les réglages SEO du site, et propose en plus des interrupteurs qui bloquent des familles entières de robots en un clic. Ces interrupteurs sont pratiques, mais leur classement ne correspond pas à la distinction entre entraînement et recherche : couper la catégorie « AI bots » bloque aussi des agents qui servent à vous citer. Ce guide montre où écrire vos règles, donne un fichier prêt à coller et explique le comportement particulier du sous-domaine `webflow.io`. ## Où se trouvent les réglages Les menus sont cités en anglais, comme dans la documentation de Webflow. Tout se passe dans **Site settings > SEO > Indexing**. Cette section regroupe : - le champ des règles `robots.txt` ; - l'interrupteur **Staging indexing**, qui concerne le sous-domaine `webflow.io` ; - les interrupteurs **Traffic control**, qui génèrent des règles pour des familles de robots ; - l'option **Remove sitemap.xml from robots.txt** ; - le réglage de l'en-tête HTTP `Content-Signal`. Pour ajouter vos règles : 1. Ouvrez **Site settings > SEO > Indexing**. 2. Saisissez vos règles dans le champ `robots.txt`. 3. Cliquez sur **Save**, puis publiez le site. Les modifications ne s'appliquent qu'après publication. Selon le centre d'aide, il faut un forfait de site (Site plan) ou un espace de travail payant pour ajouter un fichier `robots.txt`. ## Le robots.txt prêt à coller Par défaut, le `robots.txt` d'un site Webflow sur domaine personnalisé ne contient souvent que la ligne `Sitemap`, que Webflow ajoute automatiquement. Vous partez donc d'une page presque blanche. ```text # 1. Entraînement de modèles : refusé User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot User-agent: meta-externalagent User-agent: MistralAI-Training User-agent: Applebot-Extended User-agent: Google-Extended Disallow: / # 2. Recherche et récupération à la demande : autorisé User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User Allow: / # 3. Tous les autres robots User-agent: * Allow: / ``` N'ajoutez pas de ligne `Sitemap` : Webflow insère celle du plan du site généré, sauf si vous activez **Remove sitemap.xml from robots.txt**. Si vous ajoutez des exclusions au groupe `*` (une page de remerciement, un dossier de tests), recopiez-les dans le groupe 2 : un robot qui trouve un groupe à son nom n'applique que celui-ci. Retirez du groupe 1 les robots que vous acceptez, en gardant en tête que `Google-Extended` couvre aussi l'ancrage des réponses dans les applications Gemini. ## Le piège des interrupteurs Traffic control Les interrupteurs **Traffic control** génèrent automatiquement des règles pour deux familles de robots, autorisées par défaut. La documentation de Webflow les définit ainsi : - **Search engine crawlers** : YandexBot, Googlebot, Bingbot, Baiduspider, OAI-SearchBot, Sogou, DuckDuckBot, MojeekBot, SeznamBot, Qwantify, Yeti, Slurp et 360Spider. - **AI bots** : meta-externalagent, ChatGPT-User, ClaudeBot, PerplexityBot, GPTBot, GoogleOther, Timpibot, SBIntuitionsBot, Bytespider, AI2Bot, Amazon Q, Claude-User, CCBot, Diffbot, YandexGPT, MistralBot, cohere-ai, youBot et NeevaAI. La catégorie « AI bots » mélange donc des robots d'entraînement (`GPTBot`, `ClaudeBot`, `CCBot`) et des agents de recherche ou de récupération à la demande (`PerplexityBot`, `ChatGPT-User`, `Claude-User`). Désactiver cet interrupteur pour refuser l'entraînement vous retire aussi de Perplexity et réduit les visites déclenchées depuis ChatGPT et Claude. À l'inverse, `Claude-SearchBot`, `Google-Extended` et `Applebot-Extended` ne figurent dans aucune des deux listes. Webflow prévient d'ailleurs que bloquer ces familles peut réduire la visibilité du site dans la recherche classique comme dans la recherche par IA. Pour l'objectif « refuser l'entraînement, rester cité », laissez les deux interrupteurs sur la position autorisée et écrivez vos propres règles. La documentation ne précise pas comment les règles générées par ces interrupteurs se combinent avec les vôtres : si vous utilisez les deux, lisez le fichier publié. ## L'en-tête Content-Signal Webflow permet aussi de servir un en-tête HTTP `Content-Signal`, réglable dans la même section, pour exprimer séparément vos préférences d'usage : ```text Content-Signal: ai-train=no, search=yes, ai-input=no ``` Webflow précise que ce mécanisme repose sur une proposition d'extension de la RFC 9309 et n'est pas une norme acceptée. Rien n'indique quels robots en tiennent compte : il complète `robots.txt` sans le remplacer. Notez que `ai-input=no` exprime un refus d'usage comme source des réponses générées, ce qui va à l'encontre d'un objectif de visibilité dans les assistants. ## Le sous-domaine webflow.io Chaque site Webflow est aussi publié sur une adresse de préproduction en `webflow.io`, qui duplique votre contenu. Pour l'exclure, passez **Staging indexing** sur la position désactivée dans **Site settings > SEO > Indexing**, puis enregistrez et publiez. Webflow publie alors un `robots.txt` propre au sous-domaine, qui demande aux moteurs d'ignorer ce domaine ; sur les sous-domaines que nous avons consultés, il contenait `User-agent: *` suivi de `Disallow: /`, ce qui vaut aussi pour les robots d'IA. Ce réglage demande lui aussi un forfait de site ou un espace de travail payant. Deux conséquences pratiques : - vos règles personnalisées concernent le domaine personnalisé, et le sous-domaine `webflow.io` a son propre fichier quand **Staging indexing** est désactivé. La documentation ne précise pas quel fichier sert le sous-domaine lorsque l'interrupteur reste actif ; - tant que le sous-domaine reste ouvert, les robots, y compris ceux des assistants, peuvent trouver deux copies de vos pages : désactiver son indexation dès la mise en ligne évite ce doublon. ## Limites et pièges propres à Webflow - **Le fichier ne se supprime pas.** Une fois créé, le `robots.txt` personnalisé ne peut pas être retiré complètement. Pour revenir à un fichier permissif, Webflow conseille de le remplacer par `User-agent: *` suivi d'un `Disallow:` vide, puis de republier. - **Les fichiers servis par le CDN.** Les images et documents d'un site Webflow sont servis depuis le CDN de Webflow, pas depuis votre domaine. Votre `robots.txt` ne s'y applique pas, ce que la documentation confirme. - **Pas pour masquer une page.** Pour retirer une page des résultats, Webflow recommande l'interrupteur **Sitemap indexing** des réglages de page, qui ajoute une balise `noindex`, plutôt qu'une règle `Disallow`. - **L'API Enterprise.** Les sites Enterprise peuvent aussi remplacer ou supprimer les règles par l'API de Webflow ; vérifiez qu'aucun outil d'automatisation n'écrase vos modifications. ## Vérifier le résultat Après publication, ouvrez `https://www.example.com/robots.txt`, puis `https://votre-site.webflow.io/robots.txt`. Le premier doit contenir vos groupes et la ligne `Sitemap`, le second un `Disallow: /` général si vous avez désactivé **Staging indexing**. Testez ensuite la page d'accueil pour `GPTBot`, `OAI-SearchBot` et `PerplexityBot` avec le [testeur de robots.txt IABIG](/fr/outils/testeur-robots-txt/) : le premier doit être refusé, les deux autres autorisés. Comptez jusqu'à 24 heures avant que les robots relisent le fichier. ## Sources officielles - Webflow, Set robots.txt rules : - Webflow, Disable search engine indexing : - Webflow, Request to block specific bots from visiting your site : - Webflow, Replace robots.txt (API Enterprise) : - RFC 9309, Robots Exclusion Protocol :