IABIGEN · English

Guides par plateforme · Mis à jour le 2026-10-25 · Version Markdown

Autoriser ou bloquer les robots d'IA sur Squarespace - ce que fait vraiment la case Crawlers

Squarespace ne laisse pas modifier robots.txt. Ce que bloque la case des robots d'IA, ce qu'elle laisse passer et comment vérifier le fichier réellement servi.

Squarespace est la plus fermée des grandes plateformes sur ce point : le fichier robots.txt est commun à tous les sites et ne peut pas être modifié. Le seul levier proposé est une case à cocher qui ajoute au fichier une liste de robots d'IA établie par Squarespace. Ce guide détaille ce que couvre exactement cette liste, ce qu'elle ne couvre pas, pourquoi elle convient en partie à l'objectif « refuser l'entraînement, rester visible dans la recherche », et comment contrôler le fichier une fois le réglage appliqué.

Pas d'édition de robots.txt

La documentation de Squarespace est explicite : tous les sites Squarespace utilisent le même fichier robots.txt, et les utilisateurs ne peuvent ni y accéder ni le modifier. Squarespace justifie ce choix par le respect des bonnes pratiques SEO. Le fichier exclut notamment /config/ (la page de connexion à l'administration), /api/ et diverses URL qui dupliquent du contenu, comme les listes filtrées par auteur, étiquette ou mois.

Deux réglages agissent sur ce fichier, tous deux dans le même panneau :

  • Block Search engine crawlers, qui demande aux moteurs de recherche de ne pas indexer le site en ajoutant une règle Disallow: /. Il fait disparaître le site des moteurs : ne le cochez pas si vous cherchez de la visibilité, y compris dans les assistants.
  • Block known artificial intelligence crawlers, qui ajoute une demande d'exclusion pour une liste de robots d'IA.

Il n'existe pas de réglage plus fin. Squarespace précise qu'il n'est pas possible de demander aux robots d'IA de n'explorer que certaines pages.

Où se trouve le réglage

Le chemin indiqué par Squarespace est le suivant (libellés de l'interface anglaise, la version française peut les traduire) :

  1. Ouvrez le panneau Settings.
  2. Cliquez sur Crawlers.
  3. Cochez la case Block known artificial intelligence crawlers.

La case est décochée par défaut. Squarespace explique ce choix par la crainte de réduire le trafic des sites en les excluant des réponses et des sources citées par les assistants.

Ce que la case bloque exactement

D'après l'article d'aide de Squarespace (mis à jour le 8 janvier 2026), cocher la case demande aux robots suivants de ne pas explorer le site :

AI2Bot, Ai2Bot-Dolma, aiHitBot, Amazonbot, anthropic-ai, Applebot-Extended,
Bytespider, CCBot, ClaudeBot, cohere-ai, cohere-training-data-crawler,
DuckAssistBot, FacebookBot, Google-Extended, GoogleOther, GoogleOther-Image,
GoogleOther-Video, GPTBot, img2dataset, Meta-ExternalAgent,
MyCentralAIScraperBot, omgili, omgilibot, Quora-Bot, TikTokSpider, YouBot

Squarespace indique que cette liste peut s'allonger, et qu'on peut lui suggérer un robot manquant par une demande de fonctionnalité.

Rapportée à l'objectif de ce site, la liste se lit ainsi :

  • Les principaux robots d'entraînement y figurent : GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent (la casse ne compte pas dans le nom du robot), Google-Extended et Applebot-Extended. MistralAI-Training n'y est pas.
  • Les robots de recherche des assistants n'y figurent pas : OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot et Perplexity-User restent soumis au groupe général *, donc autorisés sur les pages publiques.
  • Certains robots bloqués servent aussi à vous citer. DuckDuckGo présente DuckAssistBot comme le robot de ses réponses assistées par IA et affirme que ses données ne servent pas à entraîner des modèles. Google-Extended couvre l'ancrage des réponses dans les applications Gemini en plus de l'entraînement. Amazonbot alimente aussi des produits d'Amazon. GoogleOther est, selon Google, un robot générique sans effet sur Google Search.
  • Un jeton obsolète : anthropic-ai n'apparaît plus dans la documentation actuelle d'Anthropic ; c'est ClaudeBot, également présent, qui compte.

En résumé, cocher la case refuse l'entraînement pour la plupart des grands éditeurs tout en laissant passer les robots de recherche de ChatGPT, Claude et Perplexity. En contrepartie, vous renoncez à DuckAssist et à l'ancrage dans Gemini, sans pouvoir faire d'exception.

La configuration cible, pour comparaison

Comme le fichier ne peut pas être modifié, le bloc suivant n'est pas à coller : il décrit l'effet recherché, pour vous aider à lire le fichier servi par Squarespace.

# Refusé : entraînement
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Autorisé : ces robots ne sont pas nommés et suivent le groupe *
# OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User,
# PerplexityBot, Perplexity-User
User-agent: *
Disallow: /config
Disallow: /api/

Lire le fichier servi par Squarespace

Un détail mérite attention. Sur les sites Squarespace que nous avons consultés en octobre 2026, les jetons de la liste figuraient tous en tête de fichier, mais dans le même groupe que User-agent: *, c'est-à-dire avec les seules règles générales (Disallow: /config, Disallow: /api/…) :

User-agent: GPTBot
User-agent: Meta-ExternalAgent
User-agent: AdsBot-Google
User-agent: *
Disallow: /config
Disallow: /search

Extrait simplifié. Dans ce cas, GPTBot n'est pas bloqué : il peut explorer toutes les pages publiques. Nous ignorons l'état de la case sur ces sites, et Squarespace ne publie pas le fichier exact produit lorsqu'elle est cochée. Le contrôle à faire est donc simple : quand le réglage est actif, la ligne User-agent: GPTBot doit appartenir à un groupe dont la règle est Disallow: /, et pas au groupe de User-agent: *.

Limites et pièges propres à Squarespace

  • Tout ou rien. Impossible de garder DuckAssistBot ou Google-Extended tout en bloquant GPTBot, ni d'ajouter MistralAI-Training.
  • Pas d'effet rétroactif. Squarespace rappelle que cocher la case ne retire pas des données d'entraînement les contenus déjà collectés.
  • Une demande, pas une barrière. robots.txt est une demande que les robots bien élevés respectent ; les autres peuvent l'ignorer. Squarespace indique que le seul moyen d'empêcher tout accès est de rendre le contenu privé, par exemple avec un mot de passe.
  • Ne pas confondre avec le masquage d'une page. Pour retirer une page des résultats de recherche, Squarespace propose l'option « Hide page from search results » dans l'onglet SEO des réglages de page, qui ajoute une balise noindex ; elle n'agit pas sur robots.txt.

Vérifier le résultat

Ouvrez https://www.example.com/robots.txt après avoir enregistré le réglage. Repérez la ligne User-agent: GPTBot et regardez quelle règle suit son groupe. Contrôlez ensuite une page publique pour GPTBot, ClaudeBot, OAI-SearchBot et PerplexityBot avec le testeur de robots.txt IABIG : les deux premiers doivent être refusés, les deux autres autorisés. Si GPTBot reste autorisé alors que la case est cochée, signalez-le au support de Squarespace en joignant le contenu du fichier.

Sources officielles

Outils gratuits

Scanner de visibilité IA gratuit

Analysez gratuitement si ChatGPT, Claude, Perplexity et Gemini peuvent lire et citer votre site - robots.txt, llms.txt, JavaScript, texte caché.

Générateur de robots.txt pour les robots d'IA (GPTBot, ClaudeBot, PerplexityBot…)

Créez en un clic un robots.txt qui bloque l'entraînement des IA tout en restant visible dans ChatGPT Search, Claude et Perplexity. Gratuit.

Testeur de robots.txt pour les robots d'IA

Collez votre robots.txt et voyez instantanément, robot par robot, si GPTBot, ClaudeBot, PerplexityBot ou Google-Extended peuvent lire une page.

À lire aussi