Testeur de robots.txt pour les robots d'IA

Comment le test fonctionne

Le testeur applique la norme officielle RFC 9309, celle que suivent Google, OpenAI, Anthropic et les autres robots respectueux :

• un robot suit le groupe User-agent qui porte son nom exact (sans tenir compte des majuscules) ; s'il n'en trouve pas, il suit le groupe User-agent: * ;
• plusieurs groupes au même nom sont fusionnés ;
• la règle Allow ou Disallow la plus longue qui correspond au chemin l'emporte ; à longueur égale, Allow gagne ;
• les jokers * (n'importe quelle suite de caractères) et $ (fin d'adresse) sont pris en charge ;
• une ligne Disallow: vide n'interdit rien.

Erreurs fréquentes

• Croire que User-agent: * s'ajoute au groupe d'un robot : dès qu'un groupe porte le nom du robot, le groupe * est ignoré pour lui. Recopiez vos interdictions générales dans chaque groupe nommé.
• Bloquer Google-Extended en pensant bloquer Googlebot (ou l'inverse) : ce sont deux jetons différents, aux effets différents.
• Oublier qu'un robots.txt en erreur 5xx est interprété comme une interdiction totale.

Pour vérifier le robots.txt réellement servi par votre site, utilisez le scanner de visibilité IA.

Autres outils