Ce que le scanner vérifie
Accès des robots d'IA
Votre robots.txt est lu selon la norme RFC 9309 pour 20 robots : OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Mistral, Meta… en distinguant recherche et entraînement.
Lisibilité sans JavaScript
La plupart des robots d'IA n'exécutent pas JavaScript. Le scanner mesure le texte réellement présent dans le HTML reçu.
Signaux de structure
Titre, description, H1, langue, URL canonique, données structurées JSON-LD, sitemap et llms.txt.
Injection de prompt
Texte masqué, commentaires HTML et caractères invisibles qui contiennent des instructions adressées aux IA : signe fréquent d'un site piraté.
Pourquoi c'est important
Une part croissante des recherches passe par des assistants comme ChatGPT, Perplexity, Claude ou les AI Overviews de Google. Ces outils s'appuient sur des robots qui lisent les pages web pour citer leurs sources. Un robots.txt trop strict, un site entièrement construit en JavaScript ou un pare-feu qui bloque les robots inconnus peuvent rendre votre site invisible dans ces réponses, souvent sans que vous le sachiez.
À l'inverse, vous pouvez vouloir refuser que vos contenus servent à entraîner des modèles tout en restant cité dans les réponses : c'est possible, car les éditeurs utilisent des robots différents pour l'entraînement et pour la recherche. Le scanner vous montre précisément lesquels sont autorisés.
Le score sur 100 est indicatif : il additionne l'accès des robots de recherche (40 points), la lisibilité sans JavaScript (25), les signaux de structure (20), les fichiers pour robots (10) et l'indexation (5). Il ne mesure pas la qualité de votre contenu, qui reste le premier critère pour être cité.
Autres outils gratuits
Générateur de robots.txt pour les robots d'IA (GPTBot, ClaudeBot, PerplexityBot…)
Créez en un clic un robots.txt qui bloque l'entraînement des IA tout en restant visible dans ChatGPT Search, Claude et Perplexity. Gratuit.
Testeur de robots.txt pour les robots d'IA
Collez votre robots.txt et voyez instantanément, robot par robot, si GPTBot, ClaudeBot, PerplexityBot ou Google-Extended peuvent lire une page.
Vérifier l'IP d'un robot d'IA
Vérifiez si une adresse IP appartient vraiment à OpenAI, Anthropic, Perplexity, Google, Bing, Apple ou un autre éditeur d'IA grâce à leurs listes officielles.
Générateur de llms.txt gratuit à partir de votre sitemap
Générez un brouillon de llms.txt au format llmstxt.org à partir du sitemap de votre site - titres, descriptions et sections prêts à relire.
Détecteur d'injection de prompt gratuit
Vérifiez si une page web ou un texte contient des instructions cachées destinées aux IA - texte masqué, commentaires, caractères invisibles.
Derniers guides
- robots.txt - bloquer l'entraînement des IA et rester visible dans ChatGPT Search, Perplexity et ClaudeUn robots.txt commenté qui refuse GPTBot, ClaudeBot ou CCBot sans quitter ChatGPT Search, Perplexity et Claude, avec les pièges de la RFC 9309 à éviter.
- llms.txt - format exact, exemples et adoption réelle par les IALe fichier llms.txt selon llmstxt.org, avec exemples pour un site vitrine et une documentation, et ce que les fournisseurs d'IA confirment vraiment à son sujet.
- Vérifier qu'un robot GPTBot, ClaudeBot ou PerplexityBot est authentique - plages IP et DNS inverseConfirmer qu'une requête GPTBot, ClaudeBot ou PerplexityBot vient bien de son éditeur grâce aux plages IP officielles ou au DNS, puis bloquer les imitateurs.
- Texte caché et caractères invisibles - détecter les instructions dissimulées pour les IATechniques de dissimulation de texte (CSS, commentaires, attributs, zéro-largeur, Unicode Tags) et commandes grep et Python pour les détecter sur un site.
- Site React, Vue ou Angular invisible pour les IA - pourquoi et comment corrigerPourquoi ChatGPT, Claude ou Perplexity peuvent ne pas voir un site rendu en JavaScript, comment le tester avec curl et quelles solutions SSR ou SSG appliquer.
- Robots d'IA sur Netlify - robots.txt, fichier _headers et Edge Function de filtragePublier un robots.txt sur Netlify, ajouter X-Robots-Tag avec _headers et filtrer les robots d'IA par User-Agent avec une Edge Function ou l'extension dédiée.
Tous les guides → · Fiches des robots d'IA → · Observatoire des robots IA →