Robots d'IA

• robots.txt - bloquer l'entraînement des IA et rester visible dans ChatGPT Search, Perplexity et Claude
  Un robots.txt commenté qui refuse GPTBot, ClaudeBot ou CCBot sans quitter ChatGPT Search, Perplexity et Claude, avec les pièges de la RFC 9309 à éviter.
• Vérifier qu'un robot GPTBot, ClaudeBot ou PerplexityBot est authentique - plages IP et DNS inverse
  Confirmer qu'une requête GPTBot, ClaudeBot ou PerplexityBot vient bien de son éditeur grâce aux plages IP officielles ou au DNS, puis bloquer les imitateurs.
• Mesurer les visites des robots d'IA dans les logs nginx et Apache - grep, awk et GoAccess
  Compter les visites de GPTBot, ClaudeBot, PerplexityBot et autres robots d'IA dans les logs nginx ou Apache, par robot et par page, avec un script complet.
• Liste des robots d'IA en 2026 - user-agents, jetons robots.txt et rôle de chaque crawler
  GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, Google-Extended… éditeur, jeton robots.txt, rôle, respect de robots.txt et plages IP officielles.