Guides

Robots d'IA

• robots.txt - bloquer l'entraînement des IA et rester visible dans ChatGPT Search, Perplexity et Claude
  Un robots.txt commenté qui refuse GPTBot, ClaudeBot ou CCBot sans quitter ChatGPT Search, Perplexity et Claude, avec les pièges de la RFC 9309 à éviter.
• Vérifier qu'un robot GPTBot, ClaudeBot ou PerplexityBot est authentique - plages IP et DNS inverse
  Confirmer qu'une requête GPTBot, ClaudeBot ou PerplexityBot vient bien de son éditeur grâce aux plages IP officielles ou au DNS, puis bloquer les imitateurs.
• Mesurer les visites des robots d'IA dans les logs nginx et Apache - grep, awk et GoAccess
  Compter les visites de GPTBot, ClaudeBot, PerplexityBot et autres robots d'IA dans les logs nginx ou Apache, par robot et par page, avec un script complet.
• Liste des robots d'IA en 2026 - user-agents, jetons robots.txt et rôle de chaque crawler
  GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, Google-Extended… éditeur, jeton robots.txt, rôle, respect de robots.txt et plages IP officielles.

Visibilité dans les IA

• llms.txt - format exact, exemples et adoption réelle par les IA
  Le fichier llms.txt selon llmstxt.org, avec exemples pour un site vitrine et une documentation, et ce que les fournisseurs d'IA confirment vraiment à son sujet.
• Site React, Vue ou Angular invisible pour les IA - pourquoi et comment corriger
  Pourquoi ChatGPT, Claude ou Perplexity peuvent ne pas voir un site rendu en JavaScript, comment le tester avec curl et quelles solutions SSR ou SSG appliquer.
• Cloudflare et robots d'IA - vérifier si votre site les bloque sans le savoir
  Politiques Search, Agent et Training, Bot Preference Sync, AI Crawl Control, pay per crawl, comment voir ce que Cloudflare bloque et l'ajuster à votre objectif.

Guides par plateforme

• Robots d'IA sur Netlify - robots.txt, fichier _headers et Edge Function de filtrage
  Publier un robots.txt sur Netlify, ajouter X-Robots-Tag avec _headers et filtrer les robots d'IA par User-Agent avec une Edge Function ou l'extension dédiée.
• Robots d'IA sur IIS - robots.txt, URL Rewrite, Request Filtering et restrictions IP
  Sur IIS, publier robots.txt, refuser les robots d'entraînement avec une règle URL Rewrite dans web.config et voir les limites des filtres et restrictions IP.
• Robots d'IA avec nginx - robots.txt, blocage par User-Agent, plages IP officielles et débit
  Configuration nginx testée pour refuser les robots d'entraînement, laisser passer les vrais robots de recherche IA, limiter leur débit et les journaliser.
• Robots d'IA avec Next.js et Vercel - robots.ts, X-Robots-Tag et pare-feu Vercel
  Configurer robots.txt avec app/robots.ts dans Next.js, poser un en-tête X-Robots-Tag et régler le pare-feu Vercel sans bloquer ChatGPT Search ni Perplexity.
• Robots d'IA avec Apache 2.4 - robots.txt, .htaccess, Require not env et plages IP
  Refuser les robots d'entraînement avec Apache 2.4 via .htaccess, mod_setenvif ou mod_rewrite, et n'accepter les robots de recherche que depuis leurs plages IP.
• Autoriser ou bloquer les robots d'IA sur WordPress - robots.txt virtuel, fichier physique et filtre PHP
  Où modifier robots.txt sur WordPress pour refuser GPTBot ou ClaudeBot sans quitter ChatGPT Search, Claude et Perplexity, fichier, filtre PHP ou extension SEO.
• Autoriser ou bloquer les robots d'IA sur Wix - l'éditeur robots.txt et ses limites
  Modifier robots.txt sur Wix pour refuser GPTBot ou ClaudeBot sans bloquer ChatGPT Search, Claude et Perplexity, où trouver l'éditeur et quels pièges éviter.
• Autoriser ou bloquer les robots d'IA sur Webflow - règles robots.txt et sous-domaine webflow.io
  Écrire les règles robots.txt de Webflow pour refuser GPTBot ou ClaudeBot sans bloquer ChatGPT, Claude et Perplexity, sans le piège de l'interrupteur AI bots.
• Autoriser ou bloquer les robots d'IA sur Squarespace - ce que fait vraiment la case Crawlers
  Squarespace ne laisse pas modifier robots.txt. Ce que bloque la case des robots d'IA, ce qu'elle laisse passer et comment vérifier le fichier réellement servi.
• Autoriser ou bloquer les robots d'IA sur Shopify - personnaliser robots.txt.liquid
  Ajouter dans robots.txt.liquid des groupes qui refusent GPTBot ou ClaudeBot et gardent la boutique visible dans ChatGPT, Claude et Perplexity, avec les limites.

Sécurité IA et injection de prompt

• Texte caché et caractères invisibles - détecter les instructions dissimulées pour les IA
  Techniques de dissimulation de texte (CSS, commentaires, attributs, zéro-largeur, Unicode Tags) et commandes grep et Python pour les détecter sur un site.
• Protéger un agent IA ou un RAG contre l'injection de prompt venue du web
  Mesures concrètes pour un agent ou un RAG qui lit le web, avec séparation des données, nettoyage, moindre privilège, confirmation humaine et filtres de sortie.
• Injection de prompt indirecte - comment une page web peut manipuler un assistant IA
  Comprendre l'injection de prompt indirecte, les cas publics documentés, les risques pour les internautes et les sites, et comment vérifier son propre site.