Robots d’IA · Robots d'entraînement des modèles

CCBot

Robot de l'organisation à but non lucratif Common Crawl, qui constitue une archive ouverte du web téléchargeable gratuitement par des chercheurs, des entreprises et des particuliers.

Activité réelle de CCBot

Aucune visite de CCBot enregistrée sur iabig.com sur les 30 derniers jours.

Dernière mise à jour : 2026-10-25 11:22:05 UTC. Voir l’Observatoire

Ce que fait CCBot

CCBot est le robot de Common Crawl, organisation à but non lucratif qui fournit gratuitement une copie d'une partie du web à des chercheurs, des entreprises et des particuliers, à des fins de recherche et d'analyse. Les données sont publiées en accès ouvert, avec le moins de restrictions possible.

Ce que dit Common Crawl :

• CCBot consulte d'abord robots.txt et ne récupère une page que si son exploration est autorisée ; le jeton à utiliser est CCBot ;
• il respecte Crawl-delay et ralentit en cas de réponses HTTP 429 ou 5xx ;
• il respecte l'attribut nofollow sur les liens, n'exécute pas JavaScript et n'utilise pas de cookies ;
• l'archive est un échantillon du web, et non une copie intégrale des sites ;
• des robots se font passer pour CCBot. Il fonctionne désormais sur des plages IP dédiées avec DNS inverse (noms en crawl.commoncrawl.org, sauf en IPv6), plages également publiées en JSON.

Common Crawl ne présente pas CCBot comme un robot d'entraînement d'IA. Mais l'archive étant réutilisable par quiconque, elle peut servir, parmi d'autres usages, à entraîner des modèles chez des tiers avec lesquels le site n'a aucune relation. Bloquer CCBot est le moyen d'éviter que de nouvelles pages entrent dans les futures archives.

Le format de la chaîne User-Agent est stable (CCBot/2.0), mais Common Crawl prévient que le numéro de version pourra augmenter.

Bloquer ou autoriser CCBot

Vos nouvelles pages ne devraient plus entrer dans les futures archives Common Crawl, ni donc dans les jeux de données que des tiers en tirent.

Pour le bloquer, ajoutez à votre robots.txt :

User-agent: CCBot
Disallow: /

Pour l'autoriser explicitement (en recopiant vos éventuelles règles privées) :

User-agent: CCBot
Allow: /

Un groupe qui nomme CCBot remplace pour lui le groupe User-agent: *. Composez un robots.txt complet avec le générateur et vérifiez-le avec le testeur.

Vérifier une visite de CCBot

N'importe qui peut écrire « CCBot » dans un User-Agent. Collez l'adresse IP et le User-Agent de vos journaux dans le vérificateur d'IP pour savoir si la visite est authentique.

Non confirmé par l'éditeur : Le classement « training » est une convention de cette base : la page CCBot décrit une archive ouverte sans mentionner l'entraînement d'IA. Le sort des pages déjà archivées après un blocage n'est pas précisé (la page renvoie à un registre d'opt-out décrit sur le blog de Common Crawl, non vérifié ici). Pas de DNS inverse en IPv6.