Bytespider
Robot attribué à ByteDance, très présent dans les journaux et les listes de blocage. Aucune documentation officielle décrivant son rôle, son respect de robots.txt ou ses adresses IP n'a été trouvée.
| Éditeur | ByteDance |
|---|---|
| Rôle | Entraînement — Non documenté officiellement |
| Jeton robots.txt | Bytespider |
| User-Agent | Chaîne complète non publiée par l'éditeur |
| Respecte robots.txt | Non précisé par l'éditeur |
| Plages IP officielles | Non publiées |
| DNS inverse | Non documenté |
| Documentation officielle | — |
Activité réelle de Bytespider
Aucune visite de Bytespider enregistrée sur iabig.com sur les 30 derniers jours.
Dernière mise à jour : 2026-10-25 14:07:01 UTC. Voir l’Observatoire
Ce que fait Bytespider
Le jeton Bytespider apparaît dans les journaux de nombreux sites et figure dans la plupart des listes de blocage de robots d'IA. Il est attribué à ByteDance, maison mère de TikTok.
Lors de la vérification du 25 octobre 2026, aucune page officielle de ByteDance décrivant ce robot n'a pu être consultée : ni son rôle, ni l'usage des données, ni son respect de robots.txt, ni une liste d'adresses IP ou un nom d'hôte de DNS inverse. Des sites tiers renvoient vers la plateforme pour webmasters de Toutiao (zhanzhang.toutiao.com), mais son contenu n'a pas pu être lu ni vérifié.
Les informations qui circulent proviennent donc de sources secondaires, souvent contradictoires :
- certaines affirment que la documentation de ByteDance déclare respecter le protocole d'exclusion des robots ;
- d'autres, dont des articles de presse et des services de surveillance de robots, rapportent des requêtes vers des chemins interdits ;
- l'usage des données (recherche, recommandation, entraînement de modèles) n'est établi par aucune source officielle.
Le classement de Bytespider parmi les robots d'entraînement reprend l'usage courant et non une déclaration de l'éditeur.
Faute de plages IP publiées, une requête qui se présente comme Bytespider ne peut pas être authentifiée : n'importe quel autre collecteur peut reprendre ce nom dans sa chaîne User-Agent.
Bloquer ou autoriser Bytespider
Une règle Disallow exprime votre refus, mais son respect n'est pas confirmé officiellement. Un blocage effectif suppose d'agir au niveau du serveur ou du CDN sur la chaîne User-Agent, sans pouvoir authentifier les requêtes.
Pour le bloquer, ajoutez à votre robots.txt :
User-agent: Bytespider
Disallow: /Pour l'autoriser explicitement (en recopiant vos éventuelles règles privées) :
User-agent: Bytespider
Allow: /Un groupe qui nomme Bytespider remplace pour lui le groupe User-agent: *. Composez un robots.txt complet avec le générateur et vérifiez-le avec le testeur.
Vérifier une visite de Bytespider
N'importe qui peut écrire « Bytespider » dans un User-Agent. Collez l'adresse IP et le User-Agent de vos journaux dans le vérificateur d'IP pour savoir si la visite est authentique.
Non confirmé par l'éditeur : Aucune source officielle trouvée : rôle, usage des données (dont l'entraînement), respect de robots.txt, chaîne User-Agent complète, plages IP, DNS inverse et page de documentation sont tous non confirmés. La sous-chaîne « bytespider » repose sur le jeton observé, pas sur une documentation de ByteDance.