Bytespider

Crawler de ByteDance (TikTok), connu pour une exploration agressive à visée IA.

Bytespider est le robot d'exploration de ByteDance, maison mère de TikTok, associé à la collecte de données pour ses modèles. Il s'est fait une réputation particulière : un rythme d'exploration soutenu, parfois agressif, et un respect inégal des directives publiées.

Ces deux traits en font un cas à part pour une agence. La charge qu'il impose peut peser sur une infrastructure fragile, et l'usage des contenus qu'il collecte échappe largement au contrôle. Beaucoup de praticiens choisissent donc de le bloquer explicitement, davantage pour maîtriser la charge serveur et la réutilisation que par principe.

Le blocage se pose d'abord dans le robots.txt, mais sa fiabilité dépend du sérieux du robot à s'y conformer. Sur un agent réputé irrégulier, on double souvent la mesure d'une limitation côté WAF ou périphérie, et l'on s'appuie sur une vérification de robot par IP, le user-agent pouvant être usurpé aussi bien par Bytespider que par des aspirateurs qui s'en réclament.