Crawler IA

Robot collectant du contenu pour l'entraînement ou la récupération d'un modèle.

Un crawler IA est un agent automatisé opéré par un fournisseur d'IA pour indexer ou récupérer des pages, distinct des robots des moteurs de recherche classiques. Autoriser ou bloquer ces agents conditionne directement l'éligibilité d'un site aux réponses génératives.

Leur identification passe par les user-agents déclarés, qu'on régule dans le fichier robots.txt. Mais cette cartographie évolue vite : robots de collecte pour l'entraînement d'un côté, récupérateurs à la demande de l'autre, chacun avec ses propres identifiants qu'il faut tenir à jour.

Pour une agence, l'audit consiste à distinguer ces familles et à décider, cas par cas, lesquelles laisser passer selon l'arbitrage visibilité / contrôle. On maintient une liste vivante des UA — dont GPTBot — et l'on garde à l'esprit le fetch temps réel, qui conditionne la citation sur les sujets d'actualité.