Crawlers IA

Robots collectant du contenu pour entraîner ou alimenter des modèles.

Les crawlers IA sont des robots dédiés aux systèmes d'IA générative, distincts des robots d'indexation classiques. Certains collectent du contenu pour l'entraînement des modèles ; d'autres récupèrent des pages à la demande, au moment où un utilisateur pose une question.

Leur accès se pilote via le robots.txt et des directives par agent, chaque fournisseur déclarant un ou plusieurs user-agents. La cartographie évolue vite : on tient la liste à jour plutôt que de s'en remettre à une configuration figée, et l'on vérifie les IP en cas de doute sur l'authenticité.

Pour l'agence, autoriser ou bloquer relève d'un arbitrage explicite entre visibilité dans les réponses génératives et contrôle sur la réutilisation du contenu. Ce choix se documente et s'articule avec le llms.txt et la stratégie GEO globale, moteur par moteur.