Crawl

Parcours automatisé des URL d'un site par un robot d'indexation.

L'exploration est la brique initiale de toute chaîne de visibilité : un robot découvre des URL, suit les liens, télécharge le code et repart vers de nouvelles adresses. Sans ce passage, aucune page n'existe pour un moteur — ni pour l'index classique, ni pour les corpus qui alimentent les réponses génératives.

Pour une agence, le crawl n'est pas un acquis mais une ressource à surveiller. Les robots d'IA s'ajoutent désormais aux robots de recherche, et chacun consomme une part du budget de crawl disponible. Une architecture qui disperse l'exploration sur des URL sans valeur prive les pages stratégiques de visites régulières.

On ne suppose pas le comportement d'un robot, on le lit. L'analyse de logs serveur montre ce qui est réellement parcouru, à quelle fréquence et avec quels statuts, tandis que la frontière de crawl explique les délais parfois longs entre la découverte d'une page et sa première visite.