Budget de crawl

Volume d'URL qu'un robot explore sur un site sur une période donnée.

Un moteur n'explore pas indéfiniment un domaine : il arbitre entre la capacité du serveur à répondre vite et l'intérêt qu'il prête aux pages. Ce plafond implicite, le budget de crawl, devient un sujet dès qu'un site dépasse quelques dizaines de milliers d'URL ou génère des variantes paramétrées en cascade.

Pour une agence, l'enjeu n'est pas d'obtenir « plus » de budget mais d'en supprimer le gaspillage. Chaque redirection inutile, chaque soft 404, chaque page dupliquée détourne des visites qui manqueront aux contenus à fort potentiel — y compris ceux que l'on veut rendre citables par les moteurs génératifs.

On mesure ce gaspillage dans les logs et on agit sur l'architecture. Réduire la profondeur de crawl des pages clés, nettoyer les paramètres d'URL et pratiquer une analyse de logs serveur régulière suffisent souvent à réorienter l'exploration vers l'essentiel.