Budget d'exploration

Volume d'URL qu'un moteur explore sur un site sur une période.

Le budget d'exploration (crawl budget) est le volume de requêtes qu'un robot consacre à un site sur une période, arbitré entre la capacité du serveur à répondre et l'intérêt perçu des pages. Il devient un enjeu réel au-delà de quelques dizaines de milliers d'URL.

Le gaspillage est l'ennemi : paramètres générant des variantes infinies, redirections en chaîne, erreurs, pages fines. Chaque requête dépensée sur une URL sans valeur retarde l'exploration des pages qui comptent, et donc leur indexation ou leur rafraîchissement.

Pour l'agence, l'optimisation est d'abord une chasse au gaspillage : maillage propre, canonisation, blocage des URL parasites et résorption de l'index bloat. L'analyse de logs révèle où part réellement le budget, bien mieux que les estimations d'outils.