Frontière de crawl

File des URL découvertes en attente d'exploration par le robot.

Entre le moment où une URL est découverte et celui où un robot la visite, elle patiente dans la frontière de crawl : une file d'attente d'adresses connues mais pas encore explorées, ordonnées par priorité estimée.

Comprendre cette file désamorce une frustration courante côté client : « ma page est en ligne depuis trois jours, pourquoi n'est-elle pas indexée ? ». La réponse tient souvent à sa position dans la file, fonction de l'intérêt perçu, du nombre de liens reçus et des contraintes de charge du serveur.

On agit sur cette priorité sans la contrôler directement. Un lien depuis une page déjà bien explorée, une entrée propre dans le sitemap XML et un budget de crawl préservé rapprochent une URL du haut de la file, accélérant son premier crawl.