Crawl-delay

Directive robots.txt imposant un délai entre deux requêtes d'un robot.

La directive crawl-delay, posée dans le robots.txt, demande à un robot d'espacer ses requêtes d'un nombre de secondes fixé. L'intention est de protéger un serveur fragile d'un rythme d'exploration trop soutenu.

Son défaut est l'inégalité de support : certains moteurs la respectent, d'autres l'ignorent et régulent leur cadence automatiquement selon les temps de réponse observés. S'y fier comme seule protection expose donc à de mauvaises surprises sur une infrastructure limite.

Pour une agence confrontée à des pics de charge, la réponse robuste se joue plus haut : limitation de débit côté serveur ou à la périphérie via un CDN, voire un WAF réglé finement. Le crawl-delay reste un complément, pas un rempart.