Analyse de logs serveur

Étude des journaux d'accès pour observer le comportement réel des robots.

L'analyse de logs exploite les journaux d'accès du serveur pour observer, sans intermédiaire, ce que font réellement les robots : quelles URL ils visitent, à quelle fréquence, avec quels codes de statut HTTP.

C'est la seule source factuelle du comportement d'exploration. Les rapports d'outils tiers restent des estimations reconstruites ; les logs, eux, enregistrent chaque requête telle qu'elle a eu lieu. Pour une agence, c'est la preuve qui tranche entre une hypothèse et un constat.

On y détecte le gaspillage de budget de crawl, les pages ignorées par les moteurs et les usurpations d'agent — à condition de croiser chaque visite avec une vérification de robot. C'est le point de départ de tout diagnostic de crawl sérieux.