Googlebot

Crawler principal de Google Search, qui explore et indexe le web.

Googlebot est le robot d'exploration de Google Search : il parcourt le web pour alimenter l'index de recherche. Il en existe des variantes — mobile, desktop, images — et il respecte le robots.txt, ce qui en fait le point de contrôle historique de la visibilité organique.

Le piège classique consiste à le confondre avec Google-Extended. Ce sont deux jetons distincts : bloquer Googlebot retire des pages de l'index classique, avec un impact direct sur le SEO et, en amont, sur les AI Overviews qui puisent dans ce même index. Bloquer Google-Extended n'affecte, lui, que l'usage génératif déclaré.

Pour une agence, la règle est simple : ne jamais traiter ces deux jetons comme interchangeables dans le robots.txt. Une erreur de configuration peut soit désindexer par mégarde, soit croire couper l'usage IA tout en laissant l'index intact. La vérification passe par les logs et par un contrôle d'IP, le user-agent restant falsifiable.