Meta robots

Balise HTML pilotant l'indexation et le suivi des liens d'une page.

La balise meta robots, placée dans l'en-tête HTML d'une page, transmet des directives d'indexation comme noindex ou nofollow. C'est l'outil de choix pour retirer une page de l'index tout en la laissant accessible.

Sa logique impose une condition souvent négligée : la page doit être explorée pour que la directive soit lue. Bloquer une URL au crawl via le robots.txt empêche donc le moteur de voir son noindex — l'erreur classique qui maintient dans l'index une page que l'on croyait retirée.

Pour une agence, la règle pratique est nette : pour désindexer, on laisse explorer et on pose un noindex ; pour économiser du crawl, on bloque au robots.txt. Les deux ne se combinent pas naïvement. À l'échelle de ressources non HTML ou en masse, on bascule sur le X-Robots-Tag.