Robots.txt

Le robots.txt est un petit fichier texte placé à la racine d’un site qui donne des consignes aux robots des moteurs de recherche : quelles zones du site explorer, lesquelles ignorer. C’est le panneau d’accueil que Google lit avant toute visite.

Exemple concret : une boutique en ligne interdit aux robots l’accès à ses pages de panier et d’espace client — inutiles dans les résultats de recherche. Google concentre alors son exploration sur les fiches produits, celles qui rapportent réellement des visites — et les pages sensibles restent hors des résultats de recherche.

Attention, l’outil est puissant : une seule ligne mal écrite (« Disallow: / ») peut bloquer l’ensemble du site et le faire disparaître des résultats. C’est l’une des premières vérifications d’un audit technique, avec le sitemap XML et l’état d’indexation des pages importantes.