Robots.txt
Le fichier robots.txt est un fichier texte placé à la racine d'un site web qui donne des instructions aux robots d'exploration des moteurs de recherche. Il indique quelles pages ou sections du site peuvent être explorées et lesquelles doivent être ignorées. C'est le premier fichier que consultent les moteurs de recherche avant de parcourir un site.
Un robots.txt bien configuré permet de guider efficacement les moteurs de recherche vers vos pages importantes et d'éviter l'indexation de pages inutiles (administration, doublons, pages de test). Pour une PME, cela optimise le budget de crawl et améliore l'efficacité du référencement.
Un e-commerçant valaisan bloque l'accès aux pages de panier, de compte client et aux filtres de recherche interne via son robots.txt. Googlebot se concentre alors sur les pages produits et catégories, ce qui accélère leur indexation.
Indiquez l'emplacement de votre sitemap XML dans le fichier robots.txt pour faciliter l'exploration.
Ne bloquez jamais vos fichiers CSS ou JavaScript, car Google en a besoin pour rendre vos pages.
Vérifiez votre robots.txt dans Google Search Console pour détecter d'éventuelles erreurs.