Crawl budget
Le crawl budget est le nombre de pages que le robot de Google (Googlebot) est prêt à explorer sur votre site lors d'une visite. Ce budget dépend de deux facteurs : la capacité de crawl (vitesse à laquelle votre serveur peut répondre) et la demande de crawl (l'intérêt de Google pour vos contenus). Si votre crawl budget est gaspillé sur des pages inutiles, vos pages importantes risquent de ne pas être explorées.
Pour les petits sites de PME (moins de 500 pages), le crawl budget est rarement un problème critique. Cependant, il devient important dès que votre site grandit ou comporte des pages parasites (doublons, pages de filtres, anciennes pages). Optimiser son crawl budget garantit que Google concentre ses ressources sur vos pages les plus importantes pour votre activité.
Un site de location de vacances en Valais avait 200 pages utiles mais aussi 800 pages générées par des filtres de recherche sans valeur SEO. Googlebot passait 80 % de son temps sur ces pages inutiles. En bloquant les filtres via le robots.txt et en nettoyant les URLs parasites, les nouvelles annonces ont été indexées en 48 heures au lieu de deux semaines.
Bloquez l'accès aux pages sans valeur SEO (filtres, tris, pages de résultats internes) via le fichier robots.txt.
Maintenez un sitemap XML propre, ne contenant que les pages que vous souhaitez voir indexées.
Assurez-vous que votre site répond rapidement : un serveur lent réduit le nombre de pages que Googlebot explore par visite.