Budget de crawl

Les moteurs de recherche n'explorent pas votre site de manière illimitée. Googlebot décide lui-même combien de pages il récupère sur une période donnée, en fonction de ce que votre serveur peut supporter et de l'intérêt ou de la fréquence de mise à jour apparente de vos pages. Cette quantité d'attention s'appelle le budget de crawl. Elle influence la rapidité avec laquelle les pages nouvelles ou modifiées sont repérées.

Pour la plupart des petits sites, ce n'est pas un gros problème. Google indique lui-même que le budget de crawl concerne surtout les grands sites de plusieurs dizaines de milliers de pages ou les sites qui ajoutent très rapidement du nouveau contenu. Il reste utile d'en comprendre le principe, surtout quand votre site grandit ou génère automatiquement beaucoup de pages.

Comment se forme le budget de crawl ?

Google décrit deux composantes :

• La capacité de crawl : le nombre de requêtes que votre serveur peut traiter sans ralentir. Si votre site répond lentement ou renvoie des erreurs, Google réduit le rythme.
• La demande de crawl : l'envie qu'a Google de récupérer vos pages. Les pages populaires et régulièrement mises à jour sont explorées plus souvent que les pages obsolètes ou peu liées.

Ces deux composantes évoluent en permanence : un serveur plus rapide ou un contenu plus populaire peut faire augmenter le budget, tandis que des erreurs le font baisser. Le résultat est une limite pratique à la fréquence et à la profondeur avec lesquelles Googlebot explore votre site.

Quand faut-il s'en préoccuper ?

Le budget de crawl devient un point d'attention lorsque vous constatez que des pages importantes mettent longtemps à être explorées ou indexées. Situations typiques :

• une boutique en ligne avec de nombreuses combinaisons de filtres qui génèrent chacune une URL distincte ;
• un site qui crée des centaines ou des milliers de pages via le SEO programmatique ;
• beaucoup de contenu dupliqué, par exemple à cause de paramètres dans les URL ou de versions imprimables ;
• de longues chaînes de redirections ou de nombreux liens cassés.

Gérer efficacement votre budget de crawl

1. Gardez votre sitemap propre : uniquement les pages que vous voulez vraiment voir indexées.
2. Limitez les URL superflues comme les combinaisons de filtres à l'infini ou les paramètres de session, par exemple via une instruction ciblée dans le fichier robots.txt.
3. Renvoyez les variantes dupliquées vers la version principale avec une balise canonical.
4. Corrigez les erreurs et les chaînes de redirections, pour que les crawlers ne perdent pas de temps.
5. Misez sur un serveur rapide : un site qui répond vite peut traiter davantage de requêtes.
6. Faites des liens internes vers vos pages les plus importantes, pour qu'elles soient reconnues comme prioritaires.

Un exemple : une agence immobilière avec beaucoup de pages

Une agence immobilière de la région de Charleroi publie une page par bien et laisse en ligne les biens vendus. Sa fonction de recherche génère en plus des milliers d'URL combinant prix, commune et type de logement. Résultat : les nouveaux biens n'apparaissent parfois dans Google qu'au bout de plusieurs jours. En excluant les URL de filtres, en traitant les biens vendus de façon structurée et en proposant un sitemap à jour, l'agence permet à Googlebot de mieux concentrer son attention sur la nouvelle offre.

Budget de crawl et crawlers IA

En plus de Googlebot, des crawlers d'entreprises d'IA visitent aussi votre site, comme ceux d'OpenAI ou de Perplexity. Eux aussi disposent de ressources limitées et récupèrent probablement surtout des pages faciles d'accès et clairement structurées. Un site bien rangé aide donc à la fois les moteurs de recherche classiques et les outils d'IA. Si vous créez beaucoup de pages à grande échelle, voyez comment la fonctionnalité de SEO programmatique tient compte d'une structure saine et de l'indexabilité.