Crawlbudget

Zoekmachines bezoeken je website niet onbeperkt. Googlebot beslist zelf hoeveel pagina's het in een bepaalde periode ophaalt, op basis van hoeveel je server aankan en hoe interessant of vaak gewijzigd je pagina's lijken. Die hoeveelheid aandacht noemen we het crawlbudget. Het bepaalt mee hoe snel nieuwe of aangepaste pagina's opgemerkt worden.

Voor de meeste kleine websites is dit geen groot probleem. Google geeft zelf aan dat crawlbudget vooral relevant wordt voor grote sites met tienduizenden pagina's of sites die heel snel nieuwe content toevoegen. Toch is het nuttig om het principe te begrijpen, zeker wanneer je site groeit of automatisch veel pagina's genereert.

Hoe komt het crawlbudget tot stand?

Google beschrijft twee onderdelen:

• Crawlcapaciteit: hoeveel verzoeken je server kan verwerken zonder te vertragen. Reageert je site traag of geeft ze fouten, dan schroeft Google het tempo terug.
• Crawlvraag: hoeveel Google je pagina's wil ophalen. Populaire, regelmatig bijgewerkte pagina's worden vaker bezocht dan verouderde of weinig gelinkte pagina's.

Beide onderdelen veranderen voortdurend: een snellere server of meer populaire inhoud kan het budget doen stijgen, terwijl fouten het net verlagen. Het resultaat is een praktische limiet op hoe vaak en hoe diep Googlebot je site crawlt.

Wanneer moet je je zorgen maken?

Crawlbudget wordt een aandachtspunt wanneer je merkt dat belangrijke pagina's lang niet opgehaald of geïndexeerd worden. Typische situaties:

• een webshop met veel filtercombinaties die elk een aparte URL opleveren;
• een site die via programmatic SEO honderden of duizenden pagina's aanmaakt;
• veel dubbele content, bijvoorbeeld door parameters in URL's of print-versies;
• lange ketens van redirects of veel kapotte links.

Zo ga je efficiënt om met je crawlbudget

1. Houd je sitemap zuiver: enkel pagina's die je echt geïndexeerd wilt zien.
2. Beperk overbodige URL's zoals eindeloze filtercombinaties of sessieparameters, bijvoorbeeld via een gerichte instructie in robots.txt.
3. Verwijs dubbele varianten naar de hoofdversie met een canonical tag.
4. Los fouten en redirectketens op, zodat crawlers geen tijd verspillen.
5. Zorg voor een snelle server: een site die vlot antwoordt, kan meer verzoeken aan.
6. Link intern naar je belangrijkste pagina's, zodat die als prioritair herkend worden.

Een voorbeeld: een vastgoedkantoor met veel pagina's

Een vastgoedkantoor in de regio Kortrijk publiceert voor elk pand een eigen pagina en houdt verkochte panden online. Daarnaast genereert de zoekfunctie duizenden URL's met combinaties van prijs, gemeente en type woning. Nieuwe panden verschijnen daardoor soms pas na dagen in Google. Door de filter-URL's uit te sluiten, verkochte panden gestructureerd af te handelen en een actuele sitemap aan te bieden, kan Googlebot zijn aandacht beter richten op het nieuwe aanbod.

Crawlbudget en AI-crawlers

Naast Googlebot bezoeken ook crawlers van AI-bedrijven je site, zoals die van OpenAI of Perplexity. Ook zij hebben beperkte middelen en halen vermoedelijk vooral pagina's op die goed bereikbaar en duidelijk gestructureerd zijn. Een opgeruimde site helpt dus zowel klassieke zoekmachines als AI-tools. Bouw je veel pagina's op schaal, bekijk dan hoe de functie programmatic SEO rekening houdt met een gezonde structuur en indexeerbaarheid.