Indexering

Indexering is de stap waarin een zoekmachine een pagina die ze heeft bezocht, analyseert en opslaat in haar database, de index. Pas wanneer een pagina in die index staat, kan ze verschijnen in de zoekresultaten. Een pagina die niet geïndexeerd is, bestaat voor Google eigenlijk niet, hoe goed de inhoud ook is.

Indexering volgt op crawlen, het ontdekken en ophalen van pagina's. Maar niet alles wat gecrawld wordt, belandt ook in de index. Google beslist zelf welke pagina's het waardevol genoeg vindt om op te nemen, en geeft aan dat het niet elke pagina van elke site indexeert.

Hoe verloopt indexering?

Nadat Googlebot een pagina heeft opgehaald, gebeurt er een reeks stappen. Google rendert de pagina, ongeveer zoals een browser dat doet, en bekijkt de tekst, afbeeldingen, links en gestructureerde data. Daarna bepaalt het of de pagina een duplicaat is van een andere en welke versie de canonieke is. Ten slotte beslist het of de pagina in de index komt en voor welke onderwerpen ze relevant lijkt.

Waarom wordt een pagina niet geïndexeerd?

In Google Search Console vind je bij het rapport Pagina's de redenen. Veelvoorkomende oorzaken zijn:

• Een noindex-instructie, soms per ongeluk blijven staan na de lancering van een nieuwe site.
• Een blokkade in robots.txt waardoor Google de pagina niet kan ophalen.
• De pagina wordt gezien als duplicaat en een andere URL is als canoniek gekozen.
• "Gecrawld, momenteel niet geïndexeerd": Google heeft de pagina bekeken maar vond ze (nog) niet waardevol genoeg. Vaak gaat het om dunne of sterk gelijkaardige inhoud.
• "Gevonden, momenteel niet geïndexeerd": Google kent de URL, maar heeft ze nog niet opgehaald.
• Serverfouten of pagina's die alleen na inloggen zichtbaar zijn.

Een voorbeeld: de webshop met duizenden filterpagina's

Een webshop in sportartikelen uit Leuven heeft 800 producten, maar door filters op maat, kleur en merk ontstaan tienduizenden URL's. Search Console toont dat een groot deel daarvan niet geïndexeerd wordt, terwijl sommige nieuwe productpagina's wekenlang op opname wachten. De oplossing ligt in focus: filtercombinaties zonder eigen zoekwaarde uitsluiten, canonicals correct instellen en de sitemap beperken tot pagina's die echt in de index horen. Zo gaat de aandacht van Google naar de pagina's die tellen.

Indexering en AI-zoeken

Google AI Overviews en de AI-modus bouwen op de index van Google Zoeken. Wat daar niet in staat, kan er niet als bron in verschijnen. Andere AI-zoekmachines, zoals ChatGPT Search en Perplexity, gebruiken eigen crawlers en vaak ook externe zoekindexen zoals die van Bing. Goede indexering bij meerdere zoekmachines is daarom een basisvoorwaarde voor AI-zichtbaarheid. Controleer ook of je robots.txt de crawlers van AI-diensten niet onbedoeld blokkeert.

Zo hou je indexering onder controle

1. Dien een actuele sitemap in met alleen indexeerbare pagina's.
2. Controleer maandelijks het rapport Pagina's op nieuwe uitsluitingen.
3. Verbeter of bundel dunne pagina's in plaats van ze eindeloos opnieuw in te dienen.
4. Gebruik URL-inspectie na belangrijke wijzigingen.

Voor grotere sites loont een technische SEO-analyse die indexeringsproblemen opspoort voordat ze je verkeer kosten.