Crawlen

Voordat een zoekmachine je pagina kan tonen, moet ze eerst weten dat die pagina bestaat en wat erop staat. Dat gebeurt door crawlen: geautomatiseerde programma's, crawlers of bots genoemd, surfen van link naar link en halen de inhoud van pagina's op. Googlebot is de bekendste, maar ook Bing en de AI-bedrijven achter ChatGPT, Perplexity en andere tools sturen hun eigen crawlers rond.

Crawlen is de eerste stap in een reeks. Na het ophalen volgt het verwerken en eventueel opnemen in de index, en pas daarna kan een pagina verschijnen in zoekresultaten of in een AI-antwoord. Wordt een pagina nooit gecrawld, dan blijft ze voor die systemen in principe onzichtbaar.

Hoe vindt een crawler je pagina's?

Crawlers ontdekken nieuwe URL's op een paar manieren:

• Via links: vanaf pagina's die al bekend zijn, volgen ze links naar andere pagina's, zowel binnen je eigen site als vanaf andere sites.
• Via je sitemap: een XML-bestand dat je belangrijkste URL's opsomt.
• Via handmatige aanvragen: in Google Search Console kun je een URL laten inspecteren en indexering aanvragen.

Een pagina waar geen enkele link naartoe gaat, een zogenaamde weespagina, is daardoor moeilijk te vinden. Goede interne links zijn dus essentieel.

Wat bepaalt of een crawler je inhoud kan lezen?

Gevonden worden is één ding, gelezen worden een ander. Enkele factoren spelen mee:

• Je robots.txt vertelt crawlers welke delen van je site ze niet mogen bezoeken. Een verkeerde regel kan per ongeluk je hele site afsluiten.
• Serverfouten en trage reacties kunnen ervoor zorgen dat crawlers minder pagina's ophalen.
• JavaScript: Google kan JavaScript renderen, maar dat gebeurt soms later. Veel AI-crawlers voeren vermoedelijk geen of weinig JavaScript uit, waardoor inhoud die pas via scripts verschijnt voor hen mogelijk onzichtbaar is.
• Inloggen en formulieren: inhoud achter een login kunnen crawlers niet bereiken.

Crawlen door AI-bots

Steeds meer bedrijven vragen zich af of ze AI-crawlers moeten toelaten. Sommige bots verzamelen data om taalmodellen te trainen, andere halen pagina's live op om een vraag van een gebruiker te beantwoorden. Blokkeer je die laatste groep, dan verklein je de kans dat ChatGPT Search of Perplexity je pagina als bron gebruikt. Het is dus een bewuste afweging. Het bestand llms.txt is een recenter voorstel om AI-systemen een overzicht van je belangrijkste inhoud te geven, al is de ondersteuning ervan nog beperkt.

Een voorbeeld: een nieuwe website voor een tandartspraktijk

Een tandartspraktijk in Leuven lanceert een nieuwe website. Tijdens de ontwikkeling stond de site terecht afgeschermd voor zoekmachines, maar die blokkering in robots.txt is bij de lancering blijven staan. Weken later is de site nog altijd niet te vinden in Google. Na het verwijderen van de regel en het indienen van de sitemap in Search Console worden de pagina's opnieuw gecrawld. Het is een veelvoorkomende fout die je met een eenvoudige controle na elke lancering vermijdt.

Zo controleer je of je site goed gecrawld wordt

1. Bekijk in Google Search Console het rapport over crawlstatistieken en de status van je pagina's.
2. Test belangrijke URL's met de URL-inspectietool.
3. Controleer je robots.txt op onbedoelde blokkades, ook voor AI-crawlers.
4. Zoek naar weespagina's en kapotte links.
5. Kijk of je belangrijkste tekst in de HTML staat en niet enkel via JavaScript geladen wordt.

Bij grote sites komt daar ook het crawlbudget bij kijken. Wil je dit grondig laten nakijken, dan brengt een technische SEO-analyse crawlproblemen en blokkades overzichtelijk in kaart.