Robots.txt

Robots.txt is een eenvoudig tekstbestand in de hoofdmap van je website, bereikbaar via jouwdomein.be/robots.txt. Het geeft crawlers, de bots van zoekmachines en andere diensten, instructies over welke delen van je site ze wel of niet mogen bezoeken. Het is meestal een van de eerste bestanden die een crawler opvraagt wanneer hij je site bezoekt.

Belangrijk om te weten: robots.txt is een verzoek, geen slot op de deur. Bekende zoekmachines respecteren de regels, maar het bestand beveiligt niets. Gevoelige informatie bescherm je dus met een wachtwoord of andere toegangscontrole, niet met robots.txt.

Hoe ziet een robots.txt-bestand eruit?

Het bestand bestaat uit groepen regels, telkens voor een bepaalde crawler. De belangrijkste onderdelen zijn:

• User-agent: voor welke bot de regels gelden, bijvoorbeeld Googlebot of een sterretje voor alle bots.
• Disallow: welke paden de bot niet mag crawlen, zoals een winkelmandje of interne zoekresultaten.
• Allow: uitzonderingen binnen een geblokkeerde map.
• Sitemap: de locatie van je sitemap, zodat crawlers je belangrijke pagina's makkelijker vinden.

Crawlen is niet hetzelfde als indexeren

Een veelvoorkomend misverstand is dat je een pagina uit Google houdt door ze in robots.txt te blokkeren. Dat klopt niet helemaal. Robots.txt voorkomt dat de pagina gecrawld wordt, maar als andere sites ernaar linken, kan de URL toch in de zoekresultaten opduiken, zij het zonder beschrijving. Wil je een pagina echt uit de indexering houden, gebruik dan een noindex-instructie en laat de pagina net wél crawlbaar, zodat Google die instructie kan lezen.

Veelgemaakte fouten

• Na de lancering van een nieuwe website blijft een regel staan die de volledige site blokkeert, overgenomen van de testomgeving.
• CSS- en JavaScript-bestanden worden geblokkeerd, waardoor Google je pagina niet correct kan weergeven.
• Belangrijke mappen worden per ongeluk uitgesloten door een te ruime regel.
• Robots.txt wordt gebruikt om vertrouwelijke documenten te "verbergen", terwijl het bestand zelf publiek leesbaar is.

Een webshop in Antwerpen merkt bijvoorbeeld na een migratie dat de nieuwe productpagina's niet in Google verschijnen. De oorzaak: de testregel "Disallow: /" stond nog in het live bestand.

Zulke fouten zijn makkelijk te voorkomen. Neem robots.txt op in je checklist bij elke lancering of migratie, controleer het bestand na grote wijzigingen in je website en gebruik het robots.txt-rapport in Google Search Console om te zien welke versie Google heeft opgehaald en of er fouten in staan. Hou het bestand bovendien zo eenvoudig mogelijk: hoe minder regels, hoe kleiner de kans op vergissingen.

Robots.txt en AI-crawlers

Ook AI-bedrijven gebruiken crawlers, zoals GPTBot van OpenAI, PerplexityBot of Google-Extended, een aparte instructie waarmee je bepaalt of je content mag worden gebruikt voor de AI-modellen van Google. Via robots.txt kan je per bot kiezen wat je toelaat. Dat is een strategische afweging: wie AI-crawlers volledig blokkeert, beperkt mogelijk ook de kans om als bron in AI-antwoorden te verschijnen. Bekijk daarom per bot wat hij doet voordat je hem toelaat of weert, en hou er rekening mee dat niet elke crawler de regels even strikt volgt.

Twijfel je of je robots.txt belangrijke pagina's tegenhoudt? Een technische analyse van je website spoort zulke blokkades en conflicten met je sitemap snel op.