SEOKennisbank

Wat is een robots.txt-bestand?

Een robots.txt-bestand vertelt zoekmachines en AI-bots welke delen van je website ze mogen bezoeken. Zo werkt het, met voorbeelden en de belangrijkste AI-bots.

In het kort

  • Een robots.txt-bestand is een tekstbestand in de hoofdmap van je website dat bots vertelt welke delen ze mogen crawlen.
  • Het regelt alleen het crawlen. Een geblokkeerde pagina kan toch in Google opduiken; wil je dat vermijden, gebruik dan noindex.
  • AI-bedrijven hebben aparte bots voor training (GPTBot, ClaudeBot) en voor zoeken (OAI-SearchBot, Claude-SearchBot). Je kunt ze elk apart blokkeren of toelaten.
  • Google-Extended en llms.txt hebben geen invloed op Google Zoeken. Uit de AI-overzichten stappen doe je via Search Console.

Een robots.txt-bestand is een eenvoudig tekstbestand dat websitebouwers gebruiken om zoekmachines en andere bots te vertellen welke delen van hun website ze wel of niet mogen bezoeken. Zo kun je ervoor zorgen dat bepaalde pagina’s of mappen niet worden gecrawld door zoekmachines zoals Google. Dat helpt om crawlers op je belangrijke pagina’s te laten focussen en je server te ontlasten. Let wel: robots.txt houdt een pagina niet altijd uit de zoekresultaten, en het is geen beveiliging voor gevoelige gegevens. Daarover verderop meer.

Het robots.txt-bestand is heel belangrijk voor hoe goed je website gevonden wordt in zoekmachines, wat we SEO noemen. Soms hebben websites problemen met gevonden worden omdat er fouten in dit kleine bestandje staan.

En sinds de opkomst van AI-tools zoals ChatGPT, Claude en Perplexity krijgt het bestandje er een rol bij: hiermee bepaal je ook welke AI-bots je content mogen lezen.

Waar vind ik het robots.txt-bestand?

Het robots.txt-bestand moet in de hoofdmap (de root) van je website staan. Je moet het dus kunnen vinden door naar www.jouwwebsite.be/robots.txt te surfen.

Ons eigen robots.txt-bestand kun je bekijken op studiocapiche.be/robots.txt.

Hand die een smartphone vasthoudt met de Google-zoekpagina open
Een robots.txt-bestand vertelt zoekmachines welke delen van je website ze mogen bezoeken.

Onderdelen van een robots.txt-bestand

User-agent

Een user-agent is een stukje software dat namens een gebruiker of een bedrijf het internet afschuimt. Denk aan de crawlers van zoekmachines zoals Google, Bing en Baidu, die we ook wel bots noemen. Die crawlers bezoeken je website om de inhoud te indexeren. Het robots.txt-bestand gebruikt de term ‘User-agent’ om aan te geven voor welke bot bepaalde regels gelden.

Algemene user-agent

Met een algemene user-agent in je robots.txt-bestand bepaal je welke regels voor alle bots gelden. Bijvoorbeeld:

User-agent: *
Disallow: /prive/

Hiermee zeg je dat geen enkele bot de map ‘prive’ mag bekijken.

Specifieke user-agent

Een specifieke user-agent bepaalt de regels voor één bepaalde bot. Bijvoorbeeld:

User-agent: Googlebot
Disallow: /geheim/

Hier zegt het robots.txt-bestand dat alleen Googlebot de map ‘geheim’ niet mag bekijken. Andere bots mogen dat wel.

Disallow

Volledige website toestaan

User-agent: *
Disallow:

Dit voorbeeld laat alle bots toe om de hele website te crawlen. Het zegt eigenlijk ‘alles is toegestaan’.

Volledige website uitsluiten

User-agent: *
Disallow: /

In dit geval vraag je alle bots om de hele website niet te crawlen. Zoekmachines kunnen je pagina’s dan niet meer lezen, waardoor je site zo goed als volledig uit de zoekresultaten verdwijnt. Handig voor een testomgeving, maar rampzalig als die regel na de lancering op je live website blijft staan.

Specifieke mappen uitsluiten

Stel, je hebt een map op je website met de naam ‘/geheim/’ en je wilt niet dat zoekmachines daarin kijken:

User-agent: *
Disallow: /geheim/

Met deze regel vraag je alle bots om de map ‘/geheim/’ en alle bestanden in die map niet te crawlen.

Allow

Stel dat je om een bepaalde reden een geheime map hebt uitgesloten voor zoekmachines, maar je wilt wel dat één bepaald bestand gevonden kan worden. Dan kun je de allow-regel gebruiken. Daarmee vertel je zoekmachines welke specifieke pagina’s of mappen ze wel mogen bekijken, zelfs als andere delen van de website uitgesloten zijn.

Voorbeeld: één bestand toestaan in een uitgesloten map

Stel, je hebt een website met een map ‘geheim’ waarin zoekmachines normaal niet mogen kijken. Zo sta je één specifiek bestand in die map toe:

User-agent: *
Disallow: /geheim/
Allow: /geheim/toegestaan-bestand.html

In dit voorbeeld zegt het robots.txt-bestand dus dat geen enkele bot in de map ‘/geheim/’ mag kijken, behalve in het bestand ‘/geheim/toegestaan-bestand.html’. Dat specifieke bestand mag wel gecrawld worden, ook al blijft de rest van de map dicht.

Crawl-delay

De crawl-delay-regel in het robots.txt-bestand geeft aan hoe lang bots moeten wachten tussen twee pagina’s die ze van je website ophalen. Het is als een snelheidslimiet voor zoekmachines, zodat je server niet overbelast raakt.

Ondersteuning door verschillende zoekmachines

De crawl-delay-regel wordt niet door alle zoekmachines ondersteund. Zo zit het:

  • Google ondersteunt crawl-delay niet. De tool om de crawlsnelheid te beperken in Google Search Console verdween in januari 2024. Googlebot past zijn tempo nu zelf aan: reageert je server traag of geeft hij foutmeldingen, dan vertraagt hij vanzelf.
  • Bing ondersteunt crawl-delay wel. De waarde (1 tot 30 seconden) is een tijdvenster waarin Bingbot je site maar één keer bezoekt.
  • Yandex somt crawl-delay niet meer op bij de regels die het ondersteunt.
  • ClaudeBot, de bot van Anthropic, ondersteunt crawl-delay wel.

Voorbeeld van gebruik

Stel dat je wilt dat bots je website trager crawlen om je server te ontlasten, bijvoorbeeld met een pauze van 10 seconden:

User-agent: *
Crawl-delay: 10

Met deze regel vraag je alle bots die crawl-delay ondersteunen om na elke pagina 10 seconden te wachten voor ze de volgende pagina van je website ophalen. Dat zorgt ervoor dat je server niet te zwaar belast wordt door crawlers en je website niet te veel laadtijd verliest.

De sitemap

Een sitemap is een van de meest essentiële onderdelen van technische SEO. Het is een speciaal bestand op je website met een lijst van alle pagina’s die zoekmachines moeten vinden en indexeren. Door de locatie van je sitemap in het robots.txt-bestand op te nemen, navigeren zoekmachines efficiënter door je website en vergroot je de kans dat ze alle belangrijke pagina’s ontdekken en indexeren.

Zo voeg je de locatie van je sitemap toe aan je robots.txt-bestand:

Sitemap: https://studiocapiche.be/sitemap_index.xml

In dit voorbeeld is https://studiocapiche.be/sitemap_index.xml de URL van het sitemapbestand op onze website. Gebruik altijd de volledige URL, met https:// en je domeinnaam erbij. Door deze regel toe te voegen, vertel je zoekmachines waar ze je sitemap vinden, waardoor ze makkelijker al je belangrijke pagina’s kunnen indexeren.

Noindex

Misschien denk je nu dat het makkelijker is om je pagina’s gewoon een noindex-regel mee te geven in het robots.txt-bestand. Dat is geen slim idee. Robots.txt is daar niet voor bedoeld, en Google negeert noindex in robots.txt sinds 1 september 2019. Robots.txt vertelt zoekmachines alleen welke delen van een website ze mogen bekijken (crawlen), niet of ze een pagina mogen indexeren.

Betere manieren om te voorkomen dat bepaalde pagina’s geïndexeerd worden

Meta robots-tag in HTML: wil je dat een pagina niet in de zoekresultaten verschijnt, dan kun je een stukje code in de HTML van de pagina zetten. Dat ziet er zo uit:

<meta name="robots" content="noindex, follow">

Deze code vraagt zoekmachines om de pagina niet te indexeren (noindex) en de links op de pagina wel te volgen (follow).

X-Robots-Tag HTTP-header: voor bestanden zoals pdf’s of afbeeldingen, waarin je geen HTML kunt aanpassen, kun je de X-Robots-Tag HTTP-header gebruiken. Die stelt je webontwikkelaar in op de server. Bijvoorbeeld:

X-Robots-Tag: noindex

Belangrijk: een zoekmachine moet de pagina kunnen crawlen om de noindex-regel te zien. Blokkeer je dezelfde pagina ook in robots.txt, dan leest Google die regel nooit.

Door deze methoden goed te gebruiken, weten zoekmachines welke pagina’s ze moeten indexeren en welke niet.

Robots.txt en AI-bots

Lange tijd was robots.txt een zaak tussen jou en de zoekmachines. Vandaag lezen ook de bots van AI-bedrijven het bestand. Sommige verzamelen teksten om AI-modellen te trainen, andere halen je pagina op om een vraag in ChatGPT, Claude of Perplexity te beantwoorden, met een link naar jouw site.

De meeste AI-bedrijven werken daarom met meerdere user-agents. Zo kun je per doel kiezen: je content afschermen voor training en toch zichtbaar blijven in AI-zoekresultaten, of andersom.

De belangrijkste AI-bots op een rij

BedrijfUser-agentWaarvoor?
OpenAIGPTBotVerzamelt content om AI-modellen te trainen.
OpenAIOAI-SearchBotToont websites in de zoekfunctie van ChatGPT.
OpenAIChatGPT-UserHaalt een pagina op als een gebruiker daarom vraagt. Volgens OpenAI gelden robots.txt-regels hier mogelijk niet.
AnthropicClaudeBotVerzamelt content die kan bijdragen aan de training van Claude.
AnthropicClaude-SearchBotVerbetert de zoekresultaten in Claude.
AnthropicClaude-UserHaalt een pagina op als iemand Claude een vraag stelt.
GoogleGoogle-ExtendedBepaalt of Google je content mag gebruiken om Gemini te trainen en antwoorden te onderbouwen. Heeft geen invloed op Google Zoeken.
PerplexityPerplexityBotToont en linkt websites in de zoekresultaten van Perplexity. Wordt niet gebruikt voor training.
PerplexityPerplexity-UserHaalt een pagina op voor een gebruiker en negeert robots.txt volgens Perplexity doorgaans.
AppleApplebot-ExtendedBepaalt of Apple je content mag gebruiken om zijn AI-modellen te trainen.
MetaMeta-ExternalAgentVerzamelt content om AI-modellen te trainen of producten te verbeteren.
Common CrawlCCBotBouwt een open archief met webdata.

Let op: Google-Extended en Applebot-Extended zijn geen aparte bots. Googlebot en Applebot crawlen je site zoals altijd; met deze regels bepaal je enkel waarvoor die bedrijven je content mogen gebruiken. Google laat ook weten dat het vanaf begin 2027 een gedeelde standaard voor trainingsvoorkeuren wil ondersteunen (AIPREF). Iets om in het oog te houden.

Voorbeeld: afschermen voor training, zichtbaar in AI-zoekresultaten

Wil je je teksten afschermen voor de training van AI-modellen en toch opduiken als bron in AI-zoekresultaten? Dan kan je robots.txt er zo uitzien:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.jouwwebsite.be/sitemap.xml

OAI-SearchBot, Claude-SearchBot en PerplexityBot vallen hier onder de algemene regel (User-agent: *), dus die mogen je site gewoon lezen. Volgens OpenAI kan het tot 24 uur duren voor een aanpassing doorwerkt in de zoekresultaten van ChatGPT.

Wat robots.txt niet kan tegenhouden

Robots.txt werkt op vertrouwen: bots die zich netjes gedragen, volgen de regels, alleen dwingt niets ze daartoe. Bots die een pagina ophalen omdat een gebruiker erom vraagt (zoals ChatGPT-User, Perplexity-User en Meta-ExternalFetcher), volgen robots.txt volgens hun eigen documentatie niet altijd. Wil je iets echt afschermen, zet het dan achter een login.

En omgekeerd: blokkeer je de zoekbots van AI-tools, zoals OAI-SearchBot of PerplexityBot, dan verschijnt je site niet meer als bron in hun antwoorden.

En llms.txt?

Misschien kwam je het al tegen: llms.txt, een voorgesteld bestand dat AI-tools een overzicht van je website moet geven. Google zegt uitdrukkelijk dat Google Zoeken llms.txt niet gebruikt en dat het je ranking niet beïnvloedt. Wil je bepalen welke bots je content mogen gebruiken, dan blijft robots.txt de plek om dat te doen.

Veelgemaakte fouten bij een robots.txt-bestand

Ben je al wat thuis in de wereld van technische SEO, dan zul je merken dat er vaak fouten sluipen in de locatie of de inhoud van het robots.txt-bestand. Hieronder som ik enkele veelvoorkomende fouten op.

Verkeerd gebruik van Disallow

Mensen denken soms dat Disallow betekent dat een pagina niet in de zoekresultaten kan verschijnen. Disallow betekent alleen dat zoekmachines de pagina niet mogen crawlen. Linken andere pagina’s ernaar, dan kan Google de URL toch indexeren en tonen, zonder beschrijving.

User-agent: *
Disallow: /geheime-pagina/

De code hierboven zorgt ervoor dat zoekmachines de pagina /geheime-pagina/ niet crawlen. Maar als iemand een link naar die pagina deelt, kunnen mensen (en zoekmachines) ze nog steeds vinden. Wil je een pagina echt uit Google houden, gebruik dan noindex.

Absolute URL’s in plaats van relatieve

Een robots.txt-bestand geldt alleen voor de website (het domein, het protocol en de poort) waarop het staat. URL’s naar andere websites werken niet in een robots.txt-bestand.

Disallow: https://anderewebsite.be/geheime-pagina/

Dit zal niet werken zoals bedoeld, omdat robots.txt alleen werkt voor de huidige website. Gebruik in Disallow- en Allow-regels een pad dat met een schuine streep begint, zoals /geheime-pagina/. Ook een subdomein, zoals shop.jouwwebsite.be, heeft een eigen robots.txt-bestand nodig.

Plaatsing in submappen

Een robots.txt-bestand moet altijd in de hoofdmap (root) van de website staan. Crawlers zoeken niet naar een robots.txt-bestand in een submap, dus dit werkt niet:

https://mijnwebsite.be/mijn-website/robots.txt

Verkeerde schrijfwijze van URL’s

Paden in robots.txt zijn hoofdlettergevoelig. Een fout in de spelling of in de hoofdletters zorgt ervoor dat de regels niet worden toegepast zoals bedoeld.

Disallow: /Geheime-pagina/

Dit werkt niet als de echte pagina /geheime-pagina/ is, met een kleine ‘g’.

De verkeerde AI-bot blokkeren

Wie GPTBot blokkeert, blokkeert daarmee OAI-SearchBot niet, en omgekeerd. Hetzelfde geldt voor ClaudeBot en Claude-SearchBot. Wil je enkel training tegenhouden, blokkeer dan de trainingsbots. Blokkeer je per ongeluk de zoekbots, dan verdwijn je als bron uit ChatGPT, Claude of Perplexity.

Door deze fouten te vermijden en het robots.txt-bestand correct te gebruiken, zorg je ervoor dat zoekmachines je website crawlen zoals jij dat wilt.

Conclusie

Samengevat is het robots.txt-bestand een eenvoudig tekstbestandje waarmee je zoekmachines zoals Google, en steeds vaker ook AI-bots, vertelt welke stukken van je website ze wel of niet mogen bekijken. Dat is handig als je bijvoorbeeld pagina’s hebt die niet in de zoekresultaten horen, of als je niet wilt dat je teksten gebruikt worden om AI te trainen. Het bestandje moet altijd in de hoofdmap (root) van je website staan, zodat bots het meteen vinden als ze je site bezoeken. Zo heb je zelf meer controle over wat er opduikt als mensen via Google of een AI-tool zoeken.

Wil je dat iemand meekijkt naar de technische kant van je website? Bekijk dan onze SEO-pakketten.

Veelgestelde vragen

Kan ik met robots.txt een pagina uit Google houden?

Niet betrouwbaar. Robots.txt houdt Google weg van de inhoud, maar als andere pagina's naar die URL linken, kan Google ze toch tonen, zonder beschrijving. Gebruik een noindex-tag en laat de pagina crawlbaar, zodat Google die tag kan lezen.

Moet ik AI-bots blokkeren in mijn robots.txt?

Dat hangt af van wat je wilt. Blokkeer je enkel de trainingsbots (zoals GPTBot, ClaudeBot en Google-Extended), dan blijf je zichtbaar als bron in AI-zoekresultaten, zolang je de zoekbots toelaat. Blokkeer je ook de zoekbots (zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot), dan verschijn je niet meer als bron in die tools.

Houdt Google-Extended mijn site uit de AI-overzichten van Google?

Nee. Google-Extended bepaalt of Google je content mag gebruiken voor Gemini, en heeft geen invloed op Google Zoeken. De AI-overzichten steunen op de gewone zoekindex. Wil je daar niet in verschijnen, dan gebruik je de instelling voor generatieve AI in Google Search Console, die sinds 31 augustus 2026 voor elke website beschikbaar is.

Heb ik een llms.txt-bestand nodig?

Voor Google niet. Google Zoeken gebruikt llms.txt niet en het heeft geen invloed op je ranking. Wie bepaalt welke bots je content mogen gebruiken, doet dat in robots.txt.

Hoe snel werkt een aanpassing aan robots.txt?

Niet meteen. Google bewaart de inhoud van je robots.txt meestal tot 24 uur in zijn cache. Meta zegt hetzelfde over zijn crawlers, en volgens OpenAI kan het ongeveer 24 uur duren voor ChatGPT-zoekresultaten een aanpassing volgen.

Bronnen

Amber Van Nuffel runt Studio Capiche. Ze schrijft de handleidingen die ze zelf aan klanten bezorgt, en zet ze hier online voor iedereen die vastloopt. Meer over Amber

← Terug naar Leesvoer