SEOKennisbank
Wat is een robots.txt-bestand?
Een robots.txt-bestand vertelt zoekmachines en AI-bots welke delen van je website ze mogen bezoeken. Zo werkt het, met voorbeelden en de belangrijkste AI-bots.
In het kort
- Een robots.txt-bestand is een tekstbestand in de hoofdmap van je website dat bots vertelt welke delen ze mogen crawlen.
- Het regelt alleen het crawlen. Een geblokkeerde pagina kan toch in Google opduiken; wil je dat vermijden, gebruik dan noindex.
- AI-bedrijven hebben aparte bots voor training (GPTBot, ClaudeBot) en voor zoeken (OAI-SearchBot, Claude-SearchBot). Je kunt ze elk apart blokkeren of toelaten.
- Google-Extended en llms.txt hebben geen invloed op Google Zoeken. Uit de AI-overzichten stappen doe je via Search Console.
Een robots.txt-bestand is een eenvoudig tekstbestand dat websitebouwers gebruiken om zoekmachines en andere bots te vertellen welke delen van hun website ze wel of niet mogen bezoeken. Zo kun je ervoor zorgen dat bepaalde pagina’s of mappen niet worden gecrawld door zoekmachines zoals Google. Dat helpt om crawlers op je belangrijke pagina’s te laten focussen en je server te ontlasten. Let wel: robots.txt houdt een pagina niet altijd uit de zoekresultaten, en het is geen beveiliging voor gevoelige gegevens. Daarover verderop meer.
Het robots.txt-bestand is heel belangrijk voor hoe goed je website gevonden wordt in zoekmachines, wat we SEO noemen. Soms hebben websites problemen met gevonden worden omdat er fouten in dit kleine bestandje staan.
En sinds de opkomst van AI-tools zoals ChatGPT, Claude en Perplexity krijgt het bestandje er een rol bij: hiermee bepaal je ook welke AI-bots je content mogen lezen.
Waar vind ik het robots.txt-bestand?
Het robots.txt-bestand moet in de hoofdmap (de root) van je website staan. Je moet het dus kunnen vinden door naar www.jouwwebsite.be/robots.txt te surfen.
Ons eigen robots.txt-bestand kun je bekijken op studiocapiche.be/robots.txt.

Onderdelen van een robots.txt-bestand
User-agent
Een user-agent is een stukje software dat namens een gebruiker of een bedrijf het internet afschuimt. Denk aan de crawlers van zoekmachines zoals Google, Bing en Baidu, die we ook wel bots noemen. Die crawlers bezoeken je website om de inhoud te indexeren. Het robots.txt-bestand gebruikt de term ‘User-agent’ om aan te geven voor welke bot bepaalde regels gelden.
Algemene user-agent
Met een algemene user-agent in je robots.txt-bestand bepaal je welke regels voor alle bots gelden. Bijvoorbeeld:
User-agent: *
Disallow: /prive/Hiermee zeg je dat geen enkele bot de map ‘prive’ mag bekijken.
Specifieke user-agent
Een specifieke user-agent bepaalt de regels voor één bepaalde bot. Bijvoorbeeld:
User-agent: Googlebot
Disallow: /geheim/Hier zegt het robots.txt-bestand dat alleen Googlebot de map ‘geheim’ niet mag bekijken. Andere bots mogen dat wel.
Disallow
Volledige website toestaan
User-agent: *
Disallow:Dit voorbeeld laat alle bots toe om de hele website te crawlen. Het zegt eigenlijk ‘alles is toegestaan’.
Volledige website uitsluiten
User-agent: *
Disallow: /In dit geval vraag je alle bots om de hele website niet te crawlen. Zoekmachines kunnen je pagina’s dan niet meer lezen, waardoor je site zo goed als volledig uit de zoekresultaten verdwijnt. Handig voor een testomgeving, maar rampzalig als die regel na de lancering op je live website blijft staan.
Specifieke mappen uitsluiten
Stel, je hebt een map op je website met de naam ‘/geheim/’ en je wilt niet dat zoekmachines daarin kijken:
User-agent: *
Disallow: /geheim/Met deze regel vraag je alle bots om de map ‘/geheim/’ en alle bestanden in die map niet te crawlen.
Allow
Stel dat je om een bepaalde reden een geheime map hebt uitgesloten voor zoekmachines, maar je wilt wel dat één bepaald bestand gevonden kan worden. Dan kun je de allow-regel gebruiken. Daarmee vertel je zoekmachines welke specifieke pagina’s of mappen ze wel mogen bekijken, zelfs als andere delen van de website uitgesloten zijn.
Voorbeeld: één bestand toestaan in een uitgesloten map
Stel, je hebt een website met een map ‘geheim’ waarin zoekmachines normaal niet mogen kijken. Zo sta je één specifiek bestand in die map toe:
User-agent: *
Disallow: /geheim/
Allow: /geheim/toegestaan-bestand.htmlIn dit voorbeeld zegt het robots.txt-bestand dus dat geen enkele bot in de map ‘/geheim/’ mag kijken, behalve in het bestand ‘/geheim/toegestaan-bestand.html’. Dat specifieke bestand mag wel gecrawld worden, ook al blijft de rest van de map dicht.
Crawl-delay
De crawl-delay-regel in het robots.txt-bestand geeft aan hoe lang bots moeten wachten tussen twee pagina’s die ze van je website ophalen. Het is als een snelheidslimiet voor zoekmachines, zodat je server niet overbelast raakt.
Ondersteuning door verschillende zoekmachines
De crawl-delay-regel wordt niet door alle zoekmachines ondersteund. Zo zit het:
- Google ondersteunt crawl-delay niet. De tool om de crawlsnelheid te beperken in Google Search Console verdween in januari 2024. Googlebot past zijn tempo nu zelf aan: reageert je server traag of geeft hij foutmeldingen, dan vertraagt hij vanzelf.
- Bing ondersteunt crawl-delay wel. De waarde (1 tot 30 seconden) is een tijdvenster waarin Bingbot je site maar één keer bezoekt.
- Yandex somt crawl-delay niet meer op bij de regels die het ondersteunt.
- ClaudeBot, de bot van Anthropic, ondersteunt crawl-delay wel.
Voorbeeld van gebruik
Stel dat je wilt dat bots je website trager crawlen om je server te ontlasten, bijvoorbeeld met een pauze van 10 seconden:
User-agent: *
Crawl-delay: 10Met deze regel vraag je alle bots die crawl-delay ondersteunen om na elke pagina 10 seconden te wachten voor ze de volgende pagina van je website ophalen. Dat zorgt ervoor dat je server niet te zwaar belast wordt door crawlers en je website niet te veel laadtijd verliest.
De sitemap
Een sitemap is een van de meest essentiële onderdelen van technische SEO. Het is een speciaal bestand op je website met een lijst van alle pagina’s die zoekmachines moeten vinden en indexeren. Door de locatie van je sitemap in het robots.txt-bestand op te nemen, navigeren zoekmachines efficiënter door je website en vergroot je de kans dat ze alle belangrijke pagina’s ontdekken en indexeren.
Zo voeg je de locatie van je sitemap toe aan je robots.txt-bestand:
Sitemap: https://studiocapiche.be/sitemap_index.xmlIn dit voorbeeld is https://studiocapiche.be/sitemap_index.xml de URL van het sitemapbestand op onze website. Gebruik altijd de volledige URL, met https:// en je domeinnaam erbij. Door deze regel toe te voegen, vertel je zoekmachines waar ze je sitemap vinden, waardoor ze makkelijker al je belangrijke pagina’s kunnen indexeren.
Noindex
Misschien denk je nu dat het makkelijker is om je pagina’s gewoon een noindex-regel mee te geven in het robots.txt-bestand. Dat is geen slim idee. Robots.txt is daar niet voor bedoeld, en Google negeert noindex in robots.txt sinds 1 september 2019. Robots.txt vertelt zoekmachines alleen welke delen van een website ze mogen bekijken (crawlen), niet of ze een pagina mogen indexeren.
Betere manieren om te voorkomen dat bepaalde pagina’s geïndexeerd worden
Meta robots-tag in HTML: wil je dat een pagina niet in de zoekresultaten verschijnt, dan kun je een stukje code in de HTML van de pagina zetten. Dat ziet er zo uit:
<meta name="robots" content="noindex, follow">Deze code vraagt zoekmachines om de pagina niet te indexeren (noindex) en de links op de pagina wel te volgen (follow).
X-Robots-Tag HTTP-header: voor bestanden zoals pdf’s of afbeeldingen, waarin je geen HTML kunt aanpassen, kun je de X-Robots-Tag HTTP-header gebruiken. Die stelt je webontwikkelaar in op de server. Bijvoorbeeld:
X-Robots-Tag: noindexBelangrijk: een zoekmachine moet de pagina kunnen crawlen om de noindex-regel te zien. Blokkeer je dezelfde pagina ook in robots.txt, dan leest Google die regel nooit.
Door deze methoden goed te gebruiken, weten zoekmachines welke pagina’s ze moeten indexeren en welke niet.
Robots.txt en AI-bots
Lange tijd was robots.txt een zaak tussen jou en de zoekmachines. Vandaag lezen ook de bots van AI-bedrijven het bestand. Sommige verzamelen teksten om AI-modellen te trainen, andere halen je pagina op om een vraag in ChatGPT, Claude of Perplexity te beantwoorden, met een link naar jouw site.
De meeste AI-bedrijven werken daarom met meerdere user-agents. Zo kun je per doel kiezen: je content afschermen voor training en toch zichtbaar blijven in AI-zoekresultaten, of andersom.
De belangrijkste AI-bots op een rij
| Bedrijf | User-agent | Waarvoor? |
|---|---|---|
| OpenAI | GPTBot | Verzamelt content om AI-modellen te trainen. |
| OpenAI | OAI-SearchBot | Toont websites in de zoekfunctie van ChatGPT. |
| OpenAI | ChatGPT-User | Haalt een pagina op als een gebruiker daarom vraagt. Volgens OpenAI gelden robots.txt-regels hier mogelijk niet. |
| Anthropic | ClaudeBot | Verzamelt content die kan bijdragen aan de training van Claude. |
| Anthropic | Claude-SearchBot | Verbetert de zoekresultaten in Claude. |
| Anthropic | Claude-User | Haalt een pagina op als iemand Claude een vraag stelt. |
| Google-Extended | Bepaalt of Google je content mag gebruiken om Gemini te trainen en antwoorden te onderbouwen. Heeft geen invloed op Google Zoeken. | |
| Perplexity | PerplexityBot | Toont en linkt websites in de zoekresultaten van Perplexity. Wordt niet gebruikt voor training. |
| Perplexity | Perplexity-User | Haalt een pagina op voor een gebruiker en negeert robots.txt volgens Perplexity doorgaans. |
| Apple | Applebot-Extended | Bepaalt of Apple je content mag gebruiken om zijn AI-modellen te trainen. |
| Meta | Meta-ExternalAgent | Verzamelt content om AI-modellen te trainen of producten te verbeteren. |
| Common Crawl | CCBot | Bouwt een open archief met webdata. |
Let op: Google-Extended en Applebot-Extended zijn geen aparte bots. Googlebot en Applebot crawlen je site zoals altijd; met deze regels bepaal je enkel waarvoor die bedrijven je content mogen gebruiken. Google laat ook weten dat het vanaf begin 2027 een gedeelde standaard voor trainingsvoorkeuren wil ondersteunen (AIPREF). Iets om in het oog te houden.
Voorbeeld: afschermen voor training, zichtbaar in AI-zoekresultaten
Wil je je teksten afschermen voor de training van AI-modellen en toch opduiken als bron in AI-zoekresultaten? Dan kan je robots.txt er zo uitzien:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.jouwwebsite.be/sitemap.xmlOAI-SearchBot, Claude-SearchBot en PerplexityBot vallen hier onder de algemene regel (User-agent: *), dus die mogen je site gewoon lezen. Volgens OpenAI kan het tot 24 uur duren voor een aanpassing doorwerkt in de zoekresultaten van ChatGPT.
Wat robots.txt niet kan tegenhouden
Robots.txt werkt op vertrouwen: bots die zich netjes gedragen, volgen de regels, alleen dwingt niets ze daartoe. Bots die een pagina ophalen omdat een gebruiker erom vraagt (zoals ChatGPT-User, Perplexity-User en Meta-ExternalFetcher), volgen robots.txt volgens hun eigen documentatie niet altijd. Wil je iets echt afschermen, zet het dan achter een login.
En omgekeerd: blokkeer je de zoekbots van AI-tools, zoals OAI-SearchBot of PerplexityBot, dan verschijnt je site niet meer als bron in hun antwoorden.
En llms.txt?
Misschien kwam je het al tegen: llms.txt, een voorgesteld bestand dat AI-tools een overzicht van je website moet geven. Google zegt uitdrukkelijk dat Google Zoeken llms.txt niet gebruikt en dat het je ranking niet beïnvloedt. Wil je bepalen welke bots je content mogen gebruiken, dan blijft robots.txt de plek om dat te doen.
Veelgemaakte fouten bij een robots.txt-bestand
Ben je al wat thuis in de wereld van technische SEO, dan zul je merken dat er vaak fouten sluipen in de locatie of de inhoud van het robots.txt-bestand. Hieronder som ik enkele veelvoorkomende fouten op.
Verkeerd gebruik van Disallow
Mensen denken soms dat Disallow betekent dat een pagina niet in de zoekresultaten kan verschijnen. Disallow betekent alleen dat zoekmachines de pagina niet mogen crawlen. Linken andere pagina’s ernaar, dan kan Google de URL toch indexeren en tonen, zonder beschrijving.
User-agent: *
Disallow: /geheime-pagina/De code hierboven zorgt ervoor dat zoekmachines de pagina /geheime-pagina/ niet crawlen. Maar als iemand een link naar die pagina deelt, kunnen mensen (en zoekmachines) ze nog steeds vinden. Wil je een pagina echt uit Google houden, gebruik dan noindex.
Absolute URL’s in plaats van relatieve
Een robots.txt-bestand geldt alleen voor de website (het domein, het protocol en de poort) waarop het staat. URL’s naar andere websites werken niet in een robots.txt-bestand.
Disallow: https://anderewebsite.be/geheime-pagina/Dit zal niet werken zoals bedoeld, omdat robots.txt alleen werkt voor de huidige website. Gebruik in Disallow- en Allow-regels een pad dat met een schuine streep begint, zoals /geheime-pagina/. Ook een subdomein, zoals shop.jouwwebsite.be, heeft een eigen robots.txt-bestand nodig.
Plaatsing in submappen
Een robots.txt-bestand moet altijd in de hoofdmap (root) van de website staan. Crawlers zoeken niet naar een robots.txt-bestand in een submap, dus dit werkt niet:
https://mijnwebsite.be/mijn-website/robots.txtVerkeerde schrijfwijze van URL’s
Paden in robots.txt zijn hoofdlettergevoelig. Een fout in de spelling of in de hoofdletters zorgt ervoor dat de regels niet worden toegepast zoals bedoeld.
Disallow: /Geheime-pagina/Dit werkt niet als de echte pagina /geheime-pagina/ is, met een kleine ‘g’.
De verkeerde AI-bot blokkeren
Wie GPTBot blokkeert, blokkeert daarmee OAI-SearchBot niet, en omgekeerd. Hetzelfde geldt voor ClaudeBot en Claude-SearchBot. Wil je enkel training tegenhouden, blokkeer dan de trainingsbots. Blokkeer je per ongeluk de zoekbots, dan verdwijn je als bron uit ChatGPT, Claude of Perplexity.
Door deze fouten te vermijden en het robots.txt-bestand correct te gebruiken, zorg je ervoor dat zoekmachines je website crawlen zoals jij dat wilt.
Conclusie
Samengevat is het robots.txt-bestand een eenvoudig tekstbestandje waarmee je zoekmachines zoals Google, en steeds vaker ook AI-bots, vertelt welke stukken van je website ze wel of niet mogen bekijken. Dat is handig als je bijvoorbeeld pagina’s hebt die niet in de zoekresultaten horen, of als je niet wilt dat je teksten gebruikt worden om AI te trainen. Het bestandje moet altijd in de hoofdmap (root) van je website staan, zodat bots het meteen vinden als ze je site bezoeken. Zo heb je zelf meer controle over wat er opduikt als mensen via Google of een AI-tool zoeken.
Wil je dat iemand meekijkt naar de technische kant van je website? Bekijk dan onze SEO-pakketten.
Veelgestelde vragen
Kan ik met robots.txt een pagina uit Google houden?
Niet betrouwbaar. Robots.txt houdt Google weg van de inhoud, maar als andere pagina's naar die URL linken, kan Google ze toch tonen, zonder beschrijving. Gebruik een noindex-tag en laat de pagina crawlbaar, zodat Google die tag kan lezen.
Moet ik AI-bots blokkeren in mijn robots.txt?
Dat hangt af van wat je wilt. Blokkeer je enkel de trainingsbots (zoals GPTBot, ClaudeBot en Google-Extended), dan blijf je zichtbaar als bron in AI-zoekresultaten, zolang je de zoekbots toelaat. Blokkeer je ook de zoekbots (zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot), dan verschijn je niet meer als bron in die tools.
Houdt Google-Extended mijn site uit de AI-overzichten van Google?
Nee. Google-Extended bepaalt of Google je content mag gebruiken voor Gemini, en heeft geen invloed op Google Zoeken. De AI-overzichten steunen op de gewone zoekindex. Wil je daar niet in verschijnen, dan gebruik je de instelling voor generatieve AI in Google Search Console, die sinds 31 augustus 2026 voor elke website beschikbaar is.
Heb ik een llms.txt-bestand nodig?
Voor Google niet. Google Zoeken gebruikt llms.txt niet en het heeft geen invloed op je ranking. Wie bepaalt welke bots je content mogen gebruiken, doet dat in robots.txt.
Hoe snel werkt een aanpassing aan robots.txt?
Niet meteen. Google bewaart de inhoud van je robots.txt meestal tot 24 uur in zijn cache. Meta zegt hetzelfde over zijn crawlers, en volgens OpenAI kan het ongeveer 24 uur duren voor ChatGPT-zoekresultaten een aanpassing volgen.
Bronnen
- Robots.txt-specificatie van Google: ondersteunde regels, crawl-delay niet ondersteund, hoofdlettergevoelige paden, geldigheid per host/protocol/poort, volledige sitemap-URL, cache tot 24 uur, geblokkeerde URL's kunnen toch geïndexeerd worden. Google Search Central.
- Google stopt met noindex in robots.txt vanaf 1 september 2019. Google Search Central Blog, juli 2019.
- Tool voor crawlsnelheid in Search Console verdwijnt op 8 januari 2024; Googlebot vertraagt zelf bij trage antwoorden of serverfouten. Google Search Central Blog, november 2023.
- Bingbot volgt crawl-delay (tijdvenster van 1 tot 30 seconden). Bing Webmaster Blog, mei 2012.
- Door Yandex ondersteunde robots.txt-regels (crawl-delay staat er niet meer bij). Yandex Webmaster Help.
- Overzicht van de crawlers van OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot) en de 24 uur voor zoekresultaten. OpenAI, geraadpleegd november 2026.
- Bots van Anthropic (ClaudeBot, Claude-User, Claude-SearchBot), robots.txt en crawl-delay. Anthropic Help Center, geraadpleegd november 2026.
- Google-Extended (geen invloed op Google Zoeken, geen aparte crawler, AIPREF vanaf begin 2027). Google Search Central, geraadpleegd november 2026.
- Crawlers van Perplexity (PerplexityBot, Perplexity-User). Perplexity Docs, geraadpleegd november 2026.
- Applebot en Applebot-Extended. Apple Support, geraadpleegd november 2026.
- Crawlers van Meta (Meta-ExternalAgent, Meta-ExternalFetcher, cache van 24 uur). Meta for Developers, geraadpleegd november 2026.
- CCBot van Common Crawl. Common Crawl.
- Google Zoeken gebruikt llms.txt niet (documentatie-update 15 juni 2026). Google Search Central, overzicht van documentatie-updates en gids over generatieve AI in Google Zoeken, mei 2026.
- AI-functies van Google steunen op de gewone zoekindex; Google-Extended regelt Zoeken niet. Google Search Central.
- Instelling voor generatieve AI in Search Console, wereldwijd sinds 31 augustus 2026. Search Console Help.























