Hoe GPTBot en PerplexityBot je website lezen: van crawlverzoek tot bruikbare bron

Een AI-crawler ziet je website niet automatisch zoals een bezoeker die ziet. Hij vraagt een URL op, ontvangt een serverantwoord en verwerkt de inhoud die technisch beschikbaar is. Een mooie interface helpt weinig wanneer je belangrijkste informatie pas na een klik of via niet-uitgevoerde JavaScript verschijnt.

Voor ondernemers, KMO’s en marketingbureaus is vooral dit onderscheid belangrijk: gecrawld worden, gebruikt worden voor modeltraining en geciteerd worden in een AI-antwoord zijn verschillende processen. Elk proces heeft andere voorwaarden.

GPTBot en PerplexityBot hebben niet dezelfde taak

“AI-bot” is een verzamelnaam. Niet elke bot verzamelt informatie voor hetzelfde doel.

• GPTBot is de crawler van OpenAI die inhoud kan verzamelen voor het verbeteren en trainen van modellen. Toegang voor GPTBot betekent niet automatisch zichtbaarheid in ChatGPT-antwoorden.
• OAI-SearchBot is gericht op zoekfunctionaliteit van OpenAI. Voor vindbaarheid via ChatGPT-zoekresultaten is dit een andere relevante bot dan GPTBot.
• PerplexityBot crawlt webinhoud voor de zoekfunctionaliteit van Perplexity. Toegang kan helpen om inhoud beschikbaar te maken als zoekbron, maar garandeert geen vermelding.
• Gebruikersgestuurde agents, zoals ChatGPT-User en Perplexity-User, kunnen pagina’s ophalen naar aanleiding van een gebruikersvraag. Dat is iets anders dan automatisch het web crawlen.

Controleer de actuele documentatie van de aanbieders voordat je toegangsregels wijzigt. Namen, functies en technische instructies kunnen veranderen.

Stap 1: de crawler moet je URL vinden

Een pagina kan pas worden opgehaald wanneer de URL bekend is. Crawlers en zoeksystemen kunnen URL’s ontdekken via interne links, externe verwijzingen, sitemaps en bestaande zoekindexen. Welke routes een dienst precies gebruikt, verschilt.

Maak ontdekking daarom niet afhankelijk van één kanaal:

• Link belangrijke pagina’s vanuit je navigatie of relevante overzichtspagina’s.
• Gebruik gewone HTML-links met een geldig href-attribuut.
• Houd je XML-sitemap actueel.
• Voorkom dat waardevolle pagina’s alleen via een interne zoekfunctie bereikbaar zijn.

Een sitemap is een hulpmiddel voor ontdekking, geen opdracht om elke URL te crawlen of te indexeren. Ook een IndexNow-melding aan deelnemende zoekmachines is geen rechtstreekse opdracht aan alle AI-bots.

Stap 2: toegang wordt technisch gecontroleerd

Vervolgens spelen je server, robots.txt, CDN en beveiligingsinstellingen een rol. Een bot kan welkom zijn volgens robots.txt en toch worden tegengehouden door een firewall of CAPTCHA.

Wil je GPTBot weren maar PerplexityBot toegang geven, dan kan een robots.txt-fragment er zo uitzien:

User-agent: GPTBot
Disallow: /

User-agent: PerplexityBot
Allow: /

Dit voorbeeld regelt alleen deze twee genoemde crawlers. Het zegt niets over OAI-SearchBot of andere agents. Controleer altijd het volledige bestand op conflicterende of onbedoelde regels.

Robots.txt is een crawlinstructie, geen toegangsbeveiliging. Vertrouwelijke informatie hoort achter authenticatie. Een blokkade verwijdert bovendien niet automatisch eerder verzamelde inhoud.

Controleer ook de HTTP-statuscodes. Een 403 weigert toegang, een 429 wijst op te veel verzoeken en een 5xx op een serverprobleem. Zulke antwoorden kunnen voorkomen dat een crawler je inhoud ontvangt.

Stap 3: de crawler verwerkt wat beschikbaar is

De cruciale vraag is niet alleen: “Staat de tekst op mijn website?” De vraag is: “Welke tekst ontvangt deze crawler daadwerkelijk?”

Bij server-side rendering staat de hoofdinhoud al in de eerste HTML-respons. Bij client-side rendering kan die inhoud pas verschijnen nadat JavaScript is uitgevoerd. Ondersteuning daarvoor verschilt per crawler en ophaalroute.

Ga daarom niet uit van volledige browserfunctionaliteit. Maak essentiële informatie bij voorkeur direct beschikbaar in HTML:

• Wat je bedrijf doet en voor wie.
• Diensten, producten en relevante voorwaarden.
• Bedrijfsnaam en contactgegevens.
• Concrete antwoorden op veelgestelde vragen.
• Links naar verdiepende informatie.

Een accordeon is niet noodzakelijk een probleem wanneer de tekst al in de HTML staat. Inhoud die pas na een klik van de server wordt opgehaald, is minder betrouwbaar toegankelijk.

Stap 4: de inhoud moet zelfstandig begrijpelijk zijn

Na het ophalen moet een systeem kunnen herkennen waar een pagina over gaat. Duidelijke koppen, beschrijvende paginatitels en concrete formuleringen helpen daarbij.

Vergelijk deze twee zinnen:

• “Wij bieden slimme oplossingen voor ambitieuze bedrijven.”
• “Wij installeren en onderhouden ventilatiesystemen voor winkels en kantoren in Antwerpen.”

De tweede zin benoemt de dienst, doelgroep en regio. Daardoor is ze makkelijker te interpreteren zonder aanvullende context.

Schrijf belangrijke passages alsof ze los van de rest gelezen kunnen worden. Benoem het onderwerp expliciet, leg vaktermen uit en plaats voorwaarden bij de claim waarop ze betrekking hebben.

Dat maakt content bruikbaarder voor mensen én voor systemen die relevante passages selecteren. Het dwingt geen citaat af.

Welke rol spelen Schema.org en llms.txt?

Schema.org JSON-LD kan expliciet aangeven welke organisatie, dienst of ander onderwerp een pagina beschrijft. Gebruik correcte gegevens die overeenkomen met de zichtbare inhoud. Structured data vervangt geen inhoudelijke uitleg.

De manier waarop je schema toevoegt, verdient aandacht. JSON-LD dat via JavaScript wordt geïnjecteerd, is alleen beschikbaar voor systemen die die injectie uitvoeren of de gerenderde uitkomst ontvangen.

GeoEngine is een Belgische B2B SaaS GEO- en AI-toolkit voor KMO’s en marketingbureaus. De lichte GeoEngine-tag injecteert dynamisch Schema.org JSON-LD per pagina, zonder de broncode aan te passen. Controleer bij dynamische implementaties dus ook wat de beoogde crawler kan verwerken.

Een llms.txt-bestand kan daarnaast een leeswijzer aanbieden. Het is geen algemeen ondersteunde toegangsregel en vervangt robots.txt of een XML-sitemap niet.

Controleer de hele keten, niet alleen je content

Een praktische technische controle bestaat uit vijf stappen:

1. Bekijk de serverrespons: krijgt de pagina een correcte statuscode?
2. Inspecteer de oorspronkelijke HTML: staat de hoofdinhoud er al in?
3. Controleer toegangsregels: blokkeren robots.txt, CDN of firewall relevante bots?
4. Analyseer serverlogs: welke URL’s worden opgevraagd en met welk resultaat?
5. Valideer structured data: klopt de opmaak met de zichtbare informatie?

Een user-agentnaam alleen bewijst niet dat een verzoek echt van een aanbieder komt. Gebruik waar beschikbaar diens officiële verificatie-instructies.

GeoEngine biedt sitemap-sync, IndexNow-pings naar zoekmachines, dagelijkse technische monitoring en Auto-Healing van schema. Die functies ondersteunen technisch onderhoud. Ze zijn geen garantie op rankings of AI-citaties.

Veelgestelde vragen

Zorgt toegang voor GPTBot ervoor dat ChatGPT mijn bedrijf noemt?

Nee. GPTBot-toegang betreft een andere functie dan zoekzichtbaarheid. Een vermelding hangt onder meer af van de vraag, beschikbare bronnen en bronselectie.

Moet ik alle AI-bots toelaten?

Nee. Bepaal afzonderlijk je beleid voor training, zoekfunctionaliteit en gebruikersgestuurde verzoeken. Controleer vervolgens de instructies per aanbieder.

Kan een crawler mijn JavaScript-content lezen?

Dat verschilt. Maak belangrijke informatie bij voorkeur beschikbaar in de oorspronkelijke HTML en test de concrete ophaalroute.

Garandeert correcte techniek een AI-citaat?

Nee. Technische toegankelijkheid helpt systemen je inhoud te bereiken, maar garandeert geen selectie als bron.

Wil je beginnen met een nulmeting? Op geoengine.tech kun je een gratis GEO-scan aanvragen als vertrekpunt voor gerichte verbeteringen.