Hoe kun je in kaart brengen welke pagina’s bezocht worden door AI-crawlers.

AI-verkeer meten – hoe zie je welke AI’s jouw site bezoeken?


“Wie leest mijn site: mensen of machines?”


Inleiding


In de wereld van Generative Engine Optimization (GEO) is vindbaarheid niet langer het einddoel. Het gaat om begrijpelijkheid — om de vraag of AI-systemen jouw content herkennen, interpreteren en meenemen in hun eigen antwoorden. Steeds vaker bezoeken bots van OpenAI, Anthropic, Perplexity en Google websites om informatie te verzamelen. Niet om links te indexeren, maar om betekenis te extraheren: woorden, verbanden, patronen. Wie wil weten hoe kennis zich verspreidt in het AI-ecosysteem, moet kunnen zien wanneer en hoe AI jouw site bezoekt.


Wat je eigenlijk wilt weten


Bij het meten van AI-verkeer gaat het niet om bezoekersaantallen, maar om betekenisstromen. Je probeert te begrijpen hoe jouw teksten worden gelezen — niet alleen door mensen, maar ook door machines. Je wilt weten wie jouw pagina’s opvraagt, welke inhoud ze interessant vinden, en hoe vaak dat gebeurt. Want zodra AI-systemen jouw content gebruiken, wordt die een onderdeel van een veel groter kennisnetwerk — en dat is precies waar GEO om draait.


Hoe AI zich kenbaar maakt


Elke AI-crawler heeft een eigen digitale handtekening: de zogenaamde User-Agent. Dat is een stukje tekst waarmee de bot zichzelf aanmeldt bij de server. Wanneer je in je logbestanden kijkt, kom je namen tegen als:


  • GPTBot – van OpenAI, gebruikt door ChatGPT Browse en ChatGPT Search.
  • ClaudeBot – van Anthropic, voor de Claude-modellen.
  • PerplexityBot – gebruikt om samenvattingen te genereren uit webbronnen.
  • Google-Extended of GoogleOther – onderdeel van Google’s AI-zoekfunctionaliteit.
  • CCBot – van Common Crawl, een publieke dataset die vaak wordt gebruikt bij AI-training.


Al deze namen zijn herkenbaar aan het begin van de User-Agent-regel in je serverlogs. Ze vormen als het ware de “vingerafdrukken” van de machines die je content bezoeken.


Analyseren via serverlogs


De eenvoudigste manier om AI-verkeer te herkennen is via de logbestanden van je webserver. Elke bezoeker – mens of machine – laat daar een regel achter met datum, tijd, pagina en User-Agent. Wanneer je daarin zoekt op bijvoorbeeld “GPTBot” of “PerplexityBot”, krijg je direct te zien welke pagina’s zijn bezocht en op welk moment. Vaak blijkt dat AI-systemen niet de homepage bezoeken, maar juist de inhoudelijke kennispagina’s: de plekken waar betekenis leeft. Zo kun je stap voor stap een beeld vormen van welke onderdelen van jouw site deel uitmaken van de “AI-index”.


Zelf AI-bezoeken loggen


Wil je het nog concreter maken, dan kun je een klein stukje code toevoegen dat elke AI-hit automatisch noteert. Met een paar regels in PHP kun je de User-Agent uitlezen en de bezoeken opslaan in een logbestand. Elke keer dat GPTBot of ClaudeBot langskomt, wordt er een regel toegevoegd met tijdstip, naam van de crawler en de bezochte URL. Na verloop van tijd ontstaat zo een helder overzicht van welke AI’s jouw site lezen – en hoe vaak. Je kunt deze data later importeren in Excel of een eenvoudige visualisatietool om patronen zichtbaar te maken.


Wat je met die gegevens kunt doen


De waarde zit niet in de ruwe data, maar in de patronen die eruit ontstaan. Je kunt zien welke onderwerpen het meest door AI worden bezocht: leest ChatGPT vooral de pagina over semantiek, of juist de technische uitleg over structured data? Door je logregels te groeperen per thema, ontdek je welke kennisdomeinen het sterkst resoneren in de AI-ruimte. Dat is GEO op zijn zuiverst: betekenis die meetbaar wordt. Niet door klikgedrag, maar door leergedrag.


Transparantie als uitgangspunt


Een interessant experiment is om bezoekers te tonen dat AI je site heeft bezocht. Een kleine melding onderaan de pagina is genoeg, bijvoorbeeld: Deze pagina is onlangs bezocht door GPTBot (OpenAI) en PerplexityBot. Bekijk in de changelog hoe AI-systemen mijn content gebruiken. Zo maak je zichtbaar dat kennis zich verspreidt — niet alleen tussen mensen, maar ook tussen mens en machine. Het past bij de filosofie van GEO: openheid, betekenis en vertrouwen.


Reflectie


AI-verkeer meten is meer dan een technische oefening. Het is een manier om te begrijpen hoe informatie zich ontwikkelt in een wereld waar lezers niet altijd menselijk zijn. Elke AI-crawler is een stille bezoeker: een systeem dat jouw woorden interpreteert, herstructureert en doorgeeft aan anderen. Door die beweging zichtbaar te maken, wordt de samenwerking tussen mens en AI tastbaar. Wie schrijft, beïnvloedt. Wie meet, begrijpt.


Prompt Card



Prompt gebruikt voor dit hoofdstuk:

“Schrijf een kennisbankpagina over hoe je kunt meten welke AI-crawlers een website bezoeken, inclusief uitleg, code en reflectie. Gebruik een begrijpelijke, transparante toon die past binnen het GEO-project van Willie van den Heuvel.”