AI crawlers hebben soms een hogere dekking dan Google Search

Google is al tientallen jaren de onbetwiste leider in het verzamelen van informatie van het internet en is waarschijnlijk het meest prominente voorbeeld van een website crawler. Deze geautomatiseerde programma's crawlen het internet en registreren de inhoud die ze vinden, waardoor zoekmachines websites vindbaar kunnen maken. Maar Google Search krijgt nu concurrentie, omdat AI-systemen ook gegevens van het internet nodig hebben, en daarom zetten AI-bedrijven zoals OpenAI hun eigen bots in om het internet af te zoeken naar informatie.

Eind augustus 2025 voerde webhostingprovider Hostinger een onderzoek uit naar de toegankelijkheid van 5 miljoen websites voor crawlers. Bijzonder opvallend is dat bijvoorbeeld de GPT-bot van OpenAI 4,4 van de 5 miljoen websites bereikte en daarmee een groter bereik had dan de Google-bot, die "slechts" 3,9 miljoen websites bereikte. Minder bekende bots zoals de SEO crawler van Ahrefs, de Claude bot van Anthropic en crawlers van Meta, TikTok, Bing en Apple waren ook erg actief en genereerden samen ongeveer 1,4 miljard dagelijkse verzoeken voor de 5 miljoen websites.

Het feit dat sommige bots een lager dekkingspercentage bereiken dan andere, betekent niet dat ze bepaalde delen van het internet negeren. De programma's roteren hun doelen en maken zo over een langere periode (maar nog steeds binnen een paar weken) een bijna volledige kaart van het internet.

Het onderzoek toont ook aan dat ongeveer 80% van de zoekopdrachten afkomstig is van Amerikaanse techbedrijven, ongeveer 10% uit China en dat andere landen een te verwaarlozen aandeel hebben. Dit betekent dat de indexering van het internet voornamelijk wordt gedomineerd door providers uit de VS, en binnen dat land door een paar grote technologiebedrijven. Als gevolg hiervan heeft een klein aantal platforms een grote invloed op welke inhoud zichtbaar is en welke reacties AI-systemen genereren.