Cloudflare blokkeert nu AI-webschrapers die niet betalen voor gegevens

Cloudflare CEO Matthew Prince riep "Content Independence Day" uit en kondigde grote veranderingen aan in de webservice-infrastructuur van het bedrijf, die nu standaard alle AI-webcrawler bots zal blokkeren.

In een blogbericht op https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/legde Prince uit dat het moderne webzoeklandschap nu steeds meer wordt bepaald door AI-chatbots zoals Google's Gemini of OpenAI's ChatGPT. Hoewel deze nuttig zijn, schrapen ze ook vrijelijk online beschikbare gegevens zonder enige repercussies en compenseren ze de oorspronkelijke makers niet.

Prince voerde aan dat het door recente veranderingen in Google Search nu tien keer "moeilijker is voor een contentmaker om hetzelfde volume aan verkeer te krijgen" als tien jaar geleden.

"In plaats van een eerlijke ruil," zei Prince. "Het web wordt uitgekamd door AI-crawlers waarbij de makers van inhoud bijna geen verkeer en dus bijna geen waarde zien."

Prince zei dat de geschraapte inhoud "de brandstof is die AI-machines aandrijft," en dat het alleen maar eerlijk was dat de oorspronkelijke makers hiervoor gecompenseerd werden.

Cloudflare kondigde ook plannen aan voor een marktplaats die makers en AI-bedrijven op één plek zal samenbrengen. De marktplaats zal beschikbare inhoud niet alleen beoordelen op het verkeer dat het genereert, maar "op hoeveel het de kennis bevordert" Prince gelooft dat dit AI-motoren zal helpen sneller te worden en "mogelijk een nieuwe gouden eeuw van hoogwaardige contentcreatie zal faciliteren."

Prince gaf toe dat hij nog niet alle antwoorden heeft, maar het bedrijf werkt samen met "vooraanstaande computerwetenschappers en economen om ze uit te zoeken"

Onlangs zei SourceHut, een open-source git-hosting servicedat zij onderbrekingen ondervonden als gevolg van "agressieve LLM crawlers" en blokkeerden zij verschillende cloudproviders, waaronder Google Cloud en Microsoft Azure, vanwege grote hoeveelheden inkomend verkeer vanaf hun netwerken.

In januari meldde DoubleVerify, een platform voor webanalyse, een toename van 86% in General Invalid Traffic (GIV) in Algemeen Ongeldig Verkeer (GIVT) van AI-scrappers en andere geautomatiseerde tools online in vergelijking met 2024.

Ondanks eerdere beloften heeft OpenAI's GPTbot ook manieren gevonden om de robot.txt van een site te negeren of te omzeilen robot.txt van een site volledig te negeren of te omzeilen, wat een enorme toename in verkeer voor domeineigenaren en dure rekeningen veroorzaakt.