European Open Web Index pilot geeft toegang tot bijna 1 petabyte aan crawledata

Het consortium OpenWebSearch.eu opent volgende maand de eerste federatieve, pan-Europese Open Web Index (OWI) voor externe testers. De pilot geeft toegang tot bijna één petabyte aan gecrawlede webgegevens en markeert de eerste stap in de richting van een langetermijnindex die is ontworpen om 5 PB en uiteindelijk 10 PB aan inhoud te bereiken.

In tegenstelling tot een conventionele zoekmachine functioneert de OWI als een gedeelde digitale bibliotheek die door derden - zoekportalen, leveranciers van grote taalmodellen of onderzoeksteams - kan worden geraadpleegd om documenten op te halen. Een 14 leden tellend samenwerkingsverband van universiteiten, supercomputercentra, technologiebedrijven en CERN financiert de infrastructuur in een poging om Europa minder afhankelijk te maken van eigen indexen die worden onderhouden door Google, Microsoft en andere Amerikaanse bedrijven.

Voorstanders beweren dat centralisatie rond advertentiegedreven platformen de zoekkwaliteit heeft verzwakt en de taalkundige dekking heeft beperkt. Door een non-profit, op standaarden gebaseerde index binnen de Europese regelgevende ruimte te beheren, hoopt het consortium diensten aan te moedigen die de lokale regels voor gegevensbescherming respecteren, resultaten in meerdere talen weergeven en agressieve reclame of zelfverwijzingen vermijden. Regelgevers in Brussel en Londen hebben de dominantie van Amerikaanse techbedrijven herhaaldelijk aangevochten op precies deze gronden.

Tijdens de pilot kunnen academische groepen, start-ups en individuele ontwikkelaars de dataset verkrijgen onder een algemene onderzoekslicentie of een commerciële licentie aanvragen. Community manager Ursula Gmelch beschrijft de lancering als "een eerste stap in de richting van echte Europese digitale soevereiniteit," en voegt eraan toe dat de eerste feedback zal bepalen hoe de index zich zal ontwikkelen om aan de werkelijke vraag te voldoen. Het team is vooral geïnteresseerd in verticaal en argumentatief zoeken, retrieval-augmented generation en aanverwante AI-toepassingen.

Het tijdschema komt overeen met InvestAI, het programma van de Europese Commissie dat tot doel heeft €200 miljard (ruwweg $224,7 miljard) vrij te maken voor projecten op het gebied van kunstmatige intelligentie. Tijdens een open Zoom-sessie op 6 juni van 10.00 tot 12.00 uur CEST zullen deelnemers kennismaken met het platform en referenties uitdelen. Als de proef slaagt, kan het kleine en middelgrote Europese bedrijven het ruwe materiaal geven dat nodig is om concurrerende zoek- en AI-tools te bouwen, onafhankelijk van de heersende ecosystemen in de VS.