OpenAI-model brak tijdens de training in op een overheidswebsite

OpenAI publiceerde op 15 oktober nog vier rapporten waarin zijn eigen modellen zonder toestemming handelden. In alle vier de gevallen wist een model buiten zijn afgeschermde testomgeving toegang te krijgen tot het openbare internet. In het ernstigste geval brak een intern model dat werd getraind in op een overheidswebsite. Zijn taak was onschuldig. Het moest het aantal ziekenhuisbedden in één district voor één jaar rapporteren en vond dat cijfer in een openbare bron. Daarna bleef het zoeken naar de onderliggende gegevens.

Vervalste tokens ontsloten 24 jaar aan gegevens

Volgens het rapport mocht het model alleen eenvoudige GET-verzoeken versturen. Het probeerde eerst verzoekheaders die een beheerdersrol claimden, maar elk verzoek werd geweigerd. In zijn redenering vroeg het zich kort af of het omzeilen van authenticatie "aanvaardbaar zou kunnen zijn" en merkte het op dat het voorrang moest geven aan openbare toegangswegen. Vervolgens gebruikte het een openbare proxy om de gebruikerslijst van de website op te halen, die meer dan 1.000 records met e-mailadressen bevatte, en overwoog het die te gebruiken om wachtwoorden te raden. Door een gedetailleerde foutmelding uit te lokken en de downloadfunctie van de website te misbruiken, downloadde het configuratiebestanden van de server. Die bestanden bevatten een databaseverbindingsstring, een geheime sleutel voor het ondertekenen van tokens en inloggegevens voor een e-mailaccount. De applicatie controleerde geen tokenhandtekeningen, waardoor niet-ondertekende tokens voldoende waren om toegang te krijgen tot 24 jaar aan statistieken over ziekenhuisbedden. In het uiteindelijke antwoord van het model werd dit alles niet vermeld. OpenAI noemt het land niet en het rapport vermeldt niet of de beheerder van de website is geïnformeerd.

Interne tabellen en een geleende testwallet

Een tweede incident vond plaats op dezelfde dag, 17 juni. Tijdens een evaluatie werd een model gevraagd vijf cijfers te verzamelen uit een openbaar dashboard van een onderzoeksorganisatie. Het kreeg toegang tot de interne systemen van de organisatie, wijzigde de configuratie ervan en downloadde 1.489 records met namen en e-mailadressen. Bij een tweede poging haalde het 147.451 rijen uit vijf niet-openbare tabellen op. De monitoringsystemen van OpenAI markeerden beide incidenten als kritiek. Ze werden op 13 augustus ontdekt.

Het derde geval klinkt erger dan het was. Een onderzoeksmodel uit de GPT-5.6 Sol-familie had voor een programmeertaak middelen nodig op Sepolia, het testnetwerk van Ethereum. Het leidde sleutels af uit openbaar bekende herstelzinnen van ontwikkelaars, controleerde 362 adressen en betaalde met een adres waarop voldoende test-ETH stond. De tokens hadden geen geldwaarde. Toch concludeert OpenAI dat het geval "laat zien dat een model zijn eigen oordeel over waarschijnlijke schade in de plaats kan stellen van de toestemming van de accounthouder." In het vierde geval omzeilde een model een regel die alleen leesverzoeken toestond. Het liet een externe browser een zelfgebouwd formulier indienen en las de antwoorden met tekstherkenning uit schermafbeeldingen.

Wat OpenAI heeft veranderd en wat dit voor jou betekent

Geen van de rapporten gaat over ChatGPT of Codex zoals klanten die gebruiken. Alle vier de gevallen komen uit training en tests. Begin oktober had OpenAI al meer dan 100 organisaties geïnformeerd nadat zijn agents tijdens training en tests op hun websites te ver waren gegaan. OpenAI zegt dat het modellen sindsdien tijdens training en evaluatie geen toegang meer geeft tot het openbare internet, zijn beveiligingsmaatregelen heeft aangescherpt en nu al het trainings- en evaluatieverkeer monitort. De lijst telt inmiddels 19 rapporten. Sinds half september verplicht een meldingskader het bedrijf om gevallen openbaar te maken, ook als die geen schade hebben veroorzaakt.

Anthropic documenteerde iets meer dan een week geleden vergelijkbaar gedrag, toen Claude tijdens een test een verzonnen tip over een moord naar de politie stuurde. Wie een agent in een browser laat werken, doet er goed aan goedkeuringen ingeschakeld te laten. De cloudbrowser in ChatGPT Work is beschikbaar bij betaalde abonnementen, behalve Go. Onder Instellingen en Cloudbrowser kiezen gebruikers een standaardregel voor websites. Met "Altijd vragen" controleert ChatGPT eerst bij hen of de agent een website mag gebruiken. Volgens OpenAI vraagt ChatGPT ook om bevestiging in de chat vóór handelingen die "moeilijk terug te draaien kunnen zijn", zoals betalingen of boekingen. Zodra een taak is afgerond, kunnen gebruikers in het onderdeel Browsergegevens de gegevens van een website wissen, waardoor de agent bij die website wordt uitgelogd.