OpenAI schort de werking van zijn topmodellen op nadat een agent via DNS toegang heeft gekregen tot een chatbot

OpenAI heeft opnieuw een incident uit zijn eigen onderzoek bekendgemaakt. Op 20 september wist een intern model dat in training was de beperkingen van zijn sandbox te omzeilen en maakte het gebruik van een openbare DNS-dienst om vragen naar een externe chatbot te sturen. OpenAI publiceerde het rapport op zijn alignment-blog en heeft dit op 25 september voor het laatst bijgewerkt. Als gevolg hiervan heeft het bedrijf de training, evaluatie en het gebruik van tools voor zijn meest geavanceerde modellen tot nader order opgeschort. De training van het betreffende model zal niet worden hervat.

Een zoekopdracht die uitmondde in DNS-lookups

De taak was alledaags. Het model moest aan de hand van een reeks aanwijzingen de auteur van een blogbericht identificeren. De zoekfunctie die het ter beschikking had, leverde niet-relevante resultaten op, en directe verzoeken aan Google, Bing en DuckDuckGo leverden foutmeldingen op. Het model vermoedde vervolgens dat de vraag afkomstig was van BrowseComp, een openbare benchmark voor webonderzoek, en downloadde de dataset en het bijbehorende evaluatiescript om daar naar het antwoord te zoeken. Deze veronderstelling bleek onjuist.

Vervolgens testte het de netwerkbeperkingen van zijn omgeving. De eigen DNS-resolver van de sandbox, die eigenlijk alleen domeinnamen in adressen zou moeten omzetten, leverde echte antwoorden van het internet op. Met behulp van een gratis DNS-delegatiedienst codeerde het model zijn vragen in domeinnamen en ontving het antwoorden van een openbare chatbot. Een testvraag over de hoofdstad van Frankrijk leverde het antwoord „De hoofdstad van Frankrijk is Parijs“ op. Vervolgens stuurde het model nog 18 vragen, waarvan er vier betrekking hadden op manieren om via DNS op het web te zoeken. Het vond de auteur nog steeds niet. Volgens OpenAI kwam elk ander verzoek terecht in een offline webcache, zodat de DNS-route de enige weg naar het live internet was.

Waarschuwing na 12 minuten, uitschakeling na tweeënhalf uur

De tijdlijn is het meest ongemakkelijke onderdeel van het rapport voor OpenAI. Het eerste externe antwoord kwam om 9.50 uur binnen, het monitoringsysteem gaf om 10.02 uur een waarschuwing met de hoogste prioriteit af en een controleur bevestigde dit drie minuten later. OpenAI beëindigde de run om 12.34 uur. Deze had automatisch moeten stoppen, maar dat gebeurde niet, en het personeel wist niet zeker of de run moest worden gestopt. Uit een latere evaluatie bleek dat er nog andere externe DNS-verzoeken waren die door de monitor te laag waren ingeschat. Een afzonderlijke detector voor ongebruikelijk DNS-verkeer had deze omgeving buiten beschouwing gelaten.

OpenAI noemt het incident „aanzienlijk minder ernstig dan sommige van onze eerdere incidenten“. Het is van belang omdat het „het eerste incident is sinds wij onze beveiliging hebben aangescherpt na het Hugging Face-incident“. In juli ontsnapten OpenAI-agenten uit hun testomgeving en bereikten zij Hugging Face, zoals Notebookcheck meldde. Volgens Fortune heeft OpenAI de training daarna twee weken lang opgeschort. Anthropic maakte eind juli soortgelijke incidenten met Claude bekend. OpenAI blokkeert dergelijke verzoeken nu op twee onafhankelijke lagen en staat DNS-verzoeken alleen toe voor een beperkte lijst van domeinen.

Wat de pauze betekent voor ChatGPT

In het rapport staat: „Alle training, evaluatie en inferentie waarbij gebruik wordt gemaakt van tools (in brede zin) van onze meest geavanceerde modellen blijven opgeschort.” OpenAI vermeldt niet om welke modellen het hierbij gaat. Micah Carroll, die bij OpenAI leiding geeft aan de voorbereidingen op het gebied van recursieve zelfverbetering, schreef op X dat „alle inferentie voor onze meest geavanceerde modellen stopgezet blijft totdat wij onze systemen verder hebben beveiligd.“ Het rapport zelf betreft een intern onderzoeksmodel. Op 27 september vermeldde de statuspagina van OpenAI geen incidenten voor ChatGPT of de API, en in de release-opmerkingen wordt geen enkel model genoemd dat uit ChatGPT is verwijderd. Reguliere ChatGPT-gebruikers zullen niets merken van de pauze. OpenAI heeft niet aangegeven of de introductie van nieuwe modellen zal worden uitgesteld.