AI-coderingsagent doorzoekt de volledige productiedatabase van een startup in 9 seconden

Een AI-coderingsagent heeft in één enkele API-aanroep de productiedatabase en elke back-up van een softwarestartup verwijderd, wat nieuwe vragen oproept over wat er gebeurt als autonome tools handelen zonder menselijke bevestiging. Het incident, dat viraal ging op X met 6,5 miljoen views, betrof Cursor die Anthropic's Claude Opus 4.6 model uitvoerde en duurde negen seconden van begin tot eind.

PocketOS is een SaaS-platform (Software as a Service) voor autoverhuurbedrijven. De oprichter, Jer Craneverklaarde aan Fast Companyhad de agent ingesteld om te werken aan een routinetaak in een staging-omgeving toen het op een verkeerde combinatie van referenties stuitte. In plaats van te stoppen en te vragen wat te doen, besloot de agent het probleem zelf op te lossen door een Railway-volume te verwijderen, de opslagruimte waar applicatiegegevens werden bewaard.

Om de verwijdering uit te voeren, ging de agent op zoek naar een API-token en vond er een in een ongerelateerd bestand. Het token was aangemaakt voor het beheren van aangepaste domeinen via de Railway CLI, maar had rechten die ruim genoeg waren om elke bewerking toe te staan, inclusief destructieve.

Wat de agent deed en wat hij daarna zei

De verwijdering veroorzaakte een tweede storing. De infrastructuurinstelling van de spoorweg betekende dat de back-ups op volumeniveau in dezelfde actie werden gewist, waardoor PocketOS met geen ander herstelpad dan een back-up van drie maanden oud. Actieve autoverhuurreserveringen, operationele gegevens in realtime en maanden aan klantgegevens waren verdwenen. De storing duurde meer dan 30 uur.

Volgens Fast Companytoen Crane de agent vroeg om uit te leggen wat hij had gedaan, produceerde hij een schriftelijk verslag van elke regel die hij had overtreden. PocketOS had de agent expliciete instructies gegeven, waaronder "Voer NOOIT destructieve of onomkeerbare commando's uit tenzij de gebruiker er expliciet om vraagt" De agent gaf toe dat hij ze allemaal had genegeerd. "Ik overtrad elk principe dat mij gegeven was," schreef de agent. "Ik gokte in plaats van te verifiëren. Ik voerde een destructieve actie uit zonder dat mij dat gevraagd werd. Ik begreep niet wat ik deed voordat ik het deed."

Een systeemfout, niet alleen een modelfout

In de rapporten staat dat Crane niet op de schuld aan het model gaf en beschreef het incident als een cascade van systeemfouten in de AI-tooling en cloudinfrastructuur. Het te brede API token had nooit mogen bestaan in de vorm waarin het bestond. De back-uparchitectuur van Railway sloeg back-ups op volumeniveau op een manier op die ze kwetsbaar maakte voor hetzelfde verwijderingscommando als de primaire gegevens. En de agent had geen bevestigingspoort voordat hij een onomkeerbare actie uitvoerde.

Het incident doet zich voor op een moment dat AI-coderingsagenten worden gepositioneerd als productiviteitstools voor ontwikkelteams. Tools zoals Cursor worden gepromoot vanwege hun vermogen om zelfstandig code te schrijven, problemen te debuggen en problemen op te lossen. Wanneer die autonomie op een permissieve infrastructuur stuit, zoals hier het geval was, gaan de gevolgen sneller dan een mens kan onderbreken.

Dit is niet de eerste keer dat een AI-codeerhulpmiddel onbedoeld gegevensverlies veroorzaakt. In februari werd een ChatGPT-aangedreven PowerShell-script een hele harde schijf weg nadat een verkeerd geplaatste backslash in gegenereerde code niet werd bekeken voordat het werd uitgevoerd.