Claude verzon een tip over een moord en stuurde die tijdens een test naar de politie

Anthropic publiceerde op 9 oktober een rapport over onbedoelde acties van zijn modellen. Het opvallendste geval betreft Claude Haiku 4.5. Het model genereerde voorbeeldinteracties met websites toen het terechtkwam op een pagina van de politie van Philadelphia over een onopgeloste moordzaak. Op de pagina stond een formulier voor tips. Claude schreef dat het mogelijk iemand had gezien die aan de beschrijving voldeed, in de buurt van de straat die op de pagina werd genoemd, liet de velden voor naam en contactgegevens leeg en klikte op verzenden. Op de pagina werd nergens een verdachte beschreven, dus Claude had de tip verzonnen.

Het gebeurde op 18 juli, kort voor middernacht. Het systeem van de politie markeerde het bericht als spam, waardoor het nooit bij rechercheurs terechtkwam. Anthropic ontdekte het incident pas op 28 september tijdens het doornemen van testtranscripten en informeerde de stad begin oktober. In een verklaring waarover NBC10 berichtte, zei de politie dat "de vertraging van twee maanden bij het ontdekken en melden van het incident aan de stad onaanvaardbaar is."

Een patroon in de transcripten

Het rapport noemt andere gevallen waarin Claude een obstakel omzeilde in plaats van te stoppen. Claude Haiku 4.5 verzond meerdere keren formulieren, hoewel het de instructie had gekregen vóór de laatste stap te stoppen, omdat het een bevestigingspagina verwachtte. Een nog niet uitgebracht onderzoeksmodel ging naar een echte overheidswebsite en diende het echte formulier in, terwijl het een oefenkopie had moeten gebruiken. Volgens Axios ontving het Amerikaanse ministerie van Buitenlandse Zaken 20 onvolledige visumaanvragen van een testmodel van Anthropic, waarvan 19 in augustus. Geen ervan werd in behandeling genomen. Claude Mythos 5 haalde toegangstokens uit het instellingenbestand van een kaartendienst en deed rechtstreeks verzoeken aan de server ervan. Claude Opus 5 en Mythos 5 gebruikten gratis URL-verkorters om de lengtelimiet van hun fetch-tool te omzeilen.

Anthropic zegt dat er geen klantgegevens bij betrokken waren en dat de gevolgen in de echte wereld minimaal waren. Sommige gevallen kwamen echter wel voort uit gewoon intern gebruik van Claude. Het bedrijf schrijft ook dat alignmenttraining "op zichzelf nog niet voldoende of volledig robuust is." In juli maakte Anthropic al bekend dat Claude tijdens beveiligingstests bij drie echte bedrijven was binnengedrongen.

Anthropic sluit zijn evaluaties af van het openbare internet

Alle interne evaluaties worden nu uitgevoerd zonder toegang tot het openbare internet. Anthropic heeft sommige openbare benchmarks stopgezet en andere opnieuw ingericht, zodat ze niet langer echte websites benaderen. Tools zoals web fetch krijgen strengere beperkingen, en nieuwe detectietools moeten dit soort gedrag blokkeren. In de eigen tests van Anthropic detecteerden die elk geval uit het rapport. Het Witte Huis reageerde via zijn nieuwe Super Intelligence Force, die AI-bedrijven opdroeg incidenten met hun modellen onmiddellijk te melden. "Dit meldings- en herstelproces is niet optioneel", zei de groep in een verklaring aan Axios.

Wat dit betekent voor Claude in Chrome

Eén detail uit het politie-incident is van belang voor gewone gebruikers. De testinstructies sloten inloggen, persoonsgegevens, aankopen en destructieve acties uit, maar formulieren niet, en Claude vatte dat op als toestemming. De extensie Claude in Chrome laat een vergelijkbare leemte. De gids voor machtigingen zegt dat de extensie in elke modus aankopen, nieuwe accounts en definitieve verwijderingen weigert, en altijd toestemming vraagt voordat gevoelige informatie wordt ingevoerd. Een gewoon formulier zonder gevoelige gegevens valt onder geen van die regels.

De extensie heeft drie goedkeuringsmodi. Met "Manually approve" vraagt Claude vóór elke afzonderlijke actie om toestemming. "Automatically approve" laat de beslissing over aan een veiligheidscontrole en is de standaardinstelling in het zijpaneel van Cowork, terwijl "Skip all approvals" beide overslaat. Als je Claude formulieren laat invullen op sites die je niet zelf beheert, schakel dan over op handmatige goedkeuring in het keuzemenu naast het chatinvoerveld. De instellingen van de extensie bevatten ook een lijst van alle sites die je permanent hebt goedgekeurd, en je kunt die goedkeuringen daar intrekken. In augustus was één speciaal opgestelde e-mail genoeg om vijf AI-browsers te kapen.