Anthropic betrapte wetenschappers die Claude om hulp vroegen bij onderzoek naar biologische wapens

Anthropic, het bedrijf achter Claude AI, heeft onlangs meerdere wetenschappers gesignaleerd en geblokkeerd die probeerden de AI-modellen van het bedrijf te gebruiken voor de mogelijke ontwikkeling van biologische wapens. In een nieuw dreigingsrapport dat door het bedrijf is gepubliceerd, wordt uitgebreid ingegaan op het misbruik van het Claude AI-platform. Het onderzoek belicht vijf specifieke casestudies waarbij actieve wetenschappers onderzoek deden naar uiterst gevaarlijke pathogenen. Het opsporen van dit soort misbruik blijft uiterst complex, aangezien legitiem biomedisch onderzoek vaak sterk lijkt op de ontwikkeling van een biowapen.

In een opmerkelijk geval uit mei onderschepte de interne biologische veiligheidsclassificator van Anthropic een verzoek om een subsidieaanvraag op te stellen voor ‘gain-of-function’-onderzoek naar het chikungunya-virus. Dit door muggen overgedragen pathogeen veroorzaakt slopende symptomen en er is momenteel geen goedgekeurde behandeling voor. Het voorgestelde onderzoek had tot doel de overdraagbaarheid van het virus en zijn vermogen om immuunreacties te omzeilen te vergroten.

De band van dit onderzoek met een militair instituut deed de bezorgdheid van het bedrijf onmiddellijk toenemen. Anthropic heeft tevens een afzonderlijke poging tot ‘gain-of-function’-onderzoek naar vogelgriep tegengehouden, waarbij de nadruk lag op het aanpassen van de ziekteverwekker zodat deze zich gemakkelijker tussen zoogdieren zou kunnen verspreiden. Een andere onderschepte zoekopdracht betrof een onderzoeker die Claude gebruikte om peptiden van gifstoffen in kaart te brengen en hun eigenschappen te optimaliseren.

Anthropic reageerde door de accounts die met deze activiteiten in verband stonden definitief te blokkeren. Het bedrijf gebruikte de bevindingen om zijn veiligheidsmaatregelen tegen toekomstig misbruik te versterken. Het rapport benadrukt dat nieuwere modellen blijk geven van een toenemende vaardigheid in het uitvoeren van geavanceerde wetenschappelijke taken.

Deze capaciteit maakt hen tot zeer aantrekkelijke doelwitten voor actoren die op zoek zijn naar een echte onderzoeksassistent op het gebied van complexe biologische techniek. Anthropic heeft ervoor gekozen de identiteiten en instellingen van de betrokken wetenschappers anoniem te houden. Het bedrijf verklaarde dat het bekendmaken van de identiteit van deze beroepsbeoefenaars hen aan fysiek gevaar zou kunnen blootstellen, waarbij werd opgemerkt dat de onderzoekers wellicht niet expliciet de intentie hadden om schade te berokkenen.