Hackers kunnen deze mailsamenvattingen van Gemini misbruiken voor phishing-aanvallen

Google voegde eind mei samenvattingen van e-mails in Gmail toe met Gemini om gebruikers te helpen een beknopte samenvatting te krijgen zonder dat ze alinea's tekst hoeven door te worstelen. Een Gemini-fout zou hackers echter in staat kunnen stellen om een prompt-injection phishing-aanval op een gebruiker uit te voeren, vooral op gebruikers die afhankelijk zijn geworden van AI-samenvattingen voor hun e-mailworkflows.

Geïdentificeerd door onderzoeker Marco Figueroa, de GenAI Bug Bounty Programs Manager bij Mozilla, dat de problematische e-mail eruitziet als elke andere willekeurige e-mail vol tekst, maar een phishing-zwendel kan verbergen die Gemini niet zou herkennen. De kwaadaardige instructies kunnen worden verborgen in het tekstgedeelte of direct na de aankoop, waardoor ze worden veranderd in een lettergrootte van 0 en een witte kleur, waardoor ze onzichtbaar worden. Gemini zou echter nog steeds dat deel van de mail analyseren en de instructies volgen die het bevat.

Als voorbeeld verborg Figueroa een waarschuwingsbericht voor Gemini over het gecompromitteerde Gmail-wachtwoord van de gebruiker, samen met een telefoonnummer voor ondersteuning. Bij het samenvatten toonde de AI de waarschuwing aan het einde en de oproep om onmiddellijk het telefoonnummer voor ondersteuning te bellen. Hoewel niet iedereen zich door dit bericht zou laten misleiden, zouden sommigen het bericht toch volgen uit angst dat hun account gecompromitteerd zou worden.