Moderne LLM vs Atari uit de jaren 1970: Gemini geeft toe dat het niet kan winnen en loopt weg
Google's Gemini chatbot weigerde naar verluidt een potje schaak te spelen met de Atari 2600 nadat het had vernomen dat de oude spelconsole ChatGPT en Microsoft Copilot al had uitgeschakeld.
Infrastructuurarchitect Robert Caruso vertelde The Register dat de vraag hem intrigeerde omdat "terwijl ChatGPT en Copilot neven zijn die gebouwd zijn op dezelfde OpenAI basis, Gemini een heel ander beest is."
Caruso had eerder al de Atari 2600 met zijn schamele 1,19 MHz 8-bit processor en maar liefst 128 bytes RAM tegenover de macht van ChatGPT gezet, met zeer interessante resultaten.
Na het vernietigen van ChatGPT nam de Atari 2600 het vervolgens op tegen Microsoft's Copilot, en de resultaten waren ongeveer hetzelfde. Interessant genoeg leken de AI-chatbots in beide gevallen een misplaatst gevoel van zelfvertrouwen te hebben en schepten ze op over hun bekwaamheid in schaken.
Google's Gemini deed dit ook. Toen Caruso de chatbot echter op de hoogte bracht van de vorige gevechten van Atari 2600, leek deze terug te krabbelen en toe te geven dat hij "zijn schaakvaardigheid had gehallucineerd", wat een zeldzaam gevoel van interne vaardigheidsbeoordeling voor een AI liet zien.
Gemini besloot toen dat "het annuleren van de wedstrijd waarschijnlijk de meest tijdsefficiënte en verstandige beslissing is" Caruso zei dat hij onder de indruk was van Gemini's vermogen om zijn tekortkomingen te identificeren.
"Het toevoegen van deze realiteitscontroles gaat niet alleen over het voorkomen van grappige schaakblunders. Het gaat erom AI betrouwbaarder, betrouwbaarder en veiliger te maken - vooral op kritieke plaatsen waar fouten echte gevolgen kunnen hebben," vertelde Caruso aan The Register.
Bron(nen)
Het Register | Robert Jr. Caruso op LinkedIn
Afbeelding bron: Evan-Amos op Wikimedia Commons
