Google-onderzoekers onthullen Genie - een AI die minigame-scènes weet te maken van voorbeeldafbeeldingen

Onderzoekers van Google DeepMind hebben Genie onthuld, 's werelds eerste generatieve interactieve omgevings-AI. De AI kan een speelbare scène creëren na het bekijken van een afbeelding van een voorbeeldgame. Dit opent de deur voor gamers om speelbare games te maken zonder te programmeren.

Genie is getraind op 2D platformer gameplay door 30.000 uur aan video's (6,8 miljoen clips van 16 seconden) te bekijken. De AI vereenvoudigt wat hij ziet door de videobeelden en de acties die hij ziet voor te stellen als reeksen getallen, net zoals een mens woorden gebruikt om een spelscène te beschrijven.

Eenmaal getraind is één voorbeeld van een spelscène alles wat Genie nodig heeft om een speelbare miniscène te maken. Achter de schermen kan de AI het beginbeeld uitbreiden met behulp van geavanceerde methoden voor het genereren van ontbrekende delen van een beeld, zodat Genie nieuwe delen van de spelwereld kan tekenen naarmate de speler verder komt. Het doet dit door te verwijzen naar de miljoenen clips die het heeft gezien, terwijl het personage speelbare acties krijgt zoals rennen of springen.

Belangrijk is dat Genie acties leert door naar de gameplay te kijken, niet door mensen hierop te laten wijzen. Dus als er een brug met een gat is, weet de AI op basis van wat het heeft gezien dat een personage waarschijnlijk over het gat moet springen en doet het dit als de menselijke speler op de omhoog-knop van een controller drukt.

Dit alles vergt enorme rekenkracht voor training (duizenden teraflops gedurende weken op computers met honderden chips) en gameplay, wat slechts met een supertrage 1 frame per seconde kan.

Voor de techneuten onder ons: videoframes en afgeleide latente acties worden getoken met behulp van van den Oord's VQ-VAE. Door de gebruiker gespecificeerde latente acties worden samen met tokenized videoframes ingevoerd in het dynamicamodel met behulp van Chang's MaskGIT transformer om iteratieve frame-tokens te genereren die worden gebruikt om outputvideo's te genereren met behulp van Gupta's MaskViT. ST-transformers van Xu worden overal gebruikt om temporele aandacht op te nemen naast ruimtelijke om voorspellingen te verbeteren en geheugenvereisten te verminderen.

Dus, totdat de dag aanbreekt dat computers krachtig genoeg zijn om 2D-platformspellen helemaal zelf te maken, kunt u genieten van klassieke platformspellen met een draagbare spelconsole(zoals deze bij Amazon).