Nvidia's volgende grote AI-inzet: cloud-verbonden humanoïde robots

De AI-sector heeft in slechts 4 jaar een enorme groei doorgemaakt, vooral dankzij Nvidia en haar krachtige GPU's die speciaal zijn ontworpen voor AI-workloads. Team Green begon al halverwege de jaren 2010 in te zetten op AI, maar de resultaten werden pas een paar jaar geleden duidelijk. Nu de hardwarekant van AI goed gedekt is en zelfs aan een monopolie grenst, is Nvidia op zoek naar toekomstige weddenschappen die de waarde van het bedrijf in de toekomst verder kunnen verhogen. Dit jaar op Computex geeft Team Green aan dat fysieke AI en humanoïde robotica één van die mogelijkheden zou kunnen zijn.

Zoals CEO Jensen Huang eerder vandaag in zijn keynote uitlegde, zullen "fysieke AI en robotica de volgende industriële revolutie teweegbrengen. Van AI-hersenen voor robots tot gesimuleerde werelden om in te oefenen of AI-supercomputers voor het trainen van basismodellen, NVIDIA levert bouwstenen voor elke fase van de ontwikkeling van robotica."

NVIDIA Isaac Gr00T

Met de focus op fysieke AI, breidt Nvidia ook zijn uitstapjes uit naar de softwarekant. De kerncomponent hiervan is het eerste open humanoïde robotbesturingssysteem van het bedrijf, genaamd Isaac. Daar bovenop kunnen ontwikkelaars getrainde modellen toevoegen, zoals de Gr00t N1.0 die in maart van dit jaar werd geïntroduceerd. Deze is geüpdatet naar versie 1.5 die de Dreams component toevoegt. Versie 1.0 met de Mimic-component vormde de basis om het redeneren en gedrag van robots te trainen, en met de Dreams-component introduceert Nvidia een blauwdruk die helpt bij het genereren van grote hoeveelheden synthetische bewegingsgegevens (neurale trajecten) die fysieke AI-ontwikkelaars kunnen gebruiken om robots nieuwe motorische vaardigheden te leren, inclusief hoe ze zich moeten aanpassen aan veranderende omgevingen.

Het trainingsproces lijkt op het tekst-naar-beeld / video modellen. Eerst worden de robots nagetraind met Cosmos Predict world foundation models (WFM's). Met een enkele afbeelding als invoer genereert GR00T-Dreams vervolgens video's van de robot die nieuwe taken in nieuwe omgevingen uitvoert. De blauwdruk extraheert actiepunten (gecomprimeerde stukjes data die gemakkelijk door het neurale netwerk van de robot verwerkt kunnen worden), die de robot leren hoe hij nieuwe acties moet uitvoeren.

De Isaac GR00T van Nvidia is nauw verbonden met de platforms Omniverse en Cosmos om trainingsgegevens te genereren. De N1.5 update en andere modellen zoals Isaac Sim 5.0 en Isaac Lab 2.2 kunnen binnenkort worden gedownload in de Hugging Face repository. Baanbrekende bedrijven die al Isaac N-modellen gebruiken voor humanoïde robots zijn onder andere AeiRobot, Foxlink, Foxconn, Lightwheel, NEURA Robotics, Boston Dynamicsagility Robotics en XPENG Robotics.

Bovendien biedt Nvidia zijn Universal Blackwell Systems aangedreven door RTX PRO 6000 GPU's zoals de DGX Cloud infrastructuur, zodat ontwikkelaars gemakkelijk grote hoeveelheden rekenkracht kunnen gebruiken voor robottraining.