NVIDIA onthult LATTE3D tekst-naar-3D generatief AI-model dat "virtuele 3D-printer" wordt genoemd

LATTE3D kan zeer specifieke tekstaanwijzingen interpreteren om een 3D-model te genereren (Afbeelding Bron: NVIDIA)

Het AI-onderzoeksteam van NVIDIA heeft een nieuw generatief model onthuld dat tekstaanwijzingen binnen een seconde kan omzetten in 3D-modellen, klaar (of in ieder geval bijna klaar) voor toepassingen zoals spelontwikkeling, ontwerp en robotica. Tot nu toe is het model alleen getraind om "dieren en alledaagse voorwerpen" te genereren, maar er kunnen meer categorieën worden toegevoegd. De bijna onmiddellijke snelheid zou veel workflows moeten veranderen.

Vishal Bhardwaj (vertaald door Ninh Duy), Published 25-03-2024 🇺🇸 🇩🇪 ...

AI 3D Printing Nvidia Virtual Reality (VR) / Augmented Reality (AR)

Terwijl AI-modellen die afbeeldingen en video's genereren al enige tijd het nieuws domineren, heeft NVIDIA een stap in de volgende logische richting gezet met LATTE3D, een nieuw generatief AI-model dat tekstaanwijzingen in minder dan een seconde omzet in complete 3D-modellen. Aangekondigd tijdens het NVIDIA GTC evenement vorige weekwordt de technologie aangeprezen als vergelijkbaar met een "virtuele 3D-printer", in die zin dat het direct 3D-modellen kan serveren "in een populair formaat dat wordt gebruikt voor standaard renderingstoepassingen", klaar om te worden ingezet bij de ontwikkeling van videogames, reclame, ontwerpprojecten of elke toepassing waarvoor een virtuele omgeving nodig is, inclusief VR en AR.

Tekst-naar-3D generatieve AI is geen nieuwe technologie, en NVIDIA's research paper zelf zet LATTE3D tegenover verschillende bestaande systemen zoals MVDream, 3DTopia en LGM. Waar LATTE3D het overweldigende voordeel heeft, is snelheid. In vergelijkende tests hebben andere AI-modellen 20 seconden tot meer dan 30 minuten nodig om een uitvoer te genereren, terwijl LATTE3D een vergelijkbare (en vaak kwalitatief betere) rendering in slechts 400 milliseconden aflevert.

LATTE3D werkt afzonderlijk aan 3D-geometrie en textuur om een realistisch model te maken (Afbeelding Bron: NVIDIA)

De bijna onmiddellijke uitvoer is wat LATTE3D een voorsprong geeft op andere AI-modellen (Afbeelding Bron: NVIDIA)

Na meer tijd verfijnt LATTE3D de uitvoer verder (Afbeelding Bron: NVIDIA)

Opgemerkt moet worden dat, net als bij 3D-printen, de uitvoer van LATTE3D en andere AI-modellen in kwaliteit verbetert naarmate er meer tijd wordt gegeven. Het voordeel is dat men, in tegenstelling tot 3D-printen, ervoor kan kiezen om in het begin snelheid boven kwaliteit te verkiezen, en later kan besluiten om te wachten op een meer verfijnde uitvoer, in plaats van de instellingen vanaf het begin vast te leggen.

Net als elke andere generatieve AI heeft LATTE3D het potentieel om veel workflows te veranderen. Terwijl men voorheen een 3D asset bibliotheek moest doorzoeken of kostbare manuren moest besteden aan het maken van een eenvoudig object, is het met de technologie van NVIDIA gewoon een kwestie van een korte beschrijving intypen en de gegenereerde uitvoer importeren in de softwaretoepassing of platforms.

Een voorbeeld van wat LATTE3D kan (Afbeelding Bron: NVIDIA)

Tot nu toe heeft het onderzoeksteam LATTE3D alleen getraind om modellen te maken van alledaagse voorwerpen en dieren, maar met de juiste datasets kan dit worden uitgebreid naar andere categorieën. Het model werd getraind met NVIDIA A100 Tensor Core GPU's en draaide in de demo van het bedrijf op een enkele NVIDIA RTX A6000.

Als onderzoeksproject is LATTE3D nog steeds in ontwikkeling en tot nu toe is er nog geen sprake van het uitbrengen ervan als product of service. Toekomstplannen voor het project zijn onder andere het uitbreiden van de mogelijkheid tot "tekst-naar-4D", of het genereren van 3D-animaties.

Verken meeslepende virtuele en mixed-reality omgevingen met de Meta Quest 3 headset en de XREAL Air 2 Pro AR bril, beide verkrijgbaar bij Amazon.