Nvidia verduidelijkt dat DLSS 5 zich baseert op 2D-screenscaps plus bewegingsvectoren en geen gebruik maakt van bestaande geometrie, texturen of belichting

Onmiddellijk na de publieke reactie op de aankondiging van DLSS 5, gaf Nvidia extra informatie over de onderliggende technologie waarop de aankomende technologie is gebaseerd, maar de meeste verklaringen waren nog steeds onduidelijk en voor interpretatie vatbaar. Youtuber Daniel Owen nam direct contact op met Nvidia's Jacob Freeman om alle zorgvuldig opgestelde woorden uit de officiële verklaringen te verduidelijken en duidelijk te maken wat DLSS 5 nu eigenlijk doet. Nvidia koos ervoor om via e-mail te antwoorden in plaats van een live gesprek te regelen.

1. Owen begint met de brandende vraag. Wat doet DLSS 5 eigenlijk achter de schermen? De jongens van Digital Foundry lieten dit al doorschemeren in hun uitgebreide analyse, dus Owen ging verder en vroeg of DLSS 5 gewoon een 2D frame neemt (een screencap van wat er op het scherm wordt weergegeven) in combinatie met bewegingsvectoren en vervolgens het resultaat uitvoert.
   
   De Nvidia-medewerker bevestigde dit ronduit. Dus DLSS 5 verandert de schermuitvoer in invoer die vervolgens door een generatief AI-model wordt gevoerd om het te "verbeteren". De uiteindelijke uitvoer wordt weergegeven bovenop de game-engine
   
2. De volgende vraag is bedoeld om te verduidelijken of DLSS 5 op enigerlei wijze 3D-geometrie en diepte kan analyseren of dat het gewoon het 2D-beeld zo goed mogelijk herinterpreteert om het realistischer te maken op basis van inferentie.
   
   "DLSS 5 is van begin tot eind getraind om complexe scènesemantiek te begrijpen, zoals personages, haar, stof en doorschijnende huid, samen met omgevingslichtomstandigheden zoals voorgelicht, tegengelicht of bewolkt - en dat allemaal door een enkel frame te analyseren."
   
   Hier lijkt Nvidia het 3D-geometriegedeelte volledig te ontwijken, maar het antwoord suggereert dat DLSS 5 niets te maken heeft met 3D-geometrie
   
3. Als de onderliggende geometrie en texturen ongewijzigd blijven, zoals Nvidia beweert in zijn officiële inleiding, waarom vertonen sommige voorbeelden dan gewijzigde texturen, weliswaar subtiel, maar toch schijnbaar anders vergeleken met de originele render? Owen bevat een voorbeeld van een mannelijk personage uit Starfield dat meer haar op zijn linkerslaap lijkt te hebben na de DLSS 5-behandeling.
   
   Nvidia ontweek deze vraag volledig en verklaarde dat de onderliggende geometrie inderdaad ongewijzigd is en dat wat ze hebben laten zien slechts een zeer vroeg voorproefje van de technologie is. De youtuber waagt zich er vervolgens aan om te zeggen dat de geometrie misschien niet veranderd is, maar dat de uiteindelijke uitvoer die op het scherm verschijnt heel goed kan zijn wat DLSS 5 door middel van inferentie juist acht. En als dit een vroege versie is, zou Nvidia alle feedback moeten gebruiken om te verbeteren wat de technologie uiteindelijk kan doen
   
4. In de officiële inleiding beweert Nvidia dat DLSS 5 PBR-eigenschappen op materialen verbetert. Owen wil graag weten of DLSS 5 daadwerkelijk de PBR-specificaties van de game-ontwikkelaar (materiaaleigenschappen, ruwheid, normaalkaarten, enz.) als invoer neemt of dat DLSS 5 alleen alle PBR-eigenschappen afleidt.
   
   Nvidia antwoordt dat DLSS 5 alleen gerenderde frame- en bewegingsvectoren als invoer neemt, terwijl materialen worden afgeleid uit het gerenderde frame. Owen stelt dat deze verduidelijking de officiële verklaringen over PBR-eigenschapverbetering als misleidend kwalificeert
   
5. Deze vraag is nogal beladen omdat hij gaat over het behoud van artistieke bedoelingen. Owen vraagt in wezen of gameontwikkelaars iets anders kunnen regelen dan color grading, behalve het verminderen van de intensiteit van de DLSS 5 eigenschap of het volledig maskeren ervan op specifieke objecten/personages. Hij geeft een voorbeeld met de openingsscène van RE: Requiemwaar Grace oorspronkelijk geen make-up lijkt te dragen, maar de DLSS 5 render laat zien dat ze wel make-up draagt. Met andere woorden, kunnen ontwikkelaars DLSS 5 op de een of andere manier opdracht geven om Grace te renderen zonder make-up?
   
   Nvidia geeft een lang antwoord dat rechtstreeks uit de primer komt en geeft geen antwoord over de mogelijkheid om DLSS 5 opdracht te geven iets op een specifieke manier weer te geven. Zoals het er nu voor staat, lijkt het erop dat de vroege versie de artistieke intentie niet echt kan behouden, maar men kan optimistisch zijn en zeggen dat dit kan veranderen als er genoeg feedback komt
   
6. Is DLSS 5 echt beperkt tot de schermruimte, zodat het zich niet bewust is van lichtbronnen buiten het scherm of reflecties of ambient occlusion en schaduwen?
   
   Nvidia bevestigt dat DLSS 5 inderdaad beperkt is tot de schermruimte, wat betekent dat het zelfs ray tracing niet begrijpt. Waarom zouden gamers dan ray tracing in games activeren als DLSS 5 geen rekening houdt met die complexe berekeningen die zoveel rekenkracht vereisen? Moeten we aannemen dat DLSS 5 ray tracing helemaal kan vervangen, en zo ja, doet het dat dan op een efficiëntere manier die minder rekenkracht vereist? Het gebruik van twee RTX 5090-kaarten helpt duidelijk niet om de efficiëntie aan te tonen
   
7. De laatste vraag is niet direct gerelateerd aan DLSS 5, maar Owen vraagt of de introductie van DirectML op DirectX voor hardware agnostische versnelling van ML-taken in games zou kunnen betekenen dat propriëtaire technologieën zoals DLSS 5 op een gegeven moment open source worden om op elk hardwaremerk te werken.
   
   Nvidia zegt dat het op dit moment niets heeft aan te kondigen in dit verband, dus het ontkent de mogelijkheid niet volledig, maar laat op de een of andere manier de deur enigszins open voor een sprankje hoop.