Adobe-onderzoekers demonstreren de vooruitgang van VideoGigaGAN AI om video's van lage kwaliteit op te schalen met behoud van een hoog detailniveau

Onderzoekers van Adobe hebben de huidige vooruitgang van hun VideoGigaGAN AI gedemonstreerd om video's van lage kwaliteit op te waarderen. Zodra de AI volledig ontwikkeld is, kan hij video's van hoge kwaliteit genereren zonder dure heropnames. Adobe verbetert eerdere werken door artefacten en flikkering te verminderen terwijl fijne details in verwerkte video's behouden blijven.

Beeldupscaling- en superresolutietechnologie wordt al vele jaren gebruikt om de kwaliteit en resolutie van foto's van lage kwaliteit te verbeteren. Sommige Sony Cybershot-camera's gebruiken de By Pixel Super Resolution-technologie om beelden met een lage resolutie op te schalen met behulp van een database met referentiebeeldgegevens, maar is door de discrete pixelinformatie beperkt tot het opschalen van beelden met twee tot drie keer de oorspronkelijke grootte. Meer recentelijk heeft Generative Adversarial Networks (GANs) (GAN's) getraind op miljarden afbeeldingen afbeeldingen 8x en meer opwaarderen.

Het toepassen van dergelijke technieken op video's is een uitdaging vanwege de introductie van aliasing en stotteren. Het afvlakken van afbeeldingsdetails kan deze problemen elimineren, maar dit gaat ten koste van de kwaliteit. VideoGigaGAN gebruikt verschillende technieken om deze beperkingen te omzeilen, waaronder het volgen van objectbewegingen, beeldvervaging en het leren en opnieuw schilderen van details. Toch kan de AI kleine tekst of lange videoclips niet goed opschalen, dus er is meer onderzoek nodig. In de tussentijd kunnen lezers video's van hoge kwaliteit vastleggen met een eersteklas DSLR(zoals deze bij Amazon) om onnodig opschalen te voorkomen.

Technische details

Om een vloeiende videostroom tussen frames in de loop van de tijd te behouden, wordt er een AI-module met stromingsgeleide propagatie toegevoegd vóór het hoofd-GAN. Deze 'leert' de beweging van objecten in de tijd in de originele invoer, zodat dezelfde vloeiende beweging wordt toegepast in de ge-upscalede video. Ook bevatten upsampling-lagen in de GAN temporele aandachtslagen die helpen om frame-overgangen vloeiend te houden.

Om aliasing aan te pakken, worden frames door een anti-aliasing blok in het midden van de GAN geduwd, wat helaas de beeldkwaliteit vermindert door detailvervaging. Dit resulteert in een geüpscalede video met vloeiende bewegingen, geen aliasing, maar zachte beelddetails. VideoGigaGAN omzeilt dit door een hoogfrequente shuttle te introduceren die fijne details uit de initiële GAN downsampling-lagen haalt en deze later toepast op de upsampled-lagen. Het resultaat van meerdere lagen beeldverwerking is een video met superresolutie die een hoog detailniveau bevat zonder aliasing of flikkering.