ComfyUI met MiniMax H3: beter dan Kling AI, Seedance en andere videogeneratoren in het gratis abonnement?

Er zijn talrijke interfaces beschikbaar voor het model — wij hebben gekozen voor MiniMax H3. Dit kan bijvoorbeeld in Ollama worden uitgevoerd, maar ook in Pinokio of Stability Matrix. Deze laatste omvat tevens ComfyUI, een grafische interface voor AI-workflows die niet beperkt is tot het genereren van video’s. Ik ondervond echter problemen met die combinatie, dus koos ik voor een zelfstandige versie van ComfyUI (ComfyUI.org), die als applicatie voor Windows en andere platforms kan worden gedownload.

ComfyUI is voor beginners even wennen, maar biedt een enorm scala aan mogelijkheden voor het genereren van video’s. U bouwt workflows op uit afzonderlijke knooppunten; in wezen is het een modulaire toolkit die bestaat uit meerdere tools/knooppunten. Elk knooppunt heeft een invoer en een uitvoer en kan worden gekoppeld aan andere knooppunten.

Alle tools zijn onderverdeeld in afzonderlijke knooppunten. Zo is er bijvoorbeeld een knooppunt voor de tekstprompt, meerdere afbeeldingsknooppunten die kunnen dienen als referenties of tussenstappen vóór het genereren van video’s, evenals andere tools. In theorie zou u in elk knooppunt een afzonderlijk AI-model kunnen laden – een LLM voor de tekstprompt, een model voor het genereren van afbeeldingen voor de afbeeldingsknooppunten, enzovoort. De AI-modellen nemen uiteraard veel opslagruimte in beslag. Uiteindelijk worden alle knooppunten ingevoerd in het knooppunt voor videogeneratie, dat de uitvoer produceert.

Aanvankelijk experimenteerden wij met ‘text-to-video’-voorinstellingen, maar al snel schakelden wij over op ‘reference-to-video’.

Wat dit bijzonder nuttig maakt, is dat het ook consistente omgevingen, objecten en personen mogelijk maakt. In onze eerste video hebben we bijvoorbeeld een uit bakstenen opgebouwd slagschip gecreëerd dat door het beeld vliegt. Bij een resolutie van 480p duurde het genereren ongeveer 5,5 minuten, terwijl hogere resoluties mogelijk zijn met geschikte hardware. In een van de komende scènes wilden we echter precies hetzelfde slagschip opnieuw gebruiken. Daarom hebben we screenshots gemaakt van de voor- en achteraanzichten van het ruimteschip, de afbeeldingen geïmporteerd, deze als referenties met de namen Ship_front en Ship_rear aan het hoofdknooppunt gekoppeld en de AI geïnstrueerd om precies dit schip in een andere scène te gebruiken. Anders zou de AI een nieuw ontwerp hebben gegenereerd.

Na enige tijd om vertrouwd te raken met het systeem en met wat hulp van professor YouTube, stelden wij al snel een eerste workflow samen voor onze videoscènes en genereerden wij video’s waar wij beiden zeer tevreden over waren. Een LLM — in dit geval ChatGPT — hielp ons de tekstprompts specifiek af te stemmen op MiniMax H3, waardoor deze nauwkeurig en gedetailleerd werden.

Mijn werkwijze: In ChatGPT beschreef ik de look die ik voor ogen had, gaf ik aan dat bepaalde merknamen niet mochten voorkomen, hoewel de look er wel door geïnspireerd mocht zijn, legde ik uit dat het een filmische uitstraling moest hebben en specificeerde ik welke referenties (zoals Ship_front) moesten worden opgenomen. Pas daarna beschreef ik de scène. Ik plakte de door ChatGPT op maat gemaakte prompt in het tekstknooppunt in ComfyUI, voegde indien nodig referentieafbeeldingen toe, en ik was klaar.

U kunt ChatGPT ook vragen om een universele prompt te genereren op basis van de gewenste stijl en andere parameters, die u kunt opslaan voor later gebruik. Als u die prompt opnieuw invoert in een LLM, beschikt deze over alle benodigde informatie en kunt u onmiddellijk de volgende scène beschrijven.

In ieder geval waren mijn zoon en ik aanzienlijk tevredener met de resultaten dan met de gratis versies van Kling AI, Seedance en soortgelijke diensten. De vele beschikbare opties nodigen ook uit tot experimenteren, en u bent eindelijk verlost van vervelende kredietbeperkingen, abonnementsverzoeken, advertenties en zorgen over gegevensbeveiliging. De resolutie blijft echter een probleem. Full HD of hoger is niet eens als optie beschikbaar, vermoedelijk omdat de hardware-eisen te hoog zouden zijn. Toekomstige modellen zullen in dit opzicht waarschijnlijk efficiënter worden. Voorlopig kunt u uw workflow ook uitbreiden met upscalers.

Iedereen die over de benodigde hardware beschikt en interesse heeft in het genereren van films, zou ComfyUI en een goed lokaal AI-model eens moeten bekijken. Met name ComfyUI maakt ongelooflijk complexe, gelaagde workflows mogelijk – mocht u daar daadwerkelijk behoefte aan hebben. Om aan de slag te gaan zijn de basiselementen echter al aanwezig en snel onder de knie te krijgen.