AI lokaal uitvoeren: Acer Swift Go 16 AI getest met Stable Diffusion, ChatGPT, Gemma3 en anderen
De Acer Swift Go 16 AI, met 16 GB RAM en een AMD Ryzen 7 350, heeft onlangs onze tests ondergaan. De toevoeging "AI" in de naam suggereert dat deze laptop klaar is voor AI-toepassingen. Onze beoordelingsuggereert echter dat het geheugen misschien wat ondermaats is voor dit gebruik. Taalmodellen, beeldgeneratoren en videotools worden echter steeds krachtiger en vereisen nog steeds minder RAM. Op papier zouden enkele interessante AI-modellen op het geheugen van de laptop kunnen draaien. We hebben ze op de proef gesteld.
De nieuwste versie van Windows 11 bevat al verschillende AI-tools, waarvan sommige lokaal draaien en andere op servers van Microsoft. Helaas is het niet altijd duidelijk waar Copilot en andere hun rekenkracht vandaan halen. De Copilot app vereist altijd een actieve internetverbinding. Bepaalde functies in de Foto's app werken lokaal zonder internetverbinding, terwijl andere een Microsoft account vereisen en niet offline werken. Verbeteringen aan de beeld- en geluidskwaliteit van webcamopnames worden lokaal afgehandeld via de NPU (Neural Processing Unit). De functie Recall van Microsoft werd ook opnieuw geïntroduceerd, wat tot enige controverse leidde. De functie blijft echter standaard uitgeschakeld en kan alleen worden gebruikt als apparaatversleuteling en wachtwoordbeveiliging zijn ingeschakeld. Veel andere AI-functies in Windows zijn niet bijzonder opvallend of werken alleen met Microsoft Office.
Om alternatieve taalmodellen en hulpmiddelen voor het genereren van afbeeldingen lokaal te gebruiken, hebt u specifieke software nodig. Het proces om deze programma's op uw thuiscomputer te laten werken is echter lang niet meer zo omslachtig als een jaar geleden. Er is nu eenvoudige software voor beide beschikbaar, die snel geïnstalleerd kan worden en de gebruiker veel mogelijkheden biedt. Amuse biedt software voor het genereren en bewerken van AI-afbeeldingen, speciaal afgestemd op de AMD-hardware in de Acer Swift Go 16 AI. LM Studio biedt een comfortabele manier om SLM's (kleine taalmodellen) te gebruiken - in wezen AI's voor het genereren van tekst. FastFlowLM is niet zo comfortabel in het gebruik, maar draait energiezuiniger op de NPU. We hebben alle drie de programma's op ons testapparaat geïnstalleerd. De Acer Swift Go 16 AI die we gebruikten is echter helaas niet optimaal uitgerust met slechts 16 GB geheugen. Windows en de vooraf geïnstalleerde Acer programma's verbruiken al snel zes tot negen gigabyte van het beperkte geheugen. Er blijft dan ongeveer 10 GB geheugen over voor AI. Amuse bepaalt dat ongeveer 8 GB geheugen bruikbaar is. LM Studio schat 15 GB, maar loopt vast wanneer we proberen een taalmodel te laden dat groot genoeg is.
AMUSE - AI-beeldbewerking en -generatie
We draaiden Amuse in de nieuwste versie op het moment van testen (3.1). De software is gratis en wordt gemakkelijk geïnstalleerd. De NPU van de AMD processor wordt hier ondersteund, wat het werken met AI merkbaar zou moeten versnellen, zelfs zonder een speciale GPU. Naast het genereren van tekst-naar-beeld, biedt het ook beeld-naar-video en beeld-naar-beeld functionaliteiten.
Om daadwerkelijk afbeeldingen te genereren, moet u eerst Amuse installeren en vervolgens de juiste modellen laden. Dit wordt gedaan met het programma, wat relatief eenvoudig is, maar tijdrovend omdat elk model meerdere gigabytes aan gegevens bevat. Van de drie voorinstellingen die Amuse in de beginnersmodus aanbiedt, werkt de optie "Balanced" niet voor ons. de modi "Snel" en "Kwaliteit" werken echter wel, hoewel alleen de snelle modus echt probleemloos werkt. De "Fast"-modus maakt gebruik van de kleine Dreamshaper LCM Turbo. Deze past goed in het beperkte geheugen van de laptop en werkt zeer snel. Beelden worden binnen enkele seconden gegenereerd. In de expertmodus draaien StableDiffusion XL Turbo en StableDiffusion 3 ook. Deze laatste kan zelfs worden overgeheveld naar de NPU. Maar beide modellen gebruiken het geheugen van de laptop volledig en draaien niet echt snel. Het geheugengebruik is vooral problematisch als Amuse eenmaal draait, niets anders op de laptop loopt dan soepel. In ernstige gevallen crasht Amuse zelfs als een browservenster op de achtergrond te veel geheugen opeist. Alleen het gebruik van de kleine Dreamshaper LCM is plezierig. Toch levert het relatief goede resultaten op. De wortels ervan zijn echter duidelijk zichtbaar in Stable Diffusion 1.5. Als u niet goed op de aanwijzingen let, ziet u veel vage randen en vreemde verhoudingen. Maar Dreamshaper LCM is ook ongelooflijk snel. Binnen een oogwenk kan dit model afbeeldingen creëren. Kwantiteit krijgt hier voorrang op kwaliteit. Als een afbeelding eenmaal redelijk goed is. De kwaliteit kan dan verder worden verbeterd in Amuse met beeld-naar-beeld bewerking.
LM Studio - Chatbots, redeneermodellen en meer
LM Studio is een systeem voor het beheren en uitvoeren van taalmodellen. Op uw laptop kunnen ChatGPT-derivaten, Llama, Qwen3 en andere lokaal draaien. Net als bij Amuse lijkt de beperkende factor voor de Acer Swift Go 16 AI het schamele geheugen te zijn, in plaats van de verwerkingskracht. OpenAI's nieuwe gpt-oss 20B crasht tijdens het laden door onvoldoende geheugen. Uit ervaring kunnen we bevestigen dat het model probleemloos draait op laptops met AMD Ryzen 9 370 en 32 GB geheugen.
Qwen3 Vi 8B, Qwen3 4B Thinking en IBM's Granite 4 H Tiny (Q4_K_M en Q8_0) draaiden verrassend goed op de Acer laptop. IBM's kleinste taalmodel is opmerkelijk snel en schittert met voldoende antwoorden. Qwen3 Vi 8B maakt indruk met een zeer natuurlijke toon in zijn spraak en toont bijzondere kwaliteiten in beeldverwerking. Voor mensen met een beperkt gezichtsvermogen zou zo'n AI geweldige hulp kunnen bieden op een laptop. Het redeneermodel Qwen3 4B Thinking is het langzaamst in onze tests als het gaat om zuiver tekstuele antwoorden. Maar in de eerste plaats maken de antwoorden indruk. Afhankelijk van de complexiteit van de vraag, kan het tot vijf minuten duren voordat Qwen3 een antwoord geeft. Natuurlijk kunt u tijdens het denkproces meekijken en meteen ingrijpen als het antwoord helemaal de verkeerde kant op gaat.
Veel andere kleinere taalmodellen zouden ook goed moeten werken op ons testapparaat. Elk taalmodel verbruikt echter ook een aanzienlijke hoeveelheid ruimte op de SSD. Reken op 3 tot 7 GB per taalmodel. De kleine SLM's (Small Language Models) blijken verrassend veelzijdig te zijn.
AI onderweg - FastFlowLM met volledige ondersteuning voor AMD-NPU
Wie LM Studio op reis gebruikt, moet helaas rekening houden met een snel lege batterij. LM Studio gebruikt zowel CPU als GPU voor alle berekeningen. De energiezuinige NPU in onze Ryzen 7 350 werd helaas ongemoeid gelaten. FastFlowLM laat u profiteren van de NPU-prestaties van de AMD-chip. Dit gaat gepaard met een aanzienlijk lager stroomverbruik, ondanks dat de LLM's niet merkbaar langzamer lopen op de NPU. De kwaliteit van de uitvoer blijft ongewijzigd. FastFlowLM is echter iets moeilijker te gebruiken dan LM Studio, omdat het geen eigen grafische gebruikersinterface heeft. Een GUI voor FastFlowLM kan worden verkregen via Open WebUI. Anders wordt het gebruikt via Windows PowerShell. Hoewel dat een unieke ervaring zou kunnen zijn.
Ter vergelijking hebben we het energieverbruik van de laptop gemeten bij gebruik van Gemma3:4b met LM Studio en FastFlowLM. Met FastFlowLM bedroeg het maximale stroomverbruik van de laptop ongeveer 25 watt. Aanzienlijk hoger was het stroomverbruik bij gebruik van hetzelfde model via LM Studio. We maten een stroomverbruik van ongeveer 65 watt. Beide gevallen hadden nog steeds een outputsnelheid (in tokens per seconde) die aanzienlijk boven de 10 tokens/seconde lag. Afhankelijk van hoe u het berekent, haalt Gemma3:4b ongeveer 250 tot 600 woorden per minuut met 10 tokens/s. Als vuistregel geldt dat 1,8 tokens overeenkomen met een Duits woord en 1,3 tokens met een Engels woord. Wij hebben de Duitse teksten van Gemma geanalyseerd en kwamen uit op ongeveer 450 woorden per minuut. Dat is een stuk sneller dan de gemiddelde lezer.
Conclusie - Lokale AI is mogelijk, maar niet altijd bruikbaar
De Windows AI-functies werken vlekkeloos op de Acer Swift Go 16 AI. Verrassend genoeg verschijnen de antwoorden van SLM's zoals Gemma3, Qwen3 en Granite 4 snel op het scherm, maar met wisselende kwaliteit afhankelijk van het model en de taak. Iedereen die beslist Text2Image modellen en andere functies van Amuse wil gebruiken, moet waarschijnlijk kiezen voor een laptop met meer geheugen. De Acer Swift Go 16 AI is ook verkrijgbaar met 32 GB RAM.
Uiteindelijk staat AI nog in de kinderschoenen. Software die gemakkelijk te gebruiken is en de mogelijkheden van de AMD NPU benut, bestaat nog niet. Dat is jammer, want de prestaties die we met wat sleutelen konden bereiken waren bijzonder indrukwekkend. Zelfs Amuse toont veelbelovende mogelijkheden op de laptop, maar naar onze smaak genereert het te veel foutmeldingen en is het soms behoorlijk traag.
Dat blijkt vooral uit onze tests: Als u AI-functies effectief wilt gebruiken, hebt u veel snel RAM nodig. De beste AI is waardeloos als alle andere programma's, zoals Word en browsers, vastlopen tijdens het gebruik van AI-functies.
Quelle(n)
