AI zonder de cloud: dit taalmodel past nu op uw iPhone

Grote taalmodellen vereisen doorgaans een datacenter of op zijn minst een krachtige pc met ruim voldoende geheugen. De Amerikaanse start-up PrismML, opgericht door onderzoekers van Caltech en gefinancierd door onder meer Google en Khosla Ventures, heeft op 14 juli de Bonsai 27B- : een AI-model met 27 miljard parameters waarvan de kleinste versie slechts 3,9 GB in beslag neemt. Voor het eerst past een model van deze klasse in het geheugen van een iPhone 17 Pro. Onze gids AI zonder de cloud laat u zien hoe u een taalmodel op uw eigen computer kunt installeren.

Teruggebracht van 54 GB naar minder dan 4 GB

Het is gebaseerd op Alibaba’s open-source Qwen3.6 27B, dat bij volledige precisie ongeveer 54 GB in beslag neemt. PrismML slaat elk gewicht van het neurale netwerk op met behulp van 1 tot 2 bits in plaats van de gebruikelijke 16. Het resultaat zijn twee versies: een ternaire versie van nominaal 5,9 GB voor laptops en een 1-bit-versie van 3,9 GB voor telefoons. Volgens de fabrikant behoudt de laptopvariant 95 procent van de oorspronkelijke prestaties in 15 benchmarks, terwijl de telefoonvariant 90 procent behoudt. Wiskunde en programmeren blijven vrijwel onaangetast. De gewichten zijn vrij beschikbaar onder de Apache 2.0-licentie en draaien via het MLX-framework van Apple op iPhone, iPad en Mac, evenals via CUDA op NVIDIA-grafische kaarten.

Wat de iPhone kan en waar de grenzen liggen

Volgens de whitepaper genereert de 3,9 GB-versie ongeveer 11 tokens per seconde op een iPhone 17 Pro Max (verkrijgbaar bij Amazon). Een volledig opgeladen batterij is goed voor ongeveer 67.000 tokens. Na iets meer dan vijf minuten continu gebruik gaat de chip in de beperkingsmodus. De benchmarkcijfers zijn echter afkomstig van de fabrikant zelf. Uit de eigen tabel blijken de grootste tekortkomingen op het gebied van beeldherkenning en het gebruik van tools, precies de gebieden waarop AI-agenten moeten uitblinken. Bovendien variëren de daadwerkelijke downloadgroottes voor de laptopversie, afhankelijk van de runtime, van 7,2 tot 8,5 GB, wat aanzienlijk meer is dan geadverteerd. Er is nog geen kant-en-klare app voor gewone gebruikers. Voorlopig richt het product zich op ontwikkelaars en hobbyisten. Wie het model gewoon eens wil uitproberen, vindt een browserdemo op Hugging Face.

Apple buigt zich al over de technologie

Babak Hassibi, CEO van PrismML, vertelde CNBC dat Apple en andere bedrijven de modellen momenteel testen op snelheid, energieverbruik en prestaties. Hij omschreef de gesprekken als nog in een zeer vroeg stadium. Voor gebruikers is de richting het belangrijkst: hoe meer AI rechtstreeks op het apparaat draait, hoe minder persoonlijke gegevens in de cloud terechtkomen. We hebben al uitgebreid geschreven over wat uw AI stiekem opslaat en hoe u dit kunt voorkomen.