Ontwikkelaar omzeilt de beperkingen van „ Apple ” om het ware AI-potentieel van de M4 te ontsluiten

Apple's M4 -processoren beschikken over een aantal handige AI rekenkracht, maar het bedrijf heeft de hardware in het verleden altijd streng afgeschermd gehouden. Standaard is de Neural Engine in de M4 volledig beperkt tot inferentie. Dit betekent dat ontwikkelaars deze alleen kunnen gebruiken om vooraf getrainde AI-modellen uit te voeren, in plaats van daadwerkelijk nieuwe modellen vanaf nul te trainen.

Een ontwikkelaar is er echter in geslaagd deze strenge softwarebeperkingen te omzeilen door de chip volledig te reverse-engineeren en zo 15,8 TFLOPS aan verborgen AI-rekenkracht te ontsluiten. Deze doorbraak is te danken aan een onderzoeker die bekendstaat als 0x0SojalSec, die onlangs code heeft gedeeld op GitHub heeft gedeeld, waarin gedetailleerd wordt beschreven hoe hij het ware potentieel van de M4 heeft aangeboord. Wat deze prestatie bijzonder indrukwekkend maakt, is dat deze volledig buiten het officiële ontwikkelingsecosysteem van Apple is gerealiseerd.

Aangezien Apple niet de benodigde machtigingsniveaus toekent om voor deze geavanceerde taken rechtstreeks met de Neural Engine te communiceren, moest de ontwikkelaar een manier vinden om te werken zonder gebruik te maken van standaardtools zoals CoreML, Metal of zelfs de grafische verwerkingseenheid. Om dit voor elkaar te krijgen, hebben zij vanaf de basis een aangepaste Model Intermediate Language ontwikkeld. Deze aangepaste software heeft de kloof met succes overbrugd, waardoor volledige backpropagatie en het trainen van transformatoren rechtstreeks op de Neural Engine van de Apple mogelijk werd.

Aangezien de hardware door het ontwerp sterk beperkt is, moest de ontwikkelaar ook enkele zeer slimme workarounds toepassen om het systeem stabiel te houden. Als een proces bijvoorbeeld vastloopt tijdens de intensieve trainingsfase, gebruikt de aangepaste taal een specifiek uitvoercommando om het proces in feite opnieuw te starten. Hierdoor kan het systeem zijn huidige status vernieuwen en het machine learning-proces direct hervatten zonder dat het gehele programma crasht.

Snelheid was eveneens een belangrijke factor om deze zware werklast effectief te laten draaien. Om ervoor te zorgen dat de training zo soepel mogelijk verliep, heeft de ontwikkelaar het proces zo geconfigureerd dat alles volledig naar het systeem-RAM wordt geschreven. Door het veel tragere NAND-flashgeheugen actief te vermijden, bleef de gehele operatie ongelooflijk snel. Voor iedereen die een M4 uitgeruste Mac of iPad gebruikt, bewijst deze fascinerende workaround dat de chip ruimschoots in staat is om AI-trainingswerkbelastingen aan te kunnen, ook al Apple officieel de voorkeur geeft om die specifieke mogelijkheden achter slot en grendel te houden.