China onthult SpikingBrain 1.0, een op hersenen geïnspireerde LLM die draait op binnenlandse MetaX-chips

Het Instituut voor Automatisering van de Chinese Academie van Wetenschappen in Peking heeft onlangs onthuld haar nieuwste SpikingBrain 1.0 grote taalmodel onthuld. Er wordt beweerd dat dit LLM 's werelds eerste "brein-achtige" LLM is, ontworpen om aanzienlijk minder energie te verbruiken dan conventionele AI-systemen, zoals ChatGPT. In plaats van op Nvidia-hardware te vertrouwen, werkt het volledig op Chinese MetaX-chips, wat een belangrijke vooruitgang in neuromorfisch computergebruik betekent.

Het systeem maakt gebruik van "spiking computation" technologie, die de afvuurpatronen van neuronen in het menselijk brein nabootst. Deze technologie zorgt ervoor dat alleen de noodzakelijke neuronen geactiveerd worden, in plaats van het hele netwerk, zoals in traditionele modellen. Deze gebeurtenisgestuurde aanpak houdt het systeem ook energiezuinig, waardoor het stroomverbruik daalt. Het systeem kan ook leren van een minuscule twee procent van de benodigde trainingsgegevens in vergelijking met conventionele systemen. Er zijn twee versies ontwikkeld: één met 7 miljard en één met 76 miljard parameters.

De onderzoekers melden dat de prestaties tot maar liefst 100x sneller zijn dan die van traditionele modellen bij bepaalde taken, waarbij het kleinere model minstens 100 keer sneller reageert op een prompt van 4 miljoen tokens dan standaardsystemen. Daarnaast is er een 26,5-voudige snelheidsverbetering ten opzichte van conventionele Transformer-architecturen voor het genereren van de eerste token. Het nieuwe model werd getraind op ongeveer 150 miljard tokens, slechts een fractie van de typische vereisten voor conventionele systemen. Ondanks deze beperkte trainingsgegevens presteert het systeem nog steeds vergelijkbaar goed met andere populaire open-source alternatieven.

Het nieuwe systeem is van strategisch belang voor China, aangezien de LLM volledig binnen het Chinese AI-ecosysteem van eigen bodem werkt en gebruik maakt van het MetaX-chipplatform. Dit is vooral belangrijk omdat de VS de exportcontroles op geavanceerde AI-chips verscherpt. Het onderzoek toont ook aan dat het mogelijk is om een efficiënt groot model te trainen op niet-Nvidia platforms. Hoofdonderzoeker Li Guoqi benadrukt ook optimalisatie voor Chinese chiparchitectuur. Potentiële toepassingen voor dergelijke systemen zijn onder andere juridische documenten, medische dossiers en zelfs wetenschappelijke simulaties.

Het team heeft de kleinere versie van het model open-sourced voor publieke toegang, waarbij de grotere versie alleen online beschikbaar is voor publieke tests via een demosite. Het onderzoek is ook gepubliceerd als een niet-peer-reviewed paper op de arXiv repository, dus het is het beste om al deze beweringen met een korreltje zout te nemen. Desalniettemin zou deze doorbraak het pad kunnen effenen voor energie-efficiëntere AI-systemen en de ontwikkeling van op hersenen geïnspireerde computerbenaderingen kunnen bevorderen.