RTX Spark mini-pc belooft geheugenbeperkingen te overwinnen met de ongebruikelijke AI-SSD van Mechrevo

De Chinese pc-fabrikant Mechrevo bereidt zich voor op de lancering van een nieuwe mini-pc genaamd de Master Road X10. Anders dan conventionele mini-pc's is de Master Road X10 voornamelijk ontworpen om grote AI-modellen lokaal te draaien, en hij beschikt over enkele interessante aanpassingen die daadwerkelijk zouden kunnen helpen. De Master Road X10 maakt gebruik van Nvidia's RTX Spark platform, dat een Grace-CPU met 20 cores combineert met een Blackwell-GPU met maximaal 6.144 CUDA-cores. Het ondersteunt maximaal 128 GB gedeeld LPDDR5X-geheugen.

Dit zijn de maximale specificaties van het platform, en Mechrevo heeft de exacte configuratie van zijn mini-pc nog niet bevestigd. De interessantste functie is echter de door Mechrevo zelf ontwikkelde AI-SSD. In plaats van uitsluitend op het systeemgeheugen te vertrouwen, kan de technologie delen van grote AI-modellen van DRAM naar NAND-flash verplaatsen. Ook kan ze eerder verwerkte context bewaren en hergebruiken, waardoor overbodige berekeningen en de overhead bij het laden van modellen theoretisch worden verminderd. Mechrevo beweert dat de Master Road X10 hierdoor modellen met 80 miljard, 120 miljard en zelfs 122 miljard parameters kan draaien en daarbij responsief blijft. Helaas is de exacte SSD-capaciteit niet gespecificeerd.

Dit is niet de eerste keer dat Mechrevo de technologie bespreekt. Tijdens de presentatie in september beweerde het bedrijf dat zijn AI-SSD de ondersteunde modelwerklasten tot 5,7 keer kon vergroten en de prefill-fase met maar liefst 95% kon versnellen. Laboratoriumtests op de Mechrevo Yaoshi 15 Air-laptop toonden naar verluidt een bijna verdubbelde inferentiesnelheid aan. De SSD zou ook een blijvend AI-geheugen ondersteunen door gebruikersvoorkeuren en contextuele informatie tussen sessies te bewaren. Er zijn echter enkele belangrijke kanttekeningen.

Mechrevo heeft geen gedetailleerde benchmarks, instellingen voor modelkwantisatie of testomstandigheden gepubliceerd om deze claims te onderbouwen. Bovendien is NAND-flash aanzienlijk trager dan DRAM, wat betekent dat een SSD die een groter model kan bevatten niet noodzakelijk snellere inferentie oplevert. Voorlopig zijn de geheugenconfiguraties, AI-SSD-capaciteit, aansluitmogelijkheden, prijs en releasedatum van de Master Road X10 nog onbekend. Het zal interessant zijn om te zien of Mechrevo zijn ambitieuze laboratoriumclaims kan vertalen naar meetbare prestatieverbeteringen in de praktijk.