Axera AX8860P richt zijn pijlen op Nvidia DGX Spark met eigen AI-accelerator

Nvidia's DGX Spark heeft een onverwachte concurrent uit China (met dank aan CNX Software). Chipfabrikant Axera heeft zijn AX8860-serie onthuld, een familie van AI-gerichte processors die zijn ontworpen om grote taalmodellen lokaal uit te voeren. De chips zullen compacte AI-computers van fabrikanten zoals Sipeed en Radxa aandrijven, waarbij eerstgenoemde beweert dat zijn aankomende MaixStation bij bepaalde werklasten beter kan presteren dan Nvidia's DGX Spark.

De Axera AX8860P beschikt over 16 Arm Cortex-A55-CPU-kernen en een speciale neurale verwerkingseenheid (NPU) die tot 256 TOPS aan FP4-rekenprestaties kan leveren. De chip wordt geproduceerd op een 6 nm-procedé en ondersteunt tot 128 GB LPDDR5X-geheugen via een 256-bits interface, met een maximale bandbreedte van 273 GB/s. Andere specificaties zijn PCIe 5.0-connectiviteit, AXLink-verbindingen tussen chips en uitgebreide mogelijkheden voor het coderen en decoderen van video.

De eigen AXNeutron-architectuur van Axera vormt de kern van de AI-mogelijkheden van de AX8860P. In tegenstelling tot de Blackwell-GPU in Nvidia's DGX Spark is AXNeutron een speciaal ontwikkelde architectuur voor neurale verwerking die volgens Axera gebruikmaakt van een programmeerbaar datastroomontwerp dat is geoptimaliseerd voor AI-inferentie. Het bedrijf beweert dat deze aanpak de hardwarebenutting verbetert en onnodige gegevensverplaatsing vermindert, wat mogelijk voordelen biedt bij het uitvoeren van op Transformer gebaseerde taalmodellen.

Axera heeft echter relatief weinig bekendgemaakt over de onderliggende hardware van de NPU. Daardoor is het moeilijk vast te stellen welk deel van de geclaimde prestaties voortkomt uit architectuurverbeteringen, geheugenbandbreedte of optimalisaties op softwareniveau. De geadverteerde 256 TOPS is op papier indrukwekkend, maar zegt relatief weinig over de aanhoudende prestaties bij werklasten in de praktijk.

Sipeed (ja, ik weet het), dat de door de AX8860P aangedreven MaixStation ontwikkelt, beweert dat zijn implementatie Nvidia's DGX Spark kan overtreffen in bepaalde benchmarks voor LLM-inferentie. Het bedrijf schrijft zijn resultaten deels toe aan de native versnelling voor dense FP4 van de AX8860P en een effectievere benutting van de beschikbare geheugenbandbreedte. Bovendien zijn de benchmarks van Sipeed door de fabrikant aangeleverd en hebben ze betrekking op specifieke modellen en inferentieconfiguraties. Zonder onafhankelijke tests met identieke modellen, kwantisatie-instellingen en softwareomgevingen is niet vast te stellen of de AX8860P de DGX Spark consequent overtreft.

De softwareondersteuning omvat compatibiliteit met populaire AI-frameworks, waaronder PyTorch, vLLM en SGLang, maar compatibiliteit vertaalt zich niet noodzakelijkerwijs in gelijkwaardige prestaties, functieondersteuning of implementatiegemak.

Sipeed is van plan zijn MaixStation aan te bieden met 32 GB en 128 GB LPDDR5X-geheugen. Het bedrijf mikt op prijzen onder respectievelijk $2.000 en $4.000, met een Kickstarter-campagne die tegen het einde van 2026 wordt verwacht. Radxa ontwikkelt ook een door de AX8860P aangedreven Pocket Supercomputer, terwijl Sipeed plannen heeft geschetst voor acceleratorconfiguraties met meerdere chips.