LLM-8850: Uitbreidingskaart maakt van Raspberry Pi 5 een lokaal AI-platform

Cloudgebaseerde AI-modellen zijn erg handig voor gewone gebruikers. In sommige gebruikssituaties kan het echter nodig zijn om deze modellen lokaal uit te voeren om de privacy van de gegevens te waarborgen of om een trage of niet-bestaande internetverbinding te omzeilen. Dat gezegd hebbende, is er een bepaalde mate van prestatie nodig om grote taalmodellen of zelfs AI-ondersteunde videoanalyse uit te voeren. Dit laatste kan bijvoorbeeld handig zijn om mensen te tellen die door de ingang van een gebouw lopen.

Met de M5Stack LLM-8850is er nu een andere uitbreidingskaart op de markt die precies deze AI-toepassingen versnelt. Deze wordt aangedreven door een Axera AX8550 SoC met vier Cortex-A55-kernen en een NPU met een prestatie van 24 TOPs. Ter vergelijking: NPU's die geïntegreerd zijn in moderne CPU's van AMD en Intel bieden ruwweg twee keer zoveel prestaties. Er is ook een VPU aan boord die tegelijkertijd tot 16 videostreams met Full HD resolutie kan decoderen. Het bord heeft verder 8GB RAM en wordt geleverd met een koellichaam en ventilator.

De kaart is aangesloten via een M.2 Key M slot en maakt gebruik van twee PCIe 2.0 lanes. Het bord meet 1,68 x 0,94 x 0,38 inch en is compatibel met de Raspberry Pi 5 en andere single-board computers of zelfs mini PC's en verschillende AI-raamwerken. Tot slot is de M5Stack LLM-8850 officieel geprijsd voor $99, maar er kunnen extra verzend- en invoerkosten van toepassing zijn.