Talaas HC1: Efficiënte chip verslaat elke GPU in lokale AI-acceleratie

In de technische industrie, vooral bij het ontwerp van processors, kan een zeker evenwicht gevonden worden tussen universaliteit en prestaties. Hoewel computerchips of -systemen gebouwd kunnen worden om universaliteit te bieden en dus een grote verscheidenheid aan taken uit te voeren, is het meestal ook mogelijk om systemen voor zeer specifieke toepassingen te ontwerpen en te optimaliseren. In het geval van een computerchip kan de hele architectuur ontworpen worden rond gedefinieerde gegevenstypes, zonder mechanismen voor het afhandelen van speciale gevallen. Dit concept klinkt sommigen van u misschien bekend in de oren: In de cryptomijnbouw bijvoorbeeld zijn CPU's en GPU's voor algemene doeleinden grotendeels vervangen door ASIC's, die uiterst efficiënt zijn in hun enkele taak, maar onbruikbaar voor iets anders.

Een soortgelijke ontwikkeling tekent zich af bij AI-versnelling. Processors met geïntegreerde NPU's hebben de consumentenmarkt al bereikt. Het bedrijf Taalas heeft onlangs de HC1 geïntroduceerd, een chip die niet ontworpen is om zomaar een AI-model te versnellen, maar een heel specifiek model: de relatief kleine Llama 3.1 8B. Ondanks de specialisatie blijft een zekere mate van fijnafstelling mogelijk. Volgens Taalas kan de chip 16.960 tokens per seconde bereiken, in tegenstelling tot de 353 tokens per seconde van de Nvidia B200. Vergeleken met de Cerebras WSE-3 biedt de HC1 naar verluidt tien keer betere prestaties, terwijl hij minder stroom verbruikt - om nog maar te zwijgen van het feit dat hij ongeveer 20 keer minder kost. Prijzen en beschikbaarheid moeten nog worden aangekondigd.