10x snellere inferentie versus HBM4: d-Matrix bundelt krachten met AIchip om 's werelds eerste 3D DRAM te produceren

De greep die Nvidia heeft op de gehele AI-hardware-infrastructuur is nog steeds sterk, maar heel wat bedrijven streven er nu naar om efficiënte alternatieven aan te bieden. Een paar jaar geleden, toen Nvidia moeite had om aan de steeds grotere vraag naar inferentiehardware te voldoen, kwam d-Matrix naar voren en greep de kans om zichzelf te positioneren als een betrouwbare leverancier van generatieve AI-hardware in de datacenterruimte. De eerste speciale computerkaart - de Corsair C8werd goed ontvangen en het bedrijf is nu van plan om een opvolger te lanceren met 's werelds eerste in massa geproduceerde 3D DRAM.

d-Matrix werkte samen met krachtige AI-infrastructuur ASIC integrator AIchip uit Taiwan om de 3D DRAM-oplossing te ontwikkelen, die naar verluidt "de prestatie- en kostenbottlenecks die de huidige AI-infrastructuur beperken, zal elimineren" Dit nieuwe type RAM staat bekend als 3DIMC (3D stacked digital in-memory compute) wordt momenteel getest op de Pavehawk-chips van d-Matrix.

Het eerste commerciële product met 3D-stacked DRAM zal naar verwachting de Raptor inferentieversneller van d-Matrix zijn (Nvidia Jetson AGX affiliate link), die de huidige Corsair-modellen zal vervangen. d-Matrix schat dat de 3DIMC-oplossing tot 10x hogere inferentiesnelheden kan leveren dan de snelste HBM4-chips HBM4-gebaseerde versnellers.

Sid Sheth, medeoprichter en CEO van d-Matrix legt uit dat 3D-gestapeld DRAM "een doorbraak betekent die AI niet alleen sneller maakt, maar ook kosteneffectiever en duurzamer op schaal. 3DIMC vertegenwoordigt de volgende logische stap in onze routekaart naar het leveren van efficiënte inferentiearchitecturen die gelijke tred houden met de exponentiële groei van generatieve en agentische AI."