Nvidia wil profiteren van groei in generatieve AI met lancering van nieuwe Grace Hopper superchip, 's werelds eerste met HBM3e RAM

Nvidia heeft zijn nieuwste Grace Hopper superchip die is ontworpen om datacenters van stroom te voorzien die generatieve AI of andere versnelde berekeningen aansturen. Hoewel Nvidia Arm-gebaseerde chips blijft maken voor consumenten in verschillende vormen, heeft het enkele jaren geleden de voorkeur gegeven aan Arm-gebaseerde server SoC's die verder kunnen worden versneld door het Grace Hopper-platform te integreren met zijn serverklasse GPU's. De inzet van het bedrijf heeft veel vruchten afgeworpen na de opkomst van generatieve AI. De inzet van het bedrijf heeft veel vruchten afgeworpen na de opkomst van generatieve AI-technologieën zoals ChatGPT en Midjourney, waardoor de aandelenkoers sinds het begin van het jaar met ongeveer 200 procent is gestegen.

Net als de originele Grace Hopper superchip, verhoogt de nieuwe GH200 in dubbele configuratie de capaciteit naar 144 Arm V-serie Neoverse cores. Net als voorheen is de CPU (Grace) gekoppeld aan Nvidia's H100 Tensor Core GPU (Hopper). De H100 GPU's kunnen minimaal 51 teraflops FP32 compute leveren, waarbij de gecombineerde GH200 architectuur goed is voor een indrukwekkende 8 petaflops aan AI-prestaties.

Om deze nieuwe prestatieniveaus te bereiken met de GH200 - ondanks dat de siliciumarchitectuur ongewijzigd is gebleven - heeft Nvidia de geheugenarchitectuur geüpgraded met 282 GB van het nieuwste HBM3e-geheugen. HBM3e is 50 procent sneller dan regulier HBM3-geheugen met een totale bandbreedte van 10TB/sec. Hierdoor kan de GH200 modellen verwerken die 3,5x groter zijn dan de eerste generatie chip en is het de eerste chip ter wereld met HBM3e geheugen.

Nvidia zegt ook dat het Grace Hopper-platform schaalbaar is met ondersteuning voor extra Grace Hopper-chips die kunnen worden aangesloten via Nvidia's NVLink-interconnectie. Coherent geheugen (gedeeld tussen alle CPU's en GPU's in het cluster) kan oplopen tot 1,2 TB. Nvidia zegt dat toonaangevende serverfabrikanten naar verwachting in het tweede kwartaal van 2024 systemen zullen leveren met GH200-configuraties in meer dan 100 servervarianten.

Koop de Nvidia Jetson Nano AI developer kit bij Amazon voor $149.