Microsoft Maia 300 AI-chip verschijnt met maar liefst 288 GB HBM4-geheugen en een bandbreedte van 18 TB/s

Microsoft heeft officieel de Maia 300 onthuld, zijn nieuwste op maat ontworpen AI-accelerator die de afhankelijkheid van het bedrijf van hardware van Nvidia en AMD moet verminderen. De chip verschijnt kort nadat OpenAI zijn eigen chip, Jalapeno, presenteerde.  De chip volgt de Maia 200 op, die eerder dit jaar werd gelanceerd. De eerste Maia-chip, de Maia 100, verscheen in 2023. 

De Maia 300 maakt gebruik van een ontwerp met meerdere chiplets, met een hoofdgedeelte voor berekeningen dat wordt vervaardigd met het geavanceerde N2P-procedé (2 nm) van TSMC. De chipbehuizing bevat ook afzonderlijke geheugen- en I/O-chiplets, waardoor Microsoft verschillende componenten kan vervaardigen met procedés die geschikt zijn voor hun respectieve vereisten. Volgens Reuters wordt een deel van de ondersteunende chips vervaardigd met een goedkoper 3nm-productieprocedé.

De accelerator levert tot 13,8 PFLOPS aan FP4-rekenprestaties en 6,9 PFLOPS bij FP8-precisie. Het opgegeven vermogen van de SoC bedraagt 950 W, aanzienlijk hoger dan de 750 W van de Maia 200. Microsoft heeft de Maia 300 uitgerust met acht HBM4-stacks, die samen 288 GB geheugen en 18 TB/s bandbreedte bieden. Elke stack biedt 36 GB capaciteit, waarbij het HBM4-geheugen werkt op 9 Gb/s per pin. Ter vergelijking: de Maia 200 beschikt over 216 GB HBM3E-geheugen met 7 TB/s bandbreedte, waardoor de nieuwe accelerator geschikt is voor geheugenintensieve inferentieworkloads.

Microsoft heeft ook de interconnectmogelijkheden van de accelerator verbeterd. De Maia 300 levert 3,2 TB/s aan bidirectionele scale-upbandbreedte en gebruikt een tweelaags, op Ethernet gebaseerd netwerk met een aangepast AI-transportprotocol. Eén rack biedt plaats aan 96 Maia 300-accelerators, terwijl de scale-uparchitectuur clusters met ongeveer 12.000 accelerators ondersteunt.

Naast de pure specificaties stelt Microsoft dat Maia 300 40% meer tokens per megawatt kan leveren dan toonaangevende AI-systemen op basis van GPU's. Een volledig bezette configuratie met 96 accelerators biedt naar verluidt tot zeven keer de tokendoorvoer op rackniveau van Maia 200. Het bedrijf heeft echter onvoldoende details verstrekt over de concurrerende GPU-configuraties om de omvang van zijn efficiëntievoordeel onafhankelijk vast te stellen.

Microsoft is van plan Maia 300 in 2027 in productieomgevingen in te zetten en de infrastructuur uiteindelijk uit te breiden tot een capaciteit van meerdere gigawatts. Reuters meldt dat het bedrijf volgend jaar meer dan één miljoen Maia 300-chips zou kunnen inzetten, wat zijn ambitie onderstreept om minder afhankelijk te worden van AI-accelerators van derden.