Gok loont: Ontwikkelaar scoort voor $80.000 aan hardware met 960 GB DDR5-geheugen en Nvidia GH200-superchip voor een tiende van de prijs
Minder dan een week geleden, hebben we een verhaal afkomstig van Reddit, waarin een gamer erin slaagde om een krachtige en goed uitgeruste gaming PC van ongeveer $3.000 nieuw voor slechts $600 te bemachtigen. Hilarisch genoeg is de 64 GB DDR5-geheugen in het systeem alleen al op het moment van schrijven $880 waard, dankzij de aanhoudende DRAM-bevoorradingsexplosie die leidt tot een ongekende stijging in geheugenprijzen.
$80k aan hardware voor $8k: AI-ontwikkelaar wint de jackpot
Nu is een AI-ontwikkelaar, ook via Reddit, erin geslaagd om een verrukkelijke deal op de kop te tikken - een gebruikte AI-server met dual Nvidia GH200 superchips die voor slechts $8.000 wordt verkocht. Als het systeem helemaal nieuw gekocht zou worden, zou het ergens in de buurt van $80.000 kosten, waarschijnlijk zelfs meer omdat de Nvidia H100 alleen al ongeveer $40.000 waard is, zoals opgemerkt op door de auteur. Oh, en het systeem bevat maar liefst 960 GB LPDDR5X-geheugen. De exacte details van het systeem staan hieronder, met dank aan de koper, David Noel Ng:
- Dual Nvidia Grace-Hopper GH200 Superchip - elk met een 72-core ARM CPU met 480 GB LPDDR5X-geheugen, Hopper H100 GPU met 96 GB HBM3-geheugen
- NVlink C2C met 900 GB/s bandbreedte
- 3 kW voeding
- Dubbele PCIe Gen4 M.2 22110/2280 slots
- Vier FHFL PCIe Gen 5 x16
- RJ45, Mini-DisplayPort
Nvidia GH200 superchip voor een koopje? Er zit een addertje onder het gras
In een ander antwoord onthulde de verkoper dat het systeem voor een koopje werd verkocht omdat het in in slechte staat verkeerdeomdat het van vloeistofgekoeld naar luchtgekoeld was omgebouwd. Bovendien vermeldde hij ook dat het niet in een typisch serverrack kon worden gemonteerd, wat over het algemeen een vereiste is.
David liet zich echter niet afschrikken door deze nadelen en reed zelf naar de verkoper om het systeem te laten nakijken. Gelukkig ontdekte hij dat de verkoper een goede reputatie had en toevallig ongeveer 2 uur rijden was van zijn woonplaats.
Toen het systeem eenmaal thuis was, regelde David een stofzuiger en een paar liter schoonmaakmiddel voordat hij aan de slag ging. Nadat de server was schoongemaakt, werd er een nieuwe waterkoeling geïnstalleerd en vonden er enkele reparaties plaats. Het moeilijkste was misschien wel het vinden van een defecte temperatuursensor die er herhaaldelijk voor zorgde dat de server vastliep, maar uiteindelijk is alles opgelost.
Massieve LLM's thuis: 235B-parametermodellen lopen soepel
David lijkt erg blij te zijn met zijn aankoop - en zijn daaropvolgende mogelijkheid om thuis enorme LLM's (235B) uit te voeren. Natuurlijk vergde het hele proces een hoop werk, waarvan het meeste buiten het bereik ligt van degenen die helemaal nieuw zijn met enterprise-grade hardware. Maar gezien het feit dat de 960 GB DDR5-geheugen alleen al nu meer waard is dan wat hij voor het hele systeem heeft betaald, was het zeker een goede afloop.
Voor diegenen die thuis kleinere AI-modellen willen draaien zonder $8.000 dollar te hoeven uitgeven en nog een paar uur extra te investeren in de installatie, is de Strix Halo-aangedreven GMKtec Evo-X2(momenteel $1.529,99 op Amazon) misschien een betere keuze.
Bron(nen)
David Noel Ng, Reddit, gespot door Tom's Hardware
