Gratis, open-source DeepSeek V3.2 Exp AI LLM debuteert met lagere computerkosten, zodat bedrijven nog meer geld kunnen besparen

DeepSeek heeft zijn nieuwste groot-taalmodel voor kunstmatige intelligentie, DeepSeek-V3.2-Exp, uitgebracht met aanzienlijk lagere rekenkosten. Deze optimalisatie helpt bedrijven die de API van het bedrijf in hun apps gebruiken geld te besparen en tegelijkertijd toegang te bieden tot een slimme AI, die op de 11e plaats staat van de krachtigste LLM's die wereldwijd zijn uitgebracht.

Dit werd bereikt door gebruik te maken van een nieuw DeepSeek Sparse Attention (DSA) ontwerp dat zich richt op het indexeren van tokens, niet met elke andere token, zoals het geval is bij traditionele AI-transformers, maar alleen met de meest relevante. Hierdoor kan de AI ingevoerde tekst sneller verwerken tot het 128K-token venster met minder geheugengebruik.

App-ontwikkelaars die toegang krijgen tot DeepSeek V3.2 Exp via de openbare API kunnen verwachten meer dan 50% minder te betalen dan voor de vorige versie, terwijl de prestaties in gestandaardiseerde AI-benchmarks vergelijkbaar blijven.

De 400 GB AI LLM kan gratis worden gedownload van Hugging Face en lokaal draaien op krachtige computers. Lezers die dit doen, hebben een systeem nodig met meerdere Nvidia H100/H200/H20 GPU's of een enkele NVIDIA B200/GB200 server nodig hebben vanwege de VRAM-vereisten van meer dan 1,5 TB van het model.

Lezers die DeepSeek v3.2 op thuiscomputers willen draaien, zullen moeten wachten tot er gekwantiseerde modellen worden uitgebracht op Hugging Face, zoals deze voor v3.1 door unslothen een GPU hebben met minstens 24 GB geheugen, zoals deze Nvidia 5090 op Amazon.