OpenAI's nieuwe open-source modellen kunnen op uw PC draaien
OpenAI heeft de release aangekondigd van gpt-oss-120b en gpt-oss-20b, twee open-source modellen die gratis te downloaden zijn en lokaal op uw systeem kunnen worden uitgevoerd. Het is de eerste open-source release van het bedrijf sinds de lancering van GPT-2 in 2019.
Gpt-oss-120b is het model met 117 miljard parameters dat een stevige 80 GB VRAM vereist om te kunnen draaien. Het kleinere gpt-oss-20b - het 21 miljard parametermodel, past in een enkele GPU met 16 GB VRAM. Beide modellen zijn beschikbaar onder een flexibele Apache 2.0 licentie.
OpenAI zegt dat de "release een belangrijke stap is in hun toewijding aan het open-source ecosysteem, in lijn met hun missie om de voordelen van AI breed toegankelijk te maken" Het bedrijf wil dat ze dienen als een goedkoper hulpmiddel voor ontwikkelaars, onderzoekers en bedrijven om efficiënt uit te voeren en aan te passen.
Hoe presteren ze?
De gpt-oss-120b scoorde 2622 punten op de Codeforces coderingstest met hulpmiddelen, waarmee hij bijna op hetzelfde niveau presteerde als de o3 en o4-mini van het bedrijf, en hij versloeg de o3-mini ruimschoots in beide tests, die 2643 punten scoorde zonder hulpmiddelen.
De gpt-oss-20b scoorde 2516 met hulpmiddelen, presteerde op gelijke voet met o3 en o4-mini, en 2230 zonder hulpmiddelen, waarmee hij o3-mini nipt versloeg. OpenAI zegt dat 120b het zelfs beter doet op gezondheidsgerelateerde zoekopdrachten en wiskunde dan de o4-mini, terwijl 20b beter scoort dan de o3-mini.
OpenAI zegt dat zowel de 120b als de 20b veel meer hallucineren dan redeneringsmodellen zoals o3 en o4-mini. In tests bleek dat beide modellen van OpenAI 49% tot 53% hallucineerden op hun interne benchmarks die de modellen testen op hun kennis van mensen.
Beide modellen kunnen gedownload worden van de officiële Hugging Face ruimte en worden geleverd in MXFP4 voor efficiëntie. Ze kunnen ook vrij worden ingezet op platforms zoals Microsoft Azure, Hugging Face, vLLM, Ollama en llama.cpp, LM Studio, AWS, Fireworks, Together AI, en nog veel meer.
OpenAI verwacht dat deze modellen "de barrières zullen verlagen voor opkomende markten, sectoren met beperkte middelen en kleinere organisaties die misschien niet het budget of de flexibiliteit hebben om propriëtaire modellen te gebruiken"
Wat betreft de reden waarom ze zes jaar na het vorige model een nieuw model open-sourcen, zegt het bedrijf dat het "AI breed toegankelijk en nuttig voor iedereen wil maken"
