Tencent onthult vier compacte open-source Hunyuan-modellen met 0,5B-, 1,8B-, 4B- en 7B-parameters

Tencent heeft uitgebracht een nieuwe reeks compacte Hunyuan-modellen uitgebracht: 0.5 miljard, 1,8 miljard, 4 miljard en 7 miljard parameters; ze zijn gericht op laagvermogen- en randinstallaties. Alle vier de configuraties zijn nu beschikbaar op GitHub en Hugging Face, en elk kan inferentie uitvoeren op een enkele grafische kaart van consumentenklasse, waardoor ze geschikt zijn voor laptops, smartphones, smart-cabin systemen en andere hardware met beperkte bronnen.

Ondanks hun kleine omvang behalen de modellen toonaangevende scores op het gebied van taalbegrip, wiskunde en redeneren in verschillende openbare benchmarks. Tencent schrijft deze resultaten toe aan een "redeneerfusie"-architectuur waarmee gebruikers kunnen kiezen tussen een sneldenkmodus voor beknopte antwoorden en een langzaamdenkmodus voor uitgebreidere meerstapsredeneringen.

Een belangrijk technisch kenmerk is het native contextvenster van 256K token, dat voldoende is om ruwweg 500.000 Engelse woorden in één keer op te nemen. Tencent legt de nadruk op interne toepassingen zoals Tencent Meeting en WeChat Reading, waarbij de modellen een volledig transcript van een vergadering of een volledig boek in één keer kunnen ontleden, waarbij de relaties tussen de personages en de plotdetails voor latere query's behouden blijven.

De vier compacte LLM's integreren met mainstream inferentieraamwerken, waaronder SGLang, vLLM en TensorRT-LLM, en ondersteunen meerdere kwantiseringsformaten. Eerste bekrachtigingen van Arm, Qualcomm, Intel en MediaTek wijzen op aanstaande implementatiepakketten die geoptimaliseerd zijn voor hun respectievelijke clientprocessors.

De eerste gebruikssituaties onderstrepen de praktische focus van de release. Tencent Mobile Manager rapporteert spamonderschepping op millisecondeniveau zonder gegevensoverdracht vanaf het apparaat. Tegelijkertijd zorgt een dual-model schema in Tencent's smart-cabin assistent voor een evenwicht tussen stroomverbruik aan boord en gespreksdiepte. Deze voorbeelden, zo stelt Tencent, tonen aan dat kleine modellen enterprise-grade agentcapaciteiten kunnen leveren als ze doordacht zijn ontworpen.