Moonshot AI brengt Kimi K2 uit: een gratis, slimmere concurrent voor DeepSeek

Moonshot AI heeft Kimi K2, een kunstmatig intelligentie groot taalmodel, gratis vrijgegeven onder een aangepaste MIT-licentie. De LLM stond meteen in de top tien van krachtigste AI-modellen ter wereld op het LMSys text arena leaderboard. Kimi K2 scoorde hoger dan DeepSeek, een andere gratis AI die wereldwijde aandacht kreeg vanwege zijn kracht en gratis licenties toen het eind 2024 werd vrijgegeven eind 2024 werd uitgebracht.

Kimi K2 is een 1 miljard parameters (1T) mixture-of-experts (MoE) model met een contextvenster van 128K en 384 experts die een subset van 32 miljard geactiveerde parameters gebruiken. De AI werd ontwikkeld voor gebruik in AI-agenten die gespecialiseerd zijn in het autonoom oplossen van problemen, redeneren en het gebruik van hulpmiddelen, waardoor deze gebruikt kan worden voor het oplossen van complexe taken en het zoeken naar antwoorden op zakelijke problemen op hoog niveau.

Omdat de trainingsgegevens voor het gebruik van gereedschap in de echte wereld beperkt waren, werd Kimi K2 getraind met een combinatie van echte en gesimuleerde omgevingen. Daarnaast maakte de AI-training gebruik van een zelfbeoordelingsmechanisme, waardoor de AI zelf kon bepalen of de voltooide taken tijdens de training naar behoren waren uitgevoerd of niet. De MuonClip optimizer werd ontwikkeld om het stabiliteitsprobleem van de training op te lossen dat gevonden werd in de Muon optimizer voor neurale netwerkenwaardoor Kimi K2 snel en succesvol voorgetraind kan worden op 15,5T tokens.

Lezers die geïnteresseerd zijn in het ontwikkelen van Kimi K2 voor zakelijk gebruik hebben ten minste 1TB opslagruimte nodig voor het model en een cluster van ten minste 16 Nvidia H20/H200 GPU's voordat het gratis downloadt van Hugging Face. Thuisgebruikers kunnen gemakkelijk gedistilleerde versies van DeepSeek op Nvidia GPU's met 12GB of meer geheugen, zoals deze kaart op Amazon, terwijl ze wachten op gedistilleerde versies van Kimi K2.

Consumenten kunnen hier gratis chatten met de Kimi chatboten softwareontwikkelaars kunnen hier betalen om Kimi te gebruiken via de API.