Nvidia voegt nieuwe vision-, spraak- en taalmogelijkheden toe aan ChatRTX - een gratis, lokale chatbot voor pc's met Nvidia RTX grafische kaarten

Nvidia heeft de mogelijkheden van Chat for RTX (ChatRTX) uitgebreid door ondersteuning toe te voegen voor extra grote taalmodellen (LLM), evenals vision en spraak door in de nieuwste versie ondersteuning voor extra grote taalmodellen (LLM) en vision- en spraakondersteuning toe te voegen. De gratis, lokale chatbot hoeft geen gegevens online te verzenden terwijl hij met gebruikersinformatie werkt, waardoor chats privé blijven.

Verschillende LLM's zijn afgestemd op verschillende doeleinden - algemene chats, wetenschappelijke papers, het schrijven van essays en meer. Sommige LLM's hebben ook een strikte training om uitvoer te censureren, dus dit maakt bepaalde LLM's nuttiger dan andere. Tot de eerder beschikbare TensorRT-LLM-modellen behoorden het standaard Mistral-model en Llama 2. Nvidia heeft ChatRTX opengesteld voor een paar nieuwe modellen, Gemma en ChatGLM3.

Gemma is een LLM ontwikkeld door Google DeepMind en uitgebracht in 2024 als modellen met twee en zeven miljard parameters. De modellen zijn sterk afgestemd om gevoelige spraak, persoonlijke informatie en riskante of gevaarlijke reacties uit te filteren.

ChatGLM3 is een LLM ontwikkeld door Zhipu AI en Tsinghua KEG en uitgebracht in 2023 als een model met zes miljard parameters. Het tweetalige Chinees-Engelse model is ontworpen als een sterke, open-source concurrent voor OpenAI's ChatGPT.

Nvidia heeft OpenAI's CLIP neuraal netwerk toegevoegd aan ChatRTX om automatisch afbeeldingen te herkennen en gerelateerde tekst te associëren. Als CLIP bijvoorbeeld een afbeelding te zien krijgt van een televisieanker, omroepcamera's en lichten in een kamer, zal het de afbeelding labelen als een foto van een televisiestudio. Hierdoor kan ChatRTX met afbeeldingen werken zonder de inhoud handmatig te labelen. OpenAI's Whisper spraakherkenningssysteem is ook toegevoegd aan ChatRTX, waardoor gebruikers prompts kunnen inspreken tegen ChatRTX.

Lezers die een lokale chatbot willen uitproberen, kunnen hier Nvidia ChatRTX downloaden zolang ze aan de volgende systeemvereisten voldoen. De lokale chatbot draait op pc's met een Nvidia GeForce RTX 30- of 40-serie grafische kaart. Grafische kaarten op basis van Ampere en Ada met minstens 8 GB VRAM worden ook ondersteund. Wie geen compatibele kaart heeft, kan een snelle Nvidia kopen op Amazon. Andere systeemvereisten zijn Windows 11, 16 GB RAM, minimaal 35 GB vrije opslagruimte en driverversie 535.11 of later.