GuppyLM: Iedereen kan deze kleine AI trainen

Terwijl AI-modellen steeds groter, duurder en ondoorzichtiger worden, gaat GuppyLM de tegenovergestelde kant op - met opzet. Dit kleine open-source project is een taalmodel met slechts ongeveer 8,7 miljoen parameters, veel minder dan moderne topmodellen, en het identificeert zichzelf als een vis genaamd Guppy. Guppy kent alleen het leven in een aquarium. Het doel is niet om te concurreren met ChatGPT of andere grote modellen. In plaats daarvan is GuppyLM bedoeld om te laten zien dat een LLM niet mysterieus hoeft te zijn - en dat voor het trainen ervan niet per se expertkennis nodig is.

GuppyLM is getraind op 60.000 synthetische conversaties. Inhoudelijk is het model zeer beperkt, maar dat maakt het juist opmerkelijk consistent. Guppy spreekt in korte, kleine zinnen en begrijpt geen menselijke abstracties zoals politiek, geld of telefoons. Omdat deze persoonlijkheid stevig in het model is ingebouwd, blijft Guppy altijd binnen zijn vissenperspectief. GitHub biedt ook een browserdemo waarin het model lokaal in de browser draait. Als alternatief kan de voorgetrainde versie gestart worden via Colab of lokaal met Python uitgevoerd worden. Wie nog een stapje verder wil gaan, kan zelfs zijn eigen mini-LLM rechtstreeks trainen met het voorbereide Colab-notitieblok - een browsergebaseerde programmeeromgeving.

Het trainingsproces zelf is relatief eenvoudig. Het model wordt gevoed met een groot aantal voorbeeldparen bestaande uit een invoer en een bijpassend antwoord. In het voorgetrainde GuppyLM model zijn dit begroetingen, vragen over voedsel, water, licht, slaap of de zin van het leven - allemaal vanuit het perspectief van een kleine vis. Uit deze voorbeelden leert het model welk token als volgende moet komen. Eenvoudig gezegd zijn tokens kleine teksteenheden waarin woorden worden opgedeeld. Tijdens elke trainingsstap vergelijkt het model zijn voorspelling met het gewenste antwoord en past het zijn interne gewichten dienovereenkomstig aan. Op deze manier leert GuppyLM geleidelijk hoe een vis hoort te spreken.