Nieuw MIT-systeem laat kleine AI-modellen beter presteren dan reuzen bij complexe taken

Terwijl grote taalmodellen uitblinken in zaken als creatief schrijven en basiswiskunde, struikelen ze vaak bij complexe, regelzware taken zoals Sudoku of een strikte routeplanning. Om deze kloof te overbruggen, heeft een team onderzoekers van het MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) - onder leiding van Gabriel Grand - een nieuw systeem geïntroduceerd met de naam DisCIPL (Distributional Constraints by Inference Programming with Language Models).

Het raamwerk werkt met een manager-werknemer hiërarchie. Een groot "baas"-model fungeert eerst als planner, die een strategie bedenkt om een verzoek van een gebruiker op te lossen. Vervolgens wijst het specifieke onderdelen van de taak toe aan kleinere, efficiëntere "volger"-modellen.

Om ervoor te zorgen dat het team op koers blijft, communiceert de baas instructies met behulp van LLaMPPL, een gespecialiseerde programmeertaal die ontworpen is om modellen in de richting van nauwkeurige uitvoer te sturen. Als een volgmodel van de beperkingen afwijkt - bijvoorbeeld door een verkeerde zin te gebruiken in een gestructureerd gedicht - grijpt het hoofdmodel in om het te corrigeren.

Deze aanpak heeft indrukwekkende resultaten opgeleverd. Volgens het rapport van de onderzoekers produceerde het DisCIPL-systeem in tests met taken zoals het schrijven van subsidievoorstellen of het begroten van boodschappenlijstjes nauwkeuriger antwoorden dan GPT-4o van OpenAI en evenaarde het de precisie van het gespecialiseerde redeneermodel o1. Nog opmerkelijker is dat het dit deed met een veel grotere efficiëntie. Door het zware werk over te hevelen naar kleinere modellen, verkortte het systeem de redeneerlengte met ongeveer 40% en verminderde het de kosten met meer dan 80% vergeleken met die van concurrenten.

Het team gelooft dat deze methode een duurzame weg voorwaarts biedt voor AI, door te bewijzen dat het coördineren van kleinere modellen veel effectiever - en energiezuiniger - kan zijn dan alleen te vertrouwen op massieve, energievretende systemen.