Applede eerste openbare LLM heet Ferret en wordt aangedreven door 8 Nivida A100 GPU's

Apple heeft stilletjes zijn eerste multimodale Large Language Model (LLM) AI uitgebracht als een open source project, dat het de naam Ferret heeft gegeven. De nieuwe Ferret AI werd in oktober geïntroduceerd door Apple AI-onderzoeker Zhe Gan via X/Twitter, maar bleef tot nu toe grotendeels onopgemerkt. Ferret is gezamenlijk ontwikkeld door Gan en zijn collega's op Apple, samen met onderzoekers van Columbia University. Volgens Gan is Ferret nauwkeuriger in het begrijpen van kleine beeldregio's en het beschrijven ervan dan GPT-4 van OpenAI, terwijl het minder hallucinaties (fouten) produceert.

Interessant is dat Apple's Github repository blijkt dat het bedrijf Ferret getraind heeft met 8 high-end Nvidia A100 GPU's uitgerust met 80GB HBM2e RAM. De A100 is de meest gevraagde GPU op de markt na de explosie van generatieve AI-technologie die volgde op de lancering van OpenAI's ChatGPT eind vorig jaar. Hij is geschikt voor 312 TeraFLOPS bij Tensor Float 32 precisie, waarbij het 80GB model dat Apple gebruikt om Ferret te trainen een bandbreedte tot 2.039 GB/s levert. Het bedrijf onthult echter niet welk onderwerp het heeft gebruikt om het nieuwe model te trainen.

Hoewel Apple zich nog in de relatief vroege stadia van zijn generatieve AI-reis met Ferret bevindt, is het doel om een model zoals Ferret effectief te laten werken op een smartphone. Men denkt dat OpenAI's GPT4 meer dan 1 biljoen parameters heeft, maar mobiele telefoons kunnen momenteel alleen LLM's met ongeveer 10 miljard parameters aan. Daarom hebben Apple hebben onderzoekers onlangs ook een doorbraak ze hebben laten zien hoe het RAM-geheugen van een smartphone kan worden aangevuld met flash-opslag aan boord, zodat er grotere modellen in passen dan anders mogelijk zouden zijn op het apparaat.