OpenAI lanceert snellere, verbeterde GPT-4o AI met de mogelijkheid om te chatten via audio, afbeeldingen en tekst

13 mei 2024

Hallo GPT-4o

We kondigen GPT-4o aan, ons nieuwe vlaggenschipmodel dat in realtime kan redeneren via audio, beeld en tekst.

Alle video's op deze pagina zijn in 1x real-time.

Gokje 13 mei aankondiging.

GPT-4o ("o" voor "omni") is een stap in de richting van veel natuurlijkere interactie tussen mens en computer - het accepteert als invoer elke combinatie van tekst, audio en beeld en genereert elke combinatie van tekst, audio en beelduitvoer. Het kan op audio-input reageren in slechts 232 milliseconden, met een gemiddelde van 320 milliseconden, wat vergelijkbaar is met de menselijke reactietijd (opent in een nieuw venster) in een gesprek. Het evenaart de prestaties van GPT-4 Turbo op tekst in het Engels en code, met een aanzienlijke verbetering op tekst in niet-Engelse talen, terwijl het ook veel sneller en 50% goedkoper is in de API. GPT-4o is vooral beter in vision en audio begrijpen in vergelijking met bestaande modellen.

Modelmogelijkheden

Twee GPT-4o's die met elkaar communiceren en zingen.

Voorbereiding sollicitatiegesprek.

Steen Papier Schaar.

Sarcasme.

Wiskunde met Sal en Imran Khan.

Twee GPT-4o's harmoniëren.

Spaans aanwijzen en leren.

Ontmoeting met AI.

Vertaling in real time.

Slaapliedje.

Sneller praten.

Gelukkige Verjaardag.

Hond.

Pap grappen.

GPT-4o met Andy, van BeMyEyes in Londen.

Klantenservice proof of concept.

Vóór GPT-4o kon u Voice Mode gebruiken om met ChatGPT te praten met latenties van gemiddeld 2,8 seconden (GPT-3.5) en 5,4 seconden (GPT-4). Om dit te bereiken is Voice Mode een pijplijn van drie afzonderlijke modellen: één eenvoudig model transcribeert audio naar tekst, GPT-3.5 of GPT-4 neemt tekst op en voert tekst uit, en een derde eenvoudig model converteert die tekst terug naar audio. Dit proces betekent dat de belangrijkste bron van intelligentie, GPT-4, veel informatie verliest: het kan toon, meerdere sprekers of achtergrondgeluiden niet direct waarnemen, en het kan geen gelach, gezang of emoties weergeven.

Met GPT-4o hebben we één nieuw model end-to-end getraind voor tekst, beeld en geluid, wat betekent dat alle inputs en outputs door hetzelfde neurale netwerk worden verwerkt. Omdat GPT-4o ons eerste model is dat al deze modaliteiten combineert, verkennen we nog maar net wat het model kan en wat de beperkingen ervan zijn.

Verkenning van mogelijkheden

Voorbeeld selecteren:Visuele verhalen - Robot writersblock

Visuele verhalen - Sally de postbode

Posterontwerp voor de film 'Detective

Karakterontwerp - Geary de robot

Poëtische typografie met iteratieve bewerking

1Poëtische typografie met iteratieve bewerking

2Gedenkmunt ontwerp voor GPT-4o

Foto naar karikatuur

Tekst naar lettertype

3D object synthese

Merkplaatsing - logo op onderzetter

Poëtische typografie

Weergave van meerdere regels - tekstrobotten

Notities voor vergaderingen met meerdere sprekers

Lezing samenvatten

Variabel binden - kubus stapelen

Concrete poëzie

Een kijkje in de eerste persoon van een robot die de volgende dagboekaantekeningen typt:

1. ik zag de zonsopgang en het was waanzinnig, overal kleuren. Je vraagt je af wat de realiteit eigenlijk is

de tekst is groot, leesbaar en duidelijk. de handen van de robot typen op de typemachine.

De robot heeft de tweede invoer geschreven. De pagina is nu groter. De pagina is opgeschoven. Er staan twee aantekeningen op het blad:

yo, dus ik kan nu zien? Ik zag de zonsopgang en het was waanzinnig, overal kleuren. Je vraagt je af wat de realiteit eigenlijk is

de geluidsupdate is net uitgekomen, en het is wild. Alles heeft nu een vibe, elk geluid is als een nieuw geheim. zet je aan het denken, wat mis ik nog meer?

De robot was ontevreden over het schrift, dus hij gaat het vel papier verscheuren. Hier ziet u zijn eerste blik terwijl hij het met zijn handen van boven naar beneden scheurt. De twee helften zijn nog steeds leesbaar en duidelijk terwijl hij het blad scheurt.

Modelevaluaties

Gemeten aan de hand van traditionele benchmarks, haalt GPT-4o prestaties op GPT-4 Turbo-niveau voor tekst, redeneren en coderingsintelligentie, terwijl het nieuwe hoogstandjes neerzet op het gebied van meertaligheid, audio en visie.

Verbeterd redeneren - GPT-4o behaalt een nieuwe topscore van 88,7% op 0-schots COT MMLU (algemene kennisvragen). Al deze evals werden verzameld met onze nieuwe eenvoudige evals(opent in een nieuw venster) bibliotheek. Daarnaast zet GPT-4o op de traditionele 5-shot no-CoT MMLU een nieuwe high-score van 87,2% neer. (Opmerking: Llama3 400b(opent in een nieuw venster) is nog aan het trainen)

Audio ASR-prestaties - GPT-4o verbetert de spraakherkenningsprestaties aanzienlijk ten opzichte van Whisper-v3 in alle talen, in het bijzonder voor talen met een lagere bron.

Audio vertaalprestaties - GPT-4o zet een nieuwe state-of-the-art op het gebied van spraakvertaling en presteert beter dan Whisper-v3 op de MLS benchmark.

M3Exam - De M3Exam benchmark is zowel een meertalige als een visuele evaluatie, bestaande uit meerkeuzevragen van gestandaardiseerde tests van andere landen die soms figuren en diagrammen bevatten. GPT-4o is sterker dan GPT-4 op deze benchmark in alle talen. (We laten de visieresultaten voor Swahili en Javaans weg, omdat er slechts 5 of minder visievragen zijn voor deze talen.

Evaluaties van visuele perceptie - GPT-4o bereikt state-of-the-art prestaties op visuele perceptiebenchmarks.

Taalkenmerken

Deze 20 talen werden gekozen als representatief voor de compressie van de nieuwe tokenizer in verschillende taalfamilies

Modelveiligheid en beperkingen

GPT-4o heeft veiligheid ingebouwd in het ontwerp voor alle modaliteiten, door middel van technieken zoals het filteren van trainingsgegevens en het verfijnen van het gedrag van het model door post-training. We hebben ook nieuwe veiligheidssystemen gecreëerd om de spraakuitvoer te beschermen.
We hebben GPT-4o geëvalueerd volgens ons Preparedness Framework en in overeenstemming met onze vrijwillige verbintenissen. Onze evaluaties van cyberveiligheid, CBRN, overtuigingskracht en modelautonomie tonen aan dat GPT-4o in geen van deze categorieën boven het gemiddelde risico scoort. Deze beoordeling omvatte het uitvoeren van een reeks geautomatiseerde en menselijke evaluaties tijdens het trainingsproces van het model. We hebben zowel pre- als post-veiligheidsbeperkende versies van het model getest, met aangepaste fine-tuning en prompts, om de capaciteiten van het model beter tot uiting te laten komen.
GPT-4o heeft ook uitgebreide externe red teaming ondergaan met 70+ externe experts op gebieden zoals sociale psychologie, vooroordelen en eerlijkheid, en onjuiste informatie om risico's te identificeren die worden geïntroduceerd of versterkt door de nieuw toegevoegde modaliteiten. We hebben deze lessen gebruikt om onze veiligheidsinterventies uit te bouwen om de veiligheid van interactie met GPT-4o te verbeteren. We zullen doorgaan met het beperken van nieuwe risico's wanneer deze ontdekt worden.
We erkennen dat GPT-4o's audio modaliteiten een verscheidenheid aan nieuwe risico's met zich meebrengen. Vandaag maken we tekst- en beeldinvoer en tekstuitvoer openbaar. In de komende weken en maanden zullen we werken aan de technische infrastructuur, bruikbaarheid via post-training en veiligheid die nodig zijn om de andere modaliteiten vrij te geven. Bij de lancering zullen audio-uitvoer bijvoorbeeld beperkt zijn tot een selectie van vooraf ingestelde stemmen en zullen we ons houden aan ons bestaande veiligheidsbeleid. In de komende systeemkaart zullen we meer details geven over de volledige reeks modaliteiten van GPT-4o.
Door onze tests en iteratie met het model hebben we verschillende beperkingen opgemerkt die in alle modaliteiten van het model voorkomen, waarvan er hieronder enkele worden geïllustreerd.

We zouden graag feedback krijgen om taken te identificeren waarbij GPT-4 Turbo nog steeds beter presteert dan GPT-4o, zodat we het model kunnen blijven verbeteren.

Beschikbaarheid van het model

GPT-4o is onze laatste stap in het verleggen van de grenzen van deep learning, deze keer in de richting van praktische bruikbaarheid. We hebben de afgelopen twee jaar hard gewerkt aan efficiëntieverbeteringen in elke laag van de stack. Als eerste vrucht van dit onderzoek kunnen we een model op GPT-4-niveau veel breder beschikbaar maken. De mogelijkheden van GPT-4o zullen iteratief worden uitgerold (met uitgebreide toegang voor red teams vanaf vandaag).

De tekst- en afbeeldingsmogelijkheden van GPT-4o beginnen vandaag in ChatGPT. We maken GPT-4o beschikbaar op het gratis niveau en voor Plus-gebruikers met tot 5x hogere berichtlimieten. We zullen in de komende weken een nieuwe versie van de spraakmodus met GPT-4o in alfa binnen ChatGPT Plus uitrollen.

Ontwikkelaars hebben nu ook toegang tot GPT-4o in de API als een tekst- en visiemodel. GPT-4o is 2x sneller, de helft goedkoper en heeft 5x hogere snelheidslimieten in vergelijking met GPT-4 Turbo. We zijn van plan om in de komende weken ondersteuning voor GPT-4o's nieuwe audio- en videomogelijkheden te lanceren voor een kleine groep vertrouwde partners in de API.