Met Fish Audio Drama 3 kunnen AI-stemmen midden in een zin van emotie veranderen

Fish Audio heeft Drama 3 gelanceerd, een tekst-naar-spraakmodel dat is ontworpen om AI-gegenereerde dialogen minder te laten klinken alsof iemand een script voorleest en meer als een echte acteerprestatie. Het model, dat op 13 oktober werd uitgebracht, laat makers emoties, tempo en stemgebruik aansturen met alledaagse taal.

In plaats van te vertrouwen op standaard steminstellingen, kunnen gebruikers instructies rechtstreeks in hun scripts invoegen. Een personage kan rustig beginnen te praten, steeds gefrustreerder raken en een zin fluisterend afsluiten, allemaal zonder tussen afzonderlijke opnamen te schakelen. Zelfs synthetische acteurs moeten nu regieaanwijzingen opvolgen.

Drama 3 ondersteunt ook gesprekken tussen meerdere personages en 83 talen. Instructies kunnen worden toegepast op afzonderlijke woorden of passages, zodat makers specifieke uitdrukkingen kunnen benadrukken zonder de rest van het script te veranderen.

Volgens Fish Audio behaalde het model een nauwkeurigheid van 93.2% op de Pronunciation Robustness-benchmark van Artificial Analysis, tegenover 88.1% voor zijn voorganger, S2.1 Pro. Uitspraaknauwkeurigheid garandeert echter niet noodzakelijk overtuigende emotionele vertolkingen.

Het bedrijf ontwikkelt ook twee geavanceerde bewerkingstools. Met Interactive Editing kunnen gebruikers vertolkingen verfijnen via aanvullende instructies, terwijl Audio Inpainting is ontworpen om afzonderlijke woorden te vervangen zonder volledige opnamen opnieuw te genereren. Beide worden nog op beperkte schaal getest, uitsluitend op uitnodiging.

Drama 3 is beschikbaar via de website, mobiele apps en API van Fish Audio. Modelgewichten kunnen ook worden gedownload, al gelden er licentiebeperkingen voor commercieel gebruik.

Tot 12 november kost API-toegang $10 per miljoen tekens, een korting van 80% op het reguliere tarief van $50. Nieuwe abonnementen voor makers krijgen tijdens de promotieperiode ook 50% korting.