Een doofstomme man praat: Neuralink-verbeterend hersenimplantaat zet gedachten onmiddellijk om in spraak

Het onderzoek, dat op 11 juni gepubliceerd werd door UC Davis Health, betekent een aanzienlijke vooruitgang ten opzichte van eerdere technologieën die grotendeels beperkt waren tot het vertalen van hersensignalen in tekst. Het nieuwe systeem herstelde een communicatieniveau dat ooit voor onmogelijk werd gehouden voor een 45-jarige vrijwilliger met amyotrofische laterale sclerose (ALS), een neurodegeneratieve ziekte die hem van zijn stem had beroofd.

De "brein-naar-stem neuroprothese" werkt door de intentie van de hersenen om te spreken te decoderen. Onderzoekers implanteerden 256 micro-elektroden in het gebied van de hersenen van de patiënt dat verantwoordelijk is voor het aansturen van de spraakspieren. Wanneer de man probeert te praten, onderschept de BCI deze signalen en zet ze met behulp van een geavanceerd AI-model in slechts 25 milliseconden om in hoorbare spraak.

De onderzoekers gebruikten geavanceerde AI-algoritmen om de hersenactiviteit in realtime te vertalen naar gesynthetiseerde spraak. Het systeem werd getraind met neurale opnames die werden gemaakt terwijl de deelnemer zinnen op een scherm probeerde te lezen. Door de vuren van honderden neuronen af te stemmen op de bedoelde spraakklanken, leerde het algoritme om de stem van de deelnemer nauwkeurig te reconstrueren, rechtstreeks uit zijn hersensignalen.

De BCI produceert niet alleen monotone woorden, maar vangt en reproduceert ook met succes vocale intonatie - de subtiele verschuivingen in toonhoogte en toon die fundamenteel zijn voor de manier waarop mensen betekenis en emotie overbrengen. In een reeks krachtige demonstraties was de patiënt in staat om:

• Vragen stellen door een stijgende toonhoogte aan het einde van een zin te genereren.
• Specifieke woorden benadrukken om de betekenis van een zin volledig te veranderen, zoals het benadrukken van verschillende woorden in de zin: Ik heb nooit gezegd dat ze mijn geld gestolen heeft.
• Eenvoudige melodieën met 3 toonhoogtes zingen, wat een fijn niveau van neurale controle over de gesynthetiseerde stem laat zien.

Om de doorbraak nog diepgaander te maken, gebruikten de onderzoekers een AI voor het klonen van de stem die getraind was op oude opnames van de patiënt die gemaakt waren voordat hij aan zijn aandoening leed. Het resultaat was een gesynthetiseerde stem die klonk als zijn eigen stem, een eigenschap waarvan de patiënt meldde: "Ik voelde me gelukkig en het voelde als mijn echte stem."

Hoewel de technologie een belangrijke doorbraak betekent, waarschuwen de onderzoekers dat het nog steeds een proof-of-concept is. In tests waarbij menselijke luisteraars de output van de BCI transcribeerden, begrepen zij in ongeveer 56% van de tijd wat de patiënt correct zei. Er is meer ontwikkeling nodig om de efficiëntie te verhogen.