Nieuw systeem vertaalt individu-specifieke gebaren in spraak voor mensen met beperkte communicatie

Een team onderzoekers van de Pennsylvania State University heeft een prototypesysteem ontwikkeld dat gebruik maakt van draagbare sensoren en kunstmatige intelligentie om gebaren om te zetten in spraak. Dit systeem zet lichaamsbewegingen die uniek zijn voor individuen om in spraak, waardoor het zich onderscheidt van generieke systemen.

Deze nieuwe benadering - gepubliceerd in het tijdschrift Augmentative and Alternative Communication - is ontworpen om mensen met motorische of visuele beperkingen zelfstandiger en effectiever te laten communiceren. De belangrijkste innovatie van dit systeem is de aanpasbaarheid op individueel niveau.

In tegenstelling tot conventionele gebaren-naar-spraaksystemen die getraind worden op grote datasets, is het systeem ontworpen om idiosyncratische bewegingen te leren - gebaren die een specifieke betekenis hebben die uniek is voor een persoon. Hierdoor kan de technologie zich aanpassen aan de specifieke bewegingen die de gebruiker gemakkelijk vindt om te maken, waardoor de fysieke belasting voor de gebruiker vermindert.

Het systeem werkt door iemand een sensor om zijn pols te laten dragen en een gebaar ongeveer drie keer te herhalen. Met behulp van een AI-algoritme meet het de bewegingskenmerken van het gebaar en leert het een uniek patroon. Dit patroon of gebaar wordt vervolgens toegewezen aan een gesproken zin zoals "kom hier" of "stop ermee". Een verbonden smartphone-app spreekt de zin hardop uit wanneer de gebruiker het gebaar maakt.

Het team werkte tijdens de ontwikkeling nauw samen met mensen met beperkte spraak. Een opmerkelijke deelnemer was Emma Elko, die een corticale visuele beperking heeft. Het systeem leerde met succes haar persoonlijke gebaren, waardoor ze kon communiceren zonder de hulp van haar moeder - haar primaire communicatiepartner.

De onderzoekers zeggen dat de volgende stap is om het prototype met meer mensen te testen om het vermogen om onderscheid te maken tussen gelijksoortige gebaren te verfijnen en onwillekeurige bewegingen te negeren. Ze zijn ook van plan om camera's aan de bestaande sensor toe te voegen om de nauwkeurigheid te verbeteren.