Open-Source Kinesis ontleedt Meta’s Neural Band voor spiergestuurde Mac-bediening

Meta ontwikkelde de „Neural Band“ oorspronkelijk als invoerapparaat voor zijn Ray-Ban Display-bril voor augmented reality. In plaats van gebruik te maken van camera’s om handen in de lucht te volgen, maakt de polsband gebruik van oppervlakte-elektromyografie (sEMG) om de minuscule elektrische signalen te registreren die het zenuwstelsel van de gebruiker via de arm doorgeeft. Telkens wanneer een trillende vinger of een knijpbeweging met de duim wordt gedetecteerd, registreren sensoren tegen de huid de motorische impulsen nog voordat de vinger de fysieke beweging volledig heeft voltooid. Zo ontstaat een onzichtbare, weinig vermoeiende besturing die functioneert wanneer de handen zich in een natuurlijke houding bevinden. Tot voor kort was deze technologie echter beperkt tot Meta’s eigen hardware.

Kinesis, een open-sourceproject dat door ontwikkelaar callbacked op GitHub is gepubliceerd, heeft de onversleutelde Bluetooth Low Energy (BLE)-pakketstroom van de polsband gereconstrueerd. Het Kinesis-hulpprogramma in de menubalk maakt via Bluetooth rechtstreeks verbinding met de hardware, waarbij de eigen daemons en cloudservers van Meta volledig worden omzeild. Door ruwe neuromusculaire sensorpieken om te zetten in macOS-systeemgebeurtenissen, wordt een knijpbeweging tussen duim en wijsvinger geregistreerd als een muisklik, regelt het rollen met de vingers het systeemvolume en schakelt een kleine polsbeweging tussen virtuele bureaubladruimten in Mission Control.

Op dit moment is de implementatie van Kinesis beperkt tot macOS. Brede ondersteuning voor verschillende platforms lijkt echter vrijwel zeker. Omdat de ontwikkelaar het ruwe BLE-protocol van de band in kaart heeft gebracht in plaats van te vertrouwen op eigen frameworks van Apple, is het porten van de decoder naar Linux of Windows eenvoudig en zou dit de deur kunnen openen voor open-source neurale desktopnavigatie op elk besturingssysteem. Meer informatie over Kinesis vindt u via de onderstaande link.