De Google Pixel 11 zet Amerikaanse gebarentaal om in getypte tekst

Google DeepMind heeft woensdag een vertaalmodel voor gebarentaal onthuld, en dit model blijft niet beperkt tot het laboratorium. SL2T, een afkorting van ‘sign-language-to-text’, werkt nu in het Gboard-toetsenbord en de Live Transcribe-app op de Pixel 11. Gebaar, en u krijgt tekst. Het werkt overal waar u normaal gesproken zou typen: bij zoekopdrachten op internet, in berichten, in documenten en bij Gemini-prompts. Google brengt hiervoor geen extra kosten in rekening.

Voor dove gebruikers is dit meer dan alleen een gemak. Wereldwijd gebruiken ongeveer 70 miljoen mensen een van de meer dan 200 gebarentalen als hun primaire taal, en dicteren – iets wat horende gebruikers al jaren als vanzelfsprekend beschouwen – was voor hen nooit beschikbaar. In Live Transcribe kunnen zij nu antwoorden in plaats van zich een weg door een gesprek te typen.

De camera stuurt nooit videobeelden naar Google

Het privacyontwerp is het meest interessante aspect. Het model krijgt het camerabeeld nooit te zien. MediaPipe Holistic draait op de telefoon en reduceert de beelden tot lichaamsoriëntatiepunten: eenvoudige coördinaten voor handen, armen, hoofd en gezicht. Alleen die getallen worden naar de server verzonden, en Google geeft aan dat de video onmiddellijk wordt verwijderd.

Wat Google buiten beschouwing heeft gelaten, is net zo belangrijk. Eerdere systemen vertaalden via ‘glosses’, een grove tussenliggende notatie van individuele gebaren die veel van wat gebarentalen daadwerkelijk overbrengen weglaat, waaronder gezichtsuitdrukkingen en het gebruik van de ruimte. SL2T gaat rechtstreeks van oriëntatiepunten naar tekst. Voor de training is gebruikgemaakt van meer dan 100.000 uur aan beeldmateriaal van meer dan 50 gebarentalen, waarvan ongeveer een kwart Amerikaanse Gebarentaal (ASL). Op de FLEURS-ASL-benchmark scoort het systeem 70 BLEURT – een maatstaf voor vertaalkwaliteit – zonder de testgegevens vooraf te hebben gezien.

Slechts één taal, en Google signaleert zijn eigen fouten

De talenlijst is het addertje onder het gras. Bij de lancering vertaalt SL2T alleen ASL naar het Engels en verder niets, dus gebruikers van Britse, Duitse of andere gebarentalen moeten nog even geduld hebben. Google belooft meer talen en meer apparaten, zonder een datum te noemen.

De nauwkeurigheid is evenmin onberispelijk, en het bedrijf geeft dat zelf aan in zijn eigen voorbeelden. Snel vingerspellen zorgt ervoor dat „prey“ als „grey“ wordt weergegeven, een beschrijvende classificator valt weg en een tijd verandert wanneer de context ontbreekt. Het team heeft de praktische problemen wel aangepakt: vertraging tijdens livevertaling, verzonnen output wanneer niemand gebarentaal gebruikt, linkshandige gebarentalers en gebarentaal met één hand, wat noodzakelijk wordt op het moment dat de andere hand de telefoon vasthoudt.

Dove professionals waren gedurende het hele proces bij het project betrokken. Een adviesgroep genaamd AISLAC begeleidde de lancering en was medeauteur van een rapport over wat het model wel en niet kan.

Voorlopig alleen voor de Pixel 11

Om de functie te kunnen gebruiken, dient u een Pixel 11 aan te schaffen. Google heeft op 12 augustus de voorverkoop geopend en vanaf 13 augustus staat de telefoon in de Google Store nog steeds vermeld als voorverkoopartikel voor 899 dollar. Oudere toestellen, zoals de Pixel 10 Pro, vallen voorlopig buiten de boot.