Google DeepMind hat ein neues KI-Modell vorgestellt, das amerikanische Gebärdensprache (ASL) in Echtzeit in englischen Text übersetzt. Die Technik mit dem Namen SL2T (Sign-Language-to-Text) läuft ab sofort auf dem Pixel 11 und lässt sich über die Tastatur-App Gboard sowie den Transkriptionsdienst Live Transcribe nutzen. Die Funktion kostet nichts extra.
Wie das Modell arbeitet
SL2T ersetzt beim Tippen die Gebärde: Nutzer gebärden, statt zu tippen, wenn sie im Web suchen, Nachrichten oder Dokumente verfassen oder die KI-Assistentin Gemini ansprechen. In Live Transcribe können sie auch in Gesprächen per Gebärde antworten, statt hin- und herzutippen.
DeepMind trainierte das Modell mit über 100.000 Stunden Daten aus mehr als 50 Gebärdensprachen, rund ein Viertel davon in ASL. Statt Rohvideo verarbeitet SL2T nur Positionsdaten des Körpers: Ein On-Device-Modell namens MediaPipe Holistic erfasst die Bewegung, wandelt sie in geometrische Koordinaten um und verwirft das Video sofort. Das soll die Privatsphäre der Nutzer schützen. Zudem verzichtet das Modell auf sogenannte Glossen, ein bislang übliches Zwischenformat, das laut Google feine sprachliche Merkmale von Gebärdensprachen nicht abbildet.
Genauigkeit mit bekannten Schwächen
Laut Google erreicht SL2T auf dem Referenz-Datensatz FLEURS-ASL einen BLEURT-Wert von 70 im Zero-Shot-Test. Das ist deutlich höher als bei früheren Modellen.
Google räumt zugleich Fehlerquellen ein: Seltene Gebärden, schnelles Fingerspelling, Passivkonstruktionen, sogenannte Klassifikator-Darstellungen und Zeitbezüge ohne Kontext bereiten dem Modell noch Probleme.
Entwicklung mit der Gehörlosen-Community
Laut Google DeepMind war die Gehörlosen-Community von Beginn an eingebunden: von der Konzeption durch den gehörlosen Google-Mitarbeiter Sam Sepah über die Datenerhebung mit gehörlosen Partnern bis zu Nutzerstudien und einer Bewertung der Auswirkungen mit gehörlosen Experten. Um die Technik verantwortungsvoll einzuführen, richtete das Unternehmen ein eigenes Beratungsgremium ein: das AI Sign Language Advisory Committee (AISLAC), dem internationale Gehörlosenorganisationen und Fachexperten angehören.
Ob SL2T eine neue Version des 2025 angekündigten Modells SignGemma ist, blieb zunächst offen. Ein Sprecher von Google DeepMind bestätigte, dass es sich um zwei getrennte Modelle handelt.
Weitere Geräte und zusätzliche Gebärdensprachen sollen laut Google folgen. Für die Hörakustik-Branche dürfte die Entwicklung vor allem als Signal lesbar sein: Nach Apple, dessen MFi-Ökosystem seit Jahren mit Hörgeräteherstellern zusammenarbeitet, treibt nun auch Google eine eigene Accessibility-Strategie rund um Hören und Kommunikation voran.
