Schreiben ohne Tastatur

Prof. Tanja Schultz und Christoph Amma erhalten Google Research Award für ihre Forschung zu gestenbasierter Schrifterkennung – „Airwriting“: Eingabegerät für dreidimensionales Schreiben in der Luft

Airwriting: Aus Bewegungssignalen erkennt ein Computer in die Luft geschriebene Buchstaben.
(Foto: Volker Steger)

Statt Nachrichten mühselig über eine kleine Tastatur ins Handy zu tippen, einfach in die Luft schreiben? Möglich machen könnte das eine Entwicklung von Informatikern des Karlsruher Instituts für Technologie (KIT): An einem Handschuh befestigte Sensoren zeichnen die Handbewegungen auf, ein Computersystem erfasst die wesentlichen Signale und übersetzt sie in Texte. Für die weitere Erforschung mobiler gestenbasierter Schnittstellen erhalten der Diplom-Informatiker Christoph Amma und Professorin Tanja Schultz nun den mit 81.000 US-Dollar dotierten „Google Faculty Research Award“.
 
Das System bietet eine neue Schnittstelle für Wearable Computing-Anwendungen, also für Computersysteme, die sich wie Kleidung am Körper tragen und so nahtlos in den Alltag des Nutzers integrieren lassen. „Informationstechnologie nutzen wir jederzeit und überall, derzeitige Eingabegeräte wie Smartphones erfordern bislang noch das manuelle Tippen auf virtuellen Mini-Tastaturen und konzentrierte Aufmerksamkeit auf kleine Bildschirme. Dagegen ermöglichen Gesten neue, innovative Eingabeformen – insbesondere für mobile oder in die Kleidung integrierte Geräte. Die Interaktion fügt sich somit nahtlos in alltägliche Handlungen ein“, sagt Doktorand Christoph Amma, der das System am Cognitive Systems Lab (CSL) des KIT entwickelt hat. „Der Airwriting-Handschuh erlaubt es, in die Luft zu schreiben wie auf eine unsichtbare Tafel oder einen unsichtbaren Block.“ Möglich machen das Beschleunigungs- und Drehratensensoren (Gyroskope), die an einem dünnen Handschuh befestigt sind. Für diese Sensoren sprechen laut Amma vor allem die geringe Größe sowie ihre Mobilität und Robustheit – im Gegensatz zu Systemen, die mit Kameras arbeiten. Die Sensoren erfassen die Bewegungen der Hand und übertragen sie über eine drahtlose Verbindung an ein Computersystem. Dieses prüft zunächst, ob der Nutzer überhaupt schreibt. „Alle nicht schriftähnlichen Bewegungen, wenn ich also beispielsweise koche, Wäsche wasche oder jemandem zuwinke, ignoriert es. Das System kann auf diese Weise ständig im Hintergrund laufen, ohne jede Bewegung als Eingabe für den Computer zu interpretieren“ so Amma. Einen möglichen Einsatzbereich für sein System sieht der Informatiker in zukünftigen Mixed-Reality-Anwendungen: etwa in Brillen mit integrierten Miniaturbildschirmen, über die Nachrichten in das Sichtfeld des Nutzers eingeblendet werden. „Kombiniert man ein solches System mit der Möglichkeit, Kommandos und Texte durch Gesten einzugeben, ist es überhaupt nicht mehr notwendig, ein Gerät in der Hand zu halten“, sagt Amma.
 
Schreibt der Nutzer dann, entschlüsselt das System die Schrift über Verfahren der Mustererkennung. Bisherige Forschungsansätze konzentrierten sich vor allem auf das Erkennen einzelner, bestimmten Kommandos zugeordneter Gesten. Ammas Ansatz geht darüber weit hinaus: Für jeden Buchstaben des Alphabets ist in seinem System ein statistisches Modell des charakteristischen Signalverlaufs hinterlegt, das auch individuelle Unterschiede in der Schrift berücksichtigt. Derzeit kann das System in Großbuchstaben geschriebene ganze Sätze erkennen, die auf einem Vokabular von 8.000 Wörtern basieren. „Dabei hat das System derzeit eine Fehlerrate von elf Prozent – passen wir das System an die individuelle Schreibweise seines Benutzers an, sinkt sie auf nur drei Prozent“, sagt Christoph Amma.
 
Zurzeit arbeiten die Wissenschaftlerinnen und Wissenschaftler daran, die Methoden zum Herausfiltern der Schrift weiter zu verfeinern. Zudem wollen sie das Gesamtsystem verkleinern, um Tragekomfort und Nutzerakzeptanz zu steigern. „Das wird mit handelsüblichen Bauteilen möglich sein. Denkbar wäre dann beispielsweise die Integration in ein unauffälliges Armband“, so Christoph Amma. Geplant sei zudem eine Integration des Systems in Smartphones, dann wäre beispielsweise zum Schreiben einer SMS weder das Armband noch die virtuelle Tastatur mehr notwendig.
 
Der „Google Faculty Research Award” unterstützt die universitäre Forschung in Informatik, Ingenieurwissenschaften und verwandten Bereichen. Mit dem Preis fördert das Unternehmen den Austausch mit Universitäten und finanziert für ein Jahr einen Nachwuchwissenschaftler im Forschungsprojekt. Für das Airwriting System erhielten Christoph Amma, Professorin Tanja Schultz und Marcus Georgi vom CSL im vergangenen Jahr den Best Paper Award des „International Symposium on Wearable Computers“. Für die ersten Ergebnisse wurde Christoph Amma bereits 2011 mit dem den Plux Wireless Biosignals Preis ausgezeichnet.