Uni Augsburg: 3D-Avatar soll für gehörlose Menschen übersetzen

Einen 3D-Avatar als Dolmetscher für Gebärdensprache hat der Augsburger Lehrstuhl für Human-Centered Multimedia mitentwickelt. Eingegebener Text wird vom Avatar in Gebärdensprache übersetzt.

Ein Forscherteam der Universität Augsburg ist Teil eines Verbundprojekts, das einen 3D-Gebärdensprach-Avatar als Sprachassistent zur automatisierten Gebärdenübersetzung entwickelt.

Weltweit gibt es etwa 70 Millionen gehörlose Menschen. Für viele von ihnen ist Textsprache eine Fremdsprache, sie bedienen sich stattdessen der Gebärdensprache. Deshalb sind Behörden und öffentliche Stellen in Deutschland zu barrierefreier digitaler Kommunikation verpflichtet. Dabei könnte ein 3D-Gebärdensprach-Avatar helfen, der von einem Augsburger Forschungsteam gemeinsam mit weiteren Experten im Projekt „AVASAG“ entwickelt wird, das vom Bundesministerium für Bildung und Forschung (BMBF) gefördert wird.

Die Digitalisierung der Gesellschaft schreitet voran und eröffnet viele neue Möglichkeiten. Barrierefreie digitale Kommunikation für Menschen mit Behinderung vereinfacht deren Alltag und gewährleistet ihre gesellschaftliche Teilhabe. In dem vom BMBF geförderten Verbundprojekt AVASAG (steht für Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) arbeiten sechs Partner aus Forschung und Entwicklung unter der Leitung der Firma Charamel, Spezialist für interaktive Avatarbasierte Assistenzsysteme, an einem echtzeitgesteuerten 3D-Gebärdensprach-Avatar zur automatischen Übersetzung deutscher Texte in Gebärdensprache. Im Projekt entsteht eine völlig neuartige Gebärdenanimations-Methode für 3D-Avatare. Sie kombiniert solche des maschinellen Lernens mit regelbasierten Synthesemethoden, die Text in Gebärden abbilden. Zeitliche und räumliche Abhängigkeiten der komplexen Gebärdenelemente werden dabei sehr genau aufgelöst. „Damit wird eine qualitativ hochwertige, realistische Darstellung eines 3D-Gebärdensprach-Avatars erreicht“, erklärt die Uni Augsburg in einer Pressemitteilung.

Entsprechende Angebote ermöglichen gehörlosen und hörbehinderten Menschen eine umfassendere gesellschaftliche Teilhabe und eine stärkere Integration in die „Digitale Gesellschaft“. Die Ergebnisse des Projektes werden gemeinsam mit der Gehörlosen-Zielgruppe evaluiert und im Anwendungsfeld Reiseinformation und -service mit assoziierenden Partnern erprobt.

Uni Augsburg auf internationaler Ebene etabliert

In AVASAG werden neue maschinelle Lernverfahren entwickelt, um Texte automatisch in Gebärdensprache für den 3D-Avatar zu übersetzen. Als Trainingsmaterial für das maschinelle Lernverfahren werden schätzungsweise mehrere 10 000 Datenpaare bestehend aus einem Text und der dazu korrespondierenden Übersetzung in Gebärdensprache benötigt. „Die Aufbereitung und Kodierung dieser Daten durch den Menschen ist mit einem immensen Zeitaufwand verbunden“, berichten die Teilnehmer des Forschungsteams. In AVASAG wird dieser Aufwand durch eine teils automatische Kodierung mit dem am Augsburger Lehrstuhl für Human-Centered Multimedia entwickelten „NOVA“-Werkzeug erheblich reduziert. „Wir freuen uns sehr, dass wir mit unserer Technologie in Augsburg dazu beitragen können, digitale Medien für Gebärdensprachler schneller zugänglich zu machen“, sagt die Augsburger Informatikerin Professor Elisabeth André.

In diesem Projekt arbeiten Forscher und Entwickler aus ganz Deutschland in den kommenden drei Jahren zusammen. Experten für Gebärdensprache in Hamburg, Design-Spezialisten in Saarbrücken, Mitarbeiter des Deutschen Forschungszentrums für Künstliche Intelligenz in den Bereichen „Kognitive Assistenzsysteme“ und „Sprachtechnologie und Multilingualität“ an verschiedenen Standorten. Außerdem ist die Technische Hochschule Köln, das Institut für Medien- und Phototechnik in Köln sowie die Universität Augsburg mit dem Lehrstuhl „Human Centered Multimedia“ (HCM) beteiligt.

Das Projekt wird vom Bundesministerium für Bildung und Forschung im Rahmen von „KMU-innovativ“ mit Schwerpunkt Mensch-Technik-Interaktion gefördert. Das Projektvolumen beträgt 1,98 Millionen Euro, davon 74 Prozent Förderanteil durch das BMBF.

„Digitale Barrierefreiheit wird immer wichtiger, um Inhalte dynamisch und für alle Zielgruppen adäquat aufbereitet zu vermitteln“, sagt Alexander Stricker, Geschäftsführer Charamel GmbH und Projektleiter von AVASAG, und ergänzt: „Automatisierte Instrumente helfen bei einer barrierefreien Kommunikation. Wir sind begeistert von der Idee, mithilfe unserer smarten, lernfähigen Avatare hierzu einen maßgeblichen Beitrag leisten zu dürfen“.

Der Lehrstuhl für Human-Centered Multimedia der Universität Augsburg hat sich auf internationaler Ebene als Experte für Forschung und Entwicklung an der Schnittstelle von Künstlicher Intelligenz und Mensch-Maschine-Interaktion etabliert. Schwerpunkt ist die Interpretation nichtverbaler und paraverbaler Äußerungen mittels Methoden des maschinellen Lernens sowie die darauf basierende Interaktion mit virtuellen Agenten und sozial-interaktiven Robotern. Weitere Informationen finden Interessierte im Internet unter www.hcm-lab.de. (pm)

Kommentare

Anmelden um Kommentare zu schreiben

 

Neueste Kommentare

Europas Zukunft gestalten – besser zusammen! …
1 Tag 12 Stunden
Tödlicher Unfall auf der A8 bei Adelsried
3 Tage 12 Stunden
Versteck beim Gewitter!
4 Tage 2 Stunden
Auf einem Bein
4 Tage 2 Stunden
Auf einem Bein
6 Tage 15 Stunden

Die nächsten Termine



X