Augmented Reality im Kopfhörer

Wenn wir von Augmented Reality sprechen, meinen wir oft eine visuell erweiterte Realität: Wenn z.B. gedruckte Bilder in einem Buch mithilfe eines Tablets animiert werden, oder wenn ein geplantes Gebäude am späteren Standort mithilfe einer VR-Brille schon vor Baubeginn virtuell zu sehen ist. Doch welche Rolle kann Audio bei der Erweiterung der Realität spielen? Und welches Potenzial hat Augmented Reality (AR) Audio für das Besuchererlebnis in Museen und Markenwelten? Unser Experiment zeigt, wie AR Audio neue Erfahrungsräume schafft.

Bei AR Audio werden die im Raum vorhandenen Klänge durch virtuelle Klänge ergänzt oder ersetzt. Obwohl sie räumlich verortet vor oder hinter einem erklingen, befinden sie sich nicht tatsächlich im Raum. Alles kommt aus dem Kopfhörer. Zudem ist es heute möglich, die Bewegung der Nutzerin in Echtzeit zu tracken und die jeweilige Distanz zu den virtuellen Klangquellen zu berechnen. Gleichzeitig misst ein Sensor, in welche Richtung sie schaut. Das ermöglicht eine erstaunlich räumliche Hörerfahrung: Fiktive Ereignisse spielen sich scheinbar tatsächlich rings um einen ab. Das ist Augmented Reality, aber eben auf akustischer Ebene.

Im Vergleich zur visuellen Augmented Reality ist bei auditiver Augmented Reality die Differenz zur normalen Erfahrung tendenziell kleiner. Wir sind gewöhnt, dass wir eine Klangquelle nicht visuell lokalisieren und damit «dingfest» machen können. Wenn zum Beispiel hinter unserem Rücken ein Auto hupt oder jemand an der Tür klopft. Zudem unterscheiden sich die künstlich generierten Klänge nicht sehr eindeutig von tatsächlich erzeugten. Solange man die Kopfhörer trägt, lässt sich somit nicht in jedem Fall überprüfen, ob sie «echt» sind oder nicht. Gerade die täuschende Echtheit macht AR Audio zu einer spannenden Erfahrung.

Museen und Besucherzentren stehen heute mehr denn je vor der Herausforderung, auf innovative Weise die Geschichte und Geschichten von Orten und Objekten zu erzählen und dramaturgisch geschickt durch die eigenen Räume zu führen. Welche Rolle dabei AR Audio spielen kann, haben wir in unseren eigenen Räumen getestet. Für Museen und Besucherzentren eröffnet AR Audio demnach primär drei Perspektiven:

• Mit AR Audio kann die Geschichte von an sich stummen Ausstellungsobjekten neuartig erzählt werden. Bspw. wenn Kontexte des Gebrauchs eines Objekts zu hören sind, sobald man sich nähert. Dabei kann die Stimme im Kopfhörer immer näher erscheinen, wenn man sich dem Objekt nähert. So erleben die Nutzerinnen und Nutzer, dass ihr Verhalten die Erfahrung beeinflusst.
• Ganze Ausstellungen oder auch Aussenräume können mit Klangräumen erweitert und so virtuelle Landschaften evoziert werden. Da alle den Klang aus dem eigenen Kopfhörer hören, entsteht auch bei komplexen Klangszenografien und vielen Leuten kein akustisches Chaos.
• Die Besucherführung mit Museumsguides wird spannender, denn es können auch virtuelle moderierende Stimmen im Raum verortet werden. Entweder sind sie immer direkt neben einem zu hören und man bekommt das Gefühl eines gemeinsamen Rundgangs. Oder aber die Stimmen können aus den Ecken eines Raumes erklingen, sobald man diesen betreten hat. So bewegt man sich von einem stationären Erzähler zum nächsten.

Grundlage von AR Audio ist ein virtuelles Modell, in dem der physische Raum in 3D abgebildet ist. An bestimmten Orten des Modells sind Sound-Quellen platziert. Des Weiteren wird im physischen Raum ein hochpräzises Locationtracking installiert, das auf Ultra-Wideband Technologie aufbaut. So werden die Bewegungen der Besucherinnen und Besucher erfasst und ihre Position ebenfalls ins virtuelle Modell übertragen. Jetzt kann das System genau jene Sounds an die Kopfhörer senden, die am jeweiligen Ort platziert wurden. Komplettiert wird die ortsspezifische Hörerfahrung durch die Information, in welche Richtung die Nutzer schauen, wo also Vorne und Hinten, Rechts und Links für sie ist. Dies ermittelt ein Sensor, der auf den Kopfhörern selbst befestigt ist.

AR Audio erweitert die Hörerfahrung in Ausstellungen. Es verknüpft inhaltliche Vermittlung mit erstaunlicher sinnlicher Raumerfahrung. Grade das Ineinandergreifen von verschiedenen Sinnesempfindungen macht die Erfahrung spannend. Denn: Was wir hören, verändert, was wir zu sehen glauben. Und umgekehrt verändert das, was wir sehen, das was wir zu hören glauben. So werden Ausstellungen und Besucherzentren zu aussergewöhnlichen Erfahrungsräumen.