Pissarro Sounds

In der Ausstellung «Camille Pissarro. Das Atelier der Moderne» bot ein einzigartiges Klangkunstwerk eine sinnliche Auseinandersetzung mit dem Leben und Werk des Künstlers. Mithilfe von binauraler Raumklangtechnik und einem präzisen Location Tracking tauchten Besucherinnen und Besucher in dreidimensionale Klangbilder ein, die abhängig von ihrer Position im Raum generiert wurden. Das vom Museum in Auftrag gegebene Klangkunstwerk wurde vom Künstler Moritz Fehr geschaffen. Es ist die erste öffentliche Anwendung des Innosuisse Forschungsprojektes «Immersive Audio Guiding System» (IAGS) der Hochschule für Musik FHNW, iart und Idee und Klang Audio Design.

«Pissarro Sounds» erstreckte sich über fünf Ausstellungsräume. Mit jedem Raum erkundeten Besucherinnen und Besucher ein dynamisches Klangbild, in das auch Originaltexte Pissarros und szenische Klänge eingebettet waren. Eine Besonderheit des Projekts: Viele der verwendeten Aufnahmen entstanden dort, wo Pissarro wirkte. So hörten Besucherinnen und Besucher zum Beispiel Geräusche aus Pissarros Atelier, einer umgebauten Scheune, die heute noch in Eragny steht und vom Garten der Familie umgeben ist.

«Pissarro Sounds» erweiterte die Wahrnehmung des realen Ausstellungsraumes um live generierte Klanglandschaften. Grundlage war ein interaktives 3D-Modell, in dem eine exakte Kopie der Ausstellungsräume hinterlegt ist. Vergleichbar mit einem Computer Game, das aus virtuellen Räumen und Objekten besteht, waren auch in diesem digitalen Zwilling der Pissarro-Ausstellung verschiedene Objekte, Sounds, Interaktionen und Triggerzonen verortet. Das ist der Kern der von iart speziell für Anwendungen im Museum entwickelten Mixed Reality Plattform (MxRP).

Ein hochpräzises Location Tracking erfasst die Bewegung der Besucherinnen und Besucher in Echtzeit und überträgt ihre Position ins 3D-Modell. Das Tracking baut auf Ultra-Breitband-Technologie (UWB) auf, die sich insbesondere für Echtzeit-Lokalisierung in Innenräumen eignet. Es erfolgt über spezielle Kopfhörer, die sich von der Optik und Handhabung her kaum von herkömmlichen Kopfhörern unterscheiden, in die jedoch zusätzliche Technik integriert ist. So empfängt jeder Kopfhörer die Signale von im Ausstellungsraum verteilten UWB-Sendern und kann basierend darauf seine eigene Position mit einer Genauigkeit von zwanzig Zentimetern bestimmen. Ein IMU-Sensor (Inertial Measurement Unit) ermittelt zudem die Kopforientierung der Besucherinnen und Besucher. So weiss das System nicht nur, wo sich die Nutzer befinden, sondern auch, in welche Richtung sie schauen.

All diese Informationen werden in Echtzeit verarbeitet. In der sogenannten Binaural-Synthese werden sowohl die Eigenschaften des menschlichen Ohres als auch akustische Raumeigenschaften miteinbezogen: Wie gross ist der Raum? Befinden wir uns drinnen oder draussen? Aus welchem Material bestehen die Wände? Wo befindet sich die Klangquelle im Verhältnis zum Nutzer? Mit den Antworten auf diese Fragen wurde bspw. Pissarros Atelier in Eragny dreidimensional und täuschend echt erfahrbar und die Stimme eines virtuellen Pissarros, der durch den Raum wandert, vernahmen Besucherinnen und Besucher immer von dem Standort aus, an dem er sich – virtuell – gerade befand.

Die Mixed Reality Plattform von iart ermöglicht auf Basis eines digitalen Zwillings zukunftsorientierte Anwendungen für Museen und Ausstellungen. Neben der aktuellen Anwendung bietet sie beispielsweise auch eine ideale Grundlage für die Umsetzung von visuellenerweiterten Realitäten, zur Bereitstellung von kontextabhängigen Zusatzinformationen in der Sprache der jeweiligen Besucherin oder auch für das automatische Auslösen von Licht, Ton und Video basierend auf der Position des Besuchers.