4 x 360° und 3D-Ton: Unser neues VR-Video

4 x 360° und 3D-Ton: Unser neues VR-Video
Mit gleich vier 360°-Sphären und 3D-Ton mitten in der Klassik versinken - wer noch näher dran sein will, muss schon selbst Musiker werden.Screenshot aus der Anwendung.

Zum Start der Digitalen Ausstellung im Vestibül des Konzerthaus Berlin darf eine neue VR-Anwendung natürlich nicht fehlen. Neu ist aber nicht nur der Inhalt, sondern auch die komplette Hardware. Warum wir uns dazu entschieden haben und was Euch in VR erwartet, erfahrt Ihr in diesem Blogbeitrag.

Einige von Euch werden unser erstes VR-Video im Vestibül vielleicht kennen: Eine 360°-Kamera wurde inmitten des Konzerthausorchesters Berlin unter Iván Fischer platziert, es ertönte der Finalsatz der Jupiter-Sinfonie von Mozart. So weit, so gut. Doch im Laufe der Jahre – das VR-Video wurde immerhin bereits 2015 präsentiert – hat sich nicht nur die Technik, sondern auch der Anspruch an VR enorm erweitert. Aus diesem Grund lag es für uns auf der Hand, zur Eröffnung unserer Digitalen Ausstellung auch ein komplett neues VR-Video mit unserem Konzerthausorchester zu produzieren. Die Tatsache, dass das alte VR-Video pro Monat rund 10.000 Mal angeschaut wurde, ist ein weiterer Fakt, der für sich spricht. Diese enorm gute Resonanz hat uns gezeigt, wie sehr die Besucher diesen besonderen Einblick in das Orchester schätzen.

Viele Gespräche mit den Ehrenamtlichen, die unsere VR-Brille tagsüber betreuen, und Feedback von den Besuchern haben uns geholfen, Schwachstellen zu finden und deren Ideen mit in unsere Konzeptionierung miteinfließen zu lassen. Schließlich ist es eine differenzierte Angelegenheit, eine klassische Sinfonie in VR nicht einfach nur abzubilden, sondern auch mit einem musikpädagogischen Hintergrund zu ergänzen, der gleichzeitig Spaß und Lust auf mehr macht. Unser neues Konzept hat sich dementsprechend erweitert: Vier 360°-Sphären und 3D-Ton lassen den User so nah wie selten eine Sinfonie erleben. Im Folgenden erfahrt Ihr alles über unsere Neuproduktion – die jedem in aller Regel täglich zwischen 11 Uhr und 18 Uhr im Vestibül kostenfrei zur Verfügung steht!

 

Das Werk

“ […] es wird das lustigste Stück, das ich gemacht habe“ – Felix Mendelssohn Bartholdy war von seiner 4. Sinfonie („Die Italienische“) überzeugt – und wir auch! Gleich mehrere Gründe sprachen dafür, sich für den Finalsatz dieser Sinfonie zu entscheiden; an dieser Stelle möchte ich allerdings nur einige nennen. Die Evaluierung des alten VR-Videos hat gezeigt, dass die damalige Dauer insbesondere für VR-Laien zu lang war. Mendelssohns Finalsatz dagegen dauert rund sechs Minuten, was für Anfänger bestens geeignet ist. Ein vorzeitiges Abbrechen der Musik mit Schnitt oder Fade-out kam für uns nicht in Frage.

Ebenso wichtig war die Besetzung des Sinfonieorchesters und somit die Anzahl von Musikern, die sich bei der Aufnahme auf der Bühne befinden würden: Eine allzu große Besetzung, wie es beispielsweise bei den Sinfonien Gustav Mahlers vorkommt, wäre für die eingesetzten Kameras zwischen den Musikern nicht möglich gewesen. Jede Kamera benötigte einen Abstand im Radius von zwei Metern zu den Musikern, um einen Parallax-Effekt zu vermeiden. Da bei der 4. Sinfonie von Mendelssohn vergleichsweise wenig Schlag- und Blechblasinstrumente vorgesehen sind, konnten sich die 360°-Kameras gut in die Orchestermitglieder einfügen, ohne diese beim Spielen zu behindern.

Fällt kaum auf: Die 360°-Kamera mit 360°-Mikrofon mitten im Konzerthausorchester Berlin. Foto: Albrecht Sensch

 

Das Konzept

Um ein klassisches Sinfonieorchester wirklich kennenzulernen, muss man sich eigentlich mittendrin befinden. Das haben wir uns auch gedacht! Aus diesem Grund entschieden wir uns bei der Neuproduktion nicht nur für eine 360°-Sphäre, sondern gleich für vier. Drei davon befinden sich mitten auf der Bühne im Großen Saal und somit mitten im Konzerthausorchester Berlin.
Die vier Kamera-Perspektiven wurden so gewählt, dass sie sinnstiftend für den musikpädagogischen und musikvermittelnden Ansatz des VR-Videos sind. Mit den Perspektiven sind die jeweiligen Stimmgruppen des Orchesters visuell und auditiv weitestgehend abgedeckt, so dass sich die Klangeindrücke und Instrumentierungen in jeder 360°-Sphäre stark voneinander unterscheiden. Auch das Dirigat Iván Fischers kann aus mehreren Perspektiven bestens mitverfolgt werden. Das Ergebnis: Der User erhält einen bestmöglichen Überblick über den Aufbau und den Klang des Orchesters und über die nonverbale Kommunikation zwischen Dirigent und Musikern.

Doch sich einfach nur in VR berieseln zu lassen, war nicht unser Anspruch. VR lebt von Interaktion – deshalb war es uns ein wichtiges Anliegen, den Benutzer aktiv an der Szenerie teilhaben zu lassen. Über Kopfsteuerung entscheidet er selbst, wann er in welche Perspektive wechseln möchte. Zusätzlich dazu wurden mehrere Plus-Buttons in die 360°-Sphären eingebaut. Aktiviert der Benutzer einen Button, erscheint ein Textfeld in Deutsch und Englisch, das ihm Zusatzinformationen über das Werk und den Saal liefert. Die Plus-Buttons sind optional anwählbar, um den Benutzer nicht zu überfordern oder von der Musik abzulenken. Auch existieren sie nur in zwei Sphären; das Sichtfeld sollte keinesfalls überfrachtet werden.

Die Plus-Buttons verraten kurze Informationen zum Werk auf Deutsch und Englisch. Im Hintergrund ist das Augen-Symbol erkennbar, mit dem der Benutzer per Kopfsteuerung die Perspektiven wechseln kann. Screenshot aus der Anwendung.

 

Die Aufnahme

Kein immersives Erlebnis ohne authentischen Klang! Erst recht, wenn man sich für die Aufnahme einer Sinfonie entscheidet, muss der Ton einfach sitzen – und das in jeder Perspektive aufs Neue. Denn ein Orchester kennenzulernen geht auch nur dann, wenn man die unterschiedlichen Klangeindrücke der Instrumente deutlich wahrnehmen und nachvollziehen kann. Deshalb installierten wir an jedem Kamerastativ zusätzlich jeweils ein AMBEO® VR Mic von Sennheiser. Jede 360°-Sphäre erhält somit einen 360°-Ton: Der Klangeindruck ändert sich von Sphäre zu Sphäre und wenn der Benutzer seinen Kopf dreht. Dadurch ist ein sehr hohes Maß an authentischem Raumklang gewährleistet. Als Kamera-Modell haben wir uns übrigens für die Z Cam S1 Pro entschieden.

Das Ambeo VR Mic von Sennheiser: Die vier Kapseln, die den immersiven Raumklang einfangen, sind deutlich zu erkennen. Foto: Annette Thoma

Für die Aufnahme haben wir Unterstützung vom VR-Studio INVR erhalten. Das Team hat uns nicht nur bei der kompletten Hardware und beim Aufbau unterstützt, sondern auch die Post-Produktion übernommen. Unsere „Apollo“-Kollegen von der HTW Berlin haben im letzten Produktionsschritt alle Daten erhalten, die Buttons in die Sphären eingefügt, ein anfängliches Tutorial in VR entwickelt und alles zu einer Anwendung komplementiert.

Das Team von INVR überwacht die letzten technischen Einstellungen vor der Aufnahme. Am Stativ erkennt man links die 360°-Kamera und rechts darunter das 360°-Mikrofon. Jede Kamera wurde mit einem Laptop verbunden. Foto: Annette Thoma

 

Die Hardware

Unsere erste VR-Anwendung lief über eine Samsung GearVR – recht schnell wurde klar, dass die Brille samt Smartphone nicht für den Dauerbetrieb geeignet war. Überhitzung und Akkuprobleme waren Alltag. Für die Neuproduktion entschieden wir uns für die Oculus Rift. Die Brille ist leicht, komfortabel, hat eine gute Auflösung und ist vor allem durch einen Rechner im Hintergrund besonders leistungsstark. Überzeugt haben uns auch die integrierten Kopfhörer, die einfach über die Ohren geklappt werden müssen: Simpel und wirksam, um Musik in VR zu genießen.
Eine Sache übernehmen wir tatsächlich aus der alten Installation: Die Live-Übertragung des VR-Bildes auf einen großen Bildschirm. So können die umstehenden Person zumindest in einem kleinen Maße Teil des Erlebnisses sein und werden neugierig, es einmal selbst auszuprobieren.

Eine Besucherin betrachtet unsere neue VR-Anwendung über die Oculus Rift, während Annette ihr die Interaktionsmöglichkeiten erklärt. Foto: Pablo Castagnola

So sieht unsere Installation im Vestibül aktuell aus: Der Bildschirm zeigt eine Live-Übertragung des VR-Videos – wenn niemand die Brille nutzt, erscheint automatisch ein Screensaver, der die Besucher auffordert, die Anwendung auszuprobieren. Im hinteren Kasten ist gut getarnt der Rechner verbaut, direkt davor steht ein Hocker als Sitzgelegenheit. Ein kurzer Beschreibungstext auf Deutsch und Englisch erläutert die Anwendung zusätzlich.

Ein Bildschirm mit Live-Übertragung, die Rechner-Stele mit VR-Brille und ein Sitzhocker: So sieht die VR-Installation im Vestibül aktuell nun aus. Foto: Annette Thoma, Bearbeitung: Albrecht Sensch

 

Warum VR?

VR eignet sich in unseren Augen überdurchschnittlich gut, um wortwörtlich in die Klassik einzutauchen – und sowohl Laien als auch Aficionados können davon profitieren.
Ein klassisches Werk so nah und authentisch mitzuerleben, als wäre man tatsächlich mittendrin vor Ort, generiert insbesondere bei Klassik-Anfängern eine höhere Begeisterung und die Bereitschaft, über mehrere Minuten aktiv in VR zu verweilen. Da der User direkt in die Szenerie und deren Inhalte eintaucht und sich interaktiv am Geschehen beteiligen kann, wird eine persönliche Perspektive entwickelt, die mehr Neugier und Spaß am Zuschauen, Erfahren und Lernen bringt. Das Eintauchen ist in diesem Fall so direkt, dass eine Vorkenntnis über klassische Musik nicht nötig ist, um die VR-Anwendung zu erleben und zu genießen.

Die Connaisseure wiederum, die sich bestens mit klassischer Musik auskennen, erleben durch die interaktiven Kamera-Positionen einen so noch nie gesehenen Perspektivenwechsel. Selbst als regelmäßiger Zuschauer in Sinfoniekonzerten ist man den Musikern und somit auch dem an den verschiedenen Positionen so unterschiedlichen Klangeindruck nie so nahe. Dazu kommt, dass man dem Dirigenten direkt in die Augen blicken und durch sein Dirigat noch mehr über die individuelle Interpretation des Werks erfahren kann.

Mit Techniken wie VR können insbesondere Klassik-Institutionen nachhaltig in kulturelle Bildung investieren und einen zukunftsweisenden Beitrag zur modernen, zeitgemäßen Musikvermittlung leisten. Wichtig bei der ganzen Sache ist, dass sich sowohl die Besucher als auch die Entscheidungsträger von dem Gedanken trennen, ein VR-Konzert würde das Live-Erlebnis ersetzen. Dies führt in eine Sackgasse, denn die Einzigartigkeit eines realen Konzertes kann keine VR-Brille, kein Smartphone und auch kein Live-Stream ersetzen. Das Konzert ist und bleibt das Privileg, das Herzstück der Konzerthäuser – und so soll es auch bleiben.

Leave a Comment

Your email address will not be published. Required fields are marked with *

Cancel reply