Musik immer und überall genießen – mit Streamingdiensten oder YouTube ist das heute überhaupt kein Problem mehr. Wenn man Musik interaktiv erleben will, wird die Auswahl schon etwas kleiner. Entscheidet man sich dann auch noch für klassische Musik, wird es eng. Klassik mit technischer Innovation zu verbinden ist immer noch besonders. Umso mehr freuen wir uns, dass wir das weltweit erste, rein digitale Streichquartett vorstellen können! Unser Quartett besteht aus vier Spielkarten, die mit unserer App „Konzerthaus Plus“ gescannt werden müssen. Durch Augmented Reality erscheinen die vier Musiker des Konzerthaus Quartetts und beginnen, den Anfang von Franz Schuberts „Der Tod und das Mädchen“ zu spielen. Das Schöne daran ist, dass der User selbst entscheidet, ob er das Streichquartett „normal“ hören oder sich doch lieber nur auf einen bestimmten Musiker konzentrieren möchte.
Besonders ist an diesem Projekt eigentlich alles: Die Technik, das Genre, die Interaktion und die Voraussetzungen in der Umsetzung. In diesem Blogbeitrag führen wir Euch durch die einzelnen Entstehungsetappen und zeigen natürlich, wie das Endergebnis aussieht.

Die Tonaufnahmen

Wichtigste Voraussetzung für diese besondere Art von Interaktion war der Ton: Jeder Musiker brauchte eine sauber getrennte Einzelstimme, damit er nicht nur visuell, sondern auch auditiv von seinen Musikerkollegen unabhängig ist. Unsere erste Etappe führte uns deshalb in den Reflexionsarmen Raum der Technischen Universität Berlin. Da es ein absolutes No-go ist, ein Streichquartett einzeln aufzunehmen, bot der spezielle Raum eine Art Zwischenlösung: Hier konnten die Musiker sich zwar nicht direkt sehen, spielten das Werk aber dank des kaum vorhandenen Schalls gleichzeitig und gemeinsam ein.
Die Architektur des Raums bot die wohl ungewöhnlichste Aufnahmesituation für unsere Musiker: Umgeben von Absorbern saßen die vier Streicher des Konzerthaus Quartetts in den Ecken, unter ihnen lediglich ein Netz als Boden, schallschluckende Diffusoren versperrten die Sicht zueinander. Nur über Kopfhörer konnten sie ihre Kollegen in einer individuellen Mischung hören. Die Aufnahmen fanden unter der Leitung von Prof. Stefan Weinzierl, Leiter des Fachgebiets Audiokommunikation, und seinem Team statt.

Bratschistin Amalia Arnoldt (links im Bild) schaut sich noch einmal um, bevor sie hinter den Diffusoren verschwindet. Primaria Sayako Kusaka hat bereits Platz genommen und gewöhnt sich an die ungewohnte Aufnahmesituation. Fotos: Annette Thoma

Die Video-Aufnahmen

Der Mix der einzelnen Tonspuren war im Kasten – die nächste Station war das Berliner Greenscreen-Studio C-Quadrat. Hier wurden die Videoaufnahmen der Musiker erstellt – mit ganz neuen Herausforderungen: Die Musiker mussten natürlich agieren, obwohl sie völlig alleine vor der grünen Wand standen – darüber hinaus spielten sie Playback. Die Bewegungen mussten durchgängig zur bereits aufgenommenen Mischung passen, ansonsten hätte es Probleme mit der Synchronisation von Bild und Ton gegeben.
Reflexionen waren dann das nächste Problem: Durch die helle Ausleuchtung durften weder Instrumente, noch Schuhe, Knöpfe oder Haarstyling reflektieren – das bedeutete nicht nur viel Arbeit für die Visagistin!

Cellist Felix Nickel (links im Bild) und 2. Geiger Johannes Jahnel im Berliner Greenscreen-Studio C-Quadrat. Fotos: Annette Thoma

Die App

In der Hochschule für Technik und Wirtschaft (HTW) Berlin lief dann alles zusammen: Die „Apollo“-Kollegen stellten die Videoaufnahmen frei und synchronisierten Bild und Ton. Danach musste alles mit entsprechender Kompression in die App „Konzerthaus Plus“ verpackt werden, damit die Musiker durch Augmented Reality auch auf ihren jeweiligen Spielkarten auftauchen. Wir wollen gar nicht erst anfangen, noch mehr technische Details aufzulisten – so viel sei aber gesagt: Es waren genug!

Das Konzerthaus Quartett rein digital: In Unity werden die einzelnen Musiker positioniert und bearbeitet. Foto: Screenshot aus Unity

Das Ergebnis

Und so sieht das Ganze dann aus: Die Musiker erscheinen im Miniatur-Format auf ihrer jeweiligen Spielkarte und beginnen zu spielen. Wer das Streichquartett von Schubert einmal ganz neu hören möchte, entfernt einfach eine oder mehrere Karten aus dem Sichtfeld der Kamera. Auf diese Weise erfährt der User klassische Musik völlig neu, interaktiv und überraschend. Und das Beste daran ist, dass jeder das „Virtuelle Quartett“ kostenlos ausprobieren kann – zu Hause, unterwegs, Tag und Nacht: Holt Euch einfach die aktuelle Saisonbroschüre oder ladet Euch die Spielkarten zum Selberausdrucken in der App „Konzerthaus Plus“ herunter!

Jeder Spielkarte ist ein Musiker zugeordnet – beim Umdrehen der Karte verschwindet mit ihm auch seine Einzelspur. Der User kann so entscheiden, ob er alle Musiker gemeinsam oder doch lieber nur zwei oder einen hören möchte. Fotos: Annette Thoma

Wer den Entstehungsprozess des „Virtuellen Quartetts“ lieber visuell verfolgen möchte, dem sei dieses Video empfohlen: