Wie kann man akustische und optische Räume virtuell und doch plausibel erfahren? Um ein solches Eintauchen in virtuelle Welten dreht sich das vorliegende Buch. Ausgehend von der Wahrnehmungspsychologie des Menschen und den physiologischen Grundlagen seines Sehapparates steht zunächst das stereoskopische Sehen im Mittelpunkt. Mittels der darauf folgend aufgezeigten Grundlagen und Grenzen der visuellen Wahrnehmung kann die technische Realisation einer CAVE – einer virtuellen Umgebung – konzipiert werden. Dazu werden vorhandene optische Aufnahme- und Wiedergabesysteme sowie Verfahren der Stereoskopie untersucht. Auch die Grundlagen und Grenzen der auditiven Wahrnehmung sowie das notwendige akustische Aufnahmesystem für eine CAVE werden dargestellt. In den folgenden Abschnitten werden die akustischen wie auch optisch-künstlerischen Inhalte in eine virtuelle Umgebung integriert. Dazu wurde ein Audiomitschnitt eines Streichquartetts in einem reflexionsarmen Raum und im darauf folgenden Kapitel ein stereoskopischer Videomitschnitt des Streichquartetts vor einer Greenscreen-Leinwand durchgeführt. Nach der Postproduktion beider Aufnahmen erfolgte die Integration der Audio- und Videoaufnahmen in die CAVE.

Textprobe: Kapitel 3.2.3.2 Verfahren für stereoskopische Filmwiedergabe Um die separat aufgenommenen und gespeicherten stereoskopischen Teilbilder wiederzugeben, müssen diese dem jeweils zugehörigen Auge wieder zugeordnet werden. Das erste aus einem Spiegelsystem bestehende Betrachtungsgerät für stereoskopische Bilder stellte Sir Charles Wheatstone 1838 der Öffentlichkeit vor [54, S. 19]. Außer der schon in Abschnitt 3.2.3 erwähnten, aber noch nicht realisierten Wiedergabe mittels eines Volumendisplays kommen gegenwärtig die noch mit Einschränkungen behafteten autostereoskopischen Systeme und die derzeit am weitesten verbreiteten Systeme mit 3D-Brille bzw. 3D-Helm zum Einsatz, die Im Folgenden vorgestellt werden. Zu den ersten Systemen, die eine virtuelle Realität erzeugen konnten, gehören Head Mounted Displays (HMD). Bei diesen helmähnlichen Konstruktionen befinden sich direkt vor den Augen zwei kleine Displays, die das dem jeweiligen Auge zugeordnete Bild wieder-geben. Trotz der hohen Immersion durch die visuelle und akustische Abkopplung der Wahrnehmung des Benutzers von der Außenwelt, kommen derzeit überwiegend höher auflösende und ermüdungsfreier zu betrachtende Projektionssysteme zum Einsatz [1, S. 87]. Ein einfaches und wegen der geringen Anforderungen an die Hardware leicht zu bedienendes System mit 3D-Brille ist das Anaglyphenverfahren. Durch eine unterschiedliche Einfärbung der beiden stereoskopischen Teilbilder (meist rot und grün bzw. cyan) wird eine komplementäre Farbtrennung erzeugt. Nach Überlagerung der beiden Teilbilder kann jedes Auge mit Hilfe von Farbfilter-Brillen das ihm zugeordnete Teilbild betrachten (Abbildung 51). Nachteile dieses Verfahrens sind die aufgrund der Entfärbung entstandene eingeschränkte Farbdarstellung sowie das Auftreten von Geisterbildern durch die nur unvollständige Bildtrennung. Vorteilhaft hingegen sind die preiswerte und einfache Technik. Zur Anwendung kommt das Verfahren im Printbereich, bei Displays und bei Projektionen wie z.B. im Kino [23, S. 500]. Beim Polarisationsverfahren erfolgt durch die Nutzung der Polarisationseigenschaften des Lichtes eine effektivere Bildtrennung als beim Anaglyphenverfahren. Trifft polarisiertes Licht auf einen senkrecht zur polarisierten Lichtebene stehenden Polarisator, kann das Licht nicht durch diesen hindurch gelangen. Die Trennung der stereoskopischen Teilbilder wird mit Hilfe von Polarisationsfolien realisiert. Diese Filter sind als zwei Gläser in den Brillen um 90° gegeneinander gedreht angeordnet, sodass das Licht nur jeweils einer Polarisationsrichtung den jeweiligen Filter passieren kann. Alle anderen Polarisationsrichtungen werden nicht hindurch gelassen. Damit ist die gleichzeitige Projektion beider senkrecht polarisierter übereinander liegender Stereo-Teilbilder auf einer Leinwand möglich (Abbildung 52). Um die Polarisationsrichtung bei der Reflexion zu erhalten, kommen teure, silberbeschichtete Leinwände zum Einsatz. Nachteilig bei dieser so genannten linearen Polarisation ist die verminderte Trennung der Teilbilder bzw. des 3D-Effektes beim Neigen des Kopfes. Durch den Einsatz von rechts/links-zirkularer statt linearer Polarisation kann dieser Effekt vermieden werden. Das Polarisationsverfahren bietet zahlreiche Vorteile. So bleibt die Farbinformation erhalten und die Brillen sind preiswert und können ohne Batterie betrieben werden. Ein großer Nachteil ist hingegen ein durch den Einsatz von Polarisationsfiltern bedingter starker Lichtverlust. Des Weiteren müssen beim Polarisationsverfahren teure, polarisationserhaltende Leinwände verwendet werden [23, S. 500-501]. Im Bereich von Displays kommt das Polarisationsverfahren seit 2011 zum Einsatz. Im Unterschied zur Projektionsdarstellung können die polarisierten Stereo-Teilbilder jedoch nicht übereinander sondern nur abwechselnd zeilenweise auf dem Display dargestellt werden, wodurch sich die Auflösung halbiert. Die ungeraden Zeilen bilden dabei das rechte und die geraden Zeilen das linke Stereo-Teilbild [58]. Das Shutterverfahren arbeitet statt mit einer Farb- bzw. einer Polarisations- Bildtrennung mit einer zeitlichen und damit wirksamerer Trennungsmethode der Stereo-Teilbilder. Bei diesem Verfahren werden spezielle Shutterbrillen verwendet, deren Flüssigkristallgläser elektronisch verschließbar sind. Die beiden Stereo-Teilbilder werden nacheinander auf der Leinwand bzw. dem Display abgebildet und gelangen durch das jeweils geöffnete Glas zu dem zugeordneten Auge, während das andere Glas jeweils elektronisch verschlossen wird. Damit jedes Stereo-Teilbild zum richtigen Zeitpunkt zu dem jeweils zugeordneten Auge gelangen kann, wird der Verschluss der Shutter-Brille z.B. durch Infrarotimpulse synchron zu den auf der Leinwand oder dem Display dargestellten Stereo-Teilbildern gesteuert [23, S. 501]. Da in einer Zeiteinheit nur eines der zwei Stereo-Teilbilder dargestellt wird, muss die Bildfrequenz verdoppelt werden. Dadurch wird die Wahrnehmung eines flimmerfreien Bildes ermöglicht (Abbildung 53). Moderne CRT-Monitore bzw. CRT-, LCD- oder DLP–Projektoren werden dabei mit Frequenzen von mindestens 120 Hz betrieben. Der Einsatz von CRT-Monitoren oder –Projektoren ist insbesondere durch das Nachleuchten der Displays problematisch, da dies zu einer verminderten Stereobildtrennung führen kann [1, S. 88]. Durch dieses Verfahren mit nur einem Projektor ohne spezielle Anforderungen kann eine gute Trennung der Stereo-Teilbilder und eine relativ preisgünstige, qualitativ hochwertige, stereoskopische Wiedergabe realisiert werden. Nachteilig sind dagegen die aufwändige 120 Hz Technik, die teure, energieabhängige Brillentechnik und der durch die dunklen Flüssigkristallgläser bedingte Lichtverlust [23, S. 29, 501]. Zur Anwendung des Shutterverfahrens bei Monitoren mit Zeilensprungverfahren kann die Umschaltfrequenz der Shutterbrille mit der Frequenz der Interlaced-Halbbilder synchronisiert werden. Diese nur aus den ungeraden oder nur aus den geraden Zeilen bestehenden Bilder müssen dabei den Stereo-Teilbildern entsprechen. Da jeweils nur die Hälfte der Zeilen für ein Bild zur Verfügung steht, halbiert sich die vertikale Auflösung [23, S. 501]. In abgewandelter Form kommt das Shutterverfahren für HDTV-fähige Displays und Projektoren, die auf der DLP-Technologie von Texas Instruments basieren, zum Einsatz. Aufgrund der schnellen Beweglichkeit der digitalen Mikrospiegel kann dabei die erforderliche, hohe Shutterfrequenz realisiert werden. Durch die schachbrettartige Trennung der beiden Stereo-Teilbilder kann ein flimmerfreieres Bild erzeugt werden, bei dem jedoch die Auflösung halbiert ist [61, S. 2-3]. Der entscheidende Vorteil der Shuttertechnologie bleibt die hohe Bildqualität, wodurch jedem Auge ein 1920 x 1080 Pixel großes Vollbild im so genannten Full-HD-3D Format bereitgestellt werden kann [62]. Neben diesen populären stereoskopischen Wiedergabeverfahren halten u.a. im Kino-Bereich neue Entwicklungen wie das Wellenlängenmultiplex-Verfahren Einzug. Dieses von Infitec entwickelte und durch die Dolby 3D Lizensierung zunehmend verbreitete Verfahren basiert auf einer Aufspaltung der einzelnen RGB Frequenzanteile [63]. Zur Trennung der Anteile werden abweichende Grundfarben verwendet, die jedoch denselben Farbeindruck erzeugen können. Dabei kommt für jedes Stereo-Teilbild jeweils ein mit schmalbandigen Interferenzfiltern ausgestatteter Projektor zum Einsatz, der nur die jeweiligen leicht unterschiedlichen Grundfarben eines sehr schmalen, aber unterschiedlichen Frequenzspektrums passieren lässt. Mittels der in den Brillengläsern entsprechenden schmalbandigen Interferenzfilter wird die Trennung der beiden auf der Leinwand übereinander projizierten Bilder ermöglicht (Abbildung 54) [1, S. 89]. Neben dem batteriefreien Betrieb der Brillen bietet das Verfahren laut Hersteller Infitec zahlreiche Vorteile, wie die uneingeschränkte Farbdarstellung, die Kompatibilität mit Standard-Kinoleinwänden und weißen Wänden jeglicher Art sowie die Kompatibilität mit den gängigen Projektortechnologien (u.a. LCD, DLP) [64, S.8]. Ein System, das auf den ersten Blick Ähnlichkeiten zur HMD-Technik aufweist, ist das Virtual Retinal Display. Es wird ebenfalls wie eine Brille vor das Auge platziert, arbeitet jedoch nach einem anderen Prinzip. Mit Hilfe eines modulierten Laserstrahls wird das Bild im Gegensatz zu allen bisherigen Verfahren direkt auf die Netzhaut projiziert. Nach Analyse des Eingangssignals über eine Steuerelektronik wird durch Helligkeitsmodulation des Laserlichts von einem horizontalen und einem vertikalen Scanner ein Laserbild erzeugt. Da dieses Bild noch zu klein ist, wird es durch eine Linse aufgefächert und gelangt über einen halbdurchlässigen Spiegel auf die Netzhaut. Durch die dadurch entstehende Abdunkelung des realen Bildes wird eine Integration von virtuellem und realem Bild erreicht (Abbildung 55). Die Vorteile dieses Systems liegen in der direkten Bilderzeugung auf der Netzhaut, die eine hohe Auflösung und Helligkeit ermöglicht. Dadurch kann das System auch in heller Umgebung zur Anwendung kommen. Des Weiteren wird der bekannte Konflikt zwischen Akkommodation und Konvergenz durch die Entstehung eines relativ natürlichen 3D Eindruckes verringert. Neben dem Potential als Sehhilfe gibt es zahlreiche Einsatzmöglichkeiten von Virtual Retinal Displays z.B. in der Industrie, Medizin, Kommunikation und in den Medien [11, S. 4-11]. Ein weiteres Verfahren das nur mittels Apparatur vor den Augen funktioniert, ist das KMQ-Verfahren. 2 Diese aus den Anfängen der Stereoskopie stammende Technik basiert auf dem Einsatz von Prismen als Strahlablenkung. Die räumlich übereinander oder nebeneinander getrennt dargestellten beiden Stereo-Teilbilder werden mit Hilfe einer Prismenbrille zu einem stereoskopischen Bild fusioniert. Wegen der Nachteile wie halbierte Auflösung, feste Betrachtungsposition und –abstand kommt dieses Verfahren nur bei einigen Spezialanwendungen zum Einsatz [65, S.88-89]. Entsprechend ihren Eigenschaften wird bei den zuvor beschriebenen Systemen zwischen aktiven und passiven stereoskopischen Verfahren unterschieden. Während bei den passiven Verfahren wie Anaglyphen-, Polarisations- und Wellenlängenmultiplexverfahren die Stereo-Teilbilder permanent dargestellt und mit Hilfe optischer Filter ohne Energieversorgung getrennt werden, kommen bei aktiven Systemen, wie Shutterverfahren oder Virtual Retinal Display, elektronisch gesteuerte Wiedergabegeräte mit einer Spannungsversorgung und aktiven, batteriebetriebenen Brillen zum Einsatz. Diese wegen der elektronischen Brillen und der hohe Bildwiederholfrequenz der Projektoren bzw. Displays teuren aktiven Systeme bieten in der Regel eine bessere Bildqualität und Stereobildtrennung als die passiven Systeme [5, S.22-23]. Im Gegensatz zu den bisher dargestellten Wiedergabeverfahren ist die autostereoskopische Wiedergabe nicht an Brillen oder andere Sehhilfen gebunden. Die Trennung der Stereo-Teilbilder erfolgt bei diesem in zwei Varianten existierenden Verfahren direkt am Bildschirm. Das Display besteht aus schmalen vertikalen Streifen, die abwechselnd dem jeweils zugeordneten Auge dargeboten werden. Eine Umsetzung dieser Technologie wird mittels einer Parallaxenbarriere realisiert. Dabei gelangen von einem bestimmten geeigneten Betrachtungsort aus nur die für das passende Auge bestimmten Stereo-Teilbild-Streifen zu dem jeweils passenden Auge. Die jeweils nicht passenden Stereo-Teilbild-Streifen werden mit Hilfe der Parallaxenbarriere ausgeblendet (Abbildung 56). Eine andere Technik der Bildtrennung funktioniert mittels Linsenraster. Durch die geeignete Krümmung der vertikal verlaufenden Linsen können von einem festen Betrachtungsort aus die Stereo-Teilbild-Linsenstreifen zu dem jeweils passenden Auge gelenkt werden. Da bei diesen Verfahren das Gesamt-Stereobild aus zwei verkämmten Stereo-Teilbildern besteht, halbiert sich die horizontale Auflösung. Ein weiterer Nachteil ist, dass die Bildbetrachtung nur von einem bestimmten Ort aus und damit nur für eine Person möglich ist. Mit Hilfe von Verfolger-Systemen (Tracking) die den aktuellen Betrachterstandort mittels Kameras registrieren und die Linsenstreifen-Winkel entsprechend nachregeln, soll zumindest die Betrachtung von verschiedenen Betrachtungsorten aus für eine Person ermöglicht werden. [23, S. 499-500]. Um eine Darstellung für mehrere Betrachter bzw. Blickwinkel zu ermöglichen, wird jedes Pixel in Subpixel geteilt: Die verschiedenen Subpixel können über ein Linsenraster bzw. eine Parallaxenbarriere zu verschiedenen Betrachtungsorten gelenkt werden, wodurch eine stereoskopische Betrachtung des Displays von mehreren Personen an verschiedenen Standorten aus möglich wird (Abbildung 57). Mit einer Zahl von ca. 100 Subpixeln kann eine ausreichende Stereoqualität erzeugt werden. Jedoch verringert sich mit jeder weiteren möglichen Blickrichtung die horizontale Auflösung. Bisher konnte eine Zahl von 7 Subpixeln realisiert werden. Für eine befriedigende autostereoskopische Darstellung ohne Sehhilfen ist demzufolge noch viel Entwicklungsarbeit notwendig [1, S. 90]. Bei der Kombination verschiedener Techniken wie beispielsweise Trackingsystemen mit der Erzeugung hoher Subpixelzahlen kommt in naher Zukunft möglicherweise eine akzeptable autostereoskopische Wiedergabe für eine begrenzte Zahl an Betrachtern (z.B. im familiären Bereich), die ihren Betrachtungswinkel ändern können, zum Einsatz.

• Stereoskopie

• virtuelle Realität

• CAVE

• Videoproduktion

• Audioproduktion

• 3D

• Audioaufnahme

• Wahrnehmungspsychologie

• Videoaufnahme

• stereoskopischer Videomitschnitt

• Visual Composing

• Streichquartett

Andreas Steckmann wurde 1969 in Berlin geboren. Schon im Jugendalter war er fasziniert von den Möglichkeiten der modernen Klangerzeugung mittels Synthesizer und Sampling. Dieser Leidenschaft für Klänge und Musik, die auch in seinen Band-Projekten zum Ausdruck kam, folgte die Begeisterung für Film und Video. Neben Musikvideos produzierte er Mitte der 2000er sein eigenes Musikmagazin auf einem lokalen Musiksender und war lange Zeit freiberuflich als Produzent, Cutter und Kameramann im Videobereich tätig. Am Ende seines Studiums der Elektrotechnik entstand dieses Buch im Rahmen seiner Diplomarbeit.