A Curious Mind Dank einer von CreamVR, Thought Café und Torus Media realisierten Serie erleben Zuschauer das Universum in 360° VR.
Als Präsentator von Hulus Serie A Curious Mind entführt Dominic Monaghan (Lord of the Rings, Lost) die Zuschauer auf eine Entdeckungsreise durch den Weltraum, um faszinierenden Fragen zu Universum und Wissenschaft auf den Grund zu gehen. Das Thema der von Carl Sagans „Cosmos“ inspirierten Serie ist an sich schon fesselnd genug. Doch das spektakuläre Erlebnis der Themen in 360° VR gibt dem ganzen einen noch eindrucksvolleren Rahmen.
Nach Gesprächen mit Hulu über die Erstellung von Content für Microsofts Mixed-Reality-Hardware übernahmen CreamVR aus Toronto die Führungsrolle bei der Produktion von A Curious Mind. Da alles außer Monaghan computergeneriert sein würde, holten CreamVR das Animations- und VFX-Studio „Thought Café“ an Bord, um die 360°-Umgebung mit diversen Tools zu erstellen – darunter After Effects, Canvas 360, Cinema 4D und CV-VRCam, ein Cineversity-Plugin, das es möglich macht, mit dem Cinema 4D Standard Renderer in 360° zu rendern.
Die Vorgaben für das Projekt ließen sehr viel Spielraum. CreamVR machten allerdings deutlich, dass sie etwas Außergewöhnliches haben wollten, etwas, das den Zuschauern ein Gefühl geben würde, mitten in den Abenteuern zu sein, die sich auf der Leinwand abspielen. Thought Café waren bereit, sich der Herausforderung zu stellen, allerdings traten beim Rendern einiger der stereoskopischen Szenen in Cinema 4D Probleme auf.
Im Gespräch erklären uns Jon Corbiere, Kreativdirektor, und Tyler Sammy, Technischer Direktor bei Thought Café, sowie Aden Bahadori, der CEO von Torus Media Labs, wie das Team die atemberaubende Serie schuf und wie sie die technischen Probleme mit Unterstützung der Maxon-Entwickler lösen konnten.
Warum hat CreamVR sich für Thought Café entschieden? Habt ihr vorher schon einmal zusammengearbeitet?
Corbiere: Thought Café ist ein Studio für Design, Animation und digitale Effekte, während wir uns fast ausschließlich mit Inhalten für Bildungszwecke, Dokumentationen oder anlassbezogenen Projekten beschäftigen. In den letzten Jahren hat unser Kollektiv aus Künstlern, Animatoren und Produzenten mit VR-Inhalten experimentiert, weil viele Branchen versuchen herauszufinden, wie sich VR für ihre Zwecke einsetzen lässt. Virtual Reality ist naturgemäß sehr gut für Lerninhalte geeignet, also haben wir hin und wieder schon Projekte damit realisiert. Wir hatten dabei mit einigen der Kreativen von CreamVR zu tun, deshalb haben sie uns kontaktiert und gefragt, ob wir mit ihnen an diesem Projekt arbeiten möchten.
Ich glaube, Canvas 360 war früher auch ein Bestandteil des Workflows von CreamVR, richtig?
Bahadori: Ja, wir haben eine langjährige Verbindung zu Andrew MacDonald, einem der Kreativdirektoren von Cream. Sie haben uns sehr früh kontaktiert, weil sie wussten, dass stereoskopisches Kameratracking schwierig sein kann. Die Leute sagen häufig, dass 360°-Video ein verwirrendes Format ist – und da ist etwas Wahres dran. Deshalb haben Mike Sevigny und ich Torus Media Labs gegründet und angefangen, Tools für uns selbst zu bauen. Für 360°-Kameratracking gab es einfach nichts, also haben wir Canvas 360 entwickelt und es auch anderen zur Verfügung gestellt.
Wie habt ihr zusammengearbeitet, um die fesselnde, eindringliche Stimmung der Show zu erreichen?
Corbiere: Wir wollten von Anfang an, dass sich die Serie von allem unterscheidet, was es bereits gibt. Statt statischer Einstellungen wollten wir bewegte Kameras und Kranfahrten. Wir wollten nicht, dass der Moderator vor einer statischen 360°-Kamera steht und es sich so anfühlt, als sei nichts in seiner Nähe. Jemanden vor eine fixe Kamera stellen und den Hintergrund austauschen kann jeder. Mit einer bewegten Kamera fühlt sich das, was man sieht, einfach authentischer an. Die meisten Action-Sequenzen werden mit der Handkamera gedreht. Unsere Idee war, dass Dominic mit einer auf einem Kran montierten Handkamera aufnehmen kann wie bei einem Steadycam-Shot. Wir haben außerdem aus verschiedenen Abständen und Winkeln gedreht, damit er immer in guter Relation zu den Grafiken um ihn herum zu sehen ist.
Sammy: Wir verschlingen VR-Inhalte, in den frühen Tagen der VR haben wir sprichwörtlich geschaut, bis uns schlecht geworden ist. Wir denken jedes Mal: ‚Mann, die Idee ist echt gut, aber warum ist das so schlecht gemacht?‘ Wir wollten eine fesselnde Experience schaffen, von der den Leuten eben nicht übel wird. In unseren ersten Gesprächen mit Cream haben wir entschieden, dass wir es technologisch auf die Spitze treiben wollen. Wir wollten etwas erschaffen, das es so im 3D-Raum und 360°-Video noch nie gegeben hat. Ursprünglich hatten wir geplant, einen TechnoDolly zu verwenden, der es erlaubt hätte, die Positionsdaten der Kamera aufzuzeichnen. Leider waren weder die Hardware noch ein geeigneter Operator zum Drehtermin aufzutreiben, also schlug Andrew vor, Torus Media Labs zu kontaktieren.
Erzählt etwas über Canvas 360 und wie es bei diesem Projekt eingesetzt wurde!
Bahadori: Dass Canvas 360 Szenendaten von After Effects nach Cinema 4D transportieren kann, wussten wir. Allerdings wurde es knifflig, als wir anfingen, stereoskopisch zu arbeiten. Canvas 360 war niemals für einen stereoskopischen Workflow gedacht, aber Mike Sevigny, einer der Gründer von Torus Media Labs, entwickelte intern schon an S3D360. Die Schwierigkeit bestand zu diesem Zeitpunkt darin, die Bewegung der rectilinear-stereoskopischen Kamera nahtlos mit den stereoskopischen 360°-Renderings zusammenzubringen. Deshalb haben wir anschließend mit Canvas STK ein Toolset für die Stereoskopie herausgebracht.
Du hast angemerkt, dass die Neigung der Kamera einiges an Aufwand verursacht hat, kannst du etwas mehr darüber sagen?
Sammy: Bei frühen Tests entdeckte Thought Café einen Fehler in CV-VRCam, der es unmöglich machte, die Szenen mit den korrekten Kamera-Trackingdaten zu rendern. Die Szenen renderten nicht wie gewünscht, sobald die Kamera geneigt war – und ein großer Teil des Materials war bewusst mit nach unten geneigter Kamera aufgenommen worden.
Wir haben Maxon kontaktiert, und sie haben uns mit einigen ihrer Entwickler zusammengebracht, die an den Plugins gearbeitet hatten, also haben wir angerufen und gesagt: ‚Wir haben hier so ein verrücktes Projekt, bei dem uns jeder sagt, wir seien durchgeknallt, wenn wir es überhaupt versuchen.‘ Es war großartig. Sie haben sofort verstanden, was wir wollten, und haben uns eine frühe Beta von CV-VRCam gegeben, um das Material mit der geneigten Kamera zu rendern. Seit Cinema 4D R19 ist das ohnehin kein Problem mehr.
Hat euch das Projekt Torus Media dazu angeregt, neue Produkte zu entwickeln?
Bahadori: Recherche und Entwicklung für dieses Projekt bildeten eine solide Grundlage für unsere neuen Stereoskopie-Tools, Canvas STK. Eins der Hauptfeatures, mit dem sich Canvas STK von anderen Tools absetzt, ist die Vorschau in diversen Formaten, inklusive solcher, die von 3D-Monitoren und 3D-Fernsehern unterstützt werden. Das erlaubt es, die Kamera in jede beliebige Richtung auszurichten und die Vorschau des stereoskopischen Bildes sofort auf einem echten 3D-Medium beurteilen zu können, ohne die VR-Brille immer an-und auszuziehen, wenn man Elemente positionieren möchte.
Woran arbeitet Thought Café im Augenblick?
Sammy: Wir machen nach wie vor traditionelle und interaktive digitale Inhalte für Webanwendungen, Fernsehen und Kinofilme. Gleichzeitig entwickeln wir auch neue Projekte für den VR-, AR- und XR-(Cross-Reality) Bereich. Kürzlich haben wir einiges von dem, was wir bei der Produktion von A Curious Mind gelernt haben, bei zwei stereoskopischen 360° Experiences eingesetzt, bei denen sich Realfilm und Computergrafik zu einer einzigartigen Lernerfahrung verbinden.
Credits
Mike Sevigny, Technical Director / Stereoscopic Tracker
Animation & VFX by Thought Cafè
