Die Schönheit der Daten Wie mit Cinema 4D und modernem maschinellem Lernen einzigartige 3D-Oberflächen erzeugt werden.

Das Studio Above & Below ist ein in London ansässiges Kunst- und Technologiestudio. Gegründet wurde es von Absolventen des Royal College of Art, Daria Jelonek und Perry-James Sugden. Das Studio arbeitete mit dem Ministerium für Kultur und Wissenschaft des Bundeslandes Nordrhein-Westfalen zusammen, um das vielfältige Ökosystem der Region abzubilden.

Erst kürzlich nutzten sie Cinema 4D und Redshift, um „Aquateque“ zu erstellen, einen Kurzfilm, der dem Fluss Ruhr folgt. Außerdem verwendeten sie das Generative Adversarial Network (GAN), um einzigartige 3D-Oberflächen zu generieren. GANs erlauben es, zwei neuronale Netzwerke gegeneinander antreten zu lassen, um auf der Grundlage der ursprünglichen Eingaben neue Daten zu erzeugen. Das System wird für verschiedenste Zwecke genutzt, von zeitgenössischer Kunst bis hin zur Hochskalierung von Texturen in Videospielen und sogar für Deep-Fake-Videos.

Wir haben uns mit Above & Below unterhalten, um mehr über die Entwicklung und Erstellung von „Aquateque“ zu erfahren. Folgendes hat das Studio uns erzählt.

Unser in London ansässiges Kunst- und Technologiestudio erschafft datengesteuerte Filme und immersive Installationen. Wir arbeiten mit Museen, Wissenschaftlern und Marken, um die Grenzen der digitalen Medien zu erweitern. Unser Studio hat Artworks mit Spitzentechnologie erschaffen und dabei AR, XR und KI mit Daten kombiniert, um das Unsichtbare sichtbar zu machen.

„Aquateque“ ist ein achtminütiger Kurzfilm, der dem Fluss Ruhr folgt, einem 200 Kilometer langen Mündungsgebiet in Deutschland. Der Film zeigt den Fluss von der Quelle bis zur Mündung und basiert auf tausenden Bildern und Geräuschen, die wir eingefangen haben. Wir erschufen unsere eigene Datenbibliothek und haben sie durch zwei künstliche neuronale Netze geschickt. Das hat die hybriden und augmentierte Landschaften und Materialien geschaffen, die eines Tages in der Region entstehen könnten. Außer Cinema 4D und Redshift nutzten wir die visuellen KI-Tools Houdini und Octane.

Das gesamte Projekt war ein fünfmonatiger Auftrag. Anhand von Tausenden von Bildern der Wasseroberfläche, Felsformationen und grünen Landschaften trainierten wir mit einem gängigen GAN und fanden Oberflächen, mit denen wir zufrieden waren. Die Oberflächen wurden dann im Film zu den augmentierten Ebenen. Wir ließen den Code auch über klimaneutrales Cloud-Computing laufen.

Die GAN-Ergebnisse, also die KI-Kunst, wurden in den 3D-CG-Raum übertragen. Wir nutzten Cinema 4D, X-Particles und Houdini, um 3D-Formen zu erzeugen. Dann haben wir alle generierten Modelle und Materialbibliotheken in Cinema 4D übertragen. Wir renderten Objekte und animierten PBR-Materialien mit einer Mischung aus Octane und Redshift.

Diese Cinema 4D-Renderings wurden über das ursprüngliche Filmmaterial gelegt, aus dem wir unsere Datensätze entnommen hatten. Außerdem führten wir einige Nachbearbeitungen mit Cinema 4D-Objektverfolgung, After Effects und DaVinci Resolve durch.

Wir konnten auch PBR-Materialien und Oberflächen in Handy-basierte AR-Erlebnisse mit Unity oder Unreal Engine übertragen.

Dem Film liegt eine Geschichte zugrunde, die die Schritte zur Erstellung dieser KI-Ergebnisse verfolgt. Wir haben die natürlichen Elemente, wie Bäume und Felsen, während unserer Reise entlang des Flusses gescannt. Im Film kann man dann sehen, wie die Maschinen dieselben Oberflächen scannen. Die Kombination aus wässrigen und fantastischen Felsformationen hat uns sehr gut gefallen.

Bei einigen Szenen in „Aquateque“ haben wir mit dem 3D-Künstler Axel Schoterman zusammengearbeitet. Einer unserer Favoriten ist eine Szene mit überwältigender Schönheit und Farben. Sie entstand mitten im Winter in der Flusslandschaft. Die augmentierten Objekte verschmolzen in der Szene natürlich mit der Originalansicht der Flusslandschaft. Die GAN-Eingaben und die endgültigen Materialien fühlen sich wie aus einer anderen Welt an, in der sich die natürlichen Elemente, die von Menschenhand geschaffenen Ergänzungen und die maschinell hergestellten Überlagerungen überschneiden.

Wir möchten, dass das Publikum darüber nachdenkt, wie wir in Zukunft in den Bereichen Kunst, Design und Technologie kollektiv mit Maschinen und Ökologie arbeiten werden. Unser leidenschaftliches Ziel ist es, zu inspirieren und voranzutreiben, wie Materialökologien und die Modellierung von Objekten mithilfe beliebter künstlicher neuronaler Netze geschaffen und gestaltet werden können.

Wir möchten dem Publikum auch ein neues Konzept näherbringen. Maschinell-menschlich-natürliche Kollaborationen können sehr bereichernd sein. Unerwartete Ergebnisse von der Software können genauso wertvoll sein wie kuratierte Inhalte. Letztendlich sind es die Designer, Artists und Menschen, die die endgültigen Entscheidungen treffen.

Wir haben auch unser Bestes getan, um während des gesamten Prozesses kohlenstoffneutrale Datenverarbeitung einzusetzen. Wir möchten, dass sich die Macher ihres Fußabdrucks bewusst sind, auch wenn wir alle nur einen kleinen Teil der globalen Auswirkungen der Datenverarbeitung ausmachen.

Credits:
Concept & Development: Einar Fehrholz, Studio Above&Below | Daria Jelonek, Perry-James Sugden
Directors of Photography: Leon Schirdewahn, Ravi Sejk
CGI: Axel Schoterman, Studio Above&Below | Daria Jelonek, Perry-James Sugden
Cut & VFX: Studio Above&Below | Daria Jelonek
Sound Design: Einar Fehrholz
Programming Development: Studio Above&Below | Perry-James Sugden
Exhibition Design: Einar Fehrholz
Special support: Daniel Traebing, Jan Ehlen, Suzanne Fehrholz, David Janzen, Makroscope e.V., Verein für aktuelle Kunst / Ruhrgebiet e.V., Jana Stolzer, Philip Steffens, Matthias Schliewe, Claudia Weber
Funded by: European Centre For Creative Economy, Ministry of Culture and Science of the State of North Rhine-Westphalia