ETH- und Disney-Research-Forscher ergattern Sci-Tech-Oscar

"Es war um Mitternacht, als die E-Mail aus Kalifornien kam. Ich musste gleich meine Eltern in Kanada anrufen, und danach habe ich die ganze Nacht kein Auge zugetan", berichtet Derek Bradley über den Moment, als er Anfang Dezember vom Gewinn des Sci-Tech-Oscars erfuhr. Er ist zuletzt zur Vierergruppe gestossen, die letzten Samstag in Hollywood die begehrte Auszeichnung für ihr Capturing-System Medusa in Empfang nehmen durfte.

Thabo Beeler, der mit seiner Doktorarbeit an der ETH Zürich den eigentlichen Grundstein für Medusa gelegt hatte und heute das "Capture and Effects"-Team bei Disney Research Studios (DRS) leitet, war zu diesem Zeitpunkt in Kalifornien an einer Sitzung. "Als ich an meinen Arbeitsplatz zurückkam, wurde ich von allen Seiten beglückwünscht – ich wusste zunächst gar nicht wofür", erzählt er. Die Nachricht vom Gewinn des Sci-Tech Oscars für Medusa habe sich wie ein Lauffeuer verbreitet. "Die überwältigende Anteilnahme machte mir deutlich, wie gross die Ehre ist – ja, es ist die allergrösste Auszeichnung in unserem Bereich."

Völlig neuer Gesichtsscanner

Medusa ist ein System, das mithilfe von Scannern Gesichter in Bewegung aufzeichnet und daraus engmaschige animierte Gitternetze (Meshes) errechnet. Damit können beispielsweise Trickfilmfiguren zu realitätsnahem Leben erweckt werden. Das Besondere daran: Das System benötigt keine Orientierungspunkte in den Gesichtern, wie etwa Marker oder Make-up. "Es hat die Grenzen für die abbildtreue Darstellung von Gesichtsausdrücken in Filmen qualitativ verschoben", hält die Academy of Motion Picture fest. Sie zeichnet mit dem Sci-Tech Oscar jedes Jahr Personen und Firmen aus, die mit ihren Erfindungen und Innovationen die Produktion von Filmen massgeblich und nachhaltig prägen.

Der eigentliche Vater – oder Grossvater – von Medusa ist Markus Gross, Informatikprofessor an der ETH und Direktor von Disney Research Studios (DRS). Er hat die Grundidee für das System mit seinem damaligen Doktoranden Bernd Bickel entwickelt, der heute als Professor am Institute of Science and Technology Austria wirkt. Die beiden hatten Thabo Beeler mit der Aufgabe beauftragt, für seine Masterarbeit einen hochauflösenden Gesichtsscanner zu bauen. Die Idee war, etwas völlig Neuartiges zu entwickeln, einen einfachen und günstigen Scanner. Die bestehenden Systeme basierten meist auf Laserscannern, waren komplex und entsprechend teuer.

Animierte Gesichter aufnehmen

Als die drei in einem der Prototypen genügend Potenzial erkannten, war Beelers Masterstudium fertig, und er schloss sein Doktorat an – als einer der ersten gemeinsamen Doktoranden von ETH und DRS. Während dieser Zeit kam Derek Bradley ins Team. Der Kanadier hatte sich während seines Doktorats vor allem mit der Bewegung von Kleidung befasst. Eine ideale Verbindung, wie er erzählt: "Gemeinsam entwickelten wir Software, um mit dem revolutionären statischen Scanner, den die drei entwickelt hatten, Gesichter in Bewegung aufnehmen zu können, vor allem längerdauernde Darbietungen."

Die Herausforderung dabei war, zwei Bewegungsmuster zu trennen: Die Mimik, wenn wir beispielsweise das Gesicht verziehen, und die Bewegung des Kopfs an sich. Für diese Separierung, die für die Visual-Effects-Branche von zentraler Bedeutung ist, fanden Bradley und Thabo einen Weg. Und so war Medusa bereit für den Einsatz in Hollywood.

Über die letzten Jahre kam Medusa bei über einem Dutzend Produktionen zum Einsatz, so etwa bei "Avengers – Infinity War", bei "Pirates of the Caribbean – Salazars Rache", "Star Wars - Die letzten Jedi", und "Spiderman – Homecoming", um nur einige bekanntere neuere Filme zu nennen. Der Sci-Tech-Oscar würdigt nun die grosse Leistung des Viererteams.

Langzeitvision hat sich ausgezahlt

Für Markus Gross und Disney Research Studios ist es bereits der zweite Oscar nach jenem von 2013. Ist es das gleiche Gefühl? "Die Freude ist die gleiche, wobei ich auf den zweiten Oscar besonders stolz bin, denn er zeichnet unsere Ausdauer und Beharrlichkeit aus", sagt Gross. Den ersten Oscar erhielt sein Team für die "Wavelet Turbulence"-Software, mit der sich Explosionen, Rauch und Flüssigkeiten auf günstige Art und Weise darstellen lassen. "Die eigentliche wissenschaftliche Arbeit wurde in ein paar Monaten geleistet", blickt Gross zurück. "Es war eine geniale Idee und wir haben das Richtige getan, indem wir die Software als Open Source zur Verfügung gestellt haben und sie nicht patentieren liessen", erklärt er den Grund für deren rasche Verbreitung.

Die Forschung für Medusa war viel umfangreicher. Es ist ein komplexes System aus Hardware und Software, das auf einer Reihe von wissenschaftlichen Publikationen basiert und verschiedene Patente beinhaltet. Die Entwicklung dauerte mehrere Jahre, und es waren verschiedene Personen involviert. Was aber für Gross ausschlaggebend ist: "Medusa ist das Resultat der Langzeitvision, die wir mit der Gründung von Disney Research Studios (DRS) verfolgt haben: die Überwindung des sogenannten 'Uncanny valley'-Effekts". Mit diesem Begriff beschreibt man das Phänomen, dass künstlich erzeugte Gesichter in Filmen oder Videospielen als nicht wirklich real wahrgenommen werden.

Lohn für eine gelungene Zusammenarbeit

Gleichzeitig sei Medusa ein schönes Beispiel für die Zusammenarbeit zwischen ETH und Disney, schwärmt Gross: "Ein ETH-Student, der im DRS Lab Forschungsarbeiten durchführt, die gemeinsamen wissenschaftlichen Publikationen, das geistige Eigentum, das zusammen entwickelt und patentiert wurde, und schliesslich das gelungene Gesamtprojekt, das die Filmbranche nachhaltig prägt und nun mit einem Oscar gekrönt wurde: eine Zusammenarbeit wie aus dem Bilderbuch."

Dieser Beitrag erschien zuerst auf ETH-News.

Der Emoji-Film räumte letztes Jahr bei den Negativ-Oscars kräftig ab. Einen Überblick zu den 38. Razzie Awards sehen Sie hier im Video.