KI & Robotics

Wie KI die Filmindustrie verändert

Revolution in Hollywood: Der Einsatz von KI könnte die Art, wie Filme produziert werden, grundlegend verändern. Werden Stars und Sternchen irgendwann durch digitale Avatare ersetzt? Schauspielerinnen und Schauspieler sind besorgt.

900.000 Dollar Jahresgehalt – so viel lobte Netflix neulich für einen Spezialisten aus, der eine KI-Plattform für den Konzern aufbauen könnte. Bei der Planung des Programms werde die Intelligenz aus dem Rechner helfen – der Hinweis, dass sie auch tolle neue Inhalte schaffen solle, verschwand schnell wieder aus der Ausschreibung. Vielleicht wollte Netflix nicht in den Mittelpunkt der hitzigen Debatte hineingeraten, die seit einiger Zeit Hollywood in Aufruhr setzt.

Mitte Juli 2023 begann dort ein Streik von Schauspielerinnen und Schauspielern, der weltweit Beachtung fand. Einer der Gründe für den Arbeitskampf ist die Sorge, Stars könnten über kurz oder lang von künstlicher Intelligenz weitgehend ersetzt werden. Wie sehr die Arbeit von Schauspielerinnen und Schauspielern schon heute von KI beeinflusst wird, ist für viele Beobachter neu.  

Digital Special Effects – seit langem bekannt

Digitale Spezialeffekte gibt es schon seit Jahrzehnten. Die zunehmende Rechenleistung von Computern hat dabei immer weitere Einsatzmöglichkeiten erschlossen. Schon im Hollywood-Klassiker Titanic von 1997 wurde das Meer digital animiert. Auch wurden bereits damals Gesichter von Schauspielern gescannt und digital eingefügt. Heute hat diese Technik ein damals ungeahntes Perfektionsniveau erreicht. Filmfiguren – und auch Helden von Videospielen – sind mittlerweile nicht selten hybride Wesen, die ihre Existenz zum einen der Darstellung durch einen Schauspieler verdanken, zum anderen der fantasievollen Ausgestaltung durch ein Digital-Effects-Team.

Digitale Doubles – der verdoppelte Star 

Am Anfang steht dabei die Schaffung eines digitalen Doubles des Schauspielers oder der Schauspielerin. Dazu wird ein spezielles volumetrisches Studio benötigt, das kapselförmig abgeschlossen und im Inneren mit dutzenden fernbedienten Kameras ausgestattet ist. Der Schauspieler steht oder sitzt an einer vorbestimmten Position und geht eine Reihe abgesprochener Bewegungen, Posen und Gesichtsausdrücke durch. Dabei werden Tausende von Fotos aus allen Perspektiven gemacht, während das Gesicht in den verschiedensten Zuständen gescannt wird. Aber auch charakteristische Körperbewegungen werden aufgenommen und gespeichert (Motion Capture). Die so entstandenen Einzelbilder werden am Rechner zu einer digitalen dreidimensionalen Figur zusammengesetzt. Die Positionen sämtlicher Kameras sind dem System bekannt, sodass die Aufnahmen ohne Probleme perspektivisch korrekt angeordnet werden können.

Mit dieser virtuellen Hülle kann auf verschiedene Weisen gearbeitet werden. So können zum Beispiel Stuntmen mit der Hülle des Schauspielers digital „verkleidet“ werden; ihre Köpfe werden gegen den Kopf des Schauspielers ausgetauscht und ihre Bewegungen dienen nur noch als Muster, nach dem der digitale Zwilling dann animiert wird.

Bei der Schaffung von Avataren für Computerspiele kann das digitale Double eines realen Schauspielers mit fantastischen Körpermerkmalen ausgestattet werden. So entstehen Phantasiewesen mit realistisch wirkender Mimik und Körperbewegung. Auf diese Weise geschaffene digitale Figuren können in beliebigen Kulissen vor jeder Art von Hintergrund platziert werden. Visual Effects Artists können sie nach Belieben handeln und sprechen lassen, ohne dass der reale Schauspieler oder die reale Schauspielerin noch einmal bemüht werden muss.

Diese Techniken waren bislang sehr aufwändig, da sowohl die Aufnahmen als auch die Animationen sehr viel Arbeitszeit hochqualifizierter Spezialisten erfordern. Oft werden sie daher benutzt, um nachträglich kleinere Änderungen in Handlung oder Dialog umzusetzen. Wenn Sprechtext nach dem Dreh noch umgeschrieben und neu eingesprochen wird, lassen sich etwa die Mundbewegungen in der Aufnahme mit begrenztem Aufwand mitverändern.

Revolution durch KI?

Künstliche Intelligenz könnte künftig die Arbeit mit digitalen Effekten radikal vereinfachen – und damit ein völlig neues Kapitel der Filmgeschichte einleiten. Die Fähigkeit von KI, große Datenmengen zu analysieren und selbständig neu zu arrangieren, ist für die Arbeit mit digitalen Doppelgängern enorm attraktiv.

Künstliche Intelligenz kann nicht nur Gesichtsscans und in traditioneller Motion-Capture-Technik gewonnene Bilder verarbeiten. Die Datenbasis wird viel breiter: Prinzipiell kann KI sämtliche Filmaufnahmen, die es von einer Person gibt, analysieren und daraus die typische Mimik und die typischen Bewegungsmuster abnehmen – für alle Arten von Handlungssituationen, für die Filmmaterial vorliegt. Die digitalen Zwillinge werden so um ein Vielfaches detailreicher und realistischer.

So standen die Macher des jüngsten Indiana Jones Films zum Beispiel vor der Herausforderung, den mittlerweile 81-jährigen Harrison Ford in der Titelrolle für viele Szenen wieder jung erscheinen zu lassen. Dazu ließen sie KI die vorangegangenen vier Indiana Jones-Filme einschließlich des nicht veröffentlichten Materials analysieren. Die Software erstellte dann einen überzeugenden digitalen Zwilling vom Gesicht des jungen Harrison Ford für alle möglichen Situationen und Belichtungsverhältnisse. Das Gesicht des echten Ford wurde durch das digitale Alter Ego ersetzt.


Nach diesem Muster könnten Schauspielerinnen und Schauspieler im Filmgeschäft quasi alterslos werden und bis ins hohe Alter jugendliche Rollen übernehmen – wenn die realen Stars denn überhaupt noch in Person gebraucht werden. Aber nicht nur Schauspieler, auch reale Personen könnten auf Grundlage dokumentarischer Aufnahmen von KI digitalisiert werden. Für Filmbiografien historischer Persönlichkeiten tun sich hier völlig neue Möglichkeiten auf; doch auch die Erstellung von Deep Fakes – gefälschtem, pseudodokumentarischem Filmmaterial – dürfte künftig viel leichter werden.

Die KI, die bei Indiana Jones verwendet wurde, war in ihren Fähigkeiten noch recht beschränkt. Nach wie vor war ein großes Team von Spezialisten nötig, um den Gesichtertausch umzusetzen; oft musste nachgearbeitet werden, wenn die Ergebnisse der KI nicht völlig überzeugten. Viele Experten halten es aber nur für eine Frage der Zeit, bis künstliche Intelligenz auch Animationsprozesse weitgehend automatisieren wird.

Sven Bliedung beispielsweise, CEO des Digitalisierungsstudios Volucap in Babelsberg, erhoffte sich in einem Spiegel-Interview nicht nur eine Kosteneinsparung von bis zu 60 Prozent, sondern auch eine Demokratisierung des Filmemachens. Produzenten könnten künftig statt mit einer großen Special-Effects-Abteilung mit einer KI arbeiten, die nach Wunsch fotorealistische Hintergründe und Szenerien erzeugt oder nach Belieben Effekte wie Explosionen oder Feuer in eine Aufnahme einfügt. So könnten mit kleinem Budget große Visionen umgesetzt werden.

Mit Statisten brauchen Produzenten schon heute nicht mehr viel Aufwand zu betreiben. Da sie meist nicht in Großaufnahme gezeigt werden, sind die Anforderungen an Simulationen nicht so hoch wie bei echten Rollen. Seit Langem schon kann digitale Technik eine kleine Zahl gefilmter Komparsen so vervielfältigen, dass der Eindruck einer großen Menschenmenge entsteht.

Mittlerweile werden auch Statisten ähnlich wie Schauspieler digitalisiert – und in Online-Shops als digitale Zwillinge verkauft. Spezialanbieter wie Renderpeople produzieren sie auf diese Weise sozusagen auf Vorrat. Für eine Szene wird noch ein Spaziergänger mit Hund benötigt? Ein Digitalisat gibt’s im Shop vielleicht schon für 150 Euro … Derzeit würde der neue digitale Statist noch von Hand in die Szene eingebaut, künftig kann auch das vielleicht die KI („Füge den Statisten aus der Datei auf dem Fußgängerweg vor dem grünen Haus in die Kameraperspektive ein und lasse ihn parallel zur Straße nach rechts laufen …“).

Was KI (noch) nicht kann

Manches an diesen Vorstellungen ist noch Zukunftsmusik. Derzeit kann KI noch keine längeren fotorealistischen Videos schaffen, die wirklich authentisch wirken. Irgendwo hakt es in der Regel noch; sei es, dass ein Bewegungsablauf unnatürlich oder ein Gesicht zu glatt wirkt. Die Macher von Indiana Jones 5 stellten fest, wie schwierig es ist, das menschliche Auge digital überzeugend zu reproduzieren: Wir alle sind hochtrainiert, den Augenausdruck unseres Gegenübers zu interpretieren; schon kleinste Bewegungsnuancen verändern, wie wir den anderen wahrnehmen. Mit der Analyse und Wiedergabe dieser Feinheiten war die KI überfordert; die menschlichen Spezialisten mussten ständig korrigierend eingreifen.

Solche Probleme könnten sich durch den Fortschritt bei der Entwicklung von AI irgendwann lösen lassen. Eine andere Grenze der KI wird aber bestehen bleiben: Die Ergebnisse können immer nur so gut sein, wie das Material, an dem die KI trainiert wurde. Hat man von einer Schauspielerin, einer historischen Persönlichkeit, einem Naturphänomen oder einer Landschaft keine guten Aufnahmen in hinreichender Menge, kann die KI nicht lernen, sie überzeugend digital zu reproduzieren. Die Kameraleute dürften also erst einmal nicht überflüssig werden.

Werden Stars digital austauschbar?

Schauspielerinnen und Schauspieler aber könnten die Leidtragenden des Fortschritts sein. Hollywood wird sicher nicht darauf verzichten wollen, weiterhin Stars aufzubauen – reale Menschen, mit denen das Publikum sich identifizieren mag. Aber die Position der meisten Darsteller gegenüber den Produktionsfirmen dürfte schwächer werden, solange es kein unübertragbares Recht am Digitalisat des eigenen Gesichts gibt. So könnte ein Schauspieler in einer Serienproduktion künftig entlassen werden, wenn er eine höhere Gage verlangt – in der nächsten Staffel wird die Rolle dann mit einem kostengünstigeren Kollegen besetzt, dem das vertraute Gesicht einfach digital anmontiert wird. Folgefilme erfolgreicher Produktionen bräuchten die alten Darsteller nicht noch einmal zu verpflichten – man könnte mit Nobodys drehen, denen KI das Gesicht der Stars aufsetzt.

So wirft die jüngste Entwicklung tatsächlich weitere Fragen für die Filmbranche auf, die beantwortet werden müssen. Vielleicht wird auf die technische Revolution eine Revolution bei Rechten und Vertragsmodellen folgen.

Passend dazu