Videos mittels künstlicher Intelligenz (KI) automatisch schneiden? Geht das?

Was passiert, wenn ein Supercomputer von IBM mit künstlicher Intelligenz (KI) hundert Spielfilm-Trailer analysiert, um anschließend aus neu gedrehtem, völlig anderen Filmmaterial für einen Hollywood-Film eigenständig einen Werbetrailer zu schneiden?

Die Idee ist nur schon aus Marketing-Sicht genial:

Das Hollywood Studio 21st. First Century Fox, seit Frühling 2019 als Fox Corporation Teil von Disney, produzierte mit Regisseur Luke Scott, dem Sohn des Kult-Regisseurs Ridley Scott (u. a. Alien, Blade Runner, Gladiator, Thelma & Louise) einen Science-Fiction-Film, in dem sich eine junge Frau als künstlich erschaffener Mensch mit synthetischer DNA entpuppt. Der Kinotrailer zu diesem Spielfilm wurde, folgerichtig!, mit künstlicher Intelligenz erstellt.

Mit künstlicher Intelligenz (KI) Videos automatisch schneiden?

Wenn du einen Cutter fragst, ob Videos und Filme in naher Zukunft mithilfe von künstlicher Intelligenz möglicherweise eigenständig erstellt werden, wird er dir einen Vogel zeigen.

Diese Reaktion ist nichts als menschlich. Federico Fellini, der italienische Regie-Star der Nachkriegszeit und einer der wichtigsten Autorenfilmer aller Zeiten, antwortete auf die Frage, warum er sich in seinem Heimatland nicht für die Ausbildung einer nächsten Generation von Filmemachern einsetze: „Bin ich denn verrückt! Die würden ja alle unsere Jobs übernehmen!“

Fragst du aber denselben Cutter, ob er seine Videos mit Adobe Premiere montiert, stehen die Chancen gut, eine positive Antwort zu bekommen. Was gleichbedeutend ist mit dem Bekenntnis zu künstlicher Intelligenz.

Denn schon heute arbeiten die unterschiedlichen Softwarepakete von Animoto oder der weltweit im Einsatz stehenden Adobe Creative Suite (Premiere, After Effects etc.) mit künstlicher Intelligenz. Diese hilft nicht nur bei Fehleranalysen, sondern analysiert online das Nutzerverhalten, um zukünftige Programmversionen automatisch zu verbessern und hilft heute schon bei Dutzenden Funktionen im Hintergrund.

Mehr als nur Film

Es gibt also schon heute einen gewissen Automatisierungsgrad in der Postproduktion. Aber nicht nur da.

Filmkameras arbeiten längst schon mit KI, um ihre Autofokus und Belichtungssteuerung zu optimieren. Ebenso trainieren sich schon heute Algorithmen darin, Geschichten zu analysieren und sogar zu schreiben.

Die Absicht, mit einem neuronalen, selbst lernenden Computerprogramm Filme schneiden zu können, ist weit mehr als nur ein Marketing-Stunt. Die Montage automatisieren zu wollen, hat handfeste wirtschaftliche Gründe: Bei jedem Filmdreh fällt eine Unmenge an Material an, das es zu sichten und zu montieren gilt. Bei einem Dokumentarfilm ist die zu verarbeitende Materialmenge im Vergleich zum Spielfilm sogar noch höher.

Während umgekehrt in den News oder im dahin zerfallenden TV-Geschäft die Zeit oder das Geld für eine sorgfältige Auswahl fehlen. Kurzum: mit selbstlernender Software für einen automatisierten Filmschnitt lassen sich Milliarden verdienen.

Cut to:

IBM. Der amerikanische Großkonzern aus der Informationstechnik (350.000 Mitarbeitende, 80 Milliarden USD Jahresumsatz) mischt seit 2011 bei der Weiterentwicklung der künstlichen Intelligenz ganz vorn mit. Dies mit einem Programm, das als Watson bekannt wurde. Es kann auch Video schneiden.

Watson

Watson zeichnet sich durch eine extreme Lernfähigkeit aus. Diese ist nicht auf das bewegte Bild reduziert.

• An der CeBIT 2017 wurde der Öffentlichkeit ein autonomer Autobus vorgestellt. Gesteuert durch: Watson.
• Per Ende Juni 2018 vertrauten Ärzte in mehr als 230 Krankenhäusern weltweit bei der Suche nach Therapien für Krebspatienten auf Unterstützung von: Watson.

Wie funktioniert künstliche Intelligenz?

Beim maschinellen Lernen geht es im Kern darum, Muster zu erkennen: Lernen aus Erfahrung. Das dazu erforderliche Training einer Software kann durch menschliches Zutun erfolgen. Oder das System legt selbst Regeln an, auf deren Basis es sich konstant weiterentwickelt. Beim sogenannten Deep Learning verändern sich, abhängig von den Informationen, die das System bekommt, auch deren Gewichtung und damit die darunterliegenden Erkenntnisse. So wie das auch bei einem Baby geschieht, das die Welt neu kennenlernt.

Watson ist heute über die IBM Cloud auch für Leute wie du und ich zugänglich. Mit Watson kann man Daten analysieren oder visualisieren oder intelligente Chatbots oder digitale Assistenten erstellen. Teilweise sogar kostenlos.

Morgan

Für den Kinotrailer von „Morgan“ analysierte Watson zuerst 100 Trailer vergleichbarer Filme. Anschließend reduzierte die künstliche Intelligenz den fertig geschnittenen, 90-minütigen Film auf erstmals 6 Minuten.

Dieser Prozess dauerte 24 Stunden. Dabei unterzog das Programm den Film einer visuellen und auditiven Analyse, erarbeitete eigenständig ein Schema der Filmstruktur und verglich am Ende die Resultate der eigenen Arbeit mit dem, was es aus Filmen mit dem gleichen Genre gelernt hatte.

Bis ganz ans Ende ging Watson allerdings nicht.

Am Ende stand nämlich (noch) kein fertiger Trailer. Sondern zehn vom Computer identifizierte Schlüsselsequenzen, aus denen händisch der Kinotrailer montiert wurde.

Trotzdem ist es nur eine Frage der Zeit, bis die Rolle der künstlichen Intelligenz sich nicht mehr nur auf die Identifikation von Einstellungen beschränken wird, welche das Zielpublikum auf Basis von Big Data zum Kauf bewegt.

Aber auch Top-Tennisspieler wie Roger Federer bekommen es heute schon mit künstlicher Intelligenz zu tun. Dahinter steckt IBM.

Roger

Wimbledon, das älteste und wohl prestigeträchtigste Turnier in der Welt des Tennis, setzte 2018 bei der TV-Übertragung auf Watson und Künstliche Intelligenz.

Konkret ging es darum, dem Zuschauer in sekundenschnelle entscheidende Momente der Matches, oder Emotionen der Spieler, nochmals als Wiederholung zeigen zu können.

Watson lernte dazu, anhand von bestehenden Aufnahmen die entscheidenden Momente zu erkennen und automatisch zu Clips zu schneiden. Dies explizit unter Einbezug der Emotionen der Spieler.

KI misst dazu Match-Daten, Faktoren wie Gesten, Geräusche, Spielverlauf und sogar Zuschauerverhalten (zu sehen im Schwenks über das Publikum) in der TV-Liveübertragung korrekt erkennen.

KI: Für alle Plattformen

Nebst dem bereits erwähnten Replay-Clips erstellte die KI auch audiovisuelles Material für die Websites des Veranstalters, Apps und so Social Media.

Das klingt erst mal banal. Ist es aber ganz und gar nicht. Denn mit durchschnittlich drei Spielen pro Spielfeld pro Tag, die mit einer Vielzahl von Kameras aufgezeichnet werden, fallen in den zwei Wochen, die das Grand-Slam-Turnier dauert, hunderte Stunden von audiovisuellen Aufnahmen an. Diese sind für einen Menschen in vernünftiger Frist weder zu bearbeiten, noch zu schneiden.

Fazit

Ob Spielfilm, Dokumentarfilm, Hollywood oder München, TV Übertragung oder Social Media – die künstliche Intelligenz steht beim Schnitt von Videos und Filmen vor unserer Türe. Wir haben es nur noch nicht bemerkt.

Fehler gefunden? Jetzt melden
Dieser Artikel wurde erstmals publiziert am 12.11.2019