AI in filmproducties – Nepper kan niet

Over het green screen en animaties hebben we al vaker geschreven. Deze zijn niet meer weg te denken uit allerlei filmproducties. Feitelijk zijn het de voorlopers van de ‘echte’ AI dat inmiddels een hele grote plaats heeft veroverd: AI-acteurs, deepfakes en automatisch gegenereerde beelden zijn heel gewoon geworden, terwijl voorheen veel met alleen een green screen werd gedaan.

Vroege fase

Vóór 2010 draaiden er een paar indrukwekkende films in de bioscoop. Tron (1982) bijvoorbeeld, een van de eerste films met volledig door de computer gegenereerde scènes. Wie de film nu ziet, haalt zijn schouders op, maar toen, levensgroot in de bioscoop, geloofden je ogen niet wat zij zagen, zo spectaculair was Tron.

Een andere bekende film, van latere datum, is natuurlijk Jurassic Park (1993). Technieken als CGI en ‘animatronics’ zorgden voor een revolutionair gebruik van digitale en deels fysieke dinosaurussen. Het was een enorme productie om alles zo levensecht mogelijk over te laten komen.

The Matrix baarde opzien door de speciale effecten. Vele camera’s rondom de acteur gaven het ‘vertraagde’ effect. (Bron: Internet.)

In 1999 kwam The Matrix uit. The Matrix en Tron hadden in feite hetzelfde onderwerp: de mens vecht tegen een machine (computerprogramma). Maar wat je in The Matrix zag, was nooit eerder vertoond. Met het ‘bullet-time’-effect wordt een kogels ontwijkende actie getoond. De tijd lijkt te vertragen of stil te staan, terwijl de camera een volle 360-graden draai om een onderwerp maakt. Het effect wordt gecreëerd met een opstelling van vele gesynchroniseerde camera’s die tegelijkertijd foto’s maken, waarna deze worden samengevoegd tot een vloeiende, langzame beweging vanuit verschillende hoeken. Mooi gedaan en in die tijd sensationeel!

Begin echte AI (2010-2020)

AI begon in deze periode mee te doen. Machine learning (de computer leert zelf bepaalde bewegingen/situaties te registreren, te analyseren en in allerlei nieuwe situaties toe te passen) werd gebruikt voor visuele effecten, deepfakes en data-analyse in de filmproductie.

Jurassic Park was een enorme productie. (Bron: Internet, IMDB.)

Grand Moff Tarkin

In 2016 verscheen de film Rogue One: A Star Wars Story, een film, waarin de overleden Peter Cushing een rol speelde als Grand Moff Tarkin, een rol die hij in een eerdere Star Wars-film speelde, maar dan bij leven.

Daarom werd hij door de makers met behulp van revolutionaire CGI-techniek ‘gewoon’ tot leven gewekt. Men gebruikte een digitale reconstructie van Cushing’s gezicht, gebaseerd op oude filmbeelden en foto’s. Vervolgens speelde acteur Guy Henry de rol met motion capture-markers (bewegingssensoren) op zijn gezicht. Om Cushing tot leven te wekken, werd Cushing’s gezicht digitaal over Henry’s hoofd geprojecteerd met behulp van AI-geassisteerde 3D-modellering en machine learning om de gezichtsuitdrukkingen realistisch te maken.

Peter Cushing werd ‘gewoon’ tot leven gewekt. (Bron: Youtube.)

Het klinkt ingewikkeld en dat was het in die tijd ook. De film markeert de overgang van traditionele CGI naar AI-gedreven gezichtsanimatie – een voorloper van wat we nu ‘deepfake’ noemen. Allemaal zeer baanbrekend, hoewel de film ook ethische discussies opriep: ‘Mag je een overleden acteur digitaal gebruiken, tot leven wekken?’ en ‘Wie bezit het ‘digitale gezicht’ van iemand?’

The Irishmen

Een andere bekende film waarin AI-technologie wordt gebruikt, is The Irishmen (2019), met o.a. Robert de Niro, Joe Pesci en Al Pacino. Zij werden niet tot leven gewekt, maar juist verjongd! En dat zonder hulp van traditionele green screens of sensoren op hun gezicht.

Drie camera’s en heel veel AI zorgden voor de verjonging van de acteurs. Je kunt het resultaat ‘vlak’ noemen, maar het geheel is uitzonderlijk goed gedaan.(Bron: Internet en Los Angeles Times.)

De film speelt zich af over meerdere decennia, en de hoofdrolspelers moesten zichzelf spelen als zowel jonge als oude mannen. Regisseur Martin Scorsese koos niet voor jonge acteurs, maar voor digitale verjonging van de inmiddels oude acteurs. En dan ook nog zonder opgeplakte sensoren of

motion-capture-helmen (bewegingsgevoelige helmen), omdat dat hun acteerprestatie zou belemmeren.

Drie camera’s en heel veel AI zorgden voor de verjonging van de acteurs. Je kunt het resultaat ‘vlak’ noemen, maar het geheel is uitzonderlijk goed gedaan. (Bron: Internet en Los Angeles Times.)

Scorsese deed het volgende. In elke scène stonden drie camera’s opgesteld, één hoofdcamera voor het beeld en twee infraroodcamera’s om het gezicht driedimensionaal vast te leggen, inclusief diepte en spierbewegingen. De ‘special effects’-studio Industrial Light & Magic (ILM) trainde een AI-systeem met honderden uren aan oude films van De Niro, Pacino en Pesci uit de jaren ’70 tot ’90. De software leerde zelf hoe hun gezichten eruitzagen en bewogen toen deze acteurs jonger waren. Daarna plaatste het AI-systeem deze jongere gelaatstrekken toe op de nieuwe opnames (dus met de oude gelaatstrekken).

En de film werd afgerond door tientallen VFX-experts die elk frame (!) bijwerkten om het gezicht er nog natuurlijker uit te laten zien.

Flux

De makers ontwikkelden speciaal voor The Irishman nieuwe AI-software die intern als ‘flux’ (‘face lux’) bekend stond. Het was een lerend systeem dat gezichten kon reconstrueren en verjongen op basis van oud filmmateriaal.

Men maakte daarbij gebruik van o.a. ‘deep facial modeling’-technieken. De makers hoefden dus niet handmatig elk gezicht frame-voor-frame aan te passen. De software leerde automatisch hoe bijvoorbeeld de jonge De Niro er in oude films uitzag (zoals in Taxi Driver of Goodfellas).

Dit leermodel werd toegepast op de nieuwe beelden uit de opnamen van The Irishman. Hierbij kon het systeem zelf beslissen hoe de huid, ogen, kaaklijn en bewegingen moesten worden aangepast — iets wat op zo’n grote schaal zonder AI onmogelijk was geweest.

Dit was de eerste grote film die AI-verjonging op realistische schaal gebruikte, met meerdere acteurs, in honderden scènes. Kritiek is er wel. De verjongde beelden zouden ‘glad’ of ‘plastisch’ zijn, maar de film was een enorme stap vooruit in digitale menselijke reconstructie.

Nieuwe generatie 2020-heden

AI wordt nu overal voor gebruikt. Het genereert scènes, stemmen, gezichten, filmscripts en… acteurs!

Zo is er een hele reeks korte films waarin bestaande beroemdheden spelen die er door AI in zijn geplaatst.  Deze beroemdheden zeggen vaak iets anders dan het oorspronkelijke. Hun woorden en (gezichts-)bewegingen zijn door AI bewerkt. Soms door de makers bedoeld als humor, soms om mensen te misleiden. Zoek maar eens op ‘deep fake’ op Youtube. Deze films zijn mogelijk gemaakt door ‘deep learning’ en andere nieuwe technieken. Voorbeelden zijn Trump, Dick Schoof en Humberto Tan.

In de bioscoop was Tron heel indrukwekkend! (Bron: IMDB.)

Een film als The Frost (2024), ook op Youtube, is een film van filmmaker Josh Rubin en Waymark Creative Labs in het sciencefictiongenre. Een serieus verhaal dat zich in de ijskoude bergen afspeelt en dat geheel met AI werd gemaakt.

Tilly Norwood

Maar de introductie van actrice Tilly Norwood was in 2025 een enorme doorbraak. Zij is een actrice die namelijk niet echt is. Zij is een personage dat door AI werd gegenereerd door Xicoia, de AI-afdeling van productiebedrijf Particle6 Group.

Tilly wordt voorgesteld als een ambitieuze actrice uit Londen die van winkelen en ijskoffie houdt. Haar debuutfilm is AI Commissioner en rond de première werd door de makers in september 2025 aangekondigd dat Tilly op het punt stond te worden gecontracteerd door een talentenbureau. Dit nieuws wekte grote afkeer op bij Hollywood-acteurs en -bedrijven, het leidde tot beschuldigingen van schendingen van persoonlijkheidsrechten en discussies over wat Tilly heeft gekost. Volgens haar geestelijke moeder Eline van der Velden heeft Tilly Norwood de potentie om de volgende Scarlett Johansson of Natalie Portman te worden!

AI is krachtig. Dat bewijst Tilly wel. AI is inmiddels zo krachtig dat het nu al mogelijk is dat AI films produceert die het zelf heeft geschreven en gemonteerd met zelfgemaakte acteurs!

Ga zelf aan de slag! (Bron: Internet.)

Zelf aan de slag

Het is simpel te doen: een bewegende video van een plaatje maken, of een bewegend stukje video laten genereren naar aanleiding van een tekst (tekst-to-video) of een plaatje/foto. Er zijn inmiddels veel appjes op de markt die dit soort kunstjes kunnen. Denk bijvoorbeeld aan het appje dat oude foto’s tot leven brengt.

Een wat krachtiger en interessanter voor op de computer of laptop is Runway van Deepai.org. De invoer voor een video kan een tekst zijn of een foto of illustratie. Zoek op Youtube naar ‘Runway demo’ en verbaas je over de mogelijkheden en de perfectie in de beelden. (Dit soort systemen hebben overigens wel een tarievenlijst en Runway is er vanaf 10 dollar per maand.)

Afkortingen

KI, AI: Staan voor Kunstmatige Intelligentie en Artificiële Intelligentie. Artificiële Intelligente is een verzamelnaam voor systemen en machines die menselijke intelligentie nabootsen. Zulke systemen kunnen snel grote hoeveelheden gegevens verwerken en daarmee onder andere adviezen uitbrengen, nieuwe producten ontwikkelen en zichzelf verbeteren.

Green screen: Een green screen is een speciaal groen scherm dat tijdens het filmen als achtergrond dient, waarbij in de nabewerking deze groene achtergrond door andere beelden of video’s kan worden vervangen.

Deep fake: Een deepfake is een nep-video, gemaakt met AI, waarbij het lijkt alsof iemand iets zegt of doet wat nooit echt is gezegd of is gebeurd. De term komt van ‘deep learning’ (een vorm van AI) en ‘fake’ (nep) en wordt gebruikt voor misleiding, fraude, maar ook voor creatieve doeleinden.

Hele aparte film, gemaakt met AI. (Bron: Youtube.)

CGI: Computer Generated Imagery: het creëren van beelden, animaties en effecten met computers voor films, games, marketing, architectuur en meer, wat realistische of onmogelijke werelden mogelijk maakt.

Animatronics: Dit zijn mechanische poppen of figuren (mensen, dieren, fantasiewezens) die met behulp van elektronica, motoren en pneumatiek bewegen en soms geluid maken om levensecht gedrag na te bootsen.

Bullet-time effect effect in The Matrix: Matrix-effect waarbij de camera een volle 360-graden om een onderwerp draait. Het effect wordt gecreëerd met een opstelling van vele gesynchroniseerde camera’s die tegelijkertijd foto’s maken, waarna deze worden samengevoegd tot een vloeiende, langzame beweging vanuit verschillende hoeken.

Flux: Is een samentrekking van Face (gezicht) en Lux (Latijn voor licht). De term verwijst naar het vastleggen van de menselijke gezichtsuitdrukkingen en de geometrie van het gezicht.

Ontwikkeling green screen

Klassieke CGI (1980–2005)
In deze fase was green screen essentieel. Acteurs speelden voor een groen doek, waarna achtergronden en effecten met software werden toegevoegd.
Green screen fungeerde toen als een scheiding tussen werkelijkheid en digitale wereld. Zonder green screen waren grootschalige fantasiewerelden (zoals in Star Wars of The Matrix) nauwelijks mogelijk. Het was toen een onmisbaar technisch hulpmiddel, maar het is geen AI, want de mens bestuurde alles.

Tilly Norwood, de nep-actrice die van shoppen en ijskoffie houdt. Bron: Youtube en RTL.)

Overgangsperiode (2005–2020)
In deze periode is het green screen belangrijk, maar werd minder dominant. Met betere camera-tracking en AI-ondersteunde beeldanalyse konden digitale elementen ook aan echte sets worden toegevoegd.

Huidige periode (2020-heden)
Generatieve AI: green screen verliest zijn centrale rol, want AI kan achtergronden, belichting en zelfs complete scènes automatisch genereren. Virtuele producties en text-to-video maken de omgeving volledig digitaal. Green screen is optioneel of overbodig, want AI creëert de scène zelf.
Het green screen verschuift dus van een noodzakelijke fysieke techniek naar een keuze, terwijl AI steeds meer de rol overneemt van het creëren, aanpassen en integreren van filmwerelden.

Heel veel plezier met ai!