Virtueel videofilms maken: Van post- naar preproductie op de filmset

Menig serie of film in de bioscoop of van de kabelprovider werd al virtueel geproduceerd. Dat heeft grote voordelen voor de makers. Studio’s zijn om te toveren in een fotorealistische werkelijkheid met realtime interactie met de aanwezige acteurs. Je bouwt zo een sfeervolle filmische omgeving die niet van echt te onderscheiden valt. De creatieve sky is the limit en de kosten dalen met 40-60%. Momenteel komt circa 40% van alle producties al uit VP.

Geen groene schermen meer

Geen groene achtergrondschermen meer maar nu hoogwaardige LED-screens die de belichting, het kleurkaraker, lichtval, het jaargetijde, zonnestand en geanimeerde beweging net zo weergeven dat het echt lijkt. Behalve gewoon natuurlijke landschappen ook Virtual, Augmented, Mixed en Extended Realiteit. Heel geschikt voor sciencefiction, historische drama’s, gaming & entertainment, flitsende spelshows, sportproducties, evenementen, muziekuitvoeringen, theater, musea en keynotes.

Er zijn nu geen (verre) reizen, dure fysieke aankleding en ingewikkelde opstellingen meer nodig. Alles rolt uit de virtuele studio. Bovendien kan je met een studio tal van opnamesettings bedienen. Een kwestie van even een andere VR-programma op de computer starten. Zulks scheelt de producenten veel geld en tijd. Een bijkomend voordeel is dat anders te dure creatieve producties nu wel rendabel worden.

De zes grote trends in VP

Er zijn zes grote trends in virtual production. Als eerste de raytracing. Aanvankelijk een techniek bij games en graphics om een heel realistische verlichting, reflecties en schaduwen te generen waardoor de kwaliteit van virtuele omgevingen sterk vergroot wordt. Dat vergde allemaal flinke rekencapaciteit met GPU’s (= grafische processoren) en grafische kaarten tot zware workstations aan toe. In de praktijk wat minder praktisch voor video- en film.

Nieuwe System on a Chip-systemen (SOCs) brengen de benodigde processorkracht in een enkele processorconfiguratie onder. Zie bijvoorbeeld de Apple M3 Max of Ultra SOC. Die voorziet bij een compacte desktopcomputer in hoogwaardige Raytracing en Dynamic Caching. Dat maakt deze technieken toegankelijk voor het grote publiek en kleinere productiestudio’s.

Trend 2 betreft de grootschalige toepassing van Virtual en Augmented Reality plus de gemengde variant Mixed Reality. VR, AR en MR integreren naadloos en realtime in de productionflows van de video-, game-, event- en entertainment-producers. Het bouwen en stroomlijnen van virtuele omgevingen is inmiddels al dagelijkse praktijk geworden. Wat nieuwer is het verbeteren van het teamwerk van creatieve individuen in een virtueel gecreëerde werkomgeving. Dat zowel in lokale netwerken en het WWW als in de Cloud. Storytelling is al volop bezig om VR, AR en MR te omarmen.

De derde trend is de immense klapper van de generatieve AI. Dat generatieve slaat op het kunstmatig intelligent scheppen van VR/AR/MR-scenes, het schrijven van de story’s, het maken van texturen, animaties, verbluffende special effects, spraak/voices, zang, muziekcomposities en soundscapes. Content genereren vanaf de textprompt op de computer van de creatieve producer. In een aantal gevallen doet de generatieve AI met neurale machine lerende netwerken de VP dit al grotendeels zelf.

Wereldwijde realtime samenwerking vormt de vierde trend. Er was natuurlijk al langer sprake van online groupwork met realtime productieteams op het World Wide Web en in the Cloud. Menig NLE- of editingsuite-pakket voorzag hier al in. Recentelijk is deze productie-omgeving getransformeerd tot highend VP tot in alle hoeken van de wereld. Bliksemsnel, goedkoper, creatiever en veelzijdiger dan voorheen. En mede ondersteund door AI en VR/AR/MR. Allerlei soorten creatievelingen, AV-engineers en wereldwijde talenten kunnen daar zo aan deelnemen.

Trend 5 is dat VP cross-medium gaat. Dat wil zeggen een vergaande integrale van virtuele productie net andere bestaande entertainmentmedia. Zulks biedt het publiek meer meeslepende en samenhangende verhalen op verschillende platforms. Future Trends in Virtual Production zullen de grenzen tussen film, gaming en andere vormen van entertainment slechten.

Als laatste en zesde trend de professionalisering van de LED-screens. Van verlichte pixelbronnen tot fotorealistische beeld-panelen met een realtime schaduwval, slimme kleur-, lichtkarakters- en seizoens-aanpassingen etc. In feite een kunstmatig intelligente lichtbron die een deel van de postproductie al op de set voor zijn rekening neemt.

LED Volumes

Bij de oude klassieke green screen-techniek stond de presentator of acteur in een met groene achtergronden beklede ruimte zijn of haar ding te doen. Er was geen directe interactie met de lege omgevingen. De achtergronden werden later pas toegevoegd.

Bij de zogenaamde LED Volumes is dat geheel anders. De mens bivakkeert tussen de hem of haar totaal omringende LED-schermen die direct realtime beeld laten zien. Een presentator, acteur, kijker/publiek  of ander persoon kan nu direct interacteren met beelden die deze individuen op de voet volgen. Dit zowel qua beweging als belichting en schaduwval. Ook zijn er geen storende kleurrandjes of verschillen in tint zichtbaar. Het blote oog ziet geen verschillen meer tussen echt fysiek en VR/AR of MR. De bouw van een LED Volume is die van grote wrap-around omgeving bestaande uit gekromde LED-panelen. De belangrijkste LED-panelen zijn van de hoogste HIRES-kwaliteit. Exemplaren met een lagere resolutie (minder pixels) zijn inzetbaar aan het plafond of in de achtergrond.

The Future of Film and Television Production – Entertainment Partners

In de eerste instantie zijn LED Volumes in gebruik voor single camera shoots bij film/cinema, episodic drama en commercials. In niet al te grote sets met meerdere personen of kleinere tv-panels gaan eveneens goed. Door AI ondersteunde LED-volumes zijn behoorlijk slim. Niet alleen de camera tracking en realtime rendering zijn tot in de puntjes onder controle maar ook het perspectief en de backdrop parallax. De belichting valt in een oogwenk te wijzigen.

Live LED-wal in camera

Een andere belangrijke ontwikkeling vormt de live LED-wall in virtuele cameraproductie. De opnemende camera’s pakken alle fysieke en door de achtergronden geproduceerde beelden samen in een AV- formaat en output. De camera draagt verder zelf nog bij in de nauwkeurige tracking.

Er is dan geen sprake meer van postproduction op een NLE-computers, effectmixer of in de Cloud. Het eindproduct kan direct online, op een  IP-netwerk of naar cloud-distributie. Voor wie met VP LED-production wil beginnen is dit een goede blog: www.roevisual.com/en/knowledge-and-support/starting-with-virtual-production.

Nvidia Omniverse RTX

De XR stage

Onder XR verstaan we uitgebreide werkelijkheid. In de praktijk een combinatie van VR, AR en MR. Bij een podium (stage) bouwt de producer een podium met XR uitbreiding in software, hardware en LED-screens. De X van extended slaat eveneens op het feit dat deze vorm van VP de gehele ruimte en omgeving er bij betrekt. Veelal zijn er mede virtuele game computersystemen betrokken bij het genereren van de achtergronden, objecten en (tracking)animaties. Een andere reden om voor XR te kiezen is het grote aantal realistische interactiemogelijkheden. Deze dynamisch en zowel VR als fysiek.

Net als bij de LED Volumes bestaat de XR-studio uit een ruimte (volume) of een soort scenegrot. De wanden zijn bekleed met LED-tegels. Omdat het een stage betreft is deze vorm ontwikkeld voor actie op het podium zelf. Zoals bij evenementen, muziekoptredens en andere performances. Er zijn settings waarbij de optredende zanger of band zich zelf en het publiek op de schermen kan terugzien. Dit aangevuld met VR-objecten en effecten. Aparte toepassingen zijn die bij keynotes en als lichtkunst in nachtclubs.

‘1899’(Netflix)

Een aantal hoge scholen, zoals bijvoorbeeld die in Breda, hebben XR-stages om hun studenten kennis te laten maken met deze mediavorm. Bedrijven zoals Roe Visual bieden LED-panel XR-stages in elk denkbare vorm en maat. Bijvoorbeeld een opbouw in U-vorm met in de achtergrond de levendige en natuurgetrouwe  LED-panels en op de vloer panelen die naar keuze een fraaie hoogglans glas, mat of  spiegelwerking om de voeten geven.

Zonder software geen virtuele productie

De bijpassende software is onmisbaar voor het virtueel videofilms maken. Er zijn drie taakvelden. Hiervoor kwam het creatief creëren van de achtergronden en filmset-omgeving al ter sprake. De grafische software berekent de virtuele, augmented, gemixte en extended beelden. Dit inclusief beweging en tracking plus de juiste schaduw- en lichtval. Ook de speciale effecten neemt de software voor haar rekening. Je kunt als het ware fotorealistische omgevingen compleet met geluid (de soundscape) bestellen.

Generatieve kunstmatige intelligentie (AI) speelt en belangrijke rol. Dit zowel bij de creatieve vormgeving, het animeren en tracking als het schrijven van scripts.

Universal Pictures’ First Man

Een tweede belangrijke taak is het ondersteunen van de montage (editen). Dit gaat doorgaans geheel realtime inclusief het aanbrengen van de speciale effecten (VFX). De filmmaker kan de software tevens opdrachten geven voor het verspreiden van de films, verschillende versies uitbrengen en het gebruik van meerdere talen. Video on Demand en precies op maat van de gebruiker.

De derde taak betreft het stroomlijnen van de werkprocessen (flows), het samen werken (collaborate) met meerdere creatievelingen aan een project. Het editen en nabewerken vindt steeds meer plaats in de Cloud. Zo kunnen van overal ter wereld mensen de videoproductie beoordelen en nader bewerken.

© cartoonbrew.com

Software voorbeelden

Voor de startende VP-er is er de ScenForge Studio die zoals de naam al aangeeft relatief eenvoudig, snel plus in een hoge kwaliteit immersive environments schept. De sterke punten zijn een gebruiksvriendelijk drag-and-drop interface, ook ondersteuning van AR en crossplatform compatibiliteit. De meegeleverde bibliotheek is ruim voorzien met textures (= bekledende weefsellagen), modellen en audiobestanden. Bij de duurdere Pro-versies is Frame.io geïntegreerd. Een van de meest gebruikte VP-platforms in deze is de Unreal Engine. Deze suite munt uit in het creëren van onderdompelende (immersive) virtuele omgevingen en karakteranimaties. Het gaat om een node-based workflow, een uitgebreide bibliotheek met assets, een breed gevarieerd aanbod van animatietools, een geïntegreerde tijdlijn en compatibiliteit met een groot aantal plug-ins.

Unity richt zich vooral op community based VP-platforms. De 3D-modelling pakt magnifiek uit bij het genereren van landschappen, characters en fysieke simulaties. Dit alles met een fraaie realistische diepte en perspectief. Het gebruikersinterface voorziet tevens in scripting. Unity is in gebruik bij een breed aantal communitys van creatieve ontwerpers.

Houdini

Houdini doet de naam en faam van de bekende illusionist eer aan. Dit in de moderne VP-vorm voor node-based production. Heel sterk is deze VP-suite is het vastleggen de dynamische details die van groot belang zijn voor het genereren van een fotorealistische virtuele omgeving. Zo zijn bijvoorbeeld vloeistofbewegingen gemaakt met de on board dynamic engines uit de kunst. Verder noemen wij de HSscriptcoding, de spetterende particle engine en geïntegreerde rendering en lighting gereedschappen.

Loud Music Entertainment

Notch levert AR, VR, XR en MR over her gehele spectrum van virtuele technieken. Dit van het groene scherm tot LED-achtergronden en complete LED-podia. Verweef jouw verhalen met geavanceerde VR-beelden en -animaties. Notch integreert realtime met de gangbare  standaarden voor software en hardware bij de VP. Verder noemen we live netwerkbewerking vanaf locatie, koppeling aan het cameravolgsysteem, keyer met realtime schaduwen plus een grading toolkit en volledige scherm controle.

Frame.io maakt tegenwoordig al deel uit van editingsuites zoals Adobe Premiere, Apple Final Cut Pro en Blackmagic Davinci Resolve. Met dit programma kan de videomaker  gemaakte filmpjes online zetten. Anderen beoordelen of bewerken dit materiaal dan in de Cloud. Je kunt daar ook op de frames schrijven of opmerkingen aanbrengen. Echt eens uitproberen. Handig als de videoclub even geen avond heeft en je toch feedback wilt.

Ook voor thuis?

Voor een deel kan je thuis al van VP genieten. De professioneel gemaakte producties komen zo van de kabelaar of netprovider binnen. Netflix, Disney, Apple TV, HBO en Amazon Prime. In een aantal gevallen kan je daar zelf ook interactief aan deelnemen of de plot bepalen. Online in de Cloud editen met vrienden of een teamgroep kan iedereen met een geschikt NLE-pakket en/of Frame.io.

Voor de geavanceerdere montagesoftware zijn plug-in virtuele studio’s gewoon leverbaar. Je schaft een virtuele template aan en plaatst daarin het videomateriaal. Maak zo zelf jouw nieuws-, sport, panel- of muziekstudio. Fotorealistische LED Volumes zijn nog aan de prijs om zelf aan te schaffen. Dergelijke studio’s zijn echter ook te huur of beschikbaar via onderwijsinstellingen. De prijs van slimme hoogwaardige LED-panelen zal in de tijd gaan dalen. De benodigde computerkracht is gewoon te koop. Bijvoorbeeld in de vorm van een redelijke geprijsde Ma Studio M2Max.

En in het smart home? Bedekking van de homecinema of gameroom ligt in het verschiet. Behalve panelen komen er straks ook beeldfolies beschikbaar. De ultieme beleving van VR/AR/MR/XR thuis…