Volumetrische video: Word zelf de regisseur van de eigen immersive videobeleving

Direct inpassen

Het realtime 3D datamodel van volumetric video valt direct in films, games en entertainment setting te plaatsen. Tevens gaan zij direct in 3D het web of netwerk op, de evenementruimte in of naar de Cloud, het mobieltje, socialmedia, games en virtuele werelden. Aldaar verdere integratie in de digitale VR/AR/VR-gebeurtenissen. Wat levert volumetric video nu in de praktijk op? Deze techniek verandert de wijze waarop cineasten hun verhaal vertellen, kijkers in interactie treden met de media en productieteams gaan werken. Al weer een belangrijke bijdrage voor realtime immersive video.

The next stage of video?

In 2019 trad superster Madonna bij de Billboard Music Awards op met meerdere versies van haarzelf. Een geslaagd staaltje van volumetrische videotechniek met fans die eigenlijk niet wisten wat zij zagen. Een president Zelenski die wereldwijd acte de préséance in de virtuele ruimte geeft of in een soort rondtoer het slagveld bezoekt. Overdonderende muziekclips die wel in een andere dimensie gemaakt lijkt te zijn. Bijvoorbeeld van Radiohead of Taylor Swift. Als fan kon je ook een selfie maken met volumetrische opnamen van bekende Koreaanse bands.

Sportevenementen waarbij de camera als het ware met de ogen van toeschouwers overal door het stadion rolt. Idem het virtueel in tracking 3D bijwonen van concerten en evenementen. Dit compleet met een groot aantal verschillende achtergronden met LED-schermen. Beleef mode alsof je het zelf aanhebt. Een stortvloed aan gelikte videocommercials dwarrelend door de 3D ruimten met allerlei spatiele objecten en metahumans. En realistische in elke denkbare spatiele scenery documentaires en spectaculaire cinematografie waar de limits in de creatieve 3D sky zitten. Is dit de next stage of video? In feite ja en het heet volumetric video en vindt al grotendeels plaats in de metaverse. Het kan ook in combinatie met oud bestaand materiaal. Zo werden de performers van Grease door Paramount in samenwerking met Intel in een nieuw volumetrisch jasje gestoken bij het brengen Dans en zang) van You’re The One That I Want.

Van alle kanten bekijken

Het bijzondere aan volumetric video is dat het doorgegeven 3D eindproduct niet een vast bekijkpunt of gezichtshoek heeft. De eindgebruiker heeft de vrijheid om het aangeboden driedimensionale videomateriaal naar believen van alle kanten te aanschouwen. En daar ook levensechte interactie mee aan te gaan. Dat geeft een hogere belevingswaarde en zelfs onderdompeling in de scene of virtuele wereld. Ideaal voor het zelf deel uitmaken van de video- of filmische ervaring, VR/AR/MR, sportwedstrijden, gaming en onderwijs of training.

En de 360 graden video dan? Die techniek maakt het weliswaar mogelijk om de gehele scene in 360 booggraden op te nemen maar de kijker zit vast aan een constante ingestelde diepte. Er is geen naar believen variërende dieptebeleving zoals volumetric video wel doet. Je wordt als het ware de regisseur van jouw videoscene of film en de daaraan gekoppelde immersive beleving.

Belangrijk is om te onderstrepen dat eenmaal opgenomen volumetrisch materiaal geen eindproduct is. Eerder een rijk gevuld immersive en interactief spatial 3D contentvat met steeds opnieuw te variëren en weer te geven AV-data. Vroeger moest je daarvoor meestal weer een andere array-opstelling maken. Nu is het echt “Wat in het volumetrische vat zit verzuurt niet” en kan je steeds weer vanuit andere gezichtspunten en interactieve benaderingen c.q. storytelling gebruiken.

Toepassingen en veranderingen

Inmiddels zijn er al verschillende toepassingen van volumetric video beschikbaar. Bijvoorbeeld 1 op 1 interactie met een favoriete sporter, acteur of entertainer in de eigen woonkamer. Of het trainen van werknemers, hoogwaardige klantenservice die interactief meekijkt wat het probleem is, diagnose op afstand (producten en medisch), adverteren (Metaverse-commercials), hologrammen en interne communicatie. Relatief nieuw zijn entertainmentparken, musea, games en tv-shows. Toppers zijn muziekclips, korte featurefilms, sporttraining & analyse, choreografische cinematografie en interactief onderwijs.

In geval van filmproductie maakt volumetric video het mogelijk om eenmaal opgenomen materiaal op allerlei manieren te bewerken. We noemen verschillende camerahoeken, het aanpassen van diepte en afstand, het veranderen van lichtval/belichting, framing en camerabewegingen. Een geheel nieuwe dimensie voor de postproduction.

Concerten en evenementen bereiken qua sensatie van het realtime realistisch bijwonen grote hoogten. Je kunt thuis elke denkbare positie van toehoorder/bezoeker/deelnemer innemen. Hetzelfde geldt voor attracties in entertainmentparken en geavanceerde game- of e-sport-settings.

Ook de cloud laat zich niet onbetuigd. Volumetric streaming is al gemeengoed geworden. Studio’s voor het opnemen van volumetric video schieten wereldwijd als paddenstoelen uit de grond. Tevens mobiele varianten. Het aldaar geproduceerde materiaal kan in de Cloud worden samengevoegd, geedit en bewerkt in postproduction. Volumetric teamwerk in optima forma.

Kijker-interactie

Volumetric video verandert de interactie van de kijkers met de media ingrijpend. De grenzen tussen de reële en virtuele wereld vervagen. Je zit er als het ware echt in. Dat heeft weer gevolgen op de wijze hoe cinematografen hun verhalen gaan vertellen. Meer verrijkend, diepgaand en pakkend in de VR/AR/MR-ruimte. Bovendien kan je het eenmaal opgenomen volumetrisch AV-materiaal voor meerdere doeleinden gebruiken. Flexibel te presenteren in andere settings en voor verschillende audiences. In Nederland gingen onder andere Ziggo en  Vodafone er al mee aan de slag. Daar bleek dat volumetric video relatief makkelijk schaalbaar is. K3 presenteerde Dance of the Pharao in volumetric video. Levende mensen en metahumans mensen/acteurs kunnen gewoon in de 3D interactieve scene wereld van volumetric video participeren. Choreografie samenvoegen met de motion tracking al of niet in combinatie met een exoskelet.

Hologrammen in combinatie met volumetric video vormen een grote groeimarkt. Een sporter, politicus, popster of docent net echt voor jouw neus. Je kunt er mee praten of debatteren, volgen, zingen, dansen, koken, sporten, mee acteren in een film, theater of shows, schilderen met de meester zelf en op tal van andere wijzen mee interacteren. Weg met de avatar, leven het hologram. Een ander veranderpunt vormt het snelgroeiende aanbod van volumetrische software om aan de slag te gaan met 3D-content en IR-dieptemeting. Niet eens echt duur en geschikt voor een grote diversiteit aan onderwerpen en toepassingen. Voor iedereen bereikbaar en zelfs te doen op het mobieltje.

Techniek

In het verleden moesten producenten van onderdompelende engagerende video 2D materiaal integreren in een Virtual of Augmented Reality-omgeving. Dat blijft behelpen en is niet het ware onderdompelende en engagerende ding. Bij volumetric video is het allemaal real 3D met dieptesensatie en directe interacterende experience. De bijbehorende dieptemetingen om straks de 3D ruimte te kunnen construeren gaan via infrarood-metingen. Die vormen een compleet spatial puntenmodel voor de beeld- en geluidsreferenties. Diepte metende IR-technologie wordt zo ingezet voor het opdoen van geheel nieuwe onderdompelende ervaringen in de metaverse. De achterliggende techniek is opgebouwd uit:

• Hoogwaardige uniforme camera’s in een rig-bevestiging rondom het onderwerp. Die nemen het doelwit uit alle mogelijke richtingen op. Er zijn drie cameratypen in gebruik: 360 graden,

lichtveld en LIDAR. De ondersteuning voor het bepalen van diepte en afstanden verloopt via IR-tracking-camera’s of sensoren. In de productie-praktijk zet men IR-laserstralen in waarvan de reflectie/terugkaatsing naar registrerende camera’s gaat die daar een digitaal 3D puntenmodel van genereren. Het heet LIDAR (een acroniem voor laser imaging, detection and ranging). Je vindt LIDAR tegenwoordig ook al in de iPhone 12, 13 en 14. Voor wie eens in het veld met volumetric shots aan de slag wil. Als cameravoorbeeld de Canon Volumetric Studio in Tokio met 100 dedicated 4K camera’s. Microsoft is met partners eveneens heel actief met volumetrische (camera-)studio’s. Onder andere de Mixed Reality Capture studio in San Francisco, de Metastage in Los Angeles en Dimension in Londen. Ook in Eindhoven is er een grote Nederlandse volumetrische studio.

• Elke output van de afzonderlijke camera’s wordt exact gesynchroniseerd en bewerkt tot een 3D mesh (=het samengestelde beeld).
• Deze 3D mesh gaat naar de export voor virtuele omgevingen, games en uitzending op social media tv-kanalen.

De benodigde setup van de rig voor de productie betreft in het algemeen: Minimaal drie camera’s per opnamesectie van 15 graden. In de praktijk zijn meer dan 100 opgestelde camera’s mogelijk. Elk onderwerp dient in focus van de camera te staan. Anders komen er straks interactieve sensatiemissers. Dat betekent ook geen gebruik van autofocus. Een global shutter heeft de voorkeur om vertekeningen en het achter de actie aanlopen te voorkomen. Fisheye-objectieven zijn niet bruikbaar. Aanvullend zijn de cameraspecificaties en instelling(en). Je stelt niet zomaar wat budgetcamera’s in de array op om op kosten te besparen. Hoe hoger de beeldkwaliteit van de toegepaste camera’s des te beter de resultaten. De resolutie, (dezelfde) kleurweergave, contrast, dynamisch bereik en helderheid maken echt het verschil! N.B. In videofilmpjes zie dat volumetric video ook met een iPhone kan, die heeft immers eveneens IR-dieptemeting. Leuk voor een clipje of zo maar niet echt geschikt voor evenementen en hoog cinematografisch productieniveau.

Gebruik in ieder geval dezelfde brandpuntsafstand bij de objectieven en geen autofocus. Een zich verstellende AF verstoort de beleving en onderdompeling. Bij de instellingen in ieder geval dezelfde file start- en stoptijden gesynchroniseerd over de gehele sequence. Bij de verlichting zoveel mogelijk egaal. Diffuus, vlak en geen hotspots of spotlights zijn een must. Hoe interessanter en gevarieerder de achtergrond des te beter. Geen solide blauw of groen in beeld.

Dan het onderwerp in kwestie, met name personen. Vermijdt schitteren en glanzen. Juwelen, brillen, glanzende kleding en haar kunnen een storende factor zijn. Aandacht voor het meenemen van de top en achterkant van het hoofd, de oren, voeten en de torso meten allemaal natuurlijk en scherp in beeld komen. Zoals te verwachten is er bij volumetric video een grote rol weggelegd voor kunstmatige intelligentie (AI) en deep learning. Die nemen niet alleen veel productiewerk (het genereren van omgevingen, tracking en timing) uit handen maar leren ook hoe optimaal met het publiek immersive te interacteren.

Ook zelf maken

Pak een mobieltje met IR-dieptecamera plus een volumetrische app en je kunt ook zelf aan de slag. Een smaakmakertje is alvast de app 4DViews. Je kunt drie filmpjes eerst gewoon in de virtual Reality afspelen (Knop VR). Daarna op Augmented Reality (AR) drukken. De app vraagt dan waar de volumetrische videoclip in de ruimte geplaats moet worden. De professionele tak van deze software hete Holosys.

De Volu iPhone app maakt het mogelijk om zelf volumetrische 3D-opnamen te maken. Weliswaar vrij rudimentair doch het oogt allemaal best aardig. Apple gaat volumetrische video ook in haar computers bouwen. Een andere startup is die van Holex.

Beschik je over meerdere camera’s koop dan volumetrische software en volg de bij de techniek besproken aanbevelingen. Arcturus heeft drie interessante softwareproducten. Met Holostream heb je een relatief hoge kwaliteit adaptieve volumetrische streaming oplossing voor het world wide web mobieltje, desktop en headset. De gebruiker kan zich hiermee vloeiend in de virtuele ruimte ronddraaien (dus geen schokkerige beelden meer). De bitrate past zich aan voor de beschikbare netwerkcapaciteit van glasvezel, 5G en LTE. Tevens geschikt voor 6DOF gameplatforms. HoleEdit biedt een complete NLE montageomgeving voor volumetrische video. En De Holosuite is de ontwerpfabriek.