Virtual-, Augmented- en Mixed Reality rukken op bij tv, bioscoop, evenementen en pretparken. Van op de tv met The Voice, DanceSing, het Bevrijdingsjournaal, het Eurosongfestival, het interactieve Jeugdjournaal, sportuitzendingen en leerzame (3D) documentaires tot Marco Borsato in De Kuip, een hologram van een overleden artiest on stage en de e-cinema.
Het stadium van alleen virtuele grafische 2D of 3D decors is al lang gepasseerd. Het gaat nu om echt onderdompelende en interactieve realistische ervaringen bij toeschouwers/aanwezigen en een geheel nieuwe vorm van storytelling. Een evolutionaire technische productiesprong vooruit bij immersive video en live entertainment. Thuis wordt de aansprekende tv-show opnieuw uitgevonden.
Holodeck
De SF-serie StarTrek kende al een zogenaamd Holodeck. Een ervaringsruimte waarbij de menselijke aanwezigen heel realistisch konden interacteren met door de computer gegenereerde personen, objecten, ruimten en achtergronden. Gewoon net echt en een sublieme ervaring om zowel jezelf te vermaken als van te leren. Inmiddels is dit Holodeck al voor een belangrijk deel geen Science Fiction meer. VR, AR en MR scheppen een live interactive stage, tv-studio en showruimte. Het begon allemaal met grafisch gegenereerde decors en het green screen, de virtuele studio.
Met de komst van snelle interactive graphic rendering, persoonlijke (movement) tracking van de deelnemers, Big Visual Data analyserende software en kunstmatige intelligentie die de reacties op de voet volgt en voorspelt ontstaat er een compleet nieuwe immersive studio/stage. En doet nu ook projectionmapping, het projecteren van grafische lagen, op allerlei objecten en surfaces, zowel creatief filmisch als kunstobject, zijn intrede. Wat de social media betreft wordt er al gesproken van de iMax-beleving in je broek- of borstzak.
Er ontstaat een compleet nieuwe AV-wereld van beleven, ervaren, motiverend engagement en storytelling door de kijkers/deelnemers zelf. Meer invloed op het vrij je verhaal kunnen vertellen in plaats van louter interactie met de software & computer is echt van wezenlijk belang bij de ware beleving en onderdompeling in de VR/AR/MR-video of -film. En dat kan nu ook gewoon thuis in de eigen homecinema of op het flat-screen in de huiskamer.
Virtual Reality
De virtuele werkelijkheid is per definitie puur grafisch realisme gerenderd door ontwerp- en animatiesoftware. Een computer en/of speciale grafische processoreenheid (de GPU) rekent het allemaal realtime en vloeiend uit voor de weergave op beeldschermen en in de ruimte. Virtueel betekent dat de werkelijkheid in feite niet in het echt bestaat maar uit realistische computerbeelden opgetekend wordt. De gaming-industrie is daar een prima voorbeeld van. Ook de geprojecteerde grafische aankleding van (in feite) geheel lege tv-caststudio’s via schermprojectie, green-screens en projectionmapping zijn een dagelijks fenomeen. Heel flexibel (je kunt met één studio vele programma’s bedienen), snel op te zetten en voordelig.
Aanvankelijk was VR voornamelijk 2D en eenvoudig 3D. Het (live) grafisch bekleden of invullen van oppervlaktes/schermen. In feite decors en later ook holografische personen en objecten invoegen. Het geheel onderdompelen in VR kreeg een belangrijke boost door 360 graden opnamen en de komst van de goed werkende speciale VR-brillen. Sensoren voor beweging & tracking, gelaatsexpressies en geluid brachten het interactief kunnen reageren van de VR-omgeving op de aanwezigen.
Andere belangrijke ontwikkelingsfactoren zijn de hoge huidige 4K-resolutie (geen storende pixelarisatie meer) en de echt persoonlijke deelname met hi-res VR/AR-glasses zoals de Ocules Rift en Microsoft Hololens. Een fraai kunststukje van VR-interactie & storytelling is Meeting Rembrandt van wemakevr.
De greenstudio
Keying behoort tot de oudste toepassingen van VR. Van de weerman en het breaking news tot talkshows, quizzen, sportprogramma’s en talentenjachten. Het klassieke groene scherm werd vervangen door een complete greenstudio waarbij de gehele (decor en acting) omgeving met behulp van VR grafisch realtime wordt aangekleed.
In Nederland en het Mediapark in Hilversum is NEP trendsetter en marktleider bij AR en opnamen in de groene studio. De groene wand in Studio 4 meet liefst 25 meter breed. Vanwege de afmetingen ook wel de ‘Hulk’ genoemd. NEP verlaagt hiermee de drempel om virtuele decors in te zetten voor kortlopende producties. Dit inclusief grafische aanvulling zoals sportuitslagen, statistieken en infographics. Onder andere toegepast bij Ziggo Sports Formule 1.
De creatieve mogelijkheden kennen bij zowel VR als AR vrijwel geen grenzen. Je kunt ook meerdere kleine greenstudio’s naast elkaar arrengeren waarbij de opeenvolgende programma’s naadloos van het ene op het daarna volgende overschakelen.
Overigens kan de videoamateur dit ook thuis. Diverse montagepakketten bieden een keying-optie voor personen geschoten groene achtergronden. En je kunt voorgeprogrammeerde grafische frames kopen waarin je beelden kunt plaatsen. Bijvoorbeeld bij Pixelfilm Studio’s plug-ins voor FinalCut Pro.
Volumetric video capture studio
In Eindhoven, Poppodium Effenaar, staat de zogenaamde volumetric video capture studio (VVCS). Dit type VR-studio is speciaal ontworpen om echte interactie-opnamen te kunnen schieten. Normaliter kan de kijker zelf wel het perspectief en de (be)kijkrichting aanpassen doch is er weinig interactie. Je moet dan zelf maar je story of belevingsreis uit de aangeboden content samenstellen.
De VVCS verschaft de toeschouwer/deelnemer een eigen actieve rol in de tv-show, game, op de eventstage of filmische beleving door hen te volgen en te laten interacteren met andere personen en objecten. Zo ontstaat in samenwerking met de ontwerpers en acties van de aanwezigen een onderhoudende interactieve immersive story. Je neemt rechtstreeks echt interactieve 3D motionvideomateriaal op.
Augmented Reality
Augmented Reality, het combineren van echt bestaande (dus niet alleen grafisch door de computer gegenereerde) beelden met de toeschouwers, presentatoren, geïnterviewden en acteurs overvleugelt langzaam maar zeker de VR. Een van de belangrijkste redenen hiervoor is de pakkende onderdompelende storytelling. Het gaat immers om levensechte verhaalbeleving in combinatie met beelden uit de echte werkelijkheid. Met andere woorden: AR voorziet de tv/filmmaker van een extra niveau van vrijheid voor complexe storytelling als een compleet pakkende visualisatie waarbij de presentator de verhaallijn stuurt.
Buiten broadcast was AR al heel succesvol met bijvoorbeeld Pokémon (bracht circa 1 miljard euro op in 2018). En webwinkels plaatsen de eventueel aan te schaffen spulletjes al heel realistisch in het huis. Kan je meteen zien hoe het staat, functioneert en eromheen lopen.
AR houdt het menselijk brein bij de les. De aandachtspanne bedraagt vaak nog geen acht seconden. Biedt binnen deze tijd een nieuwe verassende input aan en men kijkt door. Verpak cijfers, statistieken, uitslagen en voorspelling in geanimeerde AR/VR-graphics. Stuur op emoties (een oude omroepwijsheid) door het lezen daarvan (AI) en anticiperen bij het opwekken daarvan. Dat maakt de tv-show weer helemaal bij de tijd!
Voorbeelden AR bij tv-shows
Inmiddels zijn er een aardig aantal voorbeelden van AR bij tv. De Deense tv ontwierp voor de Tour de France een AR-tafel waarmee de kijkers de ontwikkelingen en acties van de wielrenners inspirerend uitgelegd door de commentatoren konden volgen. Meekijken in de storm of in de tornado en de presentatrice zit bij de overstroming tijdens de weeruitzending. F1-racen als Max Verstappen met de auto’s voor je neus en actief meekijken bij de pitstops.
Stype bracht de zinderende sensatie van een bokswedstrijd midden in de huiskamer. Neem echt deel aan verkiezingsdebatten en hoor het ingenomen partijstandpunt (persoonlijk) uit de mond van de politici. Bezoek interessante gebouwen en musea of vakantiebestemmingen samen met de documentairemakers. Proef de sfeer, ervaar de ruimte en collectie, geniet van het vakantieparadijs als voorpret en stel vragen middenin de uitzending.
Het songfestival 2019 bracht ook al fraaie staaltje van AR bijvoorbeeld tijdens het optreden van Kate Miller-Heidke met Zero Gravity. Dat belooft wat voor Nederland in 2020. On stage zie de toch al effect minnende heavymetal-bands aan de slag gaan met VR, AR en MR.
Mixed Reality
De derde digitale realiteit van de immersive studio is de Mixed Reality. Het gaat hierbij om een combinatie van live met augmented en virtuele content. MR is veel minder bekend dan AR en VR doch daar gaat verandering in komen. Visionairs en techjournalisten zien MR-brillen (Head Up Displays of HUDs) en opspeldbare AR/MR-communicatie-apparaatjes zelfs als de toekomstige vervanger van de smart-phone. Op de keper beschouwd brengt MR de gehele immersive omgeving digitaal in kaart en laat de aanwezige (live) reallife, augmented en virtual componenten levensecht met elkaar interacteren. Een data-intensief proces waarbij het MR-systeem continu de omgeving scant op gebeurtenissen en acties, de aanwezige objecten interactief een plaats op de gemaakte digitale kaart geeft en deze aldus in de echte wereld verankert. Zo krijg je inderdaad een soortement van Holodeck-ervaring zoals bij StarTrek.
In de eerste instantie is MR nog een zaak van de daartoe capabele headsets zoals de MS Hololens, de HP MR-headset en die van Magic Leap. Binnenkort ook te verankeren in flatscreen, de e-cinema en entertainment(stages). Bij tv en home entertainment is MR in staat om de eigen woonkamer of andere leefruimte naadloos te integreren in de immersive broadcast, filmsetting of gamesituatie. Alles wordt echt (ervaren) werkelijkheid. Kogels slaan nu heel realistisch in bij jou op de muur of bankstel. Auto’s razen door de kamer en straaljagers of drones over het hoofd. Je doet realistisch mee aan achtervolgingen en uitbarstende calamiteiten.
Maak zelf ook deel uit van talentenshows en discussieprogramma’s. Ga zelf mee op onderzoek en ontmasker de echt menselijke dader in krimi’s. En als relevante spin-off het inzetten van avatars als een realtime grafische en handelingsbekwame spelpersoon ingezet door de speler op afstand. Deze avatar beschikt over dezelfde persoonlijkheid, karakterrekken en vaardigheden als de deelnemer op afstand.
3D hologrammen van acteurs, echte personen en overleden artiesten zijn al min of meer ingeburgerd. De inzet van robots, nog mechanisch ogende of al androïden, vindt nog sporadisch plaats. Inmiddels zijn er al diverse experimenten met robotzangers, musici, toneelacteurs, stuntmannen en trainingsopponenten gaande.
De eerste MR-tv-show Lost in Time stamt al uit 2017. Pionier SLIVERtv gebruikt Windows Mixed Reality voor 360 graden onderdompelende deelname aan sportevenementen. Je kijkt daarbij niet alleen in 360 graden om je heen maar staat ook zelf midden in de actie.
Tracking
Een onmisbare factor bij het creëren van een realistische beleving vormt het volgen (tracking) van bewegende objecten en actie. De aanwezige beweging dient exact te kloppen met de te verwachten interactie vanuit en met de omgeving. Anders maken personen en objecten niet echt deel uit van de immersive omgeving.
Zo is alleen wat verkennend rondlopen in een VR- of AR-omgeving al gauw saai. Het wordt al spannender als je deuren naar andere ruimten kunt openen, in laden of kisten mag snuffelen, een boek uit de bibliotheek kan pakken, of verborgen ruimten ontdekken. De echte ervaring van de werkelijkheid ontstaat echter pas als je kunt praten en meebewegen met de aanwezige personen, zelf een balletje kunt wegtrappen, over een rotsblok springt of in het water plonst en kogels, zwaarden of voertuigen handig ontwijkt. Allemaal echt en niet een beetje echt.
Dit volgen, de VR/AR/MR-tracking, gebeurt door daartoe geschikte camera’s en/of beeldsensoren. Deze registreren de beweging en geven dit moment door aan het desbetreffende realitysysteem. De software interpreteert de waargenomen activiteiten en geeft daar meteen een realtimerespons op. Bijvoorbeeld het aansturen van virtuele objecten of AR-beelden en het aansturen van camerakraanarmen en rijdende opstellingen.
Behalve cameratracking gebruiken VR, AR en MR ook andere sensorische inputs. We noemen touchscreens, besturing met gebaren (gesture control) of de stem en lichaamgebonden-trackers.
Belevings-tv in Nederland
Vanaf 2010 zijn er in Nederland al experimenten en meer uitgewerkte versies van VR, AR en later ook MR op de TV te zien. Het begon met het weer, nieuws, sportuitslagen, interactieve documentaires en showprogramma’s. De NOS zette bij Over de doden 2012 al AR in om de overleden personen een eigen dimensie te geven. De grote doorbraken qua aankleding kwamen met de entertainmentshows zoals The Voice en DanceSing plus recentelijk het Songfestival. Daarnaast ook tv-series die je als kijker thuis nog verder kon uitdiepen. Bijvoorbeeld Project Orpheus van de VPRO.
Recent is het Bevrijdingsjournaal juni 1944. Geen leuk toneelstukje of gimmick maar juist een doordachte vorm van realistische storytelling over D-day. De presentatoren zijn er zelf bij. Staan op Omaha Beach, kruipen in de huid van zowel historische kopstukken als de gewone burger. Authentieke oorlogsbeelden (video en foto), grafische decors met en de opstelling op de slagvelden.
Bewust staan de presentatoren in hun normale 21ste eeuw kledij en praten niet met een Polygoon-stem. Dat schept de sensatie van de mix van het Nu met het Verleden. Vooral de historische accenten van de gekozen de historisch correcte storytelling hadden een belevend effect. Nieuwslezer Martijn Binks legt in Calais uit hoe de Duitsers zich vergissen over de plaats van de invasie. Er zijn nepopstellingen van tanks en vliegtuigen met demonstatie van de bedrieglijk echt lijkende props in Engeland te zien waar hun bevelhebbers intrappen.
Presentator Herman van der Zandt laat via een gesprek met een deskundige, graphics en historische beelden treffend zien dat het op het Oostfront niet zo best gaat. Code Rood voor de Duitsers geeft de juiste associatie. Een verslaggever in Berlijn peilt de stemming bij de Duitse Bevolking. En weervrouw Willemijn Hoebert doet de weersverwachting, maanstand en getij voor de invasielanding.
De NOS biedt kinderen bij het Jeugdjournaal een AR-app waarmee je op de wereldbol de plaats van het nieuws, documentaire of sport kunt bekijken. Augmented Reality plaatst via het icoontje de wereldbol in de ruimte waar het gebeurt.
Marco Borsato in De Kuip
Een treffend voorbeeld van AR in een grote publieksshow was het optreden van Marco Borsato in De Kuip, letterlijk in vuur en vlam. Een combinatie van Visuele poëzie en Augmented Reality. De Augmented Reality beelden werden gemixt met de lineaire content van de grote achterwand LED. Op een canvas van 85 meter breed en 15 meter hoog zagen de toeschouwers tijdens vier songs zichzelf in een virtuele grote spiegel genietend van het concert omringd door het virtuele vuur, planeten, UFO’s of duizenden lampjes. Een miljoen vogels vlogen over, de atmosfeer en dag en dacht pasten zich heel realistisch aan bij de songsettings.
Tijdens de openingssequentie wandelt een virtuele Marco Borsato over de dakrand van de Kuip en stage-divet dan naar het podium! En bij het Ik leef niet meer voor jou sloegen er vlammen over de dakrand en werd het hele stadion in virtuele lichterlaaie gezet!
Welke beeldschermen?
In principe zijn in VR/AR/MR geschoten beelden gewoon op een moderne flatscreen tv te zien. Kijk bijvoorbeeld maar eens naar het nieuws, weer, het Bevrijdingsjournaal, sport en verkiezingen. Daar is behalve een goede (liefst) 4K tv verder niets meer voor nodig. Ook krijgen steeds meer flatscreens ondersteuning van interne grafische processoren (GPU’s).
Het toepassen van secondscreen (smartphones, tablets) is inmiddels al gangbaar om van VR/AR zonder bril te kunnen genieten. Bij de app Rembrandt Reality open je met de smart-phone de AR-videopoort naar de Anatomische les van Nicolaes Tulp uit 1632.
Speciale AR-brillen en HUDs verhogen de onderdompelende sensatie. Je zit er gewoon middenin qua beeld en geluid. Doorgaans worden zij geleverd als kit met HD-bril, controllers voor de besturing in softwarekoppeling met de computer, smart-tv, smart-phone of gameconsole. De toegepaste AV-beeldframes zijn afhankelijk van de desbetreffende aanbieder.
Zelf maken
Zoals gezegd kun je met keying en groene achtergrondschermen ook zelf eenvoudige AR en VR-montages maken. En met de tegenwoordig redelijk geprijsde 360 graden camera’s valt onderdompelend rondom beeld ook goed te doen. Diverse montagepakketten ondersteunen dit type opnamen.
Eenvoudiger is het gebruik van AR-apps. Bijvoorbeeld die van Leo AR camera. Die beperken zich echter wel tot kantenklare leverbare (gratis en te koop) animatiefilmpjes geprojecteerd op een standaardoppervlak met menselijke actoren. Zo kan je met een skelet dansen of de confrontatie met een Tyrannosaurus Rex aangaan. Op internet zijn daarvan veel voorbeelden te vinden.
Tot slot…
VR, AR en MR in de huiskamer komen gewoon binnen op de tv. Veel extra’s zijn daar bij de tv eigenlijk niet voor nodig, het zit al in de uitzending. Uiteraard kan je met een HUD en immersive sound (bijvoorbeeld Dolby Atmos) de ervaringen in de homecinema nog meer adembenemend maken. Nog geen Holodeck, maar dat zal niet lang meer op zich laten wachten…
Geschreven door: Ulco Schuurmans
Fotomateriaal beschikbaar gesteld door: Jorrit Lousberg Musica É, Mojo Concerts, Faber Audiovisuals, Dutch Rose Media – Brabant remembers, Meeting Rembrandt – wemakevr, NEP nederland (greenstudio), Magic Leap. Creating with Magic Leap, Leo app.
Reacties (0)