De komende jaren zullen ruimtelijk computeren, Virtual/Augmented Reality en slimme LED-panelen de domotica naar een geheel nieuw niveau tillen. Een ware revolutie in het smarthome bij zowel de bediening, de leef & werkbeleving als entertainment en gaming. Momenteel gaat de aandacht vooral uit naar de mogelijkheden bij ruimtelijke VR-brillen zoals de Apple Vision Pro voor het mengen van de live omgeving met AR voor entertainment. Dergelijke headsets voor spatial computing hebben echter de potentie om het gehele smarthome als een immersive computer te bedienen en te beleven. Slimme LED-panelen met motion tracking maken elke gewenste realtime HIRES natuurlijk gekleurde omgeving op de muren, plafond en vloeren aan.
De combinatie van slimme brillen (VR-headsets) die de echte omgeving als augmented reality met virtueel gegenereerde beelden combineren bestaan al meerdere jaren. De revolutie zit hem in de perfectionering van de camera’s, sensoren, beeld- en geluidsweergave plus realtime AR-tracking. De gebruiker verkeert als het ware helemaal in de onderdompelende dataomgeving. Die data kunnen beelden, geluiden, teksten, naslagwerken, communicatievormen (waaronder social media en 3D videoconferencing) en bedieningsconsoles zijn. De data en controllers liggen als het ware voor het visuele grijpen bij de drager van een headset zoals Apple Vision Pro, Microsoft Hololens, Meta Quest Pro, Oculus Rift, Sony/Siemens XR headset, HTC Vive Pro, Valve Index en Magic Leap. Een bijkomend voordeel is dat de nieuwe generaties VR/AR-brillen steeds beter op AV-gebied en draaggemak worden.
De tweede belangrijke ontwikkeling betreft het beschikbaar komen van slimme 4K LED-panelen die uiterst realistische beelden tonen. Net of je er ook echt ter plaatse bent of middenin zit. Met behulp van AI en virtuele productietechniek generen deze LED-panelen elke denkbare leef-, werk- en game-omgeving. Daarmee vervagen zowel de grenzen tussen fysiek en virtueel als de ruimten onderling in het smarthome.
VR en AR
Voor een goed begrip het verschil tussen Virtual en Augmented Reality:
Virtueel betekent dat de grafische computer het object gebouwd heeft. Dat kan beeld zijn, foto, video of puur 3D grafisch. Maar ook geluid. Dankzij de huidige grafische computerkracht vormen schaduwval, het volgen van de lichtstralen (raytracing) en natuurlijke kleurpaletten met naadloze overgangen geen enkel probleem meer. Complete virtuele werelden, films en gamescenes rollen zo uit de grafische kernen van de SOCs (Systeem On a Chip) zoals bij de Apple M2 en M3-familie of NVIDIA. Een aparte tak van VR houdt zich bezig met sound
enginering en op natuurlijke wijze plaatsen (afstandsensatie), laten klinken en volumeregeling.
Zulks in de vorm van soundscapes (geluidslandschappen). Passend geluidje, muziek, zang of soundtrack nodig? AI slaat aan het componeren op hoog niveau.
Augmented Reality betekent het verwerken van echte objecten en geluiden vanuit de fysieke wereld in de virtuele computerwereld. In geval van spatial computing integreer je dan personen, objecten, geluiden en andere natuurlijke zaken vanuit de echte in de ruimtelijke computer wereld. Ook hier leveren AI en machineleren met speciale slimme algoritmen hun bijdrage.
Tot slot de combinatie van VR en AR, die wordt Mixed Reality genoemd. Daarbij voegt de computer zowel de fysieke objecten uit de buitenwereld samen met door de software genereerde content. Een andere benaming is Extended Reality (XR).
Spatial computing
Ruimtelijk computeren, spatial computing, is een techniek die computers op natuurlijke wijze doet samenvloeien met de fysieke omgeving. Dit zowel in virtueel beeld en geluid als sensorische en haptische ervaringen/bevindingen. In feite gaat het om een geavanceerde computervision. De VR/AR-headset vergaart realtime en met accurate tracking camerabeelden, geluid, bewegingen en het gedrag van objecten, individuen, dieren en voertuigen. Via machineleren en AI combineert de software dit alles realtime en met een hoog werkelijkheidsgehalte tot een ruimtelijke belevingswereld.
Dat gaat veel verder dan menigeen beseft. Bijvoorbeeld met sensor fusion waarbij de input van meerdere tot een groot aantal sensoren zoals camera’s, bewegings- en geluidsdetectoren. LIDAR (Light Detection of Laser Imaging and Ranging) zorgt voor een supersnelle en hoogst accurate afstandsbepaling via vanaf objecten gereflecteerd laserlicht. En 3D spatial mapping, het maken van een ruimtelijke kaart waarin elk object, geluid en andere sensaties exact gepositioneerd worden. Men spreekt hierbij van digitale content. Je kunt daarmee een compleet VR/AR smarthome thuis realiseren.
Je kunt ruimtelijk computeren echt intelligent noemen. Spatial computing heeft een zeer realistisch gevoel voor de juiste diepte van de omgeving waarin de drager van de headset zich bevindt. Hetzelfde geldt voor het volgen (motion tracking) en interacteren met objecten. Zowel met echt fysieke als virtuele dingen. Als je iets verplaatst of toevoegt wordt dat dan meteen op de juiste wijze in de omgeving geïntegreerd. Tevens beheert de headset voor spational computing eye-tracking (waar kijkt de drager naar en hoe reageert hij of zij daar op met oogbewegingen) en gebaren-analyse c.q. besturing door gebaren, vingers, handen of armen (gesture control).
Spraakbesturing is al bijna tien jaar gemeengoed. Apple Siri, Amazon Alexa, Google Assistant en diverse andere voice-controllers maken het leven in het smarthome aangenamer. In combinatie met spational computing wordt voicecontrol pas echt een deel van de leef-, werk- en entertainment-omgeving. Dit zowel bij de bediening als het daadwerkelijk communiceren met andere personen en virtuele devices of gaming.
Het smarthome als een ruimtelijke computer?
Stel je voor: een spatial computing headset op neus en oren en ziet aldaar het complete smarthome als een grote realistische belevingswereld. Bedieningsconsoles en switches binnen bereik in alle ruimten. Boeken, databestanden, documenten en spreadsheets voor het grijpen. Beeld en geluidsmateriaal waar gewenst te openen en presenteren. Scheidingen tussen fysieke ruimten verdwijnen.
Naar keuze verandert de omgeving in een aangename leefruimte, een hightech slim kantoor, thuisbioscoop, studeerkamer, centrum voor videoconferencing en beeldbellen, concertzaal, hobbyruimte, fitnesscentrum of gameroom. Dat allemaal waar je ook staat en gaat.
Tevens kan je met deze ruimtelijke computer op reis gaan. Uitjes maken, nieuwe werelden ontdekken, live events en tv-shows bijwonen, deelnemen aan films of series, de ruimte induiken of de eigen geest en lichaam exploreren. Wellicht ook interessant voor reality dating.
Op het slimme kantoor kan de complete werkomgeving naar de gevraagde hand gezet worden. Hetzelfde geldt voor industriële processen. In dat geval ook op veilige afstand en echt in touch met de productie. Een chirurg kan opereren met het patiëntendossier, alle relevante lichaamsfuncties en technieken achter het masker van de headset. Colleges en cursussen overal ter wereld bijwonen. Gebouwen en interieurs ontwerpen het kan allemaal vanuit het eigen slimme huis.
Bekende toepassingen
De meeste aandacht ging tot op heden uit naar gaming en entertainment. Daar maakt spational computing inderdaad ongekende furore. Zowel bij de games zelf als gesimuleerde belevingswerelden in pretparken, e-sports, musea, het bijwonen van real-world-events en spelshows. Dit compleet met avatars en gesture control. De filmtrailers krijgen er een compleet nieuwe immersive beleving bij. Kan zoals gezegd gewoon thuis in het smarthome.
Voor groep/teamwerk in the cloud kan spational computing veel gaan betekenen. Echt samenwerken (collaboration) of je naast elkaar in dezelfde ruimte staat! Toch zit je gewoon thuis of in het smart office.
Reclame (commercials) op het hoogste interactieve niveau. Je kunt net echt producten bekijken uitproberen, een proefritje maken, kijken hoe het bij jouw staat etc. Een variant is de voorpret bij het bekijken van vakantiebestemmingen en accommodaties. Architectuur, huisdecoratie, het uitproberen van mode kent geen grenzen meer. De spatial sky is the limit.
Storytellers en content creators kunnen elke denkbare fantasie uitleven. Ook jij gewoon op de bank in het smarthome. Het wachten is nog op de influencers die hier serieus mee aan de slag gaan. TikTok is al bezig.
De toepassingen bij opleiding en training liggen voor de hand. De oude vluchtsimulator verbleekt met een spational computing headset op het hoofd. Nieuwe kansen voor de gezondheidszorg. Van real life consulten met huisarts en specialisten mantelzorg tot het ontwikkelen van nieuwe medicijnen en het verrichten van VR/AR gestuurde ingrepen. De thuiszorg koppelt met wearables en begeleiding op afstand en/of gezondheidsprogramma’s.
Slimme LED-panelen
Uit de wereld van virtuele productie komen de slimme LED-screens voor het smarthome aanwaaien. Het oude LED-screen als onderdeel van het decor op de filmset transformeert verlichte pixelbronnen tot fotorealistische beeldpanelen met een realtime schaduwval, slimme kleur-, lichtkarakter- en seizoens-aanpassingen etc. In feite een kunstmatig intelligente lichtbron die een deel van de postproductie al op de set voor zijn rekening neemt. Je kunt dit vergelijken met de techniek van het groene scherm, de achtergrond van de aanwezige acteurs of mensen in de zaal invullen.
Bij de oude klassieke green screen-techniek stond de presentator of acteur in een met groene achtergronden beklede ruimte zijn of haar ding te doen. Er was geen directe interactie met de lege omgevingen. De achtergronden werden later pas toegevoegd.
Bij de zogenaamde LED Volumes is dat geheel anders. De mens bivakkeert tussen de hem of haar totaal omringende LED-schermen die direct realtime beeld laten zien. Een presentator, acteur, kijker/publiek of ander persoon kan nu direct interacteren met beelden die deze individuen op de voet volgen. Dit zowel qua beweging als belichting en schaduwval. Ook zijn er geen storende kleurrandjes of verschillen in tint zichtbaar. Het blote oog ziet geen verschillen meer tussen echt fysiek en VR/AR of MR.
De bouw van een LED Volume is die van grote wrap-around omgeving bestaande uit gekromde LED-panelen. De belangrijkste LED-panelen zijn van de hoogste HIRES-kwaliteit. Exemplaren met een lagere resolutie (minder pixels) zijn inzetbaar aan het plafond of in de achtergrond.
Dan is er ook nog een zogenaamde XR-stage. De uitgebreide werkelijkheid een combinatie van VR, AR en MR. Bij een stage bouwt de producer een podium met XR uitbreiding in software, hardware en LED-screens. De X van extended slaat eveneens op het feit dat deze vorm van virtuele productie de gehele ruimte en omgeving er bij betrekt. Veelal zijn er meerdere virtuele game computersystemen betrokken bij het genereren van de achtergronden, objecten en (tracking-)animaties. Een andere reden om voor XR te kiezen is het grote aantal realistische interactiemogelijkheden. Deze dynamisch en zowel VR als fysiek.
Door AI ondersteunde LED-volumes zijn behoorlijk slim. Niet alleen de camera tracking en realtime rendering zijn tot in de puntjes onder controle maar ook het perspectief en de backdrop parallax. De belichting valt in een oogwenk te wijzigen.
Ook de XR-stage voor het smarthome?
Wat hebben slimme huizen en kantoren nu aan LED-volumes en stages? In feite dat de muren, plafonds en vloeren nu ook deel gaan uitmaken van de beleving bij spational computing in het slimme gebouw. Je kunt elk moment de boel met nieuwe scene taferelen en achtergronden verbouwen. De ruimtelijke computer en bijbehorende software rekenen dat realtime door. Het smarthome of office gaan fysiek en virtueel naadloos op in de toegepaste omgeving. Of je nu een vergaderruimte, immersive thuisbioscoop, concertzaal, inspirerende brainstormgrot of een gameroom bouwt. Het kan bijna niet levensechter en natuurgetrouw. Met een knip van de vinger of oog verander je de eigen woning zo in een prachtig herfstbos, bruisende stad of bruin café. In combinatie met spational computing gaat de XR-stage de richting uit van het Holodeck bij StarTrek.
Momenteel voor thuis nog wat aan de prijs. Voor kantoren, scholen en studio’s echter al binnen het financiële bereik. In de nabije toekomst waarschijnlijk gewoon in de bouwofferte van het slimme huis mee te nemen.
Het wachten is nog op?
De bezitters van een smarthome of office kunnen al starten met het besturen van de smart standaardschakelaars, stopcontacten, licht, verwarming, AV-apparatuur, ventilatie, slimme sloten, camera’s/deurbellen en zonwering. Daar zijn al diverse koppelende apps, afzonderlijke toepassingen of scenes, voor verkrijgbaar. Het direct aangrijpen op hubs en multiroom-applicaties is in opkomst. HomeUi en de Apple HomeKit bieden nu al interessante mogelijkheden.
De technologie is inmiddels al zover gevorderd dat elke vierkante meter van onze leefruimte zich potentieel bewust wordt van onze behoeften. In de praktijk. Een ruimtelijk bewuste omgeving die dagelijkse behoeften van de smart bewoners kan begrijpen en erop kan anticiperen. Dat maakt het creëren van proactieve diensten mogelijk.
De slimme VR/AR-brillen zijn nog behoorlijk aan de prijs. Het kan op het gebied van beeldkwaliteit, audio en draaggemak ook nog een stuk beter. Maar we zijn zo een paar generaties verder. Het slimme LED-paneel voor het smarthome moet zijn grote doorbraak nog maken, doch dat zal zeker komen.
Reacties (0)