- Applications actuelles et futures de la VR
- Historique
- Matériel et technologies VR
- Immersion
- Déplacements
- Performances graphiques
- Modalités sensorielles
- VR et fiction
- Sources
La VR est de plus en plus utilisée en marketing. Elle plonge l'utilisateur (et potentiel client) dans une expérience immersive, personnalisée et engageante vis-à-vis du produit vendu.
La VR permet de faire partie intégrante de l'univers du jeu, ce qui apporte une grande immersion. Des jeux aux univers très développés, principalement à la première personne, cherchant une grande immersion du joueur bénéficient grandement de la VR. Un bon exemple est le jeu Half-Life: Alyx.
La VR semble aussi adéquate pour les MMORPG, bien que pour le moment peu de tentatives sont faites (à cause, entre autres, des problèmes de complexité, de coût et de gestion des déplacements).
La VR s'applique aussi très bien au jeu de simulation. Elle va aussi créer de nouveaux genres. Beat Saber par exemple, mêlant jeu de rythme et VR dans un univers futuriste.
Les musées ont commencé à utiliser la VR, en l'adaptant à chaque besoin. Elle permet de rendre les expositions interactives, personnalisées, de les compléter avec des éléments contextuels, parfois même de déplacer l'expérience de la visite.
- Au Louvre (Paris) : Mona Lisa: Beyond the Glass
- Au musée national de Finlande (Helsinki) : Entrez dans une peinture de 1863
Article: Virtual Reality is a big trend in museums, but what are the best examples of museums using VR?
Les futurs métavers (metaverses) se veulent immersifs. La VR est donc probablement un des outils importants pour leur réalisation.
C'est quoi le metaverse ? Origine, définition et impacts
Dans différents domaines, les prototypes en 3D peuvent être testés et développés en VR ce qui permet un gain de temps (et d'argent!) souvent considérable (par exemple en architecture). Quelques exemples provenant de l'industrie automobile :
Article: BMW Uses Virtual Reality to Build Prototypes
Article: La réalité virtuelle va révolutionner de nombreux secteurs de l’industrie automobile
La VR permet notamment la simulation de situations réelles pour l'entraînement (méditation, prise de parole en public, interventions médicales…). Elle permet aussi d'engager, de stimuler les utilisateurs pour un meilleur apprentissage et mémorisation. Histoire, biologie, médecine, il existe aujourd'hui de nombreuses expériences pédagogiques.
- Unimersiv: une app réunissant des expériences VR pédagogiques (Histoire, espace, anatomie…)
- InMind VR: une app pour découvrir le cerveau humain
- Discovery VR: propose des sortes de documentaires immersifs, pour découvrir le monde
Article: Virtual Reality in Education
Article: How VR In Education Will Change How We Learn And Teach
Pour le cinéma, la VR permet de s'immerger quasiment totalement dans l'univers et les aventures visionnées. La 3D est déjà bien implantée dans les salles aujourd'hui, mais l'immersion VR va plus loin encore. Elle est aussi utilisée par les artistes 3D, qui peuvent créer directement en VR (et s'occuper de l'animation avec des outils comme PoseVR), ou tout simplement visionner leurs créations via ce média. La VR crée aussi de nouvelles possibilités pour les autres arts. Par exemple le dessin ou la sculpture en VR (ex. https://time.com/vr-is-for-artists/).
Article: Cinéma VR – Comment la réalité virtuelle transforme le cinéma
Les systèmes utilisant l'intelligence artificielle (comme entre autres la robotique) doivent tout d'abord être entraînés avant d'être opérationnels. Souvent, le robot est construit, entraîné et testé, mais il est possible de faire quelques essais en amont grâce à la VR. Il est par exemple possible de tester les interactions d'un robot (virtuel) avec un environnement virtuel avant de passer à l'étape de construction. Ou encore d’entraîner le robot directement en VR.
Article: AI Meets VR When Nvidia Trains Isaac On Holodeck
La VR peut être utilisée dans une pléthore d'autres domaines. Par exemple, elle pourrait améliorer le télétravail (article: VR could help transform remote work).
Elle est aussi utilisée en médecine, par exemple pour combattre les phobies.
Les applications semblent infinies, puisque ce média semble être capable d'englober tous les autres.
XIXe s. - Peintures panoramiques
XIXe s. - Stéréoscopes
1929 - Link Trainer
1939 - View-Master
1960 - Telesphere Mask, premier head-mounted display (HMD), Morton Heilig
1961 - Headsight, premier HMD avec motion tracking, par Comeau et Bryan
1962 - Sensorama, Morton Heilig
1968 - The Sword of Damocles, premier dispositif VR, par Ivan Sutherland
1978 - ASPEN MOVIE MAP, prototype de cartes interactives, par le MIT
1990 - NASA-VIEW (Virtual Interface Environment Workstation), casque, gants et combinaison connectés
1992 - SEGA VR/R360
1995 - Virtual Boy
2012 - Oculus Rift
2014 - Google Cardboard
2016 – Google Daydream 2016 – The Oculus Rift 2016 – HTC Vive
2017 – Microsoft HoloLens
2018 - Oculus Go
2019 – Oculus Quest
2022 – Meta Quest Pro
2023 – Meta Quest 3
2024 – Apple Vision Pro
Pour une plus liste plus exhaustive de casques, cette infographie propose une vue chronologique assez complète des différents modèles et constructeurs (jusqu'en 2021).
Un des points importants à penser lors de la conception d'une expérience VR, est la façon dont le joueur va pouvoir se déplacer et interagir avec le monde autour de lui. Pour ce qui est du point de vue matériel, on parle de degrés de liberté (Degree of Freedom). Il existe différentes possibilités pour le nombre de degrés de liberté.
Le 3DoF pour "Three Degrees Of Freedom", qui indique que le matériel peut suivre les mouvements de rotation effectués par l'utilisateur (ces trois axes sont yaw, pitch et roll).
Le 6DoF pour "Six Degrees Of Freedom" qui, en plus de pouvoir suivre les mouvements de rotation, peut également suivre les mouvements de translation (forward/back, up/down, left/right).
En général, le nombre de degrés de liberté du casque correspond à celui du contrôleur (quand il y en a un).
Le suivi de position est possible aujourd'hui avec les 2 techniques ci-dessous :
- Outside-in (Oculus camera IR, Valve lighthouse…)
- Inside-out tracking (simultaneous localization and mapping SLAM)
La première est externe au casque et la seconde est intégrée au casque. Bien que plus intéressante pour sa portabilité, la version inside-out est souvent moins précise et il semble difficile qu'elle offre un jour un tracking du corps entier.
Pour aller plus loin sur leurs fonctionnements : How VR Positional Tracking System Work
La VR se démocratisant, ne nouveaux systèmes permettant d'interagir émergent ou se répendent également.
Voici quelqu'un des systèmes et/ou contrôleurs possibles aujourd'hui :
-
Pour les casques les moins chers (Google Cardboard), un système d’interaction par rapport au regard (gaze interaction) peut être mis en place simplement, un bouton ou un minuteur permettant de cliquer sur des objets par rapport à la position du regard (un curseur).
D'autres casques utilisent ces interactions oculaires en intégrant directement un système d'eye-tracking (HTC Vive Cosmos, Meta Quest Pro, Apple Vision Pro… pour n'en citer que quelques-uns). -
Une autre façon d'interaction peu coûteuse est l'utilisation d'un contrôleur 3DoF (Occulus Go, Google Daydream, Samsung GearVR). Comme celui-ci ne peut suivre que les mouvements de rotation, son usage en VR se limite à pouvoir pointer des objets comme les télécommandes des TV modernes, mais également à servir aux déplacements. Toutefois, certains contrôleurs peuvent approximer leurs positions et de ce fait permettent de simuler un 6DoF (Documentation Unity).
-
Les contrôleurs 6DoF quant à eux permettent de suivre avec précision leurs positions (que celle-ci soit dans la main du joueur ou ailleurs). Cela permet d'avoir une immersion quasiment parfaite, notamment quand un objet est présent dans la main du joueur (pinceau, bâton, pistolet, sabre laser, etc.).
-
Une grande majorité de casques (en 2024), intégrent directement un système de suivi de la position des mains et des doigts de l'utilisateur·trice. Des modèles plus ancierns utilisaient des capteurs supplémentaires (comme le Leap Motion).
-
Certains casques VR proposent également des fonctions de suivi du visage (face tracking) et de ses sous-parties, comme le suivi de la bouche (mouth/lip tracking) en autre (VIVE Facial Tracker, Meta Quest Pro… pour n'en citer que quelques-uns). Des modèles d'avatars ou jumeaux virtuels profitent directement de ce type d'entrées pour refléter les expressions du visage de l'utilisateur·trice.
Il existe bien sûr d'autres types de contrôleurs et capteurs plus exotiques, mais ceux-ci reprennent la plupart du temps l'un des principes ci-dessus pour fonctionner.
La réalité virtuelle actuelle, bien que meilleure que les essais passés (voir historique), possède encore de nombreux freins pour permettre une immersion idéale.
Voilà quelques points importants :
Le Field Of View (FOV) n'est pas optimal sur les casques actuels. Il est en moyenne entre 90° et 110° alors que le FOV humain est entre 200° et 220°. On a donc une impression de "masque de plongée". Les futurs casques se devront d'atteindre le FOV humain pour une immersion adéquate.
Le casque lui-même pose certains problèmes. Principalement, celui du confort. Bien que s'améliorant grandement à chaque génération, le poids est encore conséquent et provoque un inconfort lors des séances prolongées.
Les casques sont parfois mal adaptés aux porteurs de lunettes. Toutefois, les lentilles peuvent être échangées avec des lentilles de correction, mais cela engendre un surcoût.
Un autre problème important est le câble des casques reliés. Les casques autonomes n'ont bien sûr pas ce problème, mais leurs performances graphiques sont encore faibles. Toutefois, des solutions de "streaming" haute définition entre l'ordinateur et le casque existent déjà sous la forme de module externe ou directement intégrées aux casques (Wi-Fi 6)
Les écrans (où l'écran) utilisés par les casques posent aussi quelques problèmes d'immersion. Ces problèmes ne sont pas uniquement liés à la VR. Mais comme les écrans sont très proches des yeux et vu au travers de lentilles, ils sont beaucoup plus visibles.
Voici quelques effets liés à ces problèmes d'écran et d'optique :
- Screen Door Effect (SDE) : On voit la "grille" de pixels.
Des écrans avec de plus hautes résolutions (avec un bon agencement des sous-pixels) sont une solution pour contrer cet effet. (Screen Door Effect).
À noter que la course à la résolution dans les casques VR tend à nettement améliorer les qualités de rendus et diminuer cet effet.
Source
- Mura Effect : Les à-plats de couleurs ne sont pas homogènes à cause de la composition des écrans qui empêche une luminosité tout à fait régulière (Mura Effect).
- Aliasing: Les arrondis sont saccadés. Puisque les écrans utilisent des pixels, les courbes ne sont pas possibles. Cela rend les textes peu lisibles en VR. Il faut utiliser de bonnes techniques d'antialiasing (anticrénelage) ou utiliser des écrans à très forte densité de pixels. (Aliasing)
Les lentilles déforment (le ou) les écrans à l'intérieur du casque afin d'avoir une mise au point adéquate (qui serait sinon impossible avec un écran si proche des yeux). Mais elles engendrent aussi quelques problématiques d'immersion :
-
Centre optique (sweet spot) : Afin d'avoir une vision claire (avec un bon focus), il faut que la lentille soit correctement placée face à l’œil. Les casques VR actuels sont plus ou moins permissifs sur ce sujet. De plus, la distance pupillaire est différente d'un individu à l'autre. Ainsi, les casques se munissent la plupart du temps d'un système de réglage de la distance séparant les deux lentilles, permettant d'obtenir un bon "sweet spot" plus facilement.
-
Glare et "God rays": En cas de scène à fort contraste, les couleurs claires (le blanc principalement) "bavent". On voit des rayons lumineux (God Rays). La cause : les lentilles Fresnel utilisées dans la plupart des casques. Pour le moment, il faut donc limiter les forts contrastes dans les scènes VR et attendre que les lentilles fassent mieux sur ce point.
- Lentille à focale variable : Les lentilles utilisées dans les casques actuels ne sont pas à focale variable, ainsi il n'est pas possible de recréer exactement le même ressenti qu'en réalité. Les futures lentilles le seront peut-être… Ce système allié à celui du suivit des mouvements oculaires (oculométrie / eye tracking) permettra de se rapprocher de l'idéal.
-
Le "mal des transports" ( cinétose ), qui se produit la plupart du temps lorsque le déplacement visualisé est décalé de celui de l'utilisateur.
-
L'espace réel est souvent restreint à une petite partie d'une pièce, souvent entre 1 et 3 [m^2] alors que l'espace virtuel est d'une taille quelconque.
-
L'espace réel peut contenir des obstacles qui seront invisibles en VR. Et inversement, une chaise dans la réalité virtuelle ne sera (peut-être) pas physiquement présente dans la réalité. Pour le moment, quasi tous les systèmes VR utilisent un système de chaperon qui permet de faire apparaître des murs virtuels dans l'espace VR lorsque l'utilisateur s'approche d'un obstacle dans le monde réel. Toutefois très peu de ces systèmes sont capables de détecter en temps réel des obstacles mobiles comme une autre personne ou un chat ! Ce sont simplement des espaces statiques prédéfinis avant l'entrée en VR.
Une des principales règles pour éviter ce problème et de ne jamais prendre le contrôle de la caméra (et donc de la laisser être contrôlée par le système de positionnement du casque VR).
Si l'on veut tout de même déplacer l'avatar de l'utilisateur (et donc sa caméra) dans la VR sans que celui-ci se déplace dans la réalité, il va falloir trouver des astuces pour le faire de la manière la plus confortable possible. Le critère de confort se retrouve d'ailleurs dans la plupart des magasins d'applications VR (par ex. dans l'oculus store). Voilà quelques exemples de solutions :
Elle ne provoque généralement pas d’inconfort, mais elle peut casser l’immersion si elle n'est pas scénarisée dans l'application. C'est la solution la plus utilisée dans les applications VR d'aujourd'hui. On la retrouve sous différentes variantes dont voici quelques exemples concrets:
-
Téléportation simple : l'avatar est simplement téléporté vers la destination. Elle est souvent soit libre: l'utilisateur choisit sa destination pour la téléportation dans l'espace VR visible (et accessible), soit limitée: par une série de marqueurs de téléportation disposés dans l'espace VR. La téléportation limitée est souvent utilisée lors de l'utilisation de la photogrammétrie. L'application Welcome to Light Fields en est un bon exemple. En effet puisque l'espace VR n'est pas pleinement explorable (ce sont des photos), l'utilisateur se téléporte alors d'un point de vue à un autre, où les points de téléportation sont les endroits ou les photos ont été prises.
-
Portails de téléportation : au lieu de téléporter l'utilisateur, on le fait passer à travers des portails reliant deux zones VR distantes. Ces portails peuvent être soit fixés par les créateurs de l'application, soit par l'utilisateur lui-même (à la manière du jeu Portal). Un bon exemple d'utilisation de ce système est le jeu Budget Cut.
- Autres systèmes de téléportation : On peut imaginer d'autres systèmes de téléportation que ceux précités. Par exemple, le système de téléportation du jeu The Gallery, offre au joueur la possibilité d'orienter sa téléportation dans une direction bien précise en faisant apparaître au sol l'espace réel du joueur durant la sélection de la zone de téléportation (système blink).
Si les déplacements sont faits via un simulateur de véhicule (voitures, avions, vaisseaux spatiaux, etc.), les risques de cinétose sont fortement réduits. En effet, le mal du voyage atteint rarement celui qui est maître du véhicule, mais plutôt ses passagers. Un exemple est le jeu Elite Dangerous, ou le joueur reste toujours assis dans son siège (même lors des phases d'exploration de la surface d'une planète, puisque celle-ci se fait aussi dans un véhicule terrestre). L'immersion est encore plus forte si l’utilisateur utilise des contrôleurs adaptés à la simulation (comme un HOTAS pour Elite Dangerous). De plus, les simulateurs bénéficient aussi d'une grande possibilité d'immersion (la chaise existant dans le monde physique) et de confort (une séance de jeu prolongée est généralement plus appréciée en position assise).
Si toutefois on opte pour des déplacements libres de la caméra via un contrôleur quelconque (clavier, croix directionnelle, stick analogique… ), il faut éviter de faire simplement bouger la caméra sans autre forme d'artifice sous peine de provoquer un inconfort certain pour beaucoup de personnes. Le jeu Raw Data utilise un système de sprint (ou dash) très rapide et très proche de la téléportation. L'effet est quasi identique, mais brise moins l'immersion. Toutefois, pour que cela ne provoque pas trop la cinétose, la vision doit être floutée autour de la zone fovéale. Dans Google Earth VR, la même méthode de flou fovéal est utilisée lors de l'utilisation du mode de déplacement "vol" (flight mode).
Si l'espace VR est de taille identique (ou plus petit que l'espace réel), la solution est simple. Il suffit à l'utilisateur de se déplacer dans la réalité pour être déplacé dans la VR de manière identique en utilisant simplement le système de positionnement du casque. Bien sûr, pour que cela soit praticable, il faut que l'application aie connaissance de la taille réelle de l'espace disponible par le joueur. Dans l'expérience immersive theBlu, la zone d'exploration sous-marine est générée au début de l’expérience pour que sa taille soit identique à la zone réelle de l'utilisateur. L'immersion est alors fortement accrue, encore plus du fait que le casque VR ressemble à un casque de plongée sous-marine (poids, FOV réduit…).
Même si l'espace VR est plus grand que l'espace réel, il existe quelques méthodes (astuces) pour éviter de devoir déplacer la caméra de l'utilisateur ou d'utiliser des mécanismes de téléportation. En voici quelques-une :
-
Marche redirigée: il s'agit de fausser la perception de l'esprit avec un décalage des mouvements réels/virtuels (Redirect walking).
-
Suites de mouvements adaptées à l'univers, pensés pour que l'utilisateur revienne sur ses pas, et reste dans un espace restreint (identique à son espace réel). Ce peut être fait avec l'utilisation d'ascenseurs, des techniques de chevauchement d'espaces (voir image), ou autres astuces (désorientations, distances faussées, etc.). L’expérience Unseen Diplomacy reprend quelques-unes de ces idées.
- Drag and drop : Dans l'application Google Earth VR, au lieu de téléporter l'utilisateur vers sa destination, on effectue un "drag" de la destination jusqu'à sa position désirée, ainsi l'utilisateur ne bouge pas, mais c'est la terre qui bouge sous ses pieds (Chuck Norris facts !).
Bien sûr, les techniques décrites précédemment peuvent être combinées.
Ce type de tapis permet le déplacement infini. Pour le moment ce sont des solutions coûteuses, encombrantes, et peu sûres (il faut souvent y associer un système de harnais). Mais ces solutions sont prometteuses. L'infinadeck, ou HoloTile Floor sont des exemples parmi d'autres.
Une autre nécessité pour ne pas provoquer de cinétose (ou briser l'immersion) est de maintenir un taux de rafraîchissement élevé des images. Les écrans des casques actuels possèdent des fréquences variées allant de 60 [Hz] (Cardboard) à 144 [Hz] (Valve Index). Toutefois, les valeurs en dessous de 90 [Hz] peuvent déjà poser problème à certains utilisateurs. Comme vu dans le chapitre des écrans, il faut aussi que ceux-ci aient une grande résolution. De plus, n’oublions pas que les calculs graphiques doivent être faits pour chaque œil (donc deux fois si vous êtes un humain avec toutes ces facultés visuelles). Tout ceci est très gourmand en ressources graphiques. Il semble d'ailleurs difficile d'obtenir de bonnes performances avec des cartes graphiques aux coûts abordables. Il existe heureusement quelques techniques permettant de pallier ces problématiques :
-
Foveated rendering : Seul le centre de l'image est calculé en haute définition. La résolution diminue ensuite de plus en plus en périphérie. Si cette technique est combinée avec l'eye tracking afin d'utiliser la zone où se trouve le focus de la vision de l'utilisateur plutôt que le centre de l'écran, elle peut même être indiscernable.
-
Asynchronous interleaved reprojection : Des images dernièrement rendues sont adaptées avec les informations de mouvements et de positionnement du casque afin d'obtenir des frame de "secours" en cas de perte de framerate.
Bien sûr, pour obtenir de bonnes performances sur les cartes graphiques actuelles, il faut aussi que l'application VR soit bien optimisée.
Le son en VR est souvent positionnel afin d'augmenter l'immersion. On peut facilement tromper les sens de la vue et de l'ouïe, mais qu'en est-il des 3 autres ? Pour le toucher, des entreprises développent des technologies haptiques (gants et combinaisons), ce qui nous permettrait de "toucher" les objets virtuels de manière plus convaincante.
On parle de retour haptique (Haptic feedback) pour décrire les système permetant de recrée le sens du toucher en appliquant des forces, des vibrations ou des mouvements à l'utilisateur.
L'exemple le plus classique se trouve dans tous vos smartphone lorsque qu'il vibre au travers de ses petits moteurs de vibration. Le même principe est utilisé sur de nombreuses manetets de jeu ou contrôleurs VR, permetant de générer des sensations de grondement et de tapotement.
Quelques exemples:
Pour le moment, les deux sens restants sont le plus souvent mis de côté ou restent encore au stade de recherche (odorat et goût).
Les interfaces de réalité virtuelle occupent une place de choix dans les œuvres de science-fiction. Leurs représentations, allant des mondes entièrement simulés aux expériences sensorielles immersives, ont non seulement captivé l'audience, mais ont également influencé les directions de la recherche et du développement technologique.
La SF a toujours eu ce rôle double : questionner l'avenir technologique et inspirer les innovations. Ce dialogue entre la fiction et la réalité façonne nos attentes et nos aspirations technologiques, poussant les scientifiques et les ingénieurs à transformer ces visions en réalités tangibles.
Les ouvrages catalysent et sculptent nos imaginaires technologiques, ils orientent le futur de l'innovation.
En voici quelques références, parmi tant d'autres…
- Ubik, 1969 (Philip K. Dick)
- Neuromancien, 1984 (William Gibson)
- Snow Crash, 1992 (Neal Stephenson)
- La Cité des permutants, 1994 (Greg Egan)
- Sword Art Online, 2009 (Reki Kawahara)
- Ready Player One, 2011 (Ernest Cline)
- Escapist Dream, 2020 (Louis Bulaong)
- Tron, 1982 (Steven Lisberger)
- The Lawnmower Man, 1992 (Brett Leonard)
- Strange Days, 1995 (Kathryn Bigelow)
- Ghost in the shell, 1995 (Oshii Mamoru)
- Saga Matrix, 1998 (The Wachowskis)
- eXistenZ, 1999 (David Cronenberg)
- Avalon, 2001 (Oshii Mamoru)
- .hack//SIGN, 2002 (Yoshiyuki Sadamoto)
- Summer Wars, 2009 (Mamoru Hosoda)
- Black Mirror, 2011-… (Charlie Brooker) – Plusieurs épisodes de cette série anthologique explorent les implications de la VR sur la société, notamment "Playtest", "San Junipero" ou encore "USS Callister".
- Ready Player One, 2018 (Steven Spielberg)
- Audrey Huguenin
- Arthur Verdon
- Nicolas Chabloz
- Jonathan Favre-Lamarine