Search

The National Research Council of Canada (NRC) is committed to supporting the scale ai cluster's goals through its Artificial Intelligence for Logistics program, which includes convener support in supply chain and logistics. The program also provides R&D expertise focused on next-generation technology issues to ensure Canadian excellence in logistics for the longer term. Using its national reach, the NRC program is creating linkages between stakeholders, and enabling the advancement of the technologies and firms that will make supply chain and logistics excellence a competitive advantage for Canada., Le Conseil national de recherches du Canada (CNRC) s'est engagé à appuyer les objectifs de la grappe scale ai par l'entremise de son programme Intelligence artificielle au service de la logistique, reliant des organisations dans les domaines de la chaine d'approvisionnement et de la logistique. Le programme tire parti d'une expertise en R-D axée sur les enjeux technologiques de la prochaine génération afin d'assurer l'excellence de la logistique canadienne à long terme. Fort de sa portée nationale, le programme crée des liens entre les intervenants et permet l'avancement des technologies et des entreprises qui fera de l'excellence dans la gestion de la chaîne d'approvisionnement et de la logistique un avantage concurrentiel pour le Canada.

Collaboration is a key aspect of the design process. During the early stages, multiple designers come together to share their knowledge and expertise to solve design problems. They generate, evaluate, and compare new ideas to find the best possible solutions. Augmented Reality (AR) technologies can make this process even more effective by providing 3D digital creation tools that overlay 3D virtual content on top of the physical objects.My dissertation explores how AR technologies can enhance such collaborative design tasks. Although AR systems can present challenges due to the need to anchor virtual content to the real world, I focus on expanding the boundaries of interaction design beyond what is possible in physical world. To achieve this goal, I investigate this approach in co-located and remote collaborative situations.When designers are co-located in a same AR environment, they share the same physical space and objects. However, this can be problematic when they want to quickly explore many ideas, as they may compete for space and disturb each other. In addition, seeing each other's creations may be a source of inhibition.To overcome these limitations, I propose a conceptual framework that allows multiple versions of the virtual content to coexist in parallel virtual spaces. Designers can thus partially or fully desynchronize their virtual environment to generate their own content and then synchronize it again to share their content with others. With this framework, they can explore a range of design possibilities independently while also comparing their ideas with others. To illustrate this approach, I present a scenario where two designers sketch a virtual dress in 3D on a physical sewing mannequin.Designers are also required to work remotely in many different situations. Video conferencing tools can assist such collaborative scenarios and became extremely popular during the COVID-19 pandemic. These tools mainly rely on a single-camera viewpoint, which does not give users the freedom to inspect the remote workspace since cameras are usually fixed in space or their positioning is out of users' control. Previous research in human-computer interaction (HCI) has explored the use of 3D reconstruction to go beyond video-mediated tools. However, these techniques can be complex to set up, and require high-quality acquisition and a large network bandwidth.To explore alternatives to 3D reconstruction, I investigate solutions that rely on complementary augmented video or virtual representations, as well as different viewpoints. I first study the trade-offs between an augmented first-person view, an augmented third-person view and a fully virtual view. I then introduce ARgus, a multi-view video-mediated communication system that combines these three views through interactive tools for navigation, previewing, pointing, and annotation. I report on a second user study that observes how 12 participants used ARgus to give instructions to an AR user for arranging miniature physical furniture in a virtual house model. The results suggest that ARgus offers flexibility, allowing remote users to verify spatial constraints more efficiently and reducing their need for verbal instructions.Finally, I discuss the limitations of the chosen approach, which involves expanding the boundaries of interaction design beyond what is possible in the physical world. I then propose general considerations for interaction design in AR environments and suggest opportunities for further investigations.; La collaboration est un aspect essentiel du processus de conception. Au cours de ses premières phases, plusieurs concepteurs se réunissent pour partager leurs connaissances et leur expertise afin de résoudre les problèmes de conception. Ils génèrent, évaluent et comparent de nouvelles idées pour trouver les meilleures solutions possibles. Les technologies de réalité augmentée (RA) peuvent rendre ce processus encore plus efficace en fournissant des outils de création numérique 3D qui superposent un contenu virtuel 3D aux objets physiques. Ma thèse explore comment les technologies de RA peuvent améliorer les tâches de conception collaborative. Bien que les systèmes de RA imposent d'ancrer le contenu virtuel dans le monde réel, je m'intéresse à élargir les limites de la conception d'interaction au-delà de ce qui est possible dans le monde physique. Pour cela, j'étudie cette approche dans des situations de collaboration co-localisée et à distance. Lorsque les concepteurs sont co-localisés dans un même environnement de RA, ils partagent le même espace physique. Toutefois, cela peut s'avérer problématique lorsqu'ils souhaitent explorer rapidement de nombreuses idées car ils risquent d'occuper le même espace et de se déranger mutuellement. De plus, le fait d'avoir ses créations visibles par les autres peut être une source d'inhibition. Pour surmonter ces limites, je propose un cadre conceptuel qui permet à plusieurs versions du contenu virtuel de coexister dans des espaces virtuels parallèles. Les concepteurs peuvent ainsi désynchroniser partiellement ou totalement leur environnement virtuel pour générer leur propre contenu, puis le synchroniser à nouveau pour partager ce contenu avec d'autres. Cela leur permet d'explorer plusieurs conceptions alternatives de manière indépendante tout en comparant leurs idées avec celles des autres. J'illustre cette approche avec un scénario dans lequel deux concepteurs dessinent une robe virtuelle en 3D sur un mannequin de couture physique. Les concepteurs sont également amenés à travailler à distance. Les outils de vidéoconférence peuvent faciliter ce type de collaboration et sont devenus extrêmement populaires pendant la pandémie de COVID-19 mais ils reposent principalement sur le point de vue d'une seule caméra. Ils ne donnent pas aux utilisateurs la liberté d'inspecter l'espace de travail distant car la position de cette caméra dans l'espace est généralement fixe ou non contrôlable. Des recherches antérieures dans le domaine de l'Interaction Humain-Machine (IHM) ont exploré l'utilisation de reconstruction 3D pour aller au-delà des outils reposant sur la vidéo. Cependant, ces techniques peuvent être complexes à mettre en place, nécessitent une acquisition de grande qualité et un réseau avec une large bande passante. Pour explorer des alternatives à la reconstruction 3D, j'étudie des solutions basées sur des représentations vidéo augmentées et virtuelles avec différents points de vue. J'étudie d'abord les compromis qui peuvent exister entre une vue augmentée à la première personne, une vue augmentée à la troisième personne et une vue entièrement virtuelle. Je présente ensuite ARgus, un système de communication vidéo multi-vues combinant ces trois vues et des outils interactifs de navigation, de prévisualisation, de pointage et d'annotation. J'étudie ensuite comment 12 participants ont utilisé ARgus pour communiquer des instructions à un utilisateur en RA afin de placer des meubles physiques miniatures dans une maquette virtuelle de maison. Les résultats suggèrent qu'ARgus offre une certaine flexibilité, permettant aux utilisateurs distants de vérifier plus efficacement les contraintes spatiales et réduisant leur besoin d'avoir recours à des instructions verbales. Enfin, je discute les limites de ces approches. Je propose ensuite des remarques générales sur la conception d'interaction dans les environnements de RA et suggère des opportunités pour des travaux de recherche futurs.

Nous assistons depuis quelques années à l’usage, dans le cadre des modes d’enseignement mixte ou immersif, des outils de la réalité virtuelle et de la réalité augmentée dans plusieurs domaines, notamment dans la formation en ingénierie, en astronomie, en médecine, en biologie, en géographie et en arts. En dépit des avancées réalisées dans l’utilisation des outils de la réalité virtuelle et de la réalité augmentée dans l’enseignement à caractère procédural, pratique et déclaratif, ces technologies demeurent encore dans leur stade expérimental, de prototypage ou de test auprès des étudiants. Partant de cette réalité et après avoir dressé une cartographie des usages de la réalité virtuelle et de la réalité augmentée dans l’enseignement supérieur, nous allons démontrer comment certaines questions, d’ordre théorique, pédagogique, technologique et socio-économique, entravent le passage de l’ère de l’expérimentation à une intégration régulière et formalisée de cette technologie dans les cursus de formation., Journal of Information Sciences, Vol 21, No 2 (2022): Humanités numériques

When attempting to land on a ship deck tossed by the sea, helicopter pilots must make sure that the helicopter can develop sufficient lift to be able to safely touchdown. This reminder of affordance theory led us to model and study the affordance of deck-landing-ability, which defines whether it is possible to land safely on a ship deck depending on the helicopter's available lift and the ship’s deck heave movements. Two groups of participants with no piloting experience using a laptop helicopter simulator attempted to land either a low-lifter or a heavy-lifter helicopter on a virtual ship deck by either triggering a pre-programmed lift serving as the descent law if it was deemed possible to land, or aborting the deck-landing maneuver. The deck-landing-ability was manipulated by varying the helicopter's initial altitude and the ship's heave phase between trials. We designed a visual augmentation making visible the deck-landing-ability, and thus enabling participants to maximize the safety of their deck-landing attempts and reduce the number of unsafe deck-landing. The visual augmentation presented here was perceived by participants as a means of facilitating this decision-making process. The benefits were found to have originated from the clear-cut distinction it helped them to make between safe and unsafe deck-landing windows and the display of the optimal time for initiating the landing.

IHM'23 - 34e Conférence Internationale Francophone sur l'Interaction Humain-MachineAFIHM, Université de Technologie de Troyes; In Augmented Reality environments, multiple designers can interact with virtual content that overlays their shared physical objects. However, conflicts arise when two designers try to add or modify content around the same virtual space, for example, to explore a new path of ideas. Likewise, although content created by one designer can serve as a source of inspiration for others, it can also distract their creative process. To address those problems, we introduce a conceptual framework that allows multiple versions of augmentations of the same physical object to coexist in parallel virtual spaces. According to our framework, users can partially or totally desynchronize their virtual environment to generate their own content and then explore alternatives created by others. To illustrate it, we present a scenario of collaborative design in Augmented Reality, where two designers sketch in 3D around a physical sewing mannequin to design female dress.; La Réalité Augmentée permet de faciliter la conception collaborative en superposant du contenu virtuel sur un objet physique. Cependant, des conflits peuvent survenir dans le partage de l’espace 3D lorsque plusieurs concepteurs ajoutent ou modifient du contenu virtuel au même endroit pour développer des idées différentes. De plus, même si la visibilité du contenu créé par un concepteur peut renforcer la créativité de ses collaborateurs, elle peut également être source d’inhibition. Pour répondre à ces problèmes, nous introduisons un framework conceptuel permettant à plusieurs versions des augmentations d’un même objet physique de coexister dans des espaces virtuels parallèles. Les utilisateurs peuvent ainsi partiellement ou totalement désynchroniser leur espace virtuel afin de générer leur propre contenu, puis explorer les alternatives créées par leur collaborateur. Pour illustrer notre concept, nous présentons un scénario de conception collaborative d’un vêtement sur un mannequin de couture physique grâce à du dessin 3D en Réalité Augmentée.

The amount of data produced every day is constantly growing. This mass of raw information requires finding solutions to analyze and visualize it.Wall displays are a good candidate to solve this issue, allowing to display a large amount of data.However, they are shared devices made to accommodate several people, which does not allow for the existence of a private workspace. Moreover, wall displays are still physical devices that can not be easily extended when the content to display becomes too large.In this manuscript, I explore the combination of Augmented Reality (AR) and a wall display to: first, add a personalized information space onto a wall display; and second, extend the rendering space. We focus on using an augmented reality headset (AR-HMD) to display content complementary to the context offered by the wall. We study the synergy of these two devices through two research questions: RQ1 - How can AR assist exploration and navigation of a network on a wall display, through personal view and navigation?RQ2 - How does extending the screen space of a wall display using AR changes users’ space exploitation during a collaborative session?For RQ1, I study the case of using AR with a wall display for navigating networks. I present four techniques, proposing different visual aid mechanisms for navigation. I then evaluate these four techniques in two experiments, one for low accuracy path following in the network (path selection) and one for high accuracy path following (path tracing). We report that for the path selection task, a persistent connection between the cursor in AR and the network on the wall obtained better results. In the case of path tracing, we observe that a lighter connection offered better performance. Moreover, we show the feasibility of a system where the interaction is done privately in AR for network navigation on shared screens.For RQ2, I focus on the space available in front of the wall display and consider using AR to extend the wall display. I present a system extending a wall display with AR, taking advantage of the space in front of the wall. We compare our system that combines a wall display with AR with a wall display alone using two collaborative tasks.We observe that users extensively use the available virtual space with our system. Although this creates an additional cost of interaction, we observe no performance difference and a real benefit of this extra space.The complexity of setting up the previously studied systems led us to study a cheaper way to use a wall display: RQ3 - Can we emulate a wall display inside a VR headset?This question has many aspects, and I focus on the capacity for VR headsets to reach the necessary resolution to replicate the user experience of a high-resolution wall display. For this, we study the optic model of VR headsets and compare it to the human vision model. Our analysis indicates that current headsets need a higher resolution to emulate a wall display. We confirm our analysis by running a pilot study comparing a wall display, two VR headsets, and an emulation of a perfect VR headset.I conclude this manuscript by discussing the different ways for a wall display to be combined with AR headsets, the requirements for replacing wall displays by VR/AR headsets, and by elabo- rating on the future work this thesis opens.; La quantité de données produite chaque jour est en croissance constante. Cette masse d’information demande de trouver des solutions pour les analyser et les visualiser. Les murs d’écrans sont de bon candidat pour résoudre ce problème, car ils permettent d’afficher une grande quantité de données. Cependant, ce sont des écrans partagés, conçus pour plusieurs personnes, ce qui ne permet pas d’avoir des espaces de travail privés. De plus, un mur d’écran reste un périphérique d’affichage physique qui est coûteux à agrandir lorsque la quantité de contenu à afficher devient trop grande.Dans ce manuscrit, j’explore la combinaison de la Réalité Augmentée (RA) et d’un mur d’écrans, pour premièrement, ajouter un affichage d’informations personnalisées; et deuxièmement, étendre virtuellement l’espace de rendu. Nous concentrons nos efforts sur l’étude de la synergie de ces deux dispositifs à travers deux questions de recherche :QR1 - Comment la RA peut-elle aider à l’exploration et la navigation d’un réseau sur un mur d’écrans, en ayant un visuel et une navigation personnelle ?QR2 - Comment l’extension du mur d’écran avec la RA change-t-elle l’exploitation de l’espace par les utilisateurs durant une session de collaboration ?Pour RQ1, j’étudie le cas de l’utilisation de la RA avec un mur d’écrans pour la navigation de réseaux. Nous présentons 4 techniques, proposant différents mécanismes d’aide visuelle à la navigation. Nous évaluons ensuite ces 4 techniques lors de deux expériences, une de parcours de chemin de faible précision (sélection de chemin) et une autre de parcours de chemin de haute précision (tracé de chemin). Pour la tâche de sélection de chemin, une connexion persistante entre le curseur en RA et le réseau sur le mur permet de meilleur résultat.Dans le cas du tracé de chemin, nous observons qu’une connexion plus légère offre une meilleure performance. De plus, nous montrons la viabilité d’un système où l’interaction se fait en RA, pour la navigation de réseau sur des écrans partagés.Pour RQ2, je porte mon attention sur l’espace disponible devant le mur d’écrans, et envisage l’utilisation de cet espace pour étendre le mur d’écran avec de la RA. Je présente un système, étendant le mur d’écrans grâce à la RA en utilisant les dimensions de l’espace disponible devant le Mur. Nous comparons notre système avec un mur d’écran seul avec deux tâches collaboratives.Nous observons qu’avec notre système, les utilisateurs utilisent principalement l’espace virtuel. Bien que cela crée un surcoût pour l’interaction, nous n’observons aucune différence de performance avec le mur d’écran seul, et nous observons un vrai bénéfice à cet espace supplémentaire.La complexité de mise en place des systèmes précédemment étudiés nous a amené à étudier une manière moins coûteuse d’utiliser un mur d’écran: QR3 - Peut-on émuler un mur d’écran avec un casque de RV ?Cette question ayant plusieurs facettes, je me concentre sur la capacité des casques de RV d’atteindre la résolution nécessaire à répliquer l’expérience d’utilisation d’un mur haute résolution. Pour ce faire, nous étudions le modèle optique des casques de RV et le comparons au modèle de la vision humaine. Notre analyse indique que les casques actuels n’ont pas une résolution suffisante pour émuler un mur de haute résolution.Nous confirmons cette analyse avec une experience pilote qui compare un mur d’écrans, deux casques de RV et une émulation d’un casque de RV parfait.Je conclus ce manuscrit en discutant plus largement des différentes manières pour les murs d’écran d’être complétés par les casques d’AR et des implications de leur remplacement par des casques de VR/AR, et j’élabore sur les directions de recherches qu’ouvre cette thèse.

We anticipate a future in which people frequently have virtual content displayed in their field of view to augment reality. Situations where this virtual content interferes with users' perception of the physical world will thus be more frequent, with consequences ranging from mere annoyance to serious injuries. We argue for the need to give users agency over virtual augmentations, discussing the concept of de-augmenting augmented reality by selectively removing virtual content from the field of view. De-augmenting lets users target what actually interferes with their perception of the environment while keeping what is of interest. We contribute a framework that captures the different facets of de-augmentation. We discuss what it entails in terms of technical realization and interaction design, and end with three scenarios to illustrate what the user experience could be in a sample of domestic and professional situations.; Nous anticipons un avenir dans lequel les gens auront fréquemment du contenu virtuel affiché dans leur champ de vision pour augmenter la réalité. Les situations où ce contenu virtuel interfère avec la perception du monde physique par les utilisateurs seront donc plus fréquentes, avec des conséquences allant du simple désagrément à des accidents graves. Nous soutenons la nécessité de donner aux utilisateurs la possibilité d'agir sur les augmentations virtuelles, en discutant du concept de dé-augmentation de la réalité augmentée par la suppression sélective du contenu virtuel du champ de vision. La dé-augmentation permet aux utilisateurs de cibler ce qui interfère réellement avec leur perception de l'environnement tout en conservant ce qui est intéressant. Nous proposons un cadre qui capture les différentes facettes de la dé-augmentation. Nous discutons de ce que cela implique en termes de réalisation technique et de conception de l'interaction, et nous terminons par trois scénarios pour illustrer ce que pourrait être l'expérience de l'utilisateur dans des situations domestiques et professionnelles.

Once reserved for virtual environments, avatars are now increasingly present in Augmented Reality (AR). This technology allows interacting with virtual content directly integrated into our physical surroundings. Combined with body tracking, it makes it possible to experience being inside a virtual body of any desired appearance and to extend one’s action capabilities. Despite the numerous opportunities for applications that this new possibility provides, little research has explored how to implement and exploit it. The way users perceive such experiences within real environments is additionally not well understood yet. In this thesis, we explore the embodiment of avatars in AR through several axes. First, we introduce a taxonomy through a body avatarization continuum to better describe embodiment experiences. Next, using an optical see-through AR display, we study the user’s sense of embodiment towards virtual hands and how mixing the virtual with the real impacts this sense. We then look at the use cases for avatar embodiment in AR and investigate interaction techniques allowing to control avatars in the third person and to explore the real world. We propose an implementation of this concept and evaluate the approach of using such a system to improve our perception of real-world affordances through a user study. Finally, we explore strategies to enhance embodiment illusions by designing transitions to become one's avatar and methods to prepare the user for their “avatarization”.; Autrefois réservés aux environnements virtuels, les avatars sont désormais de plus en plus présents en Réalité Augmentée (RA). Cette technologie permet d’interagir avec du contenu virtuel directement intégré à notre environnement physique. Associée aux techniques de suivi corporel, elle permet de se voir à l’intérieur d’un corps virtuel de n’importe quelle apparence et d’étendre nos capacités d’action. Malgré les nombreuses possibilités d’applications, peu de recherches ont exploré comment la mettre en oeuvre et l’exploiter. De plus, la façon dont les utilisateurs perçoivent de telles expériences dans des environnements réels n’est pas encore bien comprise. Dans cette thèse, nous explorons l’incarnation des avatars en RA au travers de plusieurs axes. Tout d’abord, nous introduisons une taxonomie pour mieux décrire les expériences d’incarnation de par un continuum d’avatarisation corporelle. Ensuite, à l’aide d’un affichage optique de RA, nous étudions le sentiment d’incarnation de l’utilisateur vis-à-vis de mains virtuelles et l’impact du mélange du virtuel et du réel sur ce sentiment. En troisième lieu, nous examinons les cas d’utilisation de l’incarnation d’avatars en RA et étudions les techniques d’interaction permettant de les contrôler à la troisième personne pour explorer le monde réel. Nous proposons une mise en oeuvre de ce concept et évaluons l’approche d’utiliser un tel système pour améliorer notre perception des affordances du monde réel au travers d’une étude utilisateurs. Pour terminer, nous explorons des stratégies pour améliorer les illusions d’incarnation à l’aide de transitions graphiques et des méthodes pour préparer l’utilisateur à son “avatarisation”.

Laparoscopic liver resection (LLR) is a less invasive procedure compared to open surgery, as it does not require making big incisions in the abdominal wall. Instead, small incisions are made through which thin instruments are inserted, including the endoscope, scissors, cauterisers, among others. Due to the lack of tactile feedback and the liver's big dimensions, it is difficult for surgeons to localise inner structures such as tumours and vessels. This increases the risk of causing damage to the patient because of accidental haemorrhages and cancerous cell remnants from inaccurate resections. Augmented Reality (AR) can help to overcome these issues by showing the internal structures, hence improving resection planning. AR works by overlaying a preoperative 3D model reconstructed from CT/MRI data onto the laparoscopic images. The preoperative 3D model is usually composed of the liver's outer surface and internal structures such as vessels and tumours. A typical AR-based guidance system for laparoscopy is composed of two stages: (i) an initial registration stage in which the preoperative 3D model is registered to the intraoperative laparoscopic images; and (ii) an update stage in which the model is automatically registered to every new image by tracking the organs. In this thesis we focus on the initial registration stage (i), which is a challenging and highly researched problem.In the case of LLR, the liver may deform significantly between the moment when the CT/MRI scans are taken (preoperative stage) and the actual surgery (intraoperative stage). Thus, a deformable 3D-2D registration should be done for AR to work properly. This registration is done by using visual information present on the liver’s surface. Visual information may consist of texture information, if available, and anatomical landmarks. However, due to the liver's big dimensions and the proximity of the laparoscope, the liver is only partially visible in the laparoscopic images. This makes the existing single-view registration methods to leave big portions of the preoperative 3D model unconstrained, reducing the accuracy of the augmentations. Existing multi-view methods do not work well on patient data due to the slight deformations undergone by the liver between views, even if at rest. Therefore, there is a need for registration methods that can cope with the partial views of the liver and the deformations across views, in a way that the final accuracy is improved. Another issue in AR for LLR is the way the augmentations are presented to the surgeon. Most of the existing methods just project the registered 3D models to the optical axis of the laparoscope. This may create confusions to the surgeon regarding the true location of the inner structures. Some methods initially project a shape of the tumour towards a manually chosen location in the liver surface, which does not provide an accurate indication on how to reach the tumour, for example, using a particular tool. All of this can make surgeons to perform bad resection plannings, increasing the probability of missing the tumours.In this thesis we aim to solve the aforementioned problems in three ways: In the first part, we propose a method combining visual cues with tactile interactions to solve registration on a single image with a partial view of the liver, taking advantage of the surgeon's understanding of the scene. Here, the surgeon refines registration by manually deforming the hidden parts of the liver using an enclosing cage. This method is useful to do a quick registration without having to compute inter-image correspondences. In the second part, we propose several methods to solve registration using multiple intraoperative views. This is done in an attempt to merge the information coming from the different views, as well as to overcome possible human-induced errors in the method proposed at the beginning. (...); La résection hépatique par cœlioscopie (LLR) est une procédure moins invasive que la chirurgie traditionnelle, car elle ne nécessite pas de grandes incisions de la paroi abdominale. Au lieu de cela, de petites incisions sont ouvertes à travers lesquelles des instruments fins sont insérés, notamment un endoscope, des ciseaux et un cautériseur. En raison du manque d'une palpation directe et des grandes dimensions du foie, il est difficile pour les chirurgiens de localiser les structures internes telles que les tumeurs et les vaisseaux. Cela augmente le risque de dommages au patient en raison d'hémorragies accidentelles et de restes de cellules cancéreuses en raison de résections imprécises. La réalité augmentée (RA) aide à surmonter ces problèmes en montrant les structures internes du foie pendant la chirurgie, améliorant ainsi la planification des résections. La RA fonctionne en superposant un modèle 3D préopératoire reconstruit à partir d'images TDM/IRM sur les images cœlioscopiques. Le modèle 3D préopératoire est généralement composé de la surface externe du foie et des structures internes telles que les vaisseaux et les tumeurs. Un système de guidage basé sur la RA est essentiellement composé de deux étapes : (i) une étape de recalage initiale dans laquelle le modèle 3D préopératoire est recalé sur les images cœlioscopiques peropératoires ; et (ii) une étape de mise à jour dans laquelle le modèle est recalé automatiquement dans chaque nouvelle image en suivant des repères visuels. Dans cette thèse, nous nous concentrons sur l'étape de recalage initial (i), qui est un défi et un problème très étudié.Pour la LLR, le foie peut se déformer significativement entre le moment où les images TDM/IRM sont prises (étape préopératoire) et l'intervention proprement dite (étape peropératoire). Pour résoudre ce problème, un recalage 3D-2D déformable doit être effectué pour que la RA fonctionne correctement. Ce recalage est fait en utilisant des indices visuelles présents à la surface du foie. Ces indices peuvent consister en des informations de texture, s'il y en a, et des repères anatomiques. Cependant, en raison des grandes dimensions du foie et de la proximité de l'endoscope, le foie n'est que partiellement visible dans les images cœlioscopiques. Cela fait que les méthodes existantes de recalage à vue unique laissent de grandes parties du modèle 3D préopératoire sans contraintes de recalage, ce qui réduit la précision des augmentations. De la même façon, les méthodes multi-vues existantes ne fonctionnent pas bien sur les données patients en raison des légères déformations subies par le foie entre les vues, même s'il est au repos. Par conséquent, il y a un besoin de méthodes de recalage pouvant travailler avec des vues partielles et avec des déformations entre les vues, de telle manière que la précision de l'augmentation soit améliorée. Un autre problème en RA pour la LLR est la façon dont les augmentations sont présentées au chirurgien. La plupart des méthodes existantes projettent simplement les modèles 3D recalés vers l'axe optique de l'endoscope. Cela peut induire le chirurgien en erreur par rapport au vrai emplacement des structures internes. Certaines méthodes projettent initialement une silhouette de la tumeur vers un emplacement choisi manuellement dans la surface du foie, ce qui ne fournit pas une indication précise sur la manière d'atteindre la tumeur, par exemple à l'aide d'un outil. Tout cela peut amener les chirurgiens à faire de mauvaises planifications de résection, augmentant ainsi la probabilité de rater les tumeurs.Dans cette thèse, nous visons à résoudre ces problèmes de trois manières. (...)

Cet article rend compte d’un travail de terrain mené, au musée du Louvre-Lens, auprès de visiteurs découvrant une sculpture du Louvre, le Discophore. Pour étudier la réception de cette statue, nous avons développé une méthodologie mixte basée sur des enregistrements vidéo et des « tracés d’annotation en réalité augmentée ». L’article expose les résultats saillants de plusieurs semaines de travail de terrain avec et sans le dispositif numérique "Ikonikat 3D". Il apparaît que notre étude corrobore la forte influence du cartel sur la façon dont les visiteurs regardent les sculptures. Mais elle montre aussi que l’utilisation d’un dispositif numérique, en fonction de l’interaction homme-machine qu’il soutient, crée un espace de vision et un espace d’action qui ont des conséquences en termes de distance et de point de vue sur l’œuvre regardée. Enfin, nous pouvons observer différents registres de sens qui se déploient dans cette situation muséale. Cela nous conduit à soutenir une perspective particulière pour accompagner l’engagement des visiteurs devant les sculptures. This article reports on fieldwork conducted at the Musée du Louvre-Lens with visitors discovering a sculpture from the Louvre, the Discophorus. To study the statue’s reception, we developed a mixed methodology based on video recordings and “annotation traces in augmented reality”. The article presents the salient results of several weeks of fieldwork with and without the digital device Ikonikat 3D. It appears that our study corroborates the strong influence of the label on the way visitors look at the sculptures. But it also shows that the use of a digital device, depending on the human-machine interaction it supports, creates a space of vision and a space of action that have consequences in terms of distance and point of view on the work being viewed. Finally, we can observe different registers of meaning in the museum situation. This leads us to use a certain perspective to accompany visitor engagement with the sculptures.

The goal of SLAM (Simultaneous Localization and Mapping) is to estimate the trajectory of a moving camera while building a map of its environment. Classical algorithm usually build a purely geometrical and homogeneous map, thus there is a semantic gap between the internal representation and the real world in which the system is evolving. Our goal in this manuscript is to build a SLAM system that can harness semantic information to push forward the limits of SLAM. To this end, we first propose a light neural network to estimate the pose of objects in the scene. Objects can serve as high level landmarks for a SLAM system, improving camera pose and adding information into the map. This network however has to be trained for specific objects. We then propose a SLAM system that can create clusters of 3D points corresponding to generic objects in the scene. With some a priori knowledge about object classes we can estimate their geometry in real time to improve both the map and camera pose estimation. Finally we propose new SLAM able to robustly estimate camera pose in dynamic scenes and to estimate the trajectories of all moving objects in the scene. A priori knowledge allows us to constrain the movement of objects to be plausible with respect to the structure of the world. We also propose to improve object tracking by injecting LiDAR data into our SLAM system.; Le but du SLAM (Simultaneous Localization And Mapping) est d'estimer la trajectoire d'une caméra en mouvement tout en cartograhiant l'espace. Les algorithmes classiques construisent généralement une cartographie purement géométrique et homogène, ainsi il y a un écart sémantique entre la représentation interne du SLAM et le monde réel dans lequel le système évolue. Notre but dans ce manuscrit est de construire un système de SLAM pouvant exploiter l'information sémantique pour repousser les limites du SLAM. Dans ce but nous proposons un réseau de neurones léger pour estimer la pose d'objets dans la scène. Les objets peuvent servir de repères haut niveau pour un SLAM, améliorant la pose de la caméra et ajoutant de l'information dans la cartographie. Puis nous proposons un SLAM capable de créer des groupes de points 3D correspondant à des objets génériques dans la scène. En utilisant une connaissance a priori sur la classe des objets nous pouvons estimer leur géométrie pour améliorer la cartographie et la pose de la caméra. Enfin, nous proposons un SLAM capable d'estimer la pose de la caméra dans des scène dynamiques tout en estimant la trajectoire de tous les objets dans la scène. Un a priori sur les objets nous permet de contraindre leur mouvement afin qu'il soit cohérent avec la structure du monde. Nous proposons également d'améliorer le suivi des objets en injectant des données LiDAR dans notre SLAM.

La SandBox est une technologie développée par l’UC Davis qui permet de modéliser des terrains en réalité augmentée. Il s’agit d’un système permettant de sculpter dans le sable un paysage qui va être topographié par l’ordinateur. Une carte d’élévation (2D), composée de courbes et de couleurs, est projetée dans l’espace d’expérimentation (3D). L’opération se fait en direct, ce qui permet une grande interactivité. Les représentations bidimensionnelles (carte 2D) ne permettent pas toujours une bonne perception de l’espace (3D) représenté, cependant cet article souligne comment utiliser la SandBox pour pallier aux difficultés rencontrées lors de la lecture de ces représentations. Il détaille comment utiliser le potentiel de l’appareil afin d’améliorer la représentation spatiale des participants. The SandBox was developed by the UC DAVIS. This box aims to be an interactive experimentation space. You can model the sand by hand using augmented reality. The 3D sand is augmented in real time with a color elevation map (2D) and topographic contour lines. This operation is live and creates great interaction. The two-dimensional representation (2D map) alone may not allow a good 3D perception of space. This article explains how to use the SandBox to overcome the difficulties encountered when reading the map and details how to use the potential of this device to improve spatial representation learning. SandBox es una aplicación desarrollada por la UC Davis que permite modelar una superficie topográfica en arena, proyectar sobre ella la representación de las curvas de nivel 2D y realizar proyecciones en 3D. En ocasiones, estas representaciones bidimensionales (mapa 2D) no siempre permiten una buena percepción del espacio (3D). Para mejorar la comprensión espacial de los participantes se explica cómo usar SandBox para obtener los mayores resultados del dispositivo y ofrecer una interpretación correcta de estas representaciones.

The Canadian company 4D Art fascinates the eye of the audience and questions their senses of reality and presence through the interaction on stage of the real and virtual bodies’ movements. To understand the creative process of 4D Art’s multimedia scene, we present an exclusive interview with the artistic directors Michel Lemieux and Victor Pilon. The artistic motivations of the real and virtual game, the procedures employed in the creation of virtual figures and the challenges faced by the actors are exposed by the creators., La compagnie canadienne 4D Art surprend le regard du public et interroge les sens de réalité et présence, par l’interaction scénique de corps réels et virtuels en mouvement. Pour comprendre le processus créateur des spectacles de 4D Art, on présente un entretien inédit réalisé avec les directeurs artistiques Michel Lemieux et Victor Pilon. Les motivations artistiques du jeu réel et virtuel, les procédés employés dans la création des figures virtuelles et les défis vécus par les acteurs sont exposés par les créateurs., A companhia canadense 4D Art fascina o olhar do público e interroga seus sentidos de realidade e presença pela interação cênica dos movimentos de corpos reais e virtuais. Para compreender os processos de criação da cena multimídia de 4D Art, apresenta-se uma entrevista exclusiva realizada com os diretores artísticos Michel Lemieux e Victor Pilon. As motivações artísticas do jogo real e virtual, os procedimentos empregados na criação das figuras virtuais e os desafios enfrentados pelos atores aparecem nas palavras dos criadores.

The Canadian company 4D Art fascinates the eye of the audience and questions their senses of reality and presence through the interaction on stage of the real and virtual bodies’ movements. To understand the creative process of 4D Art’s multimedia scene, we present an exclusive interview with the artistic directors Michel Lemieux and Victor Pilon. The artistic motivations of the real and virtual game, the procedures employed in the creation of virtual figures and the challenges faced by the actors are exposed by the creators., La compagnie canadienne 4D Art surprend le regard du public et interroge les sens de réalité et présence, par l’interaction scénique de corps réels et virtuels en mouvement. Pour comprendre le processus créateur des spectacles de 4D Art, on présente un entretien inédit réalisé avec les directeurs artistiques Michel Lemieux et Victor Pilon. Les motivations artistiques du jeu réel et virtuel, les procédés employés dans la création des figures virtuelles et les défis vécus par les acteurs sont exposés par les créateurs.