Search

Once reserved for virtual environments, avatars are now increasingly present in Augmented Reality (AR). This technology allows interacting with virtual content directly integrated into our physical surroundings. Combined with body tracking, it makes it possible to experience being inside a virtual body of any desired appearance and to extend one’s action capabilities. Despite the numerous opportunities for applications that this new possibility provides, little research has explored how to implement and exploit it. The way users perceive such experiences within real environments is additionally not well understood yet. In this thesis, we explore the embodiment of avatars in AR through several axes. First, we introduce a taxonomy through a body avatarization continuum to better describe embodiment experiences. Next, using an optical see-through AR display, we study the user’s sense of embodiment towards virtual hands and how mixing the virtual with the real impacts this sense. We then look at the use cases for avatar embodiment in AR and investigate interaction techniques allowing to control avatars in the third person and to explore the real world. We propose an implementation of this concept and evaluate the approach of using such a system to improve our perception of real-world affordances through a user study. Finally, we explore strategies to enhance embodiment illusions by designing transitions to become one's avatar and methods to prepare the user for their “avatarization”.; Autrefois réservés aux environnements virtuels, les avatars sont désormais de plus en plus présents en Réalité Augmentée (RA). Cette technologie permet d’interagir avec du contenu virtuel directement intégré à notre environnement physique. Associée aux techniques de suivi corporel, elle permet de se voir à l’intérieur d’un corps virtuel de n’importe quelle apparence et d’étendre nos capacités d’action. Malgré les nombreuses possibilités d’applications, peu de recherches ont exploré comment la mettre en oeuvre et l’exploiter. De plus, la façon dont les utilisateurs perçoivent de telles expériences dans des environnements réels n’est pas encore bien comprise. Dans cette thèse, nous explorons l’incarnation des avatars en RA au travers de plusieurs axes. Tout d’abord, nous introduisons une taxonomie pour mieux décrire les expériences d’incarnation de par un continuum d’avatarisation corporelle. Ensuite, à l’aide d’un affichage optique de RA, nous étudions le sentiment d’incarnation de l’utilisateur vis-à-vis de mains virtuelles et l’impact du mélange du virtuel et du réel sur ce sentiment. En troisième lieu, nous examinons les cas d’utilisation de l’incarnation d’avatars en RA et étudions les techniques d’interaction permettant de les contrôler à la troisième personne pour explorer le monde réel. Nous proposons une mise en oeuvre de ce concept et évaluons l’approche d’utiliser un tel système pour améliorer notre perception des affordances du monde réel au travers d’une étude utilisateurs. Pour terminer, nous explorons des stratégies pour améliorer les illusions d’incarnation à l’aide de transitions graphiques et des méthodes pour préparer l’utilisateur à son “avatarisation”.

Rational drug design, as car or building design, implies a detailed understanding of proteins’ behavior. Proteins are the building blocks the workers, the messengers, the transporters involved in the cell machinery and its components, and targeted by drugs. However, one of the major obstacles to this approach lies in the limitations of the human-computer interfaces to manipulate complex, three-dimensional, flexible objects during a simulation in progress. To address this problem, we designed a tangible molecular interface, allowing the manipulation of a modular and �exible physical molecular model, to build and manipulate a virtual molecular twin from this physical model, synchronized thanks to embedded sensors. We propose to present this tangible interface, allowing to open the discussion on the perspectives concerning this prototype., Concevoir de manière rationnelle des médicaments, comme on conçoit une voiture ou un bâtiment, implique une compréhension fine du fonctionnement des protéines, protéines constituant les briques, les ouvriers, les messagers, transporteurs, nécessaires au fonctionnement de la cellule et de ses composants, et ciblées par les médicaments. Cependant, un des freins majeurs à cette approche appelée Rational Drug Design, réside dans les limitations des interfaces humain-machine pour manipuler des objets moléculaires, complexes, tridimensionnels et flexibles. Pour avancer sur cette problématique, nous avons conçus une interface tangible moléculaire, permettant la manipulation directe d’un modèle physique moléculaire modulaire et flexible, outillé par des capteurs électroniques, pour construire et manipuler le jumeau virtuel moléculaire de ce modèle physique. Nous proposons d’en faire la démonstration, en suscistant la discussion sur les perspectives d’évolution de notre prototype.

Virtual reality is a contradictory expression, which is commonly misused by marketing to name a wide range of products having different functionalities. In this article, we focus on the signification of this expression, and the interest raised by the underlying technology. We provide a brief description of virtual reality within the taxonomy of mediated reality, and we show that virtual reality can be compared to a sandbox, in the way it allows experimenting without risk. Finally, we suggest that our desire to escape reality could explain in some way our enthusiasm for virtual reality.; La réalité virtuelle est une expression en forme d'oxymore, reprise en boucle par le marketing pour désigner une large gamme de produits très différents. Dans cet article, nous nous interrogeons sur la signification de l'expression réalité virtuelle, et de l'engouement que suscite cette technologie. Nous donnons une classification de la réalité retransmise, qui est un concept englobant la réalité virtuelle, et montrons que cette dernière se présente comme un bac à sable pour expérimenter sans accidents. Enfin, nous suggérons que le désir d'évasion peut expliquer en partie l'engouement pour la réalité virtuelle.

Virtual reality is a contradictory expression, which is commonly misused by marketing to name a wide range of products having different functionalities. In this article, we focus on the signification of this expression, and the interest raised by the underlying technology. We provide a brief description of virtual reality within the taxonomy of mediated reality, and we show that virtual reality can be compared to a sandbox, in the way it allows experimenting without risk. Finally, we suggest that our desire to escape reality could explain in some way our enthusiasm for virtual reality.; La réalité virtuelle est une expression en forme d'oxymore, reprise en boucle par le marketing pour désigner une large gamme de produits très différents. Dans cet article, nous nous interrogeons sur la signification de l'expression réalité virtuelle, et de l'engouement que suscite cette technologie. Nous donnons une classification de la réalité retransmise, qui est un concept englobant la réalité virtuelle, et montrons que cette dernière se présente comme un bac à sable pour expérimenter sans accidents. Enfin, nous suggérons que le désir d'évasion peut expliquer en partie l'engouement pour la réalité virtuelle.

Digital technology is now an integral part of our daily lives.We use it to perform everyday tasks such as discovering, understanding and learning. Approaches based on physical manipulation and group activities have the capacity to facilitate such activities. However, traditional digital devices relying on interfaces using screens, keyboards and mice are limited in this type of approach. In this thesis, we propose to use new interaction paradigms with the digital world, based on augmented reality and tangible interactions, in order to create mixed environments where the physical world serves as a support to the virtual world. Although these paradigms have existed for at least two decades, they are still not widely used in our society and are difficult to access outside of very specific use cases. During this PhD, we have designed and evaluated environments that mix physical objects in the classroom such as paper, pencils and books, with projected digital elements (images, sounds, videos), within the same workspace. Thus, students can work actively and collectively, as they would in a purely physical space, while benefiting from the possibilities offered by digital technology. In a second step, we explored the use of tangible interactions and augmented reality to help users become aware of their energy consumption, and to optimize the layout and circulation of people within public buildings, to fight against the coronavirus epidemic., Le numérique fait désormais partie intégrante du quotidien en s’immisçant progressivement dans toute les activités de notre société. Nous l’utilisons pour réaliser des tâches courantes comme découvrir, comprendre et apprendre. Des approches basées sur la manipulation physique et les activités de groupe ont la capacité à faciliter ce genre d’activité. Cependant, les dispositifs numériques traditionnels s’appuyant sur des interfaces utilisant écrans, claviers et souris sont limités dans ce type d’approche. Dans cette thèse, nous proposons d’utiliser de nouveaux paradigmes d’interaction avec le numérique, basés notamment sur la réalité augmentée et les interactions tangibles, afin de créer des environnements mixtes où le monde physique sert de support au monde virtuel. Si ces paradigmes existent depuis aux moins deux décennies, ils sont encore peu répandus au sein de notre société et difficilement accessibles hors de cas d’usage très spécifiques. Dans un premier temps, nous avons conçu et évalué des environnements physico-numériques qui mélangent des objets physiques présents en salle de classe tels que du papier, des crayons et des livres, avec des éléments numériques projetés (images, sons vidéos), au sein d’un même espace de travail. Ainsi, les élèves peuvent travailler de façon active et collective,comme ils le feraient dans un espace purement physique, tout en bénéficiant des possibilités offertes par le numérique. Dans un deuxième temps, nous avons exploré l’utilisation des interactions tangibles et de la réalité augmentée pour aider les utilisateurs à prendre conscience de leur consommation énergétique, et à optimiser la disposition et la circulation des personnes au sein de bâtiments publics, pour lutter contre l’épidémie de coronavirus.

Today’s visual enhancement systems for low vision people consist of dedicated augmentedreality hardware allowing to magnify or enhance the overall scene, independently of theimage content or patient needs. For example, for patients with central vision loss, interacting withother has become a painful activity since faces and expressions can hardly be recognized. Weintroduce a new augmented reality system allowing to selectively enhances faces, using two imageprocessing techniques. Our system has the capacity to adjust the enhancement to the detectedfaces’ size and distance, hence maintaining a constant boost in the critical range of spatial frequency.It offers a binocular and large Field-of-View and performs at near real-time with a modestlaptop computer using multithreading. Preliminary experiments with three patients with centralvision loss suggest that the enhancements chosen strongly depends on each patient’s condition andlead to improved recognition abilities when patients find their optimal settings.; Les systèmes d’amélioration visuelle actuels pour les malvoyants consistent en unmatériel dédié à la réalité augmentée permettant d’agrandir ou d’améliorer la scène dans sonensemble, indépendamment du contenu de l’image ou des besoins du patient. Par exemple, pourles patients présentant une perte de vision centrale, l’interaction avec d’autres patients est devenueune activité douloureuse, car les visages et les expressions sont difficilement reconnaissables.Nous introduisons un nouveau système de réalité augmentée permettant d’améliorer de manièresélective les visages, en utilisant deux techniques de traitement d’images. Notre système a lacapacité d’ajuster l’amélioration à la taille et à la distance des visages détectés, maintenant ainsiune augmentation constante de la plage critique de fréquences spatiales. Il offre un grand champde vision binoculaire et fonctionne proche du temps réel avec un ordinateur portable modesteutilisant la technologie multithreading. Des expériences préliminaires menées auprès de trois patientsprésentant une perte de vision centrale suggèrent que les améliorations choisies dépendentfortement de l’état de chaque patient et permettent d’améliorer les capacités de reconnaissancelorsque les patients trouvent leurs paramètres optimaux.

In recent history, computational devices evolved from simple calculators to now pervasive artefacts, with which we share most aspects of our lives, and it is hard to imagine otherwise. Yet, this change of the role of computers was not accompanied by an equivalent redefinition of the interaction paradigm: we still mostly depend on screens, keyboards and mice. Even when these legacy interfaces have been proven efficient for traditional tasks, we agree with those who argue that these interfaces are not necessarily fitting for their new roles. Even more so, traditional interfaces preserve the separation between digital and physical realms, now counterparts of our reality.During this PhD, we focused the dissolution of the separation between physical and digital, first by extending the reach of digital tools into the physical environment, followed by the creation of hybrid artefacts (physical-digital emulsions), to finally support the transition between different mixed realities, increasing immersion only when needed. The final objective of this work is to augment the experience of reality. This comprises not only the support of the interaction with the external world, but also with the internal one. This thesis provides the reader contextual information along with required technical knowledge to be able to understand and build mixed reality systems. Once the theoretical and practical knowledge is provided, our contributions towards the overarching goal of merging physical and digital realms are presented. We hope this document will inspire and help others to work towards a world where the physical and digital, and humans and their environment are not opposites, but instead all counterparts of a unified reality., Alors que le numérique a longtemps été réservé à des usages experts, il fait aujourd’hui partie intégrante de notre quotidien, au point, qu’il devient difficile de considérer le monde physique dans lequel nous vivons indépendamment du monde numérique. Pourtant, malgré cette évolution, notre manière d’interagir avec le monde numérique a très peu évolué, et reste toujours principalement basé sur l’utilisation d’écrans, de claviers et de souris. Dans les nouveaux usages rendus possible par le numérique, ces interfaces peuvent se montrer inadaptées, et continuent à préserver la séparation entre le monde physique et le monde numérique. Au cours de cette thèse, nous nous sommes concentrés à rendre cette frontière entre mondes physique et numérique plus subtil au point de la faire disparaître. Cela est rendu possible en étendant la portée des outils numériques dans le monde physique, puis en concevant des artefacts hybrides (des objets aux propriétés physique et numérique), et enfin en permettant les transitions dans une réalité mixte (physique-numérique), laissant le choix du niveau d’immersion à l’utilisateur en fonction de ses besoins. L’objectif final de ce travail est d’augmenter l’expérience de la réalité. Cela comprend non seulement le support de l’interaction avec le monde extérieur, mais aussi avec notre monde intérieur. Cette thèse fournit aux lecteurs les informations contextuelles et les connaissances techniques requises pour pouvoir comprendre et concevoir des systèmes de réalité mixte. A partir de ces fondements, nos contributions, ayant pour but de fusionner le monde physique et le monde virtuel, sont présentées. Nous espérons que ce document inspirera et facilitera des travaux futurs ayant pour vision d’unifier le physique et le virtuel.

Being able to collaborate remotely with other people can provide valuable capabilities in performing tasks that require multiple users to be achieved. Moreover, Mixed Reality (MR) technologies are great tools to develop new kinds of applications with more natural interactions and perception abilities compared to classical desktop setups. In this thesis, we propose to improve remote collaboration using these MR technologies that take advantages of our natural skills to perform tasks in 3D environments. In particular, we focus on asymmetrical aspects involved by these kind of collaboration: roles, point of view (PoV), devices and level of virtuality of the MR application.First, we focus on awareness issues and we propose a generic model able to accurately describe a collaborative MR application taking into account potential asymmetry dimensions. In order to address all these dimensions, we split our final model into two layers that separate real and virtual spaces for each user. In this model, each user can generate different kind of input and receive feedbacks with different meanings in order to maintain their own awareness of the shared Virtual Environment (VE). Then, we conduct an exploratory user study to explore the consequences of asymmetricPoVs and the involvement of users’ representation in the level of awareness of others’ collaborators.Second, we apply our findings to a remote guiding context that implies a remote guide to help an operator in performing a maintenance task. For this use case, we propose to the expert to use a Virtual Reality (VR) interface in order to help the operator through an Augmented Reality (AR) interface. We contribute to this field by enhancing the expert’s perceptual abilities of the remote workspace as well as by providing more natural interactions to guide the operator through not intrusive guiding cues integrated to the real world.Last, we address an even more sensitive situation for awareness in remote collaboration that is virtual comanipulation. It requires to target a perfect synchronization between collaborators in order to achieve the task efficiently. Thus, the system needs to provide appropriate feedbacks to maintain a high level of awareness, especially about what others are currently doing. In particular, we propose a hybrid co-manipulation technique, inspired from our previous remote guiding use case, that mixes virtual object and other’s PoV manipulation in the same time., Être capable de collaborer à distance avec d’autres personnes peut fournir de précieuses capacités pour effectuer des tâches qui ont besoin de plusieurs utilisateurs pour être accomplies. De plus, les technologies de Réalité Mixte (RM) sont des outils intéressants pour développer de nouveaux types d’applications offrant des interactions et des possibilités de perception plus naturelles comparées aux systèmes classiques. Dans cette thèse, nous proposons d’améliorer la collaboration distante en utilisant ces technologies de RM qui profitent de nos capacités naturelles à effectuer des tâches en environnements 3D. En particulier, nous nous concentrons sur les aspects asymétriques impliqués par ce type de collaboration : les rôles, le point de vue (PdV), les dispositifs et le niveau de virtualité de l’application de RM.Premièrement, nous nous intéressons aux problèmes d’awareness et nous proposons un modèle générique capable de décrire précisément une application de RM collaborative en prenant en compte les potentielles dimensions asymétriques. Afin de traiter toutes ces dimensions, nous séparons notre modèle final en deux niveaux qui distingue espaces réels et virtuels pour chaque utilisateur. Dans ce modèle, chaque utilisateur peut générer différents types d’entrées et recevoir des retours de significations différentes dans le but de maintenir leur propre awareness de l’Environnement Virtuel (EV) partagé. Puis, nous présentons une étude utilisateur exploratoire qui s’intéresse aux conséquences de l’asymétrie des PdVs et aux implications induites par la représentation des utilisateurs sur le niveau d’awareness des autres collaborateurs.Deuxièmement, nous appliquons ces observations dans un contexte de guidage à distance qui implique un guide distant aidant un opérateur à réaliser une tâche de maintenance. Pour ce cas d’usage, nous proposons à l’expert d’utiliser une interface de Réalité Virtuelle (RV) pour aider l’opérateur au travers d’une interface de Réalité Augmentée (RA). Nous contribuons à ce domaine en améliorant les capacités de perception de l’environnement distant par l’expert et en proposant des interactions plus naturelles pour guider l’opérateur au travers d’indications non intrusives etintégrées à son environnement réel.Finalement, nous abordons la tâche de co-manipulation qui est une situation encore plus sensible vis-à-vis de l’awareness en collaboration distante. Cette tâche requiert de viser une synchronisation parfaite entre les collaborateurs pour l’accomplir efficacement. Ainsi, le système doit fournir des retours appropriés pour maintenir un haut niveau d’awareness, spécialement concernant l’activité courante des autres. En particulier, nous proposons une technique de co-manipulation hybride, inspirée de notre cas d’utilisation précédent sur la guidage distant, qui mixe la manipulation d’objet virtuel et du PdV d’un autre utilisateur.

This PhD thesis focuses on plasticity for Mixed Reality (MR) User interfaces, which includes Virtual Reality (VR), Augmented Reality (AR) and Augmented Virtuality (AV) applications. Today, there is a growing interest for this kind of applications thanks to the generalization of devices such as Head Mounted Displays, Depth sensors and tracking systems. Mixed Reality application can be used in a wide variety of domains such as entertainment, data visualization, education and training, and engineering. Plasticity refers to the capacity of an interactive system to withstand variations of both the system physical characteristics and the environment while preserving its usability. Usability continuity of a plastic interface is ensured whatever the context of use. Therefore, we propose a set of software models, integrated in a software solution named 3DPlasticToolkit, which allow any developer to create plastic MR user interfaces. First, we propose three models for modeling adaptation sources: a model for the description of display devices and interaction devices, a model for the description of the users and their preferences, a model for the description of data structure and semantic. These adaptation sources are taken into account by an adaptation process that deploys application components adapted to the context of use thanks to a scoring system. The deployment of these application components lets the system adapt the interaction techniques of the application of its content presentation. We also propose a redistribution process that allows the end-user to change the distribution of his/her application components across multiple dimensions: display, user and platform. Thus, it allows the end-user to switch dynamically of platform or to combine multiple platforms. The implementation of these models in 3DPlasticToolkit provides developers with a ready to use solution for the development of plastic MR user interfaces. Indeed, the solution already integrates different display devices and interaction devices and also includes multiple interaction techniques, visual effects and data visualization metaphors., Cette thèse s'intéresse à la plasticité des interfaces de Réalité Mixte (RM), c'est-à-dire les applications de Réalité Virtuelle (RV), Réalité Augmentée (RA) et de Virtualité Augmentée (AV). Il y a un réel engouement aujourd’hui pour ce type d’applications notamment grâce à la démocratisation des périphériques tels les lunettes et casques immersifs, les caméras de profondeur et les capteurs de mouvement. La Réalité Mixte trouve notamment ses usages dans le divertissement, la visualisation de données, la formation et la conception en ingénierie. La plasticité d'un système interactif est sa capacité à s'adapter aux contraintes matérielles et environnementales dans le respect de son utilisabilité. La continuité de l'utilisabilité d'une interface plastique est assurée quel que soit le contexte d'usage. Nous proposons ainsi des modèles et une solution logicielle nommée 3DPlasticToolkit afin de permettre aux développeurs de créer des interfaces de Réalité Mixtes plastiques. Tout d'abord, nous proposons trois modèles pour modéliser les sources d'adaptation : un modèle pour représenter les dispositifs d'interaction et les dispositifs d'affichage, un modèle pour représenter les utilisateurs et leurs préférences et un modèle pour représenter la structure et la sémantique des données. Ces sources d'adaptation vont être prises en compte par un processus d'adaptation qui va déployer dans une application les composants applicatifs adaptés au contexte d'usage grâce à des mécanismes de notation. Le déploiement de ces composants va permettre d'adapter à la fois les techniques d'interaction de l'application et également la présentation de son contenu. Nous proposons également un processus de redistribution qui va permettre à l'utilisateur final de changer la distribution des composants de son système sur différentes dimensions : affichage, utilisateur et plateforme. Ce processus va ainsi permettre à l'utilisateur de changer de plateforme dynamiquement ou encore de combiner plusieurs plateformes. L'implémentation de ces modèles dans 3DPlasticToolkit permet de fournir aux développeurs une solution prête à l'usage qui peut gérer les périphériques actuels de Réalité Mixte et qui inclut un certain nombre de techniques d'interaction, d'effets visuels et de métaphores de visualisation de données.

This PhD thesis focuses on plasticity for Mixed Reality (MR) User interfaces, which includesVirtual Reality (VR), Augmented Reality (AR) and Augmented Virtuality (AV) applications.Plasticity refers to the capacity of an interactive system to withstand variations of both the systemphysical characteristics and the environment while preserving its usability. Usability continuity ofa plastic interface is ensured whatever the context of use. Therefore, we propose a set of softwaremodels, integrated in a software solution named 3DPlasticToolkit, that allow any developer tocreate plastic MR user interfaces. First, we propose three models for modeling adaptation sources:a model for the description of display devices and interaction devices, a model for the descriptionof the users and their preferences, a model for the description of data structure and semantic.These adaptation sources are taken into account by an adaptation process that deploys applicationcomponents adapted to the context of use thanks to a scoring system. The deployment of theseapplication components lets the system adapt the interaction techniques of the application of itscontent presentation. We also propose a redistribution process that allows the end-user to changethe distribution of his/her application components across multiple dimensions: display, user andplatform. Thus, it allows the end-user to switch dynamically of platform or to combine multipleplatforms. The implementation of these models in 3DPlasticToolkit provides developers with aready to use solution for the development of plastic MR user interfaces. Indeed, the solution alreadyintegrates dierent display devices and interaction devices and also includes multiple interactiontechniques, visual eects and data visualization metaphors., Cette thèse s'intéresse à la plasticité des interfaces de Réalité Mixte (RM), c'est-à-dire les applicationsde Réalité Virtuelle (RV), Réalité Augmentée (RA) et de Virtualité Augmentée (AV). Laplasticité d'un système interactif est sa capacité à s'adapter aux contraintes matérielles et environnementalesdans le respect de son utilisabilité. La continuité de l'utilisabilité d'une interfaceplastique est assurée quel que soit le contexte d'usage. Nous proposons ainsi des modèles et unesolution logicielle nommée 3DPlasticToolkit an de permettre aux développeurs de créer des interfacesde réalité mixtes plastiques. Tout d'abord, nous proposons trois modèles pour modéliserles sources d'adaptation : un modèle pour représenter les dispositifs d'interaction et les dispositifsd'achage, un modèle pour représenter les utilisateurs et leurs préférences et un modèle pourreprésenter la structure et la sémantique des données. Ces sources d'adaptation vont être prisesen compte par un processus d'adaptation qui va déployer dans une application les composantsapplicatifs adaptés au contexte d'usage grâce à des mécanismes de notation. Le déploiement de cescomposants va permettre d'adapter à la fois les techniques d'interaction de l'application et égalementla présentation de son contenu. Nous proposons également un processus de redistributionqui va permettre à l'utilisateur nal de changer la distribution des composants de son systèmesur diérentes dimensions : achage, utilisateur et plateforme. Ce processus va ainsi permettre àl'utilisateur de changer de plateforme dynamiquement ou encore de combiner plusieurs plateformes.L'implémentation de ces modèles dans 3DPlasticToolkit permet de fournir aux développeurs unesolution prête à l'usage qui peut gérer les périphériques actuels de réalité mixte et qui inclut uncertain nombre de techniques d'interaction, d'eets visuels et de métaphores de visualisation dedonnées.

National audience; Dans cet article, nous nous intéressons à la nécessité de réduire l'écart entre les considérations de conception en Informatique Graphique (IG) et en Interface Homme-Machine (IHM) afin de démocratiser l'usage et l'utilisation des environnements virtuels 3D (EV3D) pour des utilisateurs non-experts ou occasionnels. Notre approche consiste en une modélisation de l'interaction multimodale 3D (3DIM). Notre modèle 3DIM contribue à ramener l'ensemble des problématiques 3D et les exigences de l'utilisateur sur la compréhension et la caractérisation du lien entre un ensemble de tâches utilisateur et le graphe de scène de l'EV3D.

This document presents a summary of my research during the last decade. All these works have one common objective: Assistance with two issues: Interaction and collaboration to use or simulate complex systems. These complex systems can be either artificial or derived from life science. Two research areas have been studied: the Mixed Reality (MR) and Computer Supported Collaborative Work (CSCW). In the field of MR, the research focused on assistance to the interaction in 3D environments. These environments can be real-augmented or virtual, using or simulating complex systems. These systems may be artificial (as in human-robot interaction based on augmented reality) or derived from life science (such as human-molecule-interaction based on virtual reality). In the field of CSCW, the research focuses on assistance to the collaboration of users. These users can be either in telework situation with artificial complex systems (the case of robots teleoperation in mixed reality) or in a work situation with common virtual environments (completely simulated by computer). In the 3D interaction context, a particular consideration has been given to the way users interactions can be helped (navigation, selection, manipulation and system control) in an effective and credible way with their environment. This idea has led us to suggest models and software techniques in order to assist 3D interaction in mixed reality. In the collaboration context, special attention is given to how we can structure, organize, manage and assist a collaborative activity. This allowed us to create formalisms and models to assist a collaborative activity (communication, coordination and production). All these researches in both areas (MR and CSCW) have encouraged the emergence of a new issue: collaborative interaction in mixed reality. Indeed, studying groupwares gives the basic concepts required in a collaboration system, whereas studying 3D interactions in mixed reality offers metaphors / techniques and sensorimotor interfaces (auditory, visual and haptic) in order to improve the feeling of immersion. This interdisciplinary study (interactions in MR & collaboration in terms of CSCW) is very interesting because of their interdependencies. Indeed, collaborating implies interacting altogether, and interacting altogether implies collaborating. Therefore, our research approach is to take advantage efficiently of the scientific and technological advances in both of the research areas. So that new models to design systems supporting collaborative interaction in mixed reality can be created., Dans ce mémoire est présentée une synthèse d'une dizaine d'années de travaux de recherche. Tous ces travaux ont un point en commun : l'assistance et deux problématiques : l'interaction et la collaboration pour utiliser ou simuler des systèmes complexes. Ces systèmes complexes peuvent être soit artificiels (cas de la robotique/télérobotique et de télétravail collaboratif) ou bien issus du vivant (cas de la simulation en biologie moléculaire). Ma recherche a consisté à étudier à la fois deux domaines de recherche qui sont la Réalité Mixte (RM) et le Travail Collaboratif (TC). Dans le domaine de la RM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels, utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot distant en réalité augmentée) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Dans le domaine du TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Ces derniers peuvent être soit en situation de télétravail avec des systèmes complexes artificiels (cas de la téléopération de robots en réalité mixte) ou encore en situation de travail dans un environnement virtuel commun (complètement simulé par ordinateur). Dans le contexte de l'assistance à l'interaction 3D, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte. Dans le contexte de l'assistance à la collaboration, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et production). Ces recherches menées conjointement dans chacun des deux domaines ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs. Ce couplage de concepts interdisciplinaires (interaction en RM & collaboration du point de vue du TC) est très intéressant du fait de leurs interdépendances. En effet, pour collaborer, on a besoin d'interagir et pour interagir ensemble on a besoin de collaborer. Notre démarche de recherche propose donc de tirer partie de la manière la plus efficace possible des avancées scientifiques et technologiques issues des deux domaines de recherche afin de proposer des modèles permettant la conception de nouveaux systèmes d'assistance à l'interaction collaborative en réalité mixte.

This document presents a summary of my research during the last decade. All these works have one common objective: Assistance with two issues: Interaction and collaboration to use or simulate complex systems. These complex systems can be either artificial or derived from life science. Two research areas have been studied: the Mixed Reality (MR) and Computer Supported Collaborative Work (CSCW). In the field of MR, the research focused on assistance to the interaction in 3D environments. These environments can be real-augmented or virtual, using or simulating complex systems. These systems may be artificial (as in human-robot interaction based on augmented reality) or derived from life science (such as human-molecule-interaction based on virtual reality). In the field of CSCW, the research focuses on assistance to the collaboration of users. These users can be either in telework situation with artificial complex systems (the case of robots teleoperation in mixed reality) or in a work situation with common virtual environments (completely simulated by computer). In the 3D interaction context, a particular consideration has been given to the way users interactions can be helped (navigation, selection, manipulation and system control) in an effective and credible way with their environment. This idea has led us to suggest models and software techniques in order to assist 3D interaction in mixed reality. In the collaboration context, special attention is given to how we can structure, organize, manage and assist a collaborative activity. This allowed us to create formalisms and models to assist a collaborative activity (communication, coordination and production). All these researches in both areas (MR and CSCW) have encouraged the emergence of a new issue: collaborative interaction in mixed reality. Indeed, studying groupwares gives the basic concepts required in a collaboration system, whereas studying 3D interactions in mixed reality offers metaphors / techniques and sensorimotor interfaces (auditory, visual and haptic) in order to improve the feeling of immersion. This interdisciplinary study (interactions in MR & collaboration in terms of CSCW) is very interesting because of their interdependencies. Indeed, collaborating implies interacting altogether, and interacting altogether implies collaborating. Therefore, our research approach is to take advantage efficiently of the scientific and technological advances in both of the research areas. So that new models to design systems supporting collaborative interaction in mixed reality can be created.; Dans ce mémoire est présentée une synthèse d'une dizaine d'années de travaux de recherche. Tous ces travaux ont un point en commun : l'assistance et deux problématiques : l'interaction et la collaboration pour utiliser ou simuler des systèmes complexes. Ces systèmes complexes peuvent être soit artificiels (cas de la robotique/télérobotique et de télétravail collaboratif) ou bien issus du vivant (cas de la simulation en biologie moléculaire). Ma recherche a consisté à étudier à la fois deux domaines de recherche qui sont la Réalité Mixte (RM) et le Travail Collaboratif (TC). Dans le domaine de la RM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels, utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot distant en réalité augmentée) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Dans le domaine du TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Ces derniers peuvent être soit en situation de télétravail avec des systèmes complexes artificiels (cas de la téléopération de robots en réalité mixte) ou encore en situation de travail dans un environnement virtuel commun (complètement simulé par ordinateur). Dans le contexte de l'assistance à l'interaction 3D, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte. Dans le contexte de l'assistance à la collaboration, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et production). Ces recherches menées conjointement dans chacun des deux domaines ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs. Ce couplage de concepts interdisciplinaires (interaction en RM & collaboration du point de vue du TC) est très intéressant du fait de leurs interdépendances. En effet, pour collaborer, on a besoin d'interagir et pour interagir ensemble on a besoin de collaborer. Notre démarche de recherche propose donc de tirer partie de la manière la plus efficace possible des avancées scientifiques et technologiques issues des deux domaines de recherche afin de proposer des modèles permettant la conception de nouveaux systèmes d'assistance à l'interaction collaborative en réalité mixte.

The Catopsys system is a projector-miror-camera system which can be set in any room. It is an affordable way (not expensive, easy to install and easy to use) to perform various kinds of immersive mixed reality applications. The aim of this thesis is to study and optimize the radiometric process established through such system. First of all, radiometric perturbations of the camera are studied, then a correction method, which can be implemented in the Catopsys system, is described. This enables the system to capture, quite faithfully, the real environment and to estimate the pertubations caused by the projector or the room. The behaviour of the projector and the repercussion of using the room as a projection screen are then studied. A radiometric compensation method of the projection is proposed. This method makes the displayed image be more similar to the desired one. After a geometric study of the Catopsys system, specific rendering methods, based on ray tracing, are proposed. Finally, the features provided by the system to perform mixed reality applications, as well as their integration in the system workflow are detailled. Works done during this thesis permitted us to collaborate to the conception of the Catopsys system, to evaluate the feasibility of some features, to implement some of them and to publish several papers (1 international conference, 1 national journal, 1 national conference)., Le système Catopsys est un système projecteur-miroir-caméra à placer dans une pièce d'habitation quelconque. Il constitue un moyen abordable (coût, installation, utilisation) de réaliser toutes sortes d'applications de réalité mixte immersives. L'objectif de cette thèse est d'étudier et d'optimiser la chaîne de traitement radiométrique mise en oeuvre à travers ce système. Tout d'abord, les perturbations radiométriques de la caméra sont étudiées puis une méthode de correction, applicable au système Catopsys, est mise au point. Ceci permet, de façon relativement fidèle, d'acquérir l'environnement réel et d'estimer les perturbations issues du projecteur et de la pièce. L'influence du projecteur et de la pièce, utilisée comme écran de projection, sur l'image visible par l'utilisateur, est ensuite étudiée. Une méthode de compensation de la projection, permettant de rendre l'image visible plus proche de l'image voulue, est proposée. Après une étude de la géométrie du système Catopsys, des méthodes de simulation d'éclairage spécifiques, dérivées de la méthode de lancer de rayons, sont proposées. Enfin, les possibilités fournies par le système pour des applications de réalité mixte ainsi que leur intégration dans la chaîne de traitement sont étudiées. Les travaux réalisés dans le cadre de cette thèse ont permis de participer à la mise au point du système Catopsys, d'étudier la faisabilité de différentes fonctionnalités et d'en réaliser certaines. Ils ont également donné lieu à la publication de plusieurs papiers (une conférence internationale, une revue nationale, une conférence nationale).

National audience; La conception de systèmes de réalité mixte aborde des aspects non couverts par les processus traditionnels : de nouvelles approches ont donc vu le jour comme la méthodologie CoCSys et le modèle IRVO issus des travaux de notre équipe. Dans cet article nous nous intéressons à l'étape de transformation du modèle de conception en un assemblage de composants dans une démarche MDA (Model-driven architecture). Nous présentons plus particulièrement les travaux en cours permettant de passer des modélisations IRVO vers des assemblages de composants de la plateforme WComp. La transformation décrite est aujourd'hui du ressort du concepteur, cependant nous travaillons à une méthode automatisée de sélection de composant basée sur des tâches d'interaction élémentaire.

Virtual Reality is a research domain that is situated at the crossing of several domains as infography, simulation, teleoperation, collaborative work, etc. The 3D interaction is a core component of virtual reality. It allows the user to interact with the entities of the virtual environment. There exists different 3D interaction techniques that are dedicated to the different tasks of 3D interaction that are navigation, selection, manipulation and command control. In most cases, the 3D interaction techniques are only used to perform one of the 3D interaction tasks without taking into account the requirements of complex environments such as teleoperation environments and collaborative environments. Teleoperation tasks are complex tasks and must fulfill some constraints that are : very precise seizures of objects and secure selections and manipulations. The collaborative environments are worlds in which users interact between them to accomplish goals together. The complexity of these environments is related to the interaction of a group of users with shared entities. The aim of this work is to model, conceive, implement and evaluate our 3D interaction assistance system for mono and multi users. Our study is centred on the user and its interests in the virtual world. The concept of this study is based on the principle of anticipation of the user's gesture by the assistance him. Our 3D interaction assistance system is considered as a mean to bypass the limitations of some 3D interaction classical techniques in order to make them usable in different contexts., La réalité virtuelle est une discipline qui se situe à la croisée de plusieurs domaines tels que l'infographie, la simulation, la téléopération, le travail collaboratif, etc. L'interaction 3D est la composante motrice de la réalité virtuelle. Elle permet à l'utilisateur d'interagir avec les entités de l'environnement virtuel. Il existe différentes techniques d'interaction 3D qui sont dédiées aux différentes tâches d'interaction 3D à savoir la navigation, la sélection, la manipulation et le contrôle d'application. En général, la technique utilisée cherche à accomplir une tâche d'interaction 3D sans prendre en considération les exigences des environnements dédies pour la téléopération et les environnements collaboratifs. Les tâches de téléopération doivent respecter un certain nombre de contraintes, qui sont : des sélections et des manipulations sécurisées et précises. Les environnements collaboratifs sont des mondes dans lesquels les utilisateurs interagissent ensemble pour réaliser des tâches communes. La complexité de ces environnements est liée à l'interaction d'un groupe d'utilisateurs avec des entités partagées. L'objectif de ce travail est de modéliser, de concevoir, d'implémenter et d'évaluer un système d'assistance à l'interaction 3D mono-utilisateur et multi-utilisateurs. Notre concept est centré sur l'utilisateur et ses intérêts dans le monde virtuel, il est basé sur le principe d'anticipation du geste de l'utilisateur par l'assistance de ce dernier. Notre système d'assistance peut être considéré comme un moyen de contourner les limitations de certaines techniques d'interaction 3D classiques afin de les rendre utilisables dans des contextes différents.

International audience; Cette vidéo présente une table interactive de réalité mixte et deux applications : WordTab pour la réalisa-tion de rapports et Gestion de crises pour la supervision d'interventions de pompiers. La table TableGate per-met à plusieurs acteurs réunis autour de la table d'agir soit en interaction classique, soit en manipulant de ob-jets réels (feuilles de papiers ou maquettes de disposi-tifs d'intervention. Dans les deux vidéos nous donnons des principes du dispositif et montrons les deux utilisa-tions

One of the main weaknesses with traditional computing is the fact that the numerical world of the computer is decoupled from the users' real world. The application of Mixed Reality (MR) can provide interactive systems in which real objects and computer data are combined in a cohesive way.In our state of the art, we review several applications and technologies that have been developed during the last decade. Most of these applications are home made and were developed in an independent and autonomous way. Therefore, it is important to propose comprehensive model and an associated design methodology.As we illustrated it, the current models of Human-Computer Interaction (HCI) and Computer-Supported Cooperative Work (CSCW), are not suitable for Mixed Reality systems. It is because they are limited in terms of modeling the real artefacts.Therefore, the proposed IRVO model (Interacting with Real and Virtual Objects) aims at formalizing the interaction between the users, the real and virtual objects. It identifies the entities that have a role in the system (users, tools, objects of the task and the application) and their relationships. Its expressiveness help us to model the applications we reviewed while helping us in understanding, comparing and classifying them.We will also show how IRVO supports the design of a new generation of Mixed Reality based applications. IRVO can be used either as a starting point, or at the end of the analysis phase to help the designer in checking the completeness, coherence, continuity of the design. We investigated also the relation between IRVO and traditional HCI and CSCW models and more specifically with the AMF-C and Arch models. In a Model-Based Approach (MBA), IRVO can supplement the task and dialog models., L'un des principaux reproches que l'on fait à l'informatique traditionnelle est que le monde numérique de l'ordinateur est trop déconnecté du monde réel dans lequel les utilisateurs évoluent. La Réalité Mixte (RM) s'intéresse aux systèmes interactifs dans lesquels des objets réels et des données informatiques sont mêlées de manière cohérente.Dans notre état de l'art nous analysons de nombreuses applications et technologies qui ont été conçues depuis une dizaine d'années dans ce domaine de façon généralement indépendantes et autonomes. Il semble désormais possible de proposer des modèles unificateurs et des méthodologies de conception associées.Les modèles traditionnels de l'Interaction Homme-Machine (IHM) et du Travail Collaboratif Assisté par Ordinateur (TCAO), comme nous le montrons, ne sont pas adaptés car ils sont conçus pour la modélisation du logiciel et ne prennent pas (ou peu) en compte les artefacts réels.Nous proposons donc le modèle IRVO (Interacting with Real and Virtual Objects) qui cherche à formaliser l'interaction entre les utilisateurs et les objets réels et virtuels. Pour cela IRVO identifie les entités intervenant dans le système (les utilisateurs, les outils, les objets de la tâche et l'application informatique) et leurs relations. Son pouvoir d'expression nous permet de modéliser les applications de la littérature dans le but de les comprendre, les comparer et les classer. Nous montrons également que IRVO est un support à la conception d'applications nouvelles : il peut être utilisé soit comme point de départ, soit en fin d'analyse pour aider le concepteur à vérifier un certain nombre de critères (complétude, cohérence, continuité, etc.). Nous étudions la liaison entre IRVO et les modèles classiques de l'IHM et du TCAO et plus spécifiquement avec les modèles AMF-C et Arch. Dans une démarche MBA (Model-Based Approach), IRVO prend naturellement la place aux côtés des modèles de tâches et de dialogues.

International audience; This paper focuses on referents used in co-design in a Mixed Reality context. A co-design device was installed inside a space to be redesigned, thus offering at once real and virtual representations of the space. Our goal is to understand how the real and virtual representations are used as resource in multidisciplinary co-design. An analysis of pointing gestures done by participants was conducted. Our results underscore complementarities at first between the real and the virtual, as design elements are matches to markers in the real space. Then virtual representations are mostly used to support the design and the construct of a common ground, highlighting the ability of the virtual representations to support design.; Cette étude porte sur l'analyse de référents de l'activité de co-design dans un contexte de réalité mixte à travers l'utilisation d'un dispositif de co-design installé au sein même de l'espace à concevoir ; le contexte de design offrant des représentations réelles et virtuelles du même espace à concevoir. Notre objectif de recherche est de comprendre comment ces deux représentations réelles et virtuelles sont utilisées comme ressources à des fins de co-design dans un cadre multidisciplinaire. Pour ce faire, une analyse des gestes de pointage effectués par les participants a été conduite. Nos résultats soulignent une complémentarité du virtuel et réel en début de processus pour soutenir le travail de co-design et la mise en relation des éléments de design avec des repères réels. Ensuite, les représentations virtuelles sont majoritairement utilisées pour soutenir le design et la construction d'un common ground ce qui met en exergue les représentations virtuelles immersives de cette étude comme suffisantes pour concevoir.

National audience; Les périphériques de réalité virtuelle et mixte (RVM) sont de plus en plus accessibles ainsi que les moteurs de jeux. Même si le nombre de développeurs d'applications 3D temps réel est aujourd'hui important, rares sont ceux qui parviennent à intégrer des interactions immersives. Cependant la commuanté des experts RVM possèdent aussi un besoin qui est celui de la réutilisation de leurs scripts. Notre concept est répondre au besoin des experts tout en faisant bénéficier les novices. Pour cela, nous avons conçu un nouvel outil indépendant nommée MIREDGE (MIxed and virtual Reality Development toolkit pour Game Engine). Cet outil est basé sur un méta-modèle permettant de capitaliser les algorithmes d'interaction et les associer à des représentations simplifiées. Un méta-modèle garantit une réutilisation d'algortihmes d'interactions en prenant en compte de la compatibilité logicielle et matérielle. L'architecture spécifique de MIREDGE donne la possibilité aux communautés des développeurs réguliers et occasionnels d'écrire de façon efficace et efficiente un algorithme d'interaction RVM.