Search

Once reserved for virtual environments, avatars are now increasingly present in Augmented Reality (AR). This technology allows interacting with virtual content directly integrated into our physical surroundings. Combined with body tracking, it makes it possible to experience being inside a virtual body of any desired appearance and to extend one’s action capabilities. Despite the numerous opportunities for applications that this new possibility provides, little research has explored how to implement and exploit it. The way users perceive such experiences within real environments is additionally not well understood yet. In this thesis, we explore the embodiment of avatars in AR through several axes. First, we introduce a taxonomy through a body avatarization continuum to better describe embodiment experiences. Next, using an optical see-through AR display, we study the user’s sense of embodiment towards virtual hands and how mixing the virtual with the real impacts this sense. We then look at the use cases for avatar embodiment in AR and investigate interaction techniques allowing to control avatars in the third person and to explore the real world. We propose an implementation of this concept and evaluate the approach of using such a system to improve our perception of real-world affordances through a user study. Finally, we explore strategies to enhance embodiment illusions by designing transitions to become one's avatar and methods to prepare the user for their “avatarization”.; Autrefois réservés aux environnements virtuels, les avatars sont désormais de plus en plus présents en Réalité Augmentée (RA). Cette technologie permet d’interagir avec du contenu virtuel directement intégré à notre environnement physique. Associée aux techniques de suivi corporel, elle permet de se voir à l’intérieur d’un corps virtuel de n’importe quelle apparence et d’étendre nos capacités d’action. Malgré les nombreuses possibilités d’applications, peu de recherches ont exploré comment la mettre en oeuvre et l’exploiter. De plus, la façon dont les utilisateurs perçoivent de telles expériences dans des environnements réels n’est pas encore bien comprise. Dans cette thèse, nous explorons l’incarnation des avatars en RA au travers de plusieurs axes. Tout d’abord, nous introduisons une taxonomie pour mieux décrire les expériences d’incarnation de par un continuum d’avatarisation corporelle. Ensuite, à l’aide d’un affichage optique de RA, nous étudions le sentiment d’incarnation de l’utilisateur vis-à-vis de mains virtuelles et l’impact du mélange du virtuel et du réel sur ce sentiment. En troisième lieu, nous examinons les cas d’utilisation de l’incarnation d’avatars en RA et étudions les techniques d’interaction permettant de les contrôler à la troisième personne pour explorer le monde réel. Nous proposons une mise en oeuvre de ce concept et évaluons l’approche d’utiliser un tel système pour améliorer notre perception des affordances du monde réel au travers d’une étude utilisateurs. Pour terminer, nous explorons des stratégies pour améliorer les illusions d’incarnation à l’aide de transitions graphiques et des méthodes pour préparer l’utilisateur à son “avatarisation”.

Rational drug design, as car or building design, implies a detailed understanding of proteins’ behavior. Proteins are the building blocks the workers, the messengers, the transporters involved in the cell machinery and its components, and targeted by drugs. However, one of the major obstacles to this approach lies in the limitations of the human-computer interfaces to manipulate complex, three-dimensional, flexible objects during a simulation in progress. To address this problem, we designed a tangible molecular interface, allowing the manipulation of a modular and �exible physical molecular model, to build and manipulate a virtual molecular twin from this physical model, synchronized thanks to embedded sensors. We propose to present this tangible interface, allowing to open the discussion on the perspectives concerning this prototype., Concevoir de manière rationnelle des médicaments, comme on conçoit une voiture ou un bâtiment, implique une compréhension fine du fonctionnement des protéines, protéines constituant les briques, les ouvriers, les messagers, transporteurs, nécessaires au fonctionnement de la cellule et de ses composants, et ciblées par les médicaments. Cependant, un des freins majeurs à cette approche appelée Rational Drug Design, réside dans les limitations des interfaces humain-machine pour manipuler des objets moléculaires, complexes, tridimensionnels et flexibles. Pour avancer sur cette problématique, nous avons conçus une interface tangible moléculaire, permettant la manipulation directe d’un modèle physique moléculaire modulaire et flexible, outillé par des capteurs électroniques, pour construire et manipuler le jumeau virtuel moléculaire de ce modèle physique. Nous proposons d’en faire la démonstration, en suscistant la discussion sur les perspectives d’évolution de notre prototype.

Habilitation à Diriger les recherches, Université de Rennes 1

Cultural mediation institutions, especially museums, are increasingly using new technologies to attract visitors. On the one hand, Mixed Reality allows visitors to explore reconstructions of past or inaccessible places, but also to navigate spatially and temporally in these reconstructions. On the other hand, tangible interfaces are used to provide innovative and engaging interactive experiences.In this thesis we hypothesize that the use of tangible interfaces would facilitate spatio-temporal navigation on several scales within Virtual Environments. Our work has two objectives: 1) to propose a model to represent space and time on several scales; 2) to propose a tangible interface to navigate on these different scales.In response to the first objective, our proposition to represent time and space is based on notions used in the History of Science and Technology and proposes four layers. We rely on our model to respond to the second objective, for which we have set up a co-design process involving cultural mediation experts. The result of this approach is SABLIER, a tangible interactor allowing to navigate spatially and temporally within a Virtual Environment, Les institutions de médiation culturelle, notamment les musées, utilisent de plus en plus les nouvelles technologies afin d'attirer les visiteurs. D'un côté, la Réalité Mixte permet aux visiteurs d'explorer des reconstitutions de lieux passés ou inaccessibles, mais aussi de naviguer spatialement et temporellement dans ces reconstitutions. D'un autre côté, les interfaces tangibles sont utilisées pour proposer des expériences interactives innovantes et engageantes.Dans cette thèse nous émettons l'hypothèse que l'utilisation d'interfaces tangibles faciliterait la navigation spatio-temporelle sur plusieurs échelles au sein d'Environnements Virtuels. Nos travaux ont deux objectifs : 1) proposer un modèle permettant de représenter l'espace et le temps sur plusieurs échelles ; 2) proposer une interface tangible permettant de naviguer sur ces différentes échelles.En réponse au premier objectif, notre proposition de représentation du temps et de l'espace s'appuie sur des notions utilisées en Histoire des Sciences & Techniques et propose quatre échelles. Nous nous appuyons sur notre modèle pour répondre au second objectif pour lequel nous avons mis en place une démarche de co-conception impliquant des experts en médiation culturelle. Le résultat de cette démarche est SABLIER, un interacteur tangible permettant de naviguer spatio-temporellement au sein d'un Environnement Virtuel.

The advances in mixed reality head-mounted displays led researchers to investigate such systems but the design of mixed reality app could be laborious. Evaluate the effects of the arrangement of these interfaces in the physical world on user performance is complex. In this context, the use of a predictive model allows researchers to estimate, prior to the implementation, the usability issues of such applications. To this end, we propose a new KLM extension to model HMDbased interaction focusing on searching, pointing and validation tasks. First, we define new KLM operators and estimate through two user studies the estimated time for each operator. Then, we validate the model for an ecological task. This final study confirms that the model could be applied for predicting the interaction time on mixed reality interaction. CCS CONCEPTS • Human-centered computing • Human computer interaction (HCI) • HCI design and evaluation methods • User models, Les progrès réalisés dans le domaine des casques de réalité mixte (HMD) font entrer ce domaine dans une nouvelle ère où les prototypes conçus et développés en laboratoire peuvent techniquement devenir des produits commerciaux. Toutefois, le problème réside désormais dans la conception de ces systèmes : il est difficile d'anticiper les effets de la disposition spatiale de l'interface et le développement ou l’évaluation d'applications de réalité mixte sont fastidieux. Dans ce contexte, l'utilisation de modèles de prédiction du temps de réalisation d’une tâche est une approche prometteuse pour aider les concepteurs à anticiper les problèmes d'utilisabilité dès les premières étapes du processus de conception (i.e. avant le développement de telles solutions interactives). Dans ce but, nous présentons une nouvelle extension de KLM pour modéliser l'interaction basée sur les HMDs en mettant l'accent sur la recherche spatiale d’une cible, le pointage du regard et la validation gestuelle. Nous définissons d'abord de nouveaux opérateurs KLM requis pour modéliser ces interactions, et déterminons expérimentalement l'unité de temps pour chaque opérateur. Ensuite, nous validons le modèle en comparant le temps prédit avec le temps mesuré pour une tâche écologique combinant plusieurs de ces nouveaux opérateurs. Cette étude confirme la validité de nos nouveaux opérateurs et leur conformité avec le modèle KLM.

Virtual reality is a contradictory expression, which is commonly misused by marketing to name a wide range of products having different functionalities. In this article, we focus on the signification of this expression, and the interest raised by the underlying technology. We provide a brief description of virtual reality within the taxonomy of mediated reality, and we show that virtual reality can be compared to a sandbox, in the way it allows experimenting without risk. Finally, we suggest that our desire to escape reality could explain in some way our enthusiasm for virtual reality.; La réalité virtuelle est une expression en forme d'oxymore, reprise en boucle par le marketing pour désigner une large gamme de produits très différents. Dans cet article, nous nous interrogeons sur la signification de l'expression réalité virtuelle, et de l'engouement que suscite cette technologie. Nous donnons une classification de la réalité retransmise, qui est un concept englobant la réalité virtuelle, et montrons que cette dernière se présente comme un bac à sable pour expérimenter sans accidents. Enfin, nous suggérons que le désir d'évasion peut expliquer en partie l'engouement pour la réalité virtuelle.

Virtual reality is a contradictory expression, which is commonly misused by marketing to name a wide range of products having different functionalities. In this article, we focus on the signification of this expression, and the interest raised by the underlying technology. We provide a brief description of virtual reality within the taxonomy of mediated reality, and we show that virtual reality can be compared to a sandbox, in the way it allows experimenting without risk. Finally, we suggest that our desire to escape reality could explain in some way our enthusiasm for virtual reality.; La réalité virtuelle est une expression en forme d'oxymore, reprise en boucle par le marketing pour désigner une large gamme de produits très différents. Dans cet article, nous nous interrogeons sur la signification de l'expression réalité virtuelle, et de l'engouement que suscite cette technologie. Nous donnons une classification de la réalité retransmise, qui est un concept englobant la réalité virtuelle, et montrons que cette dernière se présente comme un bac à sable pour expérimenter sans accidents. Enfin, nous suggérons que le désir d'évasion peut expliquer en partie l'engouement pour la réalité virtuelle.

Digital technology is now an integral part of our daily lives.We use it to perform everyday tasks such as discovering, understanding and learning. Approaches based on physical manipulation and group activities have the capacity to facilitate such activities. However, traditional digital devices relying on interfaces using screens, keyboards and mice are limited in this type of approach. In this thesis, we propose to use new interaction paradigms with the digital world, based on augmented reality and tangible interactions, in order to create mixed environments where the physical world serves as a support to the virtual world. Although these paradigms have existed for at least two decades, they are still not widely used in our society and are difficult to access outside of very specific use cases. During this PhD, we have designed and evaluated environments that mix physical objects in the classroom such as paper, pencils and books, with projected digital elements (images, sounds, videos), within the same workspace. Thus, students can work actively and collectively, as they would in a purely physical space, while benefiting from the possibilities offered by digital technology. In a second step, we explored the use of tangible interactions and augmented reality to help users become aware of their energy consumption, and to optimize the layout and circulation of people within public buildings, to fight against the coronavirus epidemic., Le numérique fait désormais partie intégrante du quotidien en s’immisçant progressivement dans toute les activités de notre société. Nous l’utilisons pour réaliser des tâches courantes comme découvrir, comprendre et apprendre. Des approches basées sur la manipulation physique et les activités de groupe ont la capacité à faciliter ce genre d’activité. Cependant, les dispositifs numériques traditionnels s’appuyant sur des interfaces utilisant écrans, claviers et souris sont limités dans ce type d’approche. Dans cette thèse, nous proposons d’utiliser de nouveaux paradigmes d’interaction avec le numérique, basés notamment sur la réalité augmentée et les interactions tangibles, afin de créer des environnements mixtes où le monde physique sert de support au monde virtuel. Si ces paradigmes existent depuis aux moins deux décennies, ils sont encore peu répandus au sein de notre société et difficilement accessibles hors de cas d’usage très spécifiques. Dans un premier temps, nous avons conçu et évalué des environnements physico-numériques qui mélangent des objets physiques présents en salle de classe tels que du papier, des crayons et des livres, avec des éléments numériques projetés (images, sons vidéos), au sein d’un même espace de travail. Ainsi, les élèves peuvent travailler de façon active et collective,comme ils le feraient dans un espace purement physique, tout en bénéficiant des possibilités offertes par le numérique. Dans un deuxième temps, nous avons exploré l’utilisation des interactions tangibles et de la réalité augmentée pour aider les utilisateurs à prendre conscience de leur consommation énergétique, et à optimiser la disposition et la circulation des personnes au sein de bâtiments publics, pour lutter contre l’épidémie de coronavirus.

The advances of the last decades in the fields of computer science and metrology have led to the development of efficient measurement tools allowing the digitization of the environment. Although digital technology has not fundamentally overhauled the principles of metric measurement, the improvement of their accuracy, automation and storage capacity has, on the other hand, been a decisive development in many fields. In the case of rock art surveying, their introduction has allowed a massive gathering of 2D and 3D data, meeting various needs for study, monitoring, documentation, archiving, or dissemination. These data provide new and valuable supports for the understanding of the objects of study, in particular concerning their morphological characterization. However, in spite of their great potentials, they often remain under-exploited due to the lack of tools facilitating their manipulation, analysis, and semantic enrichment in multidisciplinary study contexts. Moreover, these methods tend to relegate the cognitive and analytical engagement of the observer behind the measurement tool, causing a deep break between on-site study moments and all off-site processing, or in other words, between real and virtual work environments.This thesis proposes to address these problems by defining an integrated approach allowing the fusion of the geometric, visual and semantic aspects of surveying within a single multimodal mixed reality environment. At the crossroads of the fields of heritage information systems and mixed reality, our goal is to ensure an informational continuity between in situ and ex situ analysis activities. This study led to the development of a functional proof of concept allowing the visualization of 2D and 3D digital data from surveys and their semantic annotation in augmented reality through a web interface.; Les progrès de ces dernières décennies dans les domaines de l’informatique et de la métrologie ont favorisé l’essor d’outils numériques de mesure de l’existant. Si le numérique n’a pas fondamentalement remis en question les principes de la mesure, l’amélioration de leur précision, de l’automatisation, et de la capacité de mémorisation ont, en revanche, constitué une évolution décisive dans de nombreuses disciplines. Dans le domaine du relevé d’art pariétal, leur introduction a rendu possible la collecte massive de données 2D et 3D en réponse à des besoins variés d’étude, de suivi, de documentation, d’archivage, ou encore de valorisation. Ces données constituent autant de nouveaux supports précieux pour la compréhension des objets d’étude, en particulier en ce qui concerne leur caractérisation morphologique. Cependant, malgré leurs nombreux potentiels, elles demeurent souvent sous-exploitées par manque d’outils facilitant leur manipulation, leur analyse, et leur enrichissement sémantique dans des contextes d’études pluridisciplinaires. En outre, ces méthodes tendent à reléguer l’engagement cognitif et analytique de l’observateur derrière son instrument de mesure, causant une rupture profonde entre les moments d’étude sur site et l’ensemble des traitements réalisés hors site, ou autrement dit, entre les environnements de travail réels et virtuels.Cette thèse propose de répondre à ces problèmes par la définition d’une approche intégrée permettant la fusion des aspects géométriques, visuels et sémantiques du relevé au sein d’un environnement de réalité mixte multimodal. En nous plaçant à la croisée des domaines des systèmes d’informations patrimoniaux et de la réalité mixte, notre objectif est de garantir la continuité des travaux menés in situ et ex situ. Ce travail a abouti au développement d’une preuve de concept fonctionnelle permettant la consultation de données numériques 2D et 3D issues de relevé et leur annotation sémantique en réalité augmentée via une interface web.

L’approche de la bande dessinée au travers des nouveaux médias, telle que la VR et l’AR s’est construite au long de mon parcours académique. Après l’obtention d’une bourse laboratoire pour entrer en thèse de doctorat en Sciences de l’Information Communication et en Sciences de l’Art, j'associe à des recherches autour des usages une méthodologie en recherche création. Je développe ainsi des concepts associés à une pratique du dessin, du Noir, pour ouvrir des questions associées à la narration en terme d’architexture, et de spatialisation. Ce travail se met en place plus précisément autour d’un projet laboratoire : AN DOMHAN (projet interdisciplinaire du laboratoire LLSETI lancé par Ghislaine Chabert, Marc Veyrat et Noémie Beck), sur l’adaptation en réalité mixte XR (AR + VR) d’une légende celtique irlandaise.

Diminished Reality (DR) is a video editing technique that alters reality by removing certain objects. It can be used as a preliminary step in Augmented Reality to replace real objects by virtual ones with different sizes and shapes. It can also be used solely, for example, in the case of virtually emptying a furnished apartment. The general approach of DR consists in three main steps. First, an inpainting technique is applied to a target region in the image to coherently remove an object. The image corresponds to a keyframe of the video stream. Second, the resulting inpainted region is transmitted to the next frames of the video stream by copying pixel intensities with respect to the camera pose and scene geometry. This consists in estimating the camera orientation and position in 3D which can be obtained by a Simultaneous Localization and Mapping (SLAM) technique. Third, the target region is updated with respect to the lighting change in the scene.In this thesis, we focused on the third step of the DR pipeline. Although many DR applications have been proposed in the literature, few are the ones who dealt with light change in the scene. Most of past work assumes that the surface is Lambertian and therefore perfectly diffuse. However, this is often not true, especially in indoor environments. By identifying specular highlights as the main cause for lighting change in the target region, we proposed two main approaches to address this problem.First, we proposed a specularity propagation method applied to real-time DR. Using the DR pipeline mentioned earlier, we integrated an interpolation function based on Thin-Plate Splines (TPS) in order to estimate the change ratios of the pixel intensities in the target region. This function is constrained by a number of specularity properties to achieve a plausible reconstruction of the specular highlights in the video stream. Our approach was tested on several real-time videos and achieved coherent reproduction of specularities in the context of DR.Second, we addressed the lighting problem in DR and AR as an inverse rendering problem. To do so, we analyzed the image components as described in light reflection models. In Computer Graphics, local illumination models such as Phong’s are used to render synthetic images in real-time. In this case, the parameters of the model are set by the user as inputs along with the scene’s geometry, the light source configuration and the camera pose. However, in a Mixed Reality (MR) application, the parameters of the model are unknown and have to be set in concordance with the real image from the camera. So, in this case we want to solve an inverse local illumination problem where the input is the real image. The output is the model’s parameters along with the light source configuration, the scene’s geometry and the camera pose. In this thesis, we proposed an exhaustive evaluation of the well-posedness of this problem with a focus on the specular highlights. The camera pose and the scene’s geometry are estimated using the SLAM approach and the rest of the unknown parameters are estimated by minimizing a photometric cost. We showed that we can invert a local illumination model from the observation of a single specular highlight. Therefore, in the context of AR and DR applications, we do not need to know the number of light sources in the scene a priori since each specularity is processed separately. This also opens many perspectives for similar inversion problems like camera localization., La réalité diminuée (RD) est une technique de montage vidéo qui modifie la réalité en supprimant certains objets. Il peut être utilisé comme étape préliminaire en réalité augmentée pour remplacer des objets réels par des objets virtuels de différentes tailles et formes. Il peut également être utilisé, par exemple, dans le cas de la réaménagement virtuel d'un appartement meublé. L'approche générale de RD consiste en trois étapes principales. Tout d'abord, une technique d'inpainting est appliquée à une région cible dans l'image pour retirer de manière cohérente un objet. Ceci correspond à une image clé du flux vidéo. Deuxièmement, la région modifiée résultante est transmise aux images suivantes du flux vidéo en copiant les intensités de pixels par rapport à la pose de la caméra et à la géométrie de la scène. Cela consiste à estimer l'orientation et la position de la caméra en 3D qui peuvent être obtenues par une technique de localisation et de cartographie simultanées (SLAM). Troisièmement, la région cible est mise à jour par rapport au changement d'illumination dans la scène.Dans cette thèse, nous nous sommes concentrés sur la troisième étape du pipeline DR. Bien que de nombreuses applications RD aient été proposées dans la littérature, rares sont celles qui ont traité des changements de lumière dans la scène. La plupart des travaux passés supposent que la surface est Lambertienne et donc parfaitement diffuse. Cependant, ce n'est souvent pas vrai, en particulier dans les environnements intérieurs. En identifiant les reflets spéculaires comme la principale cause du changement d'illumination dans la région cible, nous avons proposé deux approches principales pour résoudre ce problème.Dans un premier temps, nous avons proposé une méthode de propagation temps-réel de la spécularité appliquée à la RD. En utilisant le pipeline RD mentionné précédemment, nous avons intégré une fonction d'interpolation basée sur des splines à plaques minces (TPS) afin d'estimer les rapports de changement des intensités de pixels dans la région cible. Cette fonction est contrainte à un nombre de propriétés spécifiques à la forme de la spécularité pour obtenir une reconstruction plausible des reflets spéculaires dans le flux vidéo. Notre approche a été testée sur plusieurs vidéos en temps réel et a réalisé une reproduction cohérente des spécularités dans le contexte de la RD.Deuxièmement, nous avons abordé le problème d'illumination en RD et RA comme un problème de rendu inverse. Pour ce faire, nous avons analysé les composants de l'image comme décrit dans les modèles de réflexion de la lumière. En infographie, des modèles d'illumination locales tels que Phong sont utilisés pour rendre des images synthétiques en temps réel. Dans ce cas, les paramètres du modèle sont définis par l'utilisateur en tant qu'entrées en plus de la géométrie de la scène, la configuration de la source lumineuse et la pose de la caméra. Cependant, dans une application de réalité mixte (MR), les paramètres du modèle sont inconnus et doivent être définis en concordance avec l'image réelle de la caméra. Donc, dans ce cas, nous voulons résoudre un problème d'inversion de l’illumination locale où l'entrée est l'image réelle. La sortie correspond aux paramètres du modèle ainsi qu'à la configuration de la source lumineuse, à la géométrie de la scène et à la pose de la caméra. Dans cette thèse, nous avons proposé une évaluation exhaustive du conditionnement de ce problème en mettant l'accent sur les reflets spéculaires. La pose de la caméra et la géométrie de la scène sont estimées à l'aide de l'approche SLAM et les autres paramètres inconnus sont estimés en minimisant un coût photométrique. Nous avons montré que nous pouvons inverser un modèle d’illumination locale à partir de l'observation d'une seule spécularité. (...)

International audience

National audience; La thèse a pour objectif d'étudier les usages possibles des outils des réalités numériques (virtuelle, augmentée, mixte) pour l'enseignement de l'architecture. Il s'agit de construire des expérimentations au sein d'ateliers de projet en vue de produire de nouvelles méthodes d'enseignement.

The thesis studies the impact of new technology on the transmission and promotionof heritage on primary school pupils in order to demonstrate the importance of an alliance between history, visual culture and technology. Two case studies with two distinct types of corpus generated two experiments in situ: ancient architecture in Verona (Italy) and eighteenth-century landscape garden at Hestercombe (Britain). Verona and Hestercombe are two sides of the same patrimonial coin. The cosupervisionwas done under a specialist in digital storytelling of history, Corrado Petrucco (Un. of Padua) and one in eighteenth-century garden and landscape history, Laurent Châtel (Un. of Lille).Mobile Learning began in the 80’s when portable computers (the “in-thing” in those days) where first introduced into the classroom on an experimental basis being a genuine take-off in the late 1990’s thanks to experimental educational programs aimed to explore the didactic potential of PDAs (Personal Digital Assistant). From the mid-’90s to today, three different phases can be pinned down: a tool-focused phase, extra-mural learning, and an emphasis on student mobility. What this study shows is that the teacher’s role is of fundamental importance. The learning process is on-site, situated and enhanced by AR tools and devices (which are equipped with an ‘app’ developed specifically for this project): the ‘app’ is however not intended to replace the guide or the cultural educator, but to be complimentary and to enrich his/her route. In its documents such as “Cultural Heritage Counts for Europe (CHCfE). Towards a European Index for Cultural Heritage" the EU Council of European Ministers recognized heritage as a "strategic resource for a 'sustainable Europe" and a source of benefits – a source of creativity and innovation, generating new solutions to problems. This thesis shows why and how heritage education when augmented via technology improves the interpretation of historic environments and buildings and also makes them accessible to citizens and visitors.; Le doctorat étudie l'impact des nouvelles technologies sur la transmission et la promotion du patrimoine culturel sur les élèves des écoles primaires afin de démontrer l’importance d’une pensée éducative qui allie ‘histoire’, culture visuelle et 'technologie'. Deux études de cas à partir de deux « corpus » distincts ont permis de conduire deux expérimentations in situ : l’architecture antique en Italie à Vérone et le jardin paysager du XVIIIe siècle en Angleterre à Hestercombe. La cotutelleété encadrée par un spécialiste italien du story-telling éducatif en réalité augmentée (Prof. Corrado Petrucco, Padoue) et un spécialiste français des jardins et du paysage dans la culture britannique des Lumières (Prof.Laurent Châtel, Lille). Il ressort de l’étude que l’apprentissage par réalité mixte mobile (Augmented and mixed Reality Mobile Learning) est particulièrement pertinent.L'apprentissage mobile est né dans les années 80 lorsque l'ordinateur portable (sommet de la technologie de l'époque) a été introduit dans la classe sur une base expérimentale. Puis sa popularité est venue à la fin des années 90 grâce à des programmes éducatifs expérimentaux pour explorer le potentiel éducatif du PDA (Personal Digital Assistant). Depuis le milieu des années 90, on a pu identifier trois principales phases de l'apprentissage mobile, qui ont trois approches paradigmatiques différentes : les outils, l'apprentissage en dehors de la salle de classe, la mobilité des étudiants. Le rôle de l'enseignant devient plus fondamental encore : l’utilisation d’une application sur tablette ne vise pas à remplacer la guide ou l’éducateur culturel, mais à compléter et à enrichir la visite. Du point de vue pédagogique,l'accent sera mis sur une approche constructiviste de l'enseignement et l'apprentissage qui va stimuler les étudiants à devenir des citoyens actifs, bien conscients de leur identité historique : en tant que personnes informées et responsables, elles sont en meilleure mesure de préserver leur patrimoine. Danssa publication " Cultural Heritage Counts for Europe (CHCfE) Vers un indice européen pour le patrimoine culturel", le Conseil de l'UE des ministres européens considère le patrimoine comme une "ressource stratégique pour une Europe durable" et une source importante de créativité et d'innovation, qui génère de nouvelles solutions aux problèmes, tout en créant des services innovants - allant de la numérisation des biens culturels à l'utilisation de la technologie de la réalité virtuelle de pointe - dans le but d'interpréter les espaces et les bâtiments historiques et les rendre accessibles aux citoyens et aux visiteurs.

Driving automation is an ongoing process that is radically changing how people travel and spend time in their cars during journeys. Conditionally automated vehicles free human drivers from the monitoring and supervision of the system and driving environment, allowing them to perform secondary activities during automated driving, but requiring them to resume the driving task if necessary. For the drivers, understanding the system’s capabilities and limits, recognizing the system’s notifications, and interacting with the vehicle in the appropriate way is crucial to ensuring their own safety and that of other road users. Because of the variety of unfamiliar driving situations that the driver may encounter, traditional handover and training programs may not be sufficient to ensure an effective understanding of the interaction between the human driver and the vehicle during transitions of control. Thus, there is the need to let drivers experience these situations before their first ride. In this context, Mixed Reality provides potentially valuable learning and skill assessment tools which would allow drivers to familiarize themselves with the automated vehicle and interact with the novel equipment involved in a risk-free environment. If until a few years ago these platforms were destined to a niche audience, the democratization and the large-scale spread of immersive devices since then has made their adoption more accessible in terms of cost, ease of implementation, and setup. The objective of this thesis is to investigate the role of Mixed Reality in the acquisition of competences needed for a driver’s interaction with a conditionally automated vehicle. In particular, we explored the role of immersion along the Mixed Reality continuum by investigating different combinations of visualization and manipulation spaces and the correspondence between the virtual and the real world. For industrial constraints, we restricted the possible candidates to light systems that are portable, cost-effective and accessible; we thus analyzed the impact of the sensorimotor incoherences that these systems may cause on the execution of tasks in the virtual environment. Starting from these analyses, we designed a training program aimed at the acquisition of skills, rules and knowledge necessary to operate a conditionally automated vehicle. In addition, we proposed simulated road scenarios with increasing complexity to suggest what it feels like to be a driver at this level of automation in different driving situations. Experimental user studies were conducted in order to determine the impact of immersion on learning and the pertinence of the designed training program and, on a larger scale, to validate the effectiveness of the entire training platform with self-reported and objective measures. Furthermore, the transfer of skills from the training environment to the real situation was assessed with test drives using both high-end driving simulators and actual vehicles on public roads.; L'automatisation de la conduite est un processus en cours qui est en train de changer radicalement la façon dont les gens voyagent et passent du temps dans leur voiture pendant leurs déplacements. Les véhicules conditionnellement automatisés libèrent les conducteurs humains de la surveillance et de la supervision du système et de l'environnement de conduite, leur permettant d'effectuer des activités secondaires pendant la conduite, mais requièrent qu’ils puissent reprendre la tâche de conduite si nécessaire. Pour les conducteurs, il est essentiel de comprendre les capacités et les limites du système, d’en reconnaître les notifications et d'interagir de manière adéquate avec le véhicule pour assurer leur propre sécurité et celle des autres usagers de la route. À cause de la diversité des situations de conduite que le conducteur peut rencontrer, les programmes traditionnels de formation peuvent ne pas être suffisants pour assurer une compréhension efficace de l'interaction entre le conducteur humain et le véhicule pendant les transitions de contrôle. Il est donc nécessaire de permettre aux conducteurs de vivre ces situations avant leur première utilisation du véhicule. Dans ce contexte, la Réalité Mixte constitue un outil d'apprentissage et d'évaluation des compétences potentiellement efficace qui permettrait aux conducteurs de se familiariser avec le véhicule automatisé et d'interagir avec le nouvel équipement dans un environnement sans risque. Si jusqu'à il y a quelques années, les plates-formes de Réalité Mixte étaient destinées à un public de niche, la démocratisation et la diffusion à grande échelle des dispositifs immersifs ont rendu leur adoption plus accessible en termes de coût, de facilité de mise en œuvre et de configuration. L'objectif de cette thèse est d'étudier le rôle de la réalité mixte dans l'acquisition de compétences pour l'interaction d'un conducteur avec un véhicule conditionnellement automatisé. En particulier, nous avons exploré le rôle de l'immersion dans le continuum de la réalité mixte en étudiant différentes combinaisons d'espaces de visualisation et de manipulation et la correspondance entre le monde virtuel et le monde réel. Du fait des contraintes industrielles, nous avons limité les candidats possibles à des systèmes légers portables, peu chers et facilement accessibles; et avons analysé l’impact des incohérences sensorimotrices que ces systèmes peuvent provoquer sur la réalisation des activités dans l’environnement virtuel. À partir de ces analyses, nous avons conçu un programme de formation visant l'acquisition des compétences, des règles et des connaissances nécessaires à l'utilisation d'un véhicule conditionnellement automatisé. Nous avons proposé des scénarios routiers simulés de plus en plus complexes pour permettre aux apprenants d’interagir avec ce type de véhicules dans différentes situations de conduite. Des études expérimentales ont été menées afin de déterminer l'impact de l'immersion sur l'apprentissage, la pertinence du programme de formation conçu et, à plus grande échelle, de valider l'efficacité de l'ensemble des plateformes de formation par des mesures subjectives et objectives. Le transfert de compétences de l'environnement de formation à la situation réelle a été évalué par des essais sur simulateurs de conduite haut de gamme et sur des véhicules réels sur la voie publique.

Driving automation is an ongoing process that is radically changing how people travel and spend time in their cars during journeys. Conditionally automated vehicles free human drivers from the monitoring and supervision of the system and driving environment, allowing them to perform secondary activities during automated driving, but requiring them to resume the driving task if necessary. For the drivers, understanding the system’s capabilities and limits, recognizing the system’s notifications, and interacting with the vehicle in the appropriate way is crucial to ensuring their own safety and that of other road users. Because of the variety of unfamiliar driving situations that the driver may encounter, traditional handover and training programs may not be sufficient to ensure an effective understanding of the interaction between the human driver and the vehicle during transitions of control. Thus, there is the need to let drivers experience these situations before their first ride. In this context, Mixed Reality provides potentially valuable learning and skill assessment tools which would allow drivers to familiarize themselves with the automated vehicle and interact with the novel equipment involved in a risk-free environment. If until a few years ago these platforms were destined to a niche audience, the democratization and the large-scale spread of immersive devices since then has made their adoption more accessible in terms of cost, ease of implementation, and setup. The objective of this thesis is to investigate the role of Mixed Reality in the acquisition of competences needed for a driver’s interaction with a conditionally automated vehicle. In particular, we explored the role of immersion along the Mixed Reality continuum by investigating different combinations of visualization and manipulation spaces and the correspondence between the virtual and the real world. For industrial constraints, we restricted the possible candidates to light systems that are portable, cost-effective and accessible; we thus analyzed the impact of the sensorimotor incoherences that these systems may cause on the execution of tasks in the virtual environment. Starting from these analyses, we designed a training program aimed at the acquisition of skills, rules and knowledge necessary to operate a conditionally automated vehicle. In addition, we proposed simulated road scenarios with increasing complexity to suggest what it feels like to be a driver at this level of automation in different driving situations. Experimental user studies were conducted in order to determine the impact of immersion on learning and the pertinence of the designed training program and, on a larger scale, to validate the effectiveness of the entire training platform with self-reported and objective measures. Furthermore, the transfer of skills from the training environment to the real situation was assessed with test drives using both high-end driving simulators and actual vehicles on public roads.; L'automatisation de la conduite est un processus en cours qui est en train de changer radicalement la façon dont les gens voyagent et passent du temps dans leur voiture pendant leurs déplacements. Les véhicules conditionnellement automatisés libèrent les conducteurs humains de la surveillance et de la supervision du système et de l'environnement de conduite, leur permettant d'effectuer des activités secondaires pendant la conduite, mais requièrent qu’ils puissent reprendre la tâche de conduite si nécessaire. Pour les conducteurs, il est essentiel de comprendre les capacités et les limites du système, d’en reconnaître les notifications et d'interagir de manière adéquate avec le véhicule pour assurer leur propre sécurité et celle des autres usagers de la route. À cause de la diversité des situations de conduite que le conducteur peut rencontrer, les programmes traditionnels de formation peuvent ne pas être suffisants pour assurer une compréhension efficace de l'interaction entre le conducteur humain et le véhicule pendant les transitions de contrôle. Il est donc nécessaire de permettre aux conducteurs de vivre ces situations avant leur première utilisation du véhicule. Dans ce contexte, la Réalité Mixte constitue un outil d'apprentissage et d'évaluation des compétences potentiellement efficace qui permettrait aux conducteurs de se familiariser avec le véhicule automatisé et d'interagir avec le nouvel équipement dans un environnement sans risque. Si jusqu'à il y a quelques années, les plates-formes de Réalité Mixte étaient destinées à un public de niche, la démocratisation et la diffusion à grande échelle des dispositifs immersifs ont rendu leur adoption plus accessible en termes de coût, de facilité de mise en œuvre et de configuration. L'objectif de cette thèse est d'étudier le rôle de la réalité mixte dans l'acquisition de compétences pour l'interaction d'un conducteur avec un véhicule conditionnellement automatisé. En particulier, nous avons exploré le rôle de l'immersion dans le continuum de la réalité mixte en étudiant différentes combinaisons d'espaces de visualisation et de manipulation et la correspondance entre le monde virtuel et le monde réel. Du fait des contraintes industrielles, nous avons limité les candidats possibles à des systèmes légers portables, peu chers et facilement accessibles; et avons analysé l’impact des incohérences sensorimotrices que ces systèmes peuvent provoquer sur la réalisation des activités dans l’environnement virtuel. À partir de ces analyses, nous avons conçu un programme de formation visant l'acquisition des compétences, des règles et des connaissances nécessaires à l'utilisation d'un véhicule conditionnellement automatisé. Nous avons proposé des scénarios routiers simulés de plus en plus complexes pour permettre aux apprenants d’interagir avec ce type de véhicules dans différentes situations de conduite. Des études expérimentales ont été menées afin de déterminer l'impact de l'immersion sur l'apprentissage, la pertinence du programme de formation conçu et, à plus grande échelle, de valider l'efficacité de l'ensemble des plateformes de formation par des mesures subjectives et objectives. Le transfert de compétences de l'environnement de formation à la situation réelle a été évalué par des essais sur simulateurs de conduite haut de gamme et sur des véhicules réels sur la voie publique.

The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate registration between both worlds. This registration must be geometrically and photometrically coherent. In this thesis, we propose novel photometric registration methods to estimate the illumination and reflectance of real scenes. Specifically, we propose new approaches which address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance properties. (3) estimation of the 3D position and color of multiple dynamic light sources. Within our first contribution, we consider indoor real scenes where both geometry and illumination are static. As the sensor browses the scene, specular reflections can be observed throughout a sequence of RGB-D images. These visual cues are very informative about the illumination and reflectance of scene surfaces. Hence, we model these cues to recover both diffuse and specular reflectance properties as well as the 3D position of multiple light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. Shadows are omnipresent and result from the occlusion of light by existing geometry. They therefore represent interesting cues to reconstruct the photometric properties of the scene. Presence of texture in this context is a critical scenario. In fact, separating texture from illumination effects is often handled via approaches which require user interaction or do not satisfy mixed reality processing time requirements. We address these limitations and propose a method which estimates the 3D position and intensity of light sources. The proposed approach handles dynamic light sources and runs at an interactive frame rate. The existence of a light source is more likely if it is supported by more than one cue. We therefore address the problem of estimating illumination and reflectance properties by jointly analysing specular reflections and cast shadows. The proposed approach takes advantage of information brought by both cues to handle a large variety of scenes. Our approach is capable of handling any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Since the detection of cast shadows and specular reflections are at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.; L'objectif principale de la Réalité Mixte (RM) est de donner aux utilisateurs l'illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace nécessite un recalage précis entre les deux mondes. Ce recalage doit être cohérent du point de vue géométrique et photométrique. Dans cette thèse, nous proposons de nouvelles méthodes de recalage photométrique pour estimer l'illumination et la réflectance de scènes réelles. Plus précisément, nous proposons des approches en nous attaquant à trois grands défis : (1) utilisation d'une seule caméra RGB-D. (2) estimation des propriétés de réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples. Dans notre première contribution, nous considérons des scènes réelles d’intérieurs où la géométrie et l'éclairage sont statiques. En observant la scène à partir d’une caméra mobile, des réflexions spéculaires peuvent être détectées tout au long de la séquence d'images RGB-D. Ces indices visuels sont très instructifs sur l'éclairage et la réflectance des surfaces des scènes. Par conséquent, nous les modélisons pour estimer à la fois les propriétés de réflectance diffuse et spéculaire ainsi que la position 3D de sources lumineuses multiples. Notre algorithme permet d'obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes ainsi qu'une suppression correcte de la spécularité réelle. Les ombres sont omniprésentes et représentent l’occultation de la lumière par la géométrie existante. Elles représentent donc des indices intéressants pour reconstituer les propriétés photométriques de la scène. La présence de texture dans ce contexte est un scénario critique. En effet, la séparation de la texture et des effets d'éclairage est souvent gérée par des approches qui nécessitent l’intervention de l'utilisateur ou qui ne répondent pas aux exigences du temps de traitement de la réalité mixte. Nous abordons ces limitations et proposons une méthode d'estimation de la position et de l'intensité des sources lumineuses. L'approche proposée gère les lumières dynamiques et fonctionne en temps quasi-réel. L'existence d'une source lumineuse est plus probable si elle est soutenue par plus d'un indice visuel. Nous abordons donc le problème de l'estimation des propriétés d’éclairage et de réflectance en analysant conjointement les réflexions spéculaires et les ombres projetées. L'approche proposée tire parti de l'information apportée par les deux indices pour traiter une grande variété de scènes. Notre approche est capable de traiter n'importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d'applications, incluant la réalité mixte et la re-texturation. La détection des ombres projetées et des réflexions spéculaires étant au cœur de cette thèse, nous proposons finalement une méthode d'apprentissage approfondi pour détecter conjointement les deux indices visuels dans des scènes réelles d’intérieurs.

La thèse a pour objectif d'étudier les usages possibles des outils des réalités numériques (virtuelle, augmentée, mixte) pour l'enseignement de l'architecture. Il s'agit de construire des expérimentations au sein d'ateliers de projet en vue de produire de nouvelles méthodes d'enseignement.

Mixed reality brings some advantages to industrial applications. It can, among others, facilitate visualizing and validating projects or assist operators during specific tasks. Projection-based Systems (PBS), such as CAVEs or spatial augmented reality provide a mixed reality environment enabling straightforward collaboration with external users. In this thesis, we aim at improving the usage of PBS for industrial applications by considering two main challenges: (1) improving the technical components of PBS and (2) improving the user experience when using PBS. As a first technical challenge, we propose to address the improvement of the tracking component. We introduce an approach that enables increasing the workspace of optical tracking systems by using two methods. As a first method, we propose to use monocular tracking. As a second method, we propose to use controlled cameras that follow the targets across the workspace. The resulting system provides acceptable performances for mixed reality applications while considerably increasing the workspace. Such a tracking system can make it easier to use large projection-based displays and can widen the range of available interactions. As a second technical challenge, we design an “all-in-one” headset for mobile spatial augmented reality on tangible objects. The headset gathers both a projection and a tracking system that are embedded on the user’s head. With such a system, the users are able to move around tangible objects and to manipulate them directly by hand while projecting virtual content over them. We illustrate our system with two industrial use cases: virtual prototyping and medical visualization. Finally, we address the challenge that aims at improving the user experience when using PBS. We introduce a method that provides virtual embodiment and increases the spatial perception of the users when using PBS. To do so we add the user’s virtual shadow in immersive projection-based systems. The virtual shadow is dynamically mapped to users’ movements in order to make them perceive the shadow as if it was their own. We then carry out an experiment to study the influence of the presence of the virtual shadow on the user experience and behavior.; La réalité mixte apporte certains avantages aux applications industrielles. Elle peut, entre autres, faciliter la visualisation et validation de projets ou assister des opérateurs durant des tâches spécifiques. Les systèmes de projection (PBS), tels que les CAVE ou la réalité augmentée spatiale, fournissent un environnement de réalité mixte permettant une collaboration directe avec des utilisateurs externes. Dans cette thèse, nous visons à améliorer l'utilisation des systèmes de projection pour des applications industrielles en abordant deux défis majeurs: (1) améliorer les composantes techniques des PBS et (2) augmenter l'expérience utilisateur dans les PBS. En tant que premier défi technique, nous visons à améliorer les systèmes de suivi de mouvements optiques. Nous proposons une approche permettant d’élargir l’espace de travail de ces systèmes grâce à deux méthodes. La première permet de suivre les mouvements à partir d’une seule caméra tandis ce que la deuxième permet de contrôler les caméras et suivre les objets dans l’espace de travail. Le système qui en résulte fournit des performances acceptables pour des applications en réalité mixte tout en augmentant considérablement l'espace de travail. Un tel système de suivi de mouvement peut permettre de mieux exploiter le potentiel des systèmes de projection et d’élargir le champ possible des interactions. En tant que deuxième défi technique, nous concevons un casque « tout-en-un » pour la réalité augmentée spatiale mobile. Le casque rassemble à la fois un système de projection et un système de suivi de mouvements qui sont embarqués sur la tête de l'utilisateur. Avec un tel système, les utilisateurs sont capables de se déplacer autour d'objets tangibles et de les manipuler directement à la main tout en projetant du contenu virtuel par-dessus. Nous illustrons notre système avec deux cas d'utilisation industriels: le prototypage virtuel et la visualisation médicale. Enfin, nous abordons le défi qui vise à améliorer l’expérience utilisateur dans les PBS. Nous proposons une approche permettant d’incarner un personnage virtuel et d’augmenter la perception spatiale des utilisateurs dans les PBS. Pour ce faire, nous ajoutons l’ombre virtuelle des utilisateurs dans les systèmes de projection immersifs. L'ombre virtuelle est directement corrélée aux mouvements des utilisateurs afin qu'ils la perçoivent comme si c'était la leur. Nous avons effectué une expérience afin d'étudier l'influence de la présence de l'ombre virtuelle sur le comportement des utilisateurs.

Mixed reality brings some advantages to industrial applications. It can, among others, facilitate visualizing and validating projects or assist operators during specific tasks. Projection-based Systems (PBS), such as CAVEs or spatial augmented reality provide a mixed reality environment enabling straightforward collaboration with external users. In this thesis, we aim at improving the usage of PBS for industrial applications by considering two main challenges: (1) improving the technical components of PBS and (2) improving the user experience when using PBS. As a first technical challenge, we propose to address the improvement of the tracking component. We introduce an approach that enables increasing the workspace of optical tracking systems by using two methods. As a first method, we propose to use monocular tracking. As a second method, we propose to use controlled cameras that follow the targets across the workspace. The resulting system provides acceptable performances for mixed reality applications while considerably increasing the workspace. Such a tracking system can make it easier to use large projection-based displays and can widen the range of available interactions. As a second technical challenge, we design an “all-in-one” headset for mobile spatial augmented reality on tangible objects. The headset gathers both a projection and a tracking system that are embedded on the user’s head. With such a system, the users are able to move around tangible objects and to manipulate them directly by hand while projecting virtual content over them. We illustrate our system with two industrial use cases: virtual prototyping and medical visualization. Finally, we address the challenge that aims at improving the user experience when using PBS. We introduce a method that provides virtual embodiment and increases the spatial perception of the users when using PBS. To do so we add the user’s virtual shadow in immersive projection-based systems. The virtual shadow is dynamically mapped to users’ movements in order to make them perceive the shadow as if it was their own. We then carry out an experiment to study the influence of the presence of the virtual shadow on the user experience and behavior.; La réalité mixte apporte certains avantages aux applications industrielles. Elle peut, entre autres, faciliter la visualisation et validation de projets ou assister des opérateurs durant des tâches spécifiques. Les systèmes de projection (PBS), tels que les CAVE ou la réalité augmentée spatiale, fournissent un environnement de réalité mixte permettant une collaboration directe avec des utilisateurs externes. Dans cette thèse, nous visons à améliorer l'utilisation des systèmes de projection pour des applications industrielles en abordant deux défis majeurs: (1) améliorer les composantes techniques des PBS et (2) augmenter l'expérience utilisateur dans les PBS. En tant que premier défi technique, nous visons à améliorer les systèmes de suivi de mouvements optiques. Nous proposons une approche permettant d’élargir l’espace de travail de ces systèmes grâce à deux méthodes. La première permet de suivre les mouvements à partir d’une seule caméra tandis ce que la deuxième permet de contrôler les caméras et suivre les objets dans l’espace de travail. Le système qui en résulte fournit des performances acceptables pour des applications en réalité mixte tout en augmentant considérablement l'espace de travail. Un tel système de suivi de mouvement peut permettre de mieux exploiter le potentiel des systèmes de projection et d’élargir le champ possible des interactions. En tant que deuxième défi technique, nous concevons un casque « tout-en-un » pour la réalité augmentée spatiale mobile. Le casque rassemble à la fois un système de projection et un système de suivi de mouvements qui sont embarqués sur la tête de l'utilisateur. Avec un tel système, les utilisateurs sont capables de se déplacer autour d'objets tangibles et de les manipuler directement à la main tout en projetant du contenu virtuel par-dessus. Nous illustrons notre système avec deux cas d'utilisation industriels: le prototypage virtuel et la visualisation médicale. Enfin, nous abordons le défi qui vise à améliorer l’expérience utilisateur dans les PBS. Nous proposons une approche permettant d’incarner un personnage virtuel et d’augmenter la perception spatiale des utilisateurs dans les PBS. Pour ce faire, nous ajoutons l’ombre virtuelle des utilisateurs dans les systèmes de projection immersifs. L'ombre virtuelle est directement corrélée aux mouvements des utilisateurs afin qu'ils la perçoivent comme si c'était la leur. Nous avons effectué une expérience afin d'étudier l'influence de la présence de l'ombre virtuelle sur le comportement des utilisateurs.

Today’s visual enhancement systems for low vision people consist of dedicated augmentedreality hardware allowing to magnify or enhance the overall scene, independently of theimage content or patient needs. For example, for patients with central vision loss, interacting withother has become a painful activity since faces and expressions can hardly be recognized. Weintroduce a new augmented reality system allowing to selectively enhances faces, using two imageprocessing techniques. Our system has the capacity to adjust the enhancement to the detectedfaces’ size and distance, hence maintaining a constant boost in the critical range of spatial frequency.It offers a binocular and large Field-of-View and performs at near real-time with a modestlaptop computer using multithreading. Preliminary experiments with three patients with centralvision loss suggest that the enhancements chosen strongly depends on each patient’s condition andlead to improved recognition abilities when patients find their optimal settings.; Les systèmes d’amélioration visuelle actuels pour les malvoyants consistent en unmatériel dédié à la réalité augmentée permettant d’agrandir ou d’améliorer la scène dans sonensemble, indépendamment du contenu de l’image ou des besoins du patient. Par exemple, pourles patients présentant une perte de vision centrale, l’interaction avec d’autres patients est devenueune activité douloureuse, car les visages et les expressions sont difficilement reconnaissables.Nous introduisons un nouveau système de réalité augmentée permettant d’améliorer de manièresélective les visages, en utilisant deux techniques de traitement d’images. Notre système a lacapacité d’ajuster l’amélioration à la taille et à la distance des visages détectés, maintenant ainsiune augmentation constante de la plage critique de fréquences spatiales. Il offre un grand champde vision binoculaire et fonctionne proche du temps réel avec un ordinateur portable modesteutilisant la technologie multithreading. Des expériences préliminaires menées auprès de trois patientsprésentant une perte de vision centrale suggèrent que les améliorations choisies dépendentfortement de l’état de chaque patient et permettent d’améliorer les capacités de reconnaissancelorsque les patients trouvent leurs paramètres optimaux.

In recent history, computational devices evolved from simple calculators to now pervasive artefacts, with which we share most aspects of our lives, and it is hard to imagine otherwise. Yet, this change of the role of computers was not accompanied by an equivalent redefinition of the interaction paradigm: we still mostly depend on screens, keyboards and mice. Even when these legacy interfaces have been proven efficient for traditional tasks, we agree with those who argue that these interfaces are not necessarily fitting for their new roles. Even more so, traditional interfaces preserve the separation between digital and physical realms, now counterparts of our reality.During this PhD, we focused the dissolution of the separation between physical and digital, first by extending the reach of digital tools into the physical environment, followed by the creation of hybrid artefacts (physical-digital emulsions), to finally support the transition between different mixed realities, increasing immersion only when needed. The final objective of this work is to augment the experience of reality. This comprises not only the support of the interaction with the external world, but also with the internal one. This thesis provides the reader contextual information along with required technical knowledge to be able to understand and build mixed reality systems. Once the theoretical and practical knowledge is provided, our contributions towards the overarching goal of merging physical and digital realms are presented. We hope this document will inspire and help others to work towards a world where the physical and digital, and humans and their environment are not opposites, but instead all counterparts of a unified reality., Alors que le numérique a longtemps été réservé à des usages experts, il fait aujourd’hui partie intégrante de notre quotidien, au point, qu’il devient difficile de considérer le monde physique dans lequel nous vivons indépendamment du monde numérique. Pourtant, malgré cette évolution, notre manière d’interagir avec le monde numérique a très peu évolué, et reste toujours principalement basé sur l’utilisation d’écrans, de claviers et de souris. Dans les nouveaux usages rendus possible par le numérique, ces interfaces peuvent se montrer inadaptées, et continuent à préserver la séparation entre le monde physique et le monde numérique. Au cours de cette thèse, nous nous sommes concentrés à rendre cette frontière entre mondes physique et numérique plus subtil au point de la faire disparaître. Cela est rendu possible en étendant la portée des outils numériques dans le monde physique, puis en concevant des artefacts hybrides (des objets aux propriétés physique et numérique), et enfin en permettant les transitions dans une réalité mixte (physique-numérique), laissant le choix du niveau d’immersion à l’utilisateur en fonction de ses besoins. L’objectif final de ce travail est d’augmenter l’expérience de la réalité. Cela comprend non seulement le support de l’interaction avec le monde extérieur, mais aussi avec notre monde intérieur. Cette thèse fournit aux lecteurs les informations contextuelles et les connaissances techniques requises pour pouvoir comprendre et concevoir des systèmes de réalité mixte. A partir de ces fondements, nos contributions, ayant pour but de fusionner le monde physique et le monde virtuel, sont présentées. Nous espérons que ce document inspirera et facilitera des travaux futurs ayant pour vision d’unifier le physique et le virtuel.

Le livre en réalité augmentée est analysé sous l’angle des représentations mobilisées, des choix techniques et esthétiques effectués, et des effets de ces choix sur la lecture, avec le questionnement suivant : dans quelle mesure la réalité augmentée remet-elle en jeu ce qu’est un livre, ses conditions de production et de réception ? L’étude observe les acteurs et les formes du processus de l’énonciation éditoriale, puis les confronte aux discours d’escorte et aux imaginaires qui les sous-tendent : nouveau rapport à la matérialité, hybridation, interactivité. Elle questionne enfin les effets du livre en réalité augmentée sur la perception du livre et la posture du lecteur.

National audience; L’émergence et la démocratisation de dispositifs de Réalité Virtuelle, Augmentée et Mixte, amène des problématiques de compréhension des nuances et des définitions de ces technologies chez des utilisateurs néophytes. Dans cet article, nous présentons nos travaux en cours concernant le développement d’une application de curation de contenu exploitant l’idée de communiquer sur ces technologies, par ces technologies.

Being able to collaborate remotely with other people can provide valuable capabilities in performing tasks that require multiple users to be achieved. Moreover, Mixed Reality (MR) technologies are great tools to develop new kinds of applications with more natural interactions and perception abilities compared to classical desktop setups. In this thesis, we propose to improve remote collaboration using these MR technologies that take advantages of our natural skills to perform tasks in 3D environments. In particular, we focus on asymmetrical aspects involved by these kind of collaboration: roles, point of view (PoV), devices and level of virtuality of the MR application.First, we focus on awareness issues and we propose a generic model able to accurately describe a collaborative MR application taking into account potential asymmetry dimensions. In order to address all these dimensions, we split our final model into two layers that separate real and virtual spaces for each user. In this model, each user can generate different kind of input and receive feedbacks with different meanings in order to maintain their own awareness of the shared Virtual Environment (VE). Then, we conduct an exploratory user study to explore the consequences of asymmetricPoVs and the involvement of users’ representation in the level of awareness of others’ collaborators.Second, we apply our findings to a remote guiding context that implies a remote guide to help an operator in performing a maintenance task. For this use case, we propose to the expert to use a Virtual Reality (VR) interface in order to help the operator through an Augmented Reality (AR) interface. We contribute to this field by enhancing the expert’s perceptual abilities of the remote workspace as well as by providing more natural interactions to guide the operator through not intrusive guiding cues integrated to the real world.Last, we address an even more sensitive situation for awareness in remote collaboration that is virtual comanipulation. It requires to target a perfect synchronization between collaborators in order to achieve the task efficiently. Thus, the system needs to provide appropriate feedbacks to maintain a high level of awareness, especially about what others are currently doing. In particular, we propose a hybrid co-manipulation technique, inspired from our previous remote guiding use case, that mixes virtual object and other’s PoV manipulation in the same time., Être capable de collaborer à distance avec d’autres personnes peut fournir de précieuses capacités pour effectuer des tâches qui ont besoin de plusieurs utilisateurs pour être accomplies. De plus, les technologies de Réalité Mixte (RM) sont des outils intéressants pour développer de nouveaux types d’applications offrant des interactions et des possibilités de perception plus naturelles comparées aux systèmes classiques. Dans cette thèse, nous proposons d’améliorer la collaboration distante en utilisant ces technologies de RM qui profitent de nos capacités naturelles à effectuer des tâches en environnements 3D. En particulier, nous nous concentrons sur les aspects asymétriques impliqués par ce type de collaboration : les rôles, le point de vue (PdV), les dispositifs et le niveau de virtualité de l’application de RM.Premièrement, nous nous intéressons aux problèmes d’awareness et nous proposons un modèle générique capable de décrire précisément une application de RM collaborative en prenant en compte les potentielles dimensions asymétriques. Afin de traiter toutes ces dimensions, nous séparons notre modèle final en deux niveaux qui distingue espaces réels et virtuels pour chaque utilisateur. Dans ce modèle, chaque utilisateur peut générer différents types d’entrées et recevoir des retours de significations différentes dans le but de maintenir leur propre awareness de l’Environnement Virtuel (EV) partagé. Puis, nous présentons une étude utilisateur exploratoire qui s’intéresse aux conséquences de l’asymétrie des PdVs et aux implications induites par la représentation des utilisateurs sur le niveau d’awareness des autres collaborateurs.Deuxièmement, nous appliquons ces observations dans un contexte de guidage à distance qui implique un guide distant aidant un opérateur à réaliser une tâche de maintenance. Pour ce cas d’usage, nous proposons à l’expert d’utiliser une interface de Réalité Virtuelle (RV) pour aider l’opérateur au travers d’une interface de Réalité Augmentée (RA). Nous contribuons à ce domaine en améliorant les capacités de perception de l’environnement distant par l’expert et en proposant des interactions plus naturelles pour guider l’opérateur au travers d’indications non intrusives etintégrées à son environnement réel.Finalement, nous abordons la tâche de co-manipulation qui est une situation encore plus sensible vis-à-vis de l’awareness en collaboration distante. Cette tâche requiert de viser une synchronisation parfaite entre les collaborateurs pour l’accomplir efficacement. Ainsi, le système doit fournir des retours appropriés pour maintenir un haut niveau d’awareness, spécialement concernant l’activité courante des autres. En particulier, nous proposons une technique de co-manipulation hybride, inspirée de notre cas d’utilisation précédent sur la guidage distant, qui mixe la manipulation d’objet virtuel et du PdV d’un autre utilisateur.

This PhD thesis focuses on plasticity for Mixed Reality (MR) User interfaces, which includes Virtual Reality (VR), Augmented Reality (AR) and Augmented Virtuality (AV) applications. Today, there is a growing interest for this kind of applications thanks to the generalization of devices such as Head Mounted Displays, Depth sensors and tracking systems. Mixed Reality application can be used in a wide variety of domains such as entertainment, data visualization, education and training, and engineering. Plasticity refers to the capacity of an interactive system to withstand variations of both the system physical characteristics and the environment while preserving its usability. Usability continuity of a plastic interface is ensured whatever the context of use. Therefore, we propose a set of software models, integrated in a software solution named 3DPlasticToolkit, which allow any developer to create plastic MR user interfaces. First, we propose three models for modeling adaptation sources: a model for the description of display devices and interaction devices, a model for the description of the users and their preferences, a model for the description of data structure and semantic. These adaptation sources are taken into account by an adaptation process that deploys application components adapted to the context of use thanks to a scoring system. The deployment of these application components lets the system adapt the interaction techniques of the application of its content presentation. We also propose a redistribution process that allows the end-user to change the distribution of his/her application components across multiple dimensions: display, user and platform. Thus, it allows the end-user to switch dynamically of platform or to combine multiple platforms. The implementation of these models in 3DPlasticToolkit provides developers with a ready to use solution for the development of plastic MR user interfaces. Indeed, the solution already integrates different display devices and interaction devices and also includes multiple interaction techniques, visual effects and data visualization metaphors., Cette thèse s'intéresse à la plasticité des interfaces de Réalité Mixte (RM), c'est-à-dire les applications de Réalité Virtuelle (RV), Réalité Augmentée (RA) et de Virtualité Augmentée (AV). Il y a un réel engouement aujourd’hui pour ce type d’applications notamment grâce à la démocratisation des périphériques tels les lunettes et casques immersifs, les caméras de profondeur et les capteurs de mouvement. La Réalité Mixte trouve notamment ses usages dans le divertissement, la visualisation de données, la formation et la conception en ingénierie. La plasticité d'un système interactif est sa capacité à s'adapter aux contraintes matérielles et environnementales dans le respect de son utilisabilité. La continuité de l'utilisabilité d'une interface plastique est assurée quel que soit le contexte d'usage. Nous proposons ainsi des modèles et une solution logicielle nommée 3DPlasticToolkit afin de permettre aux développeurs de créer des interfaces de Réalité Mixtes plastiques. Tout d'abord, nous proposons trois modèles pour modéliser les sources d'adaptation : un modèle pour représenter les dispositifs d'interaction et les dispositifs d'affichage, un modèle pour représenter les utilisateurs et leurs préférences et un modèle pour représenter la structure et la sémantique des données. Ces sources d'adaptation vont être prises en compte par un processus d'adaptation qui va déployer dans une application les composants applicatifs adaptés au contexte d'usage grâce à des mécanismes de notation. Le déploiement de ces composants va permettre d'adapter à la fois les techniques d'interaction de l'application et également la présentation de son contenu. Nous proposons également un processus de redistribution qui va permettre à l'utilisateur final de changer la distribution des composants de son système sur différentes dimensions : affichage, utilisateur et plateforme. Ce processus va ainsi permettre à l'utilisateur de changer de plateforme dynamiquement ou encore de combiner plusieurs plateformes. L'implémentation de ces modèles dans 3DPlasticToolkit permet de fournir aux développeurs une solution prête à l'usage qui peut gérer les périphériques actuels de Réalité Mixte et qui inclut un certain nombre de techniques d'interaction, d'effets visuels et de métaphores de visualisation de données.

This PhD thesis focuses on plasticity for Mixed Reality (MR) User interfaces, which includesVirtual Reality (VR), Augmented Reality (AR) and Augmented Virtuality (AV) applications.Plasticity refers to the capacity of an interactive system to withstand variations of both the systemphysical characteristics and the environment while preserving its usability. Usability continuity ofa plastic interface is ensured whatever the context of use. Therefore, we propose a set of softwaremodels, integrated in a software solution named 3DPlasticToolkit, that allow any developer tocreate plastic MR user interfaces. First, we propose three models for modeling adaptation sources:a model for the description of display devices and interaction devices, a model for the descriptionof the users and their preferences, a model for the description of data structure and semantic.These adaptation sources are taken into account by an adaptation process that deploys applicationcomponents adapted to the context of use thanks to a scoring system. The deployment of theseapplication components lets the system adapt the interaction techniques of the application of itscontent presentation. We also propose a redistribution process that allows the end-user to changethe distribution of his/her application components across multiple dimensions: display, user andplatform. Thus, it allows the end-user to switch dynamically of platform or to combine multipleplatforms. The implementation of these models in 3DPlasticToolkit provides developers with aready to use solution for the development of plastic MR user interfaces. Indeed, the solution alreadyintegrates dierent display devices and interaction devices and also includes multiple interactiontechniques, visual eects and data visualization metaphors., Cette thèse s'intéresse à la plasticité des interfaces de Réalité Mixte (RM), c'est-à-dire les applicationsde Réalité Virtuelle (RV), Réalité Augmentée (RA) et de Virtualité Augmentée (AV). Laplasticité d'un système interactif est sa capacité à s'adapter aux contraintes matérielles et environnementalesdans le respect de son utilisabilité. La continuité de l'utilisabilité d'une interfaceplastique est assurée quel que soit le contexte d'usage. Nous proposons ainsi des modèles et unesolution logicielle nommée 3DPlasticToolkit an de permettre aux développeurs de créer des interfacesde réalité mixtes plastiques. Tout d'abord, nous proposons trois modèles pour modéliserles sources d'adaptation : un modèle pour représenter les dispositifs d'interaction et les dispositifsd'achage, un modèle pour représenter les utilisateurs et leurs préférences et un modèle pourreprésenter la structure et la sémantique des données. Ces sources d'adaptation vont être prisesen compte par un processus d'adaptation qui va déployer dans une application les composantsapplicatifs adaptés au contexte d'usage grâce à des mécanismes de notation. Le déploiement de cescomposants va permettre d'adapter à la fois les techniques d'interaction de l'application et égalementla présentation de son contenu. Nous proposons également un processus de redistributionqui va permettre à l'utilisateur nal de changer la distribution des composants de son systèmesur diérentes dimensions : achage, utilisateur et plateforme. Ce processus va ainsi permettre àl'utilisateur de changer de plateforme dynamiquement ou encore de combiner plusieurs plateformes.L'implémentation de ces modèles dans 3DPlasticToolkit permet de fournir aux développeurs unesolution prête à l'usage qui peut gérer les périphériques actuels de réalité mixte et qui inclut uncertain nombre de techniques d'interaction, d'eets visuels et de métaphores de visualisation dedonnées.

Mixed environments are devices, stagings, installations, which hybridize what is tangible and what is digital, physical space and informational or fictional space. These environments allow for their experimenters to be here and now, but also simultaneously linked to an elsewhere or to another temporality. They borrow as much from the magic of the spectacle as from the engineer’s technologies. When they allow to create or to give access to other worlds, they join with performance. These worlds can be 3D platforms or fictions. Mixed environments are defined less by spectacular issues than by performative, fictional and plastic ones. The technical dimensions, be they digital technologies, the ceremonial formatting or stage design, join with the plastic dimensions. To perform in these environments is to search for, allow or provoke temporary states of the body that are related to the specific context of a demonstration. Aside from their public presentation, this dissertation work will also address these forms, which invite to multiple and singular experimentations, as well as the different ways they are explored, by the performers or by the experimenters., Les environnements mixtes sont des dispositifs, des mises en scène, des installations, hybridant tangible et numérique, espace physique et espace informationnel ou fictionnel. Ces environnements permettent à leurs expérimentateurs d’être simultanément ici et maintenant et liés à un ailleurs ou une autre temporalité. Ils peuvent emprunter à la magie du spectacle autant qu’aux technologies de l’ingénieur. Ils rejoignent la performance lorsqu’ils permettent de créer ou de donner accès à d’autres mondes. Ces mondes peuvent être des plateformes 3D ou des fictions. Les environnements mixtes relèvent d’enjeux moins spectaculaires que performatifs, fictionnels et plastiques. Les dimensions techniques, qu’il s’agisse de technologies numériques, de mise en forme cérémonielle ou scénographique, rejoignent les enjeux plastiques. Faire performance dans de tels environnements, c’est rechercher, permettre ou provoquer des états de corps conjoncturels, relatifs au contexte spécifique d’une démonstration. Cette thèse a également pour objet de rendre compte, en dehors du temps de leur présentation publique, de ces formes invitant à des expérimentations multiples et singulières et également des différentes explorations, celles de performers et d’expérimentateurs.

A Learning game is a declension of the serious game concept dedicated to the learning activity. A Learning game is based on a scenario and immersion of the learners with use of game mechanics on problem based simulation. The gamification concept is the use of game elements in a non-playful activity with as impact attention, motivation and engagement. However, some research feedback explains that too much artificiality on learning activity caused by a lack of contextualization of the activity on the professional environment. We propose to use Mixed Reality and Collaborative Supported Computer Work as technological solution to support situated and collaborative situation in aim to enhance pedagogical strategy and allow a better learning. We call it "Situated Collaborative Learning Game" (SCLG) as a concept of pedagogical tools to enhance learning of content with use of collaborative learning (when learners interactions is useful to learn), situated learning (when the environment context is meaningful) and human-physical objet interaction (with use of mixed reality, with kinesthetic and tangible interaction in augmented reality) and game based learning (when learner's motivation is improved by the learning activity). In these contexts, our two research questions are: 1 / How to create a serious games support by use of Augmented Reality (AR) approach and Tangible Interface (IT) approach? 2 / How to make design and development of SCLG (situated collaborative learning game) more explicit and systematic? We propose two solutions: 1/ the design and the production of four interactive desks with support of tangible interaction on and above the table. These devices are linked to a communication protocol which allows a generic support of technical interaction. 2/ A generic way to design the CSLG system, with integration of advanced human computer interaction support (as augmented reality and tangible interaction) and ubiquitous computing in Learning Games. For that, we propose, with a user centered oriented and model oriented design, a way to make a CSLG factory. For that, we propose use of six models to determinate the behavior of the CSLG. These six models describe learners' activity (with use of three different models to follow the activity theory's), the mixed game environment, deployment of entities on the environment, and human computer interactions. All of these models are linked by an orchestration model and can be project on a multi-agent multi-layers architecture by use of XML description file. We propose tools to help each step of our design and production process. Our work on interactive desks, on the six models and on the runtime support has been realized in the production of Lea(r)nIT. This SCLG consolidate methodological knowledge of Lean Manufacturing by use and optimization of a simulated chain production on four desks (which support touch and tangible interactions and can be assembled) and on mobile phones (to allow movement of learners)., Un jeu pédagogique constitue une déclinaison relative à l'apprentissage du concept de jeu sérieux (serious game). Ce type d'outil permet la ludification (gamification) de l'activité afin d'utiliser des éléments de jeu dans un contexte non ludique et conduit à catalyser l'attention, faire accroître l'engagement et augmenter la motivation des joueurs-apprenants dans les situations d'apprentissage. Les jeux pédagogiques reposent sur la mise en situation et l'immersion des apprenants, utilisant les ressorts ludiques dans des simulations axées vers la résolution de problèmes. Parmi des recherches antérieures, certains retours d'expériences font écho d'une trop grande artificialité de l'activité notamment par manque de contextualisation de l'apprentissage dans l'environnement d'utilisation des connaissances apprises. Nous avons proposé la mise en place un environnement mixte (physique et numérique) et l'utilisation de techniques collaboratives pour raffiner l'approche pédagogique. Ces orientations nous ont menés à la mise en place de ce que nous appelons des "Jeux Pédagogiques Collaboratifs Situés " (JPCS). Les deux questions de recherche qui nous ont été posées dans le cadre du projet SEGAREM et qui sont devenues les nôtres sont : 1/ comment accompagner les jeux sérieux par l'approche Réalité Augmentée (RA) et l'approche Interface Tangible (IT)? 2/ comment rendre la conception et la mise en œuvre des JPCS (Jeux Pédagogiques Collaboratifs Situés) plus explicite et plus systématique ? Les réponses que nous présentons dans cette thèse sont les suivantes : 1/ la conception et la mise en œuvre des pupitres interactifs supportant des objets réels augmentés, associés à un protocole de communication existant, proposant un support générique des techniques d'interaction détectée et de prise en compte du contexte physique d'utilisation ; 2/ une approche de production de JPCS se situant après l'étape de scénarisation ludo-pédagogique qui constitue notre cahier des charges. Nous avons basé notre approche sur des modèles pour permettre un support d'expression qui précise les caractéristiques des JPCS. Ces modèles sont soutenus par des éditeurs contextuels et produisent comme résultat des fichiers de descriptions en XML. La projection des descriptions obtenues sur une architecture générique d'exécution du JPCS permet une spécialisation pour obtenir une version exécutable. Dans les six modèles, certains sont adaptés des travaux antérieurs de l'équipe, d'autres issues de la littérature et les derniers sont directement proposés ici. Ces six modèles décrivent l'activité (un modèle d'orchestration de l'activité et un modèle de tâches), la structure de différents environnements, l'état initial de l'environnement et les conditions nécessaires d'un état final et les interactions possibles entre les joueurs et l'environnement. Nos travaux tant sur les pupitres que sur les modèles et le support d'exécution ont été concrétisés dans la mise en place de Lea(r)nIt. Ce JPCS avait pour but de consolider des acquis méthodologiques en Lean Manufacturing par l'utilisation et l'optimisation d'une chaîne de production simulée sur pupitres (supportant interactions tactiles, interactions tangibles et pouvant être assemblés) et sur téléphones mobiles (permettant la mobilité des joueurs-apprenants).

National audience; Dans cet article, nous nous intéressons à la nécessité de réduire l'écart entre les considérations de conception en Informatique Graphique (IG) et en Interface Homme-Machine (IHM) afin de démocratiser l'usage et l'utilisation des environnements virtuels 3D (EV3D) pour des utilisateurs non-experts ou occasionnels. Notre approche consiste en une modélisation de l'interaction multimodale 3D (3DIM). Notre modèle 3DIM contribue à ramener l'ensemble des problématiques 3D et les exigences de l'utilisateur sur la compréhension et la caractérisation du lien entre un ensemble de tâches utilisateur et le graphe de scène de l'EV3D.

Game-based learning is one efficient pedagogical concept that uses game principles to incite learners to engage into learning activities. Learning Games (LG) are commonly known as digital environments. They have undeniable assets but also some limits, such as the artificiality of the learning context. In the mean time, new technologies have been increasingly developed, thus providing new perspectives in game-based learning. In particular, Mixed Reality (MR) technologies merge both real and digital worlds. Mixed Reality Learning Games (MRLG) offer real benefits for teaching: they enable active pedagogy trough the physical immersion of learners, “in situ” information while practicing and authentic context. In our work, we focus on the design process of MRLG. The first part of the thesis presents how Mixed Reality is used for educational and gaming purposes. An analysis of existing MRLG shows both their assets and the complexity of their design. MRLG designers have to cope with all the difficulties of learning design, game design and mixed reality design at the same time, and with the integration of all aspects in a coherent way. Besides, there is a lack of specific tool or methodology. In order to understand the specific needs of MRLG designers, we analyze and model the MRLG design activity from MRLG design processes described in papers and existing methodologies for LG and MR. We also illustrate and clarify MRLG design needs with the observation of a MRLG design activity in the SEGAREM project. We highlight some needs for modeling, creativity, and verification of coherence. To meet the identified needs, the third part is dedicated to a state of the art of tools available for learning design, game design and Mixed Reality design. This study leads us to three solutions to assist MRLG design: a model, a set of tools for creativity, and an authoring tool. We first propose a model called f-MRLG to describe fully and clearly a MRLG. f-MRLG is a support to MRLG design as it helps designer to organize their ideas and to identify which elements must be described. It also reinforces mutual comprehension in a team. Our second proposal is a set of tools for creativity: lists of possibilities, examples and suggestions for game types and Mixed Reality systems choices. We conducted a first experiment on the two proposals, which led to their improvement. These two proposals drove to the design and development of an authoring tool, named MIRLEGADEE (MIxed Reality LEarning GAme DEsign Environment), to support the MRLG design. This tool is an extension of LEGADEE, which already supports the design of learning games using a computer. An experiment with 20 teachers and training designers validated that MIRLEGADEE successfully guides the designers in the MRLG design process, in spite of limits for the support of complex tasks., Les Learning Games sont des environnements d’apprentissage, souvent informatisés, qui utilisent des ressorts ludiques pour catalyser l’attention des apprenants et ainsi faciliter leur apprentissage. Ils ont des atouts indéniables mais présentent également certaines limites, comme des situations d’apprentissage trop artificielles. Ces limites peuvent être dépassées par l’intégration d’interactions en Réalité Mixte dans les Learning Games, que nous appelons alors des Mixed Reality Learning Games (MRLG). La Réalité Mixte, qui combine environnements numériques et objets réels, ouvre de nouvelles possibilités d’interactions et d’apprentissage qui gomment les limites précédentes et qu’il faut repérer et explorer. Dans ce contexte, nous nous intéressons au processus de conception des MRLG. Dans un premier temps, nous présentons une étude sur l’utilisation de la Réalité Mixte dans les domaines de l’apprentissage et du jeu, incluant un état de l’art des MRLG. Cette étude montre que, malgré de nombreux atouts, la conception des MRLG reste difficile à maîtriser. En effet, il n’existe ni méthode ni outil adapté à la conception de ce type d’environnements. Dans un second temps, nous analysons et modélisons l’activité de conception des MRLG à travers la littérature et des expériences de conception, dont une menée dans le cadre du projet SEGAREM. Cette démarche révèle des verrous spécifiques tels que l’absence d’aide à la modélisation (ou formalisation), à la créativité et à la vérification de la cohérence des idées. Nous éclairons nos réponses à ces besoins par un recensement des outils utilisés dans les domaines liés aux MRLG : situations d’apprentissage, jeux et environnements de la Réalité Mixte. Ceci nous amène à proposer deux outils conceptuels : un modèle de description de MRLG (f-MRLG) et des aides à la créativité sous la forme de propositions puis de recommandations. Le modèle de description a pour objectif de formaliser l’ensemble des éléments constituant un MRLG, mais aussi d’être un moyen d’identifier les éléments à définir, de structurer et de vérifier les idées. Les listes de propositions et recommandations ont pour but d’aider le concepteur à faire des choix cohérents par rapport à la situation d’apprentissage visée, en particulier en ce qui concerne les types de jeux et les dispositifs de Réalité Mixte. Une première évaluation de ces propositions a conduit à leur amélioration. Ces propositions sont à l’origine de la conception et du développement d’un outil auteur informatisé : MIRLEGADEE (Mixed Reality Learning Game DEsign Environment). MIRLEGADEE est basé sur LEGADEE, un environnement auteur pour la conception de Learning Games. Une expérimentation auprès de 20 enseignants et concepteurs de formation a validé le bienfondé de cet outil qui guide effectivement les concepteurs dans les phases amont du processus de conception de MRLG malgré des limites pour l’accompagnement de tâches complexes.

Making Learning Games that allow collaborative situations and use of advanced human-computer interaction techniques requires adequate methods and design tools, especially with regards to the complexity of their social and environmental context. The current work aims at applying software ingeneering methods and tools coming from both video-games and human-computer interfaces domains in order to provide a mixed-reality and collaborative learning games design and runtime environment. We then propose various concepts and models supporting the design phase, then we apply them on a collaborative Learning Game architecture based on multi-agent and layers approach, and also include a dynamical numerical working zones distribution and contextualisation mecanism. We then finally implement the architecture in a case study : a mixed-reality learning game aimed at learning LEAN concepts; La réalisation de Learning Games permettant des situations collaboratives et utilisant des techniques d’interactions hommes-machines avancées impose l’utilisation de méthodes de conceptions et d’outils adéquats pour faciliter leur production notamment de par la complexité de leur contexte social et environnemental. Le présent travail a pour vocation d’appliquer les méthodes et outils issus de l’ingénierie logicielle provenant tant du domaine du jeu vidéo que du domaine des interfaces homme-machine pour fournir un environnement de conception et d’exécution de jeux pédagogiques collaboratifs en réalité mixte. Ainsi, nous proposons différents concepts et modèles supportant la conception, que nous projetons sur une architecture de Learning Games collaboratif basée sur une approche multi-agent et en couches, et incluant un mécanisme de distribution et de contextualisation dynamique des zones de travail numériques. Enfin, nous implémentons cette architecture dans un cas d’étude : un jeu pédagogique en réalité mixte destiné à l’apprentissage des concepts LEAN.

L'hybridation des technologies et services numériques avec et dans la ville ne cesse de se développer et de se dévoiler dans les mailles qu'elle se constitue elle-même. De la problématique de la représentation numérique de la ville à celle des « datas » qui la constituent et la révèlent chaque jour un peu plus, la réalité mixte propose une nouvelle forme d'hybridité de la ville. Elle caractérise les interactions possibles entre des individus distants qui ont la spécificité de participer et d'affecter la coproduction d'une réalité partagée entre un espace physique et un espace numérique. Au travers de différents héritages matériels et logiciels, la réalité mixte nous oblige à effectuer un changement de paradigme dans la perception des hybridations possibles. Alors, la ville sera de nouveau perçue dans les interactions des individus qui la font vivre.

New technologies, such as the mixed reality, come to enrich the perspectives offered by learning games. Our objective is to supply the design process of the mixed reality learning game. One of the first stages of the design being the writing of the educational scenario, we analyse in this paper the contributions and the limits of the existing formalisms to do this task. More specifically, we analyze their relevance when it is a question of representing the elements of a reality mixed learning game, and let us discuss elements of the proposal to take into account in these cases., De nouvelles technologies, telles que la réalité mixte, viennent enrichir les perspectives d'apprentissage offertes par les learning games. Notre objectif à terme est de fournir des outils pour la conception de ces environnements. L'une des premières étapes de conception étant l'écriture du scénario pédagogique, nous nous intéressons dans cette communication aux apports et limites des formalismes de scénarisation pédagogique existants. En particulier, nous analysons leur pertinence lorsqu'il s'agit de représenter les éléments d'un learning game en réalité mixte, et discutons d'éléments de proposition pour prendre en compte ces nouveaux environnements d'apprentissage.

This document presents a summary of my research during the last decade. All these works have one common objective: Assistance with two issues: Interaction and collaboration to use or simulate complex systems. These complex systems can be either artificial or derived from life science. Two research areas have been studied: the Mixed Reality (MR) and Computer Supported Collaborative Work (CSCW). In the field of MR, the research focused on assistance to the interaction in 3D environments. These environments can be real-augmented or virtual, using or simulating complex systems. These systems may be artificial (as in human-robot interaction based on augmented reality) or derived from life science (such as human-molecule-interaction based on virtual reality). In the field of CSCW, the research focuses on assistance to the collaboration of users. These users can be either in telework situation with artificial complex systems (the case of robots teleoperation in mixed reality) or in a work situation with common virtual environments (completely simulated by computer). In the 3D interaction context, a particular consideration has been given to the way users interactions can be helped (navigation, selection, manipulation and system control) in an effective and credible way with their environment. This idea has led us to suggest models and software techniques in order to assist 3D interaction in mixed reality. In the collaboration context, special attention is given to how we can structure, organize, manage and assist a collaborative activity. This allowed us to create formalisms and models to assist a collaborative activity (communication, coordination and production). All these researches in both areas (MR and CSCW) have encouraged the emergence of a new issue: collaborative interaction in mixed reality. Indeed, studying groupwares gives the basic concepts required in a collaboration system, whereas studying 3D interactions in mixed reality offers metaphors / techniques and sensorimotor interfaces (auditory, visual and haptic) in order to improve the feeling of immersion. This interdisciplinary study (interactions in MR & collaboration in terms of CSCW) is very interesting because of their interdependencies. Indeed, collaborating implies interacting altogether, and interacting altogether implies collaborating. Therefore, our research approach is to take advantage efficiently of the scientific and technological advances in both of the research areas. So that new models to design systems supporting collaborative interaction in mixed reality can be created., Dans ce mémoire est présentée une synthèse d'une dizaine d'années de travaux de recherche. Tous ces travaux ont un point en commun : l'assistance et deux problématiques : l'interaction et la collaboration pour utiliser ou simuler des systèmes complexes. Ces systèmes complexes peuvent être soit artificiels (cas de la robotique/télérobotique et de télétravail collaboratif) ou bien issus du vivant (cas de la simulation en biologie moléculaire). Ma recherche a consisté à étudier à la fois deux domaines de recherche qui sont la Réalité Mixte (RM) et le Travail Collaboratif (TC). Dans le domaine de la RM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels, utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot distant en réalité augmentée) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Dans le domaine du TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Ces derniers peuvent être soit en situation de télétravail avec des systèmes complexes artificiels (cas de la téléopération de robots en réalité mixte) ou encore en situation de travail dans un environnement virtuel commun (complètement simulé par ordinateur). Dans le contexte de l'assistance à l'interaction 3D, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte. Dans le contexte de l'assistance à la collaboration, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et production). Ces recherches menées conjointement dans chacun des deux domaines ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs. Ce couplage de concepts interdisciplinaires (interaction en RM & collaboration du point de vue du TC) est très intéressant du fait de leurs interdépendances. En effet, pour collaborer, on a besoin d'interagir et pour interagir ensemble on a besoin de collaborer. Notre démarche de recherche propose donc de tirer partie de la manière la plus efficace possible des avancées scientifiques et technologiques issues des deux domaines de recherche afin de proposer des modèles permettant la conception de nouveaux systèmes d'assistance à l'interaction collaborative en réalité mixte.

This document presents a summary of my research during the last decade. All these works have one common objective: Assistance with two issues: Interaction and collaboration to use or simulate complex systems. These complex systems can be either artificial or derived from life science. Two research areas have been studied: the Mixed Reality (MR) and Computer Supported Collaborative Work (CSCW). In the field of MR, the research focused on assistance to the interaction in 3D environments. These environments can be real-augmented or virtual, using or simulating complex systems. These systems may be artificial (as in human-robot interaction based on augmented reality) or derived from life science (such as human-molecule-interaction based on virtual reality). In the field of CSCW, the research focuses on assistance to the collaboration of users. These users can be either in telework situation with artificial complex systems (the case of robots teleoperation in mixed reality) or in a work situation with common virtual environments (completely simulated by computer). In the 3D interaction context, a particular consideration has been given to the way users interactions can be helped (navigation, selection, manipulation and system control) in an effective and credible way with their environment. This idea has led us to suggest models and software techniques in order to assist 3D interaction in mixed reality. In the collaboration context, special attention is given to how we can structure, organize, manage and assist a collaborative activity. This allowed us to create formalisms and models to assist a collaborative activity (communication, coordination and production). All these researches in both areas (MR and CSCW) have encouraged the emergence of a new issue: collaborative interaction in mixed reality. Indeed, studying groupwares gives the basic concepts required in a collaboration system, whereas studying 3D interactions in mixed reality offers metaphors / techniques and sensorimotor interfaces (auditory, visual and haptic) in order to improve the feeling of immersion. This interdisciplinary study (interactions in MR & collaboration in terms of CSCW) is very interesting because of their interdependencies. Indeed, collaborating implies interacting altogether, and interacting altogether implies collaborating. Therefore, our research approach is to take advantage efficiently of the scientific and technological advances in both of the research areas. So that new models to design systems supporting collaborative interaction in mixed reality can be created.; Dans ce mémoire est présentée une synthèse d'une dizaine d'années de travaux de recherche. Tous ces travaux ont un point en commun : l'assistance et deux problématiques : l'interaction et la collaboration pour utiliser ou simuler des systèmes complexes. Ces systèmes complexes peuvent être soit artificiels (cas de la robotique/télérobotique et de télétravail collaboratif) ou bien issus du vivant (cas de la simulation en biologie moléculaire). Ma recherche a consisté à étudier à la fois deux domaines de recherche qui sont la Réalité Mixte (RM) et le Travail Collaboratif (TC). Dans le domaine de la RM, les recherches sont focalisées sur l'assistance à l'interaction 3D dans des environnements qui peuvent être réels-augmentés ou virtuels, utilisant ou simulant des systèmes complexes. Ces derniers peuvent être artificiels (cas de l'interaction-homme-robot distant en réalité augmentée) ou issus du vivant (cas de l'interaction-homme-molécule en réalité virtuelle). Dans le domaine du TC, les recherches sont centrées sur l'assistance à la collaboration des utilisateurs. Ces derniers peuvent être soit en situation de télétravail avec des systèmes complexes artificiels (cas de la téléopération de robots en réalité mixte) ou encore en situation de travail dans un environnement virtuel commun (complètement simulé par ordinateur). Dans le contexte de l'assistance à l'interaction 3D, une réflexion particulière est menée sur la façon dont on peut aider l'Homme à interagir (naviguer, sélectionner, manipuler et contrôler l'application) d'une manière efficace et crédible avec son environnement. Cette réflexion nous a conduits à proposer des modèles et des techniques logicielles pour l'assistance à l'interaction 3D en réalité mixte. Dans le contexte de l'assistance à la collaboration, une attention particulière est accordée à la manière dont on peut structurer, organiser, gérer et assister une activité de collaboration. Cela nous a permis de proposer des formalismes et des modèles permettant d'assister une activité de collaboration (communication, coordination et production). Ces recherches menées conjointement dans chacun des deux domaines ont favorisé l'émergence des fondements de l'interaction collaborative en réalité mixte. En effet, l'étude des collecticiels (logiciels de collaboration sous l'angle du travail collaboratif) fournit les concepts de base que doit respecter un système de collaboration. Alors que l'étude des interactions en réalité mixte propose quant à elle des métaphores/techniques d'interaction 3D et des interfaces sensorimotrices (auditive, visuelle et haptique) dans le but d'améliorer le sentiment d'immersion des utilisateurs. Ce couplage de concepts interdisciplinaires (interaction en RM & collaboration du point de vue du TC) est très intéressant du fait de leurs interdépendances. En effet, pour collaborer, on a besoin d'interagir et pour interagir ensemble on a besoin de collaborer. Notre démarche de recherche propose donc de tirer partie de la manière la plus efficace possible des avancées scientifiques et technologiques issues des deux domaines de recherche afin de proposer des modèles permettant la conception de nouveaux systèmes d'assistance à l'interaction collaborative en réalité mixte.

The Catopsys system is a projector-miror-camera system which can be set in any room. It is an affordable way (not expensive, easy to install and easy to use) to perform various kinds of immersive mixed reality applications. The aim of this thesis is to study and optimize the radiometric process established through such system. First of all, radiometric perturbations of the camera are studied, then a correction method, which can be implemented in the Catopsys system, is described. This enables the system to capture, quite faithfully, the real environment and to estimate the pertubations caused by the projector or the room. The behaviour of the projector and the repercussion of using the room as a projection screen are then studied. A radiometric compensation method of the projection is proposed. This method makes the displayed image be more similar to the desired one. After a geometric study of the Catopsys system, specific rendering methods, based on ray tracing, are proposed. Finally, the features provided by the system to perform mixed reality applications, as well as their integration in the system workflow are detailled. Works done during this thesis permitted us to collaborate to the conception of the Catopsys system, to evaluate the feasibility of some features, to implement some of them and to publish several papers (1 international conference, 1 national journal, 1 national conference)., Le système Catopsys est un système projecteur-miroir-caméra à placer dans une pièce d'habitation quelconque. Il constitue un moyen abordable (coût, installation, utilisation) de réaliser toutes sortes d'applications de réalité mixte immersives. L'objectif de cette thèse est d'étudier et d'optimiser la chaîne de traitement radiométrique mise en oeuvre à travers ce système. Tout d'abord, les perturbations radiométriques de la caméra sont étudiées puis une méthode de correction, applicable au système Catopsys, est mise au point. Ceci permet, de façon relativement fidèle, d'acquérir l'environnement réel et d'estimer les perturbations issues du projecteur et de la pièce. L'influence du projecteur et de la pièce, utilisée comme écran de projection, sur l'image visible par l'utilisateur, est ensuite étudiée. Une méthode de compensation de la projection, permettant de rendre l'image visible plus proche de l'image voulue, est proposée. Après une étude de la géométrie du système Catopsys, des méthodes de simulation d'éclairage spécifiques, dérivées de la méthode de lancer de rayons, sont proposées. Enfin, les possibilités fournies par le système pour des applications de réalité mixte ainsi que leur intégration dans la chaîne de traitement sont étudiées. Les travaux réalisés dans le cadre de cette thèse ont permis de participer à la mise au point du système Catopsys, d'étudier la faisabilité de différentes fonctionnalités et d'en réaliser certaines. Ils ont également donné lieu à la publication de plusieurs papiers (une conférence internationale, une revue nationale, une conférence nationale).

National audience; La conception de systèmes de réalité mixte aborde des aspects non couverts par les processus traditionnels : de nouvelles approches ont donc vu le jour comme la méthodologie CoCSys et le modèle IRVO issus des travaux de notre équipe. Dans cet article nous nous intéressons à l'étape de transformation du modèle de conception en un assemblage de composants dans une démarche MDA (Model-driven architecture). Nous présentons plus particulièrement les travaux en cours permettant de passer des modélisations IRVO vers des assemblages de composants de la plateforme WComp. La transformation décrite est aujourd'hui du ressort du concepteur, cependant nous travaillons à une méthode automatisée de sélection de composant basée sur des tâches d'interaction élémentaire.

National audience; Catopsys est un système de projection immersive grand-public destiné à des applications de réalité mixte. Il est composé d'un vidéo-projecteur, d'un miroir convexe et d'une caméra, et peut être utilisé dans des salles qui n'ont pas été conçues spécifiquement pour la projection. Le système permet d'afficher un environnement immersif en projetant une image dans toute la salle. Cependant, l'environnement ainsi affiché est perturbé par la réponse du projecteur, les matériaux composant la salle et les réflexions multiples inhérentes à toute pièce partiellement close. La compensation radiométrique de la projection a pour but de réduire l'influence de ces perturbations. Dans ce papier, nous présentons notre système de projection et le processus radiométrique correspondant. Nous proposons ensuite un modèle radiométrique prenant en compte, en autres, la réponse du projecteur, les matériaux de la salle et les réflexions multiples particulièrement importantes avec notre système. Nous proposons également des méthodes de calibrage et de compensation basées sur ce modèle. Notre méthode de compensation peut être intégrée dans une application de réalité virtuelle ou mixte comme un post-traitement corrigeant les perturbations radiométriques de la projection. A notre connaissance, nos méthodes sont les premières à prendre en compte à la fois les réflexions multiples et la non-linéarité du projecteur.

Virtual Reality is a research domain that is situated at the crossing of several domains as infography, simulation, teleoperation, collaborative work, etc. The 3D interaction is a core component of virtual reality. It allows the user to interact with the entities of the virtual environment. There exists different 3D interaction techniques that are dedicated to the different tasks of 3D interaction that are navigation, selection, manipulation and command control. In most cases, the 3D interaction techniques are only used to perform one of the 3D interaction tasks without taking into account the requirements of complex environments such as teleoperation environments and collaborative environments. Teleoperation tasks are complex tasks and must fulfill some constraints that are : very precise seizures of objects and secure selections and manipulations. The collaborative environments are worlds in which users interact between them to accomplish goals together. The complexity of these environments is related to the interaction of a group of users with shared entities. The aim of this work is to model, conceive, implement and evaluate our 3D interaction assistance system for mono and multi users. Our study is centred on the user and its interests in the virtual world. The concept of this study is based on the principle of anticipation of the user's gesture by the assistance him. Our 3D interaction assistance system is considered as a mean to bypass the limitations of some 3D interaction classical techniques in order to make them usable in different contexts., La réalité virtuelle est une discipline qui se situe à la croisée de plusieurs domaines tels que l'infographie, la simulation, la téléopération, le travail collaboratif, etc. L'interaction 3D est la composante motrice de la réalité virtuelle. Elle permet à l'utilisateur d'interagir avec les entités de l'environnement virtuel. Il existe différentes techniques d'interaction 3D qui sont dédiées aux différentes tâches d'interaction 3D à savoir la navigation, la sélection, la manipulation et le contrôle d'application. En général, la technique utilisée cherche à accomplir une tâche d'interaction 3D sans prendre en considération les exigences des environnements dédies pour la téléopération et les environnements collaboratifs. Les tâches de téléopération doivent respecter un certain nombre de contraintes, qui sont : des sélections et des manipulations sécurisées et précises. Les environnements collaboratifs sont des mondes dans lesquels les utilisateurs interagissent ensemble pour réaliser des tâches communes. La complexité de ces environnements est liée à l'interaction d'un groupe d'utilisateurs avec des entités partagées. L'objectif de ce travail est de modéliser, de concevoir, d'implémenter et d'évaluer un système d'assistance à l'interaction 3D mono-utilisateur et multi-utilisateurs. Notre concept est centré sur l'utilisateur et ses intérêts dans le monde virtuel, il est basé sur le principe d'anticipation du geste de l'utilisateur par l'assistance de ce dernier. Notre système d'assistance peut être considéré comme un moyen de contourner les limitations de certaines techniques d'interaction 3D classiques afin de les rendre utilisables dans des contextes différents.

Computer assisted generation of aesthetic patterns is a promising domain for the field of fashion design (mass customization, etc.). In this context of Virtual Reality (RV) or Mixed Reality ( MR) techniques provies a very efficient way of visualizing clothes mapped with the generated patterns. Such techniques also offers new opportunities for 3D interaction with the virtual mannequins in both static and dynamic situations (catwalks). The contribution of the work presented in this manuscript is mutiple and involves three complementary steps : (i) the identification and development of mathematical models showing some potentialities for generating complex patterns with aesthetic qualities, (ii) the implementation of the identified or developed mathematical models for computer-aided exploration of their potentialities, (iii) the integration of the mathemtical models in a flexible software platform offering multiple interactive capabilities with virtual mannequin. Moreover, we propose new 3D interaction techniques for fashion design in both virtual and mixed reality setup., La génération de motifs esthétiques assistée par ordinateur est un domaine prometteur pour la conception de vêtements (personnalisation de masse, etc.). Dans ce contexte, les techniques de réalité virtuelle (RV) et de réalité mixte (RM) sont très pertinentes pour la visualisation de vêtements sur lesquels sont appliqués les motifs générés. Ces techniques offrent aussi de nouvelles opportunités pour l'interaction 3D avec les mannequins virtuels en situation statique ou dynamique (défilé virtuel). La contribution du travail présenté dans ce mémoire est multiple et implique trois étapes complémentaires : (1) l'identification et le développement de modèles mathématiques exhibant des potentialités pour la génération automatique de motifs complexes ayant des propriétés esthétiques; (2) l'implémentation de ces modèles mathématiques et l'exploration assistée par ordinateur de leur potentialités; (3) l'intégration de ces modèles dans une plate-forme logicielle offrant de multiples possibilités d'interaction avec les mannequins virtuels. En outre, nous proposons de nouvelles techniques d'interaction 3D pour la conception en RV et RM.

Computer assisted generation of aesthetic patterns is a promising domain for the field of fashion design (mass customization, etc.). In this context of Virtual Reality (RV) or Mixed Reality ( MR) techniques provies a very efficient way of visualizing clothes mapped with the generated patterns. Such techniques also offers new opportunities for 3D interaction with the virtual mannequins in both static and dynamic situations (catwalks). The contribution of the work presented in this manuscript is mutiple and involves three complementary steps : (i) the identification and development of mathematical models showing some potentialities for generating complex patterns with aesthetic qualities, (ii) the implementation of the identified or developed mathematical models for computer-aided exploration of their potentialities, (iii) the integration of the mathemtical models in a flexible software platform offering multiple interactive capabilities with virtual mannequin. Moreover, we propose new 3D interaction techniques for fashion design in both virtual and mixed reality setup.; La génération de motifs esthétiques assistée par ordinateur est un domaine prometteur pour la conception de vêtements (personnalisation de masse, etc.). Dans ce contexte, les techniques de réalité virtuelle (RV) et de réalité mixte (RM) sont très pertinentes pour la visualisation de vêtements sur lesquels sont appliqués les motifs générés. Ces techniques offrent aussi de nouvelles opportunités pour l'interaction 3D avec les mannequins virtuels en situation statique ou dynamique (défilé virtuel). La contribution du travail présenté dans ce mémoire est multiple et implique trois étapes complémentaires : (1) l'identification et le développement de modèles mathématiques exhibant des potentialités pour la génération automatique de motifs complexes ayant des propriétés esthétiques; (2) l'implémentation de ces modèles mathématiques et l'exploration assistée par ordinateur de leur potentialités; (3) l'intégration de ces modèles dans une plate-forme logicielle offrant de multiples possibilités d'interaction avec les mannequins virtuels. En outre, nous proposons de nouvelles techniques d'interaction 3D pour la conception en RV et RM.

International audience; Cette vidéo présente une table interactive de réalité mixte et deux applications : WordTab pour la réalisa-tion de rapports et Gestion de crises pour la supervision d'interventions de pompiers. La table TableGate per-met à plusieurs acteurs réunis autour de la table d'agir soit en interaction classique, soit en manipulant de ob-jets réels (feuilles de papiers ou maquettes de disposi-tifs d'intervention. Dans les deux vidéos nous donnons des principes du dispositif et montrons les deux utilisa-tions

One of the main weaknesses with traditional computing is the fact that the numerical world of the computer is decoupled from the users' real world. The application of Mixed Reality (MR) can provide interactive systems in which real objects and computer data are combined in a cohesive way.In our state of the art, we review several applications and technologies that have been developed during the last decade. Most of these applications are home made and were developed in an independent and autonomous way. Therefore, it is important to propose comprehensive model and an associated design methodology.As we illustrated it, the current models of Human-Computer Interaction (HCI) and Computer-Supported Cooperative Work (CSCW), are not suitable for Mixed Reality systems. It is because they are limited in terms of modeling the real artefacts.Therefore, the proposed IRVO model (Interacting with Real and Virtual Objects) aims at formalizing the interaction between the users, the real and virtual objects. It identifies the entities that have a role in the system (users, tools, objects of the task and the application) and their relationships. Its expressiveness help us to model the applications we reviewed while helping us in understanding, comparing and classifying them.We will also show how IRVO supports the design of a new generation of Mixed Reality based applications. IRVO can be used either as a starting point, or at the end of the analysis phase to help the designer in checking the completeness, coherence, continuity of the design. We investigated also the relation between IRVO and traditional HCI and CSCW models and more specifically with the AMF-C and Arch models. In a Model-Based Approach (MBA), IRVO can supplement the task and dialog models., L'un des principaux reproches que l'on fait à l'informatique traditionnelle est que le monde numérique de l'ordinateur est trop déconnecté du monde réel dans lequel les utilisateurs évoluent. La Réalité Mixte (RM) s'intéresse aux systèmes interactifs dans lesquels des objets réels et des données informatiques sont mêlées de manière cohérente.Dans notre état de l'art nous analysons de nombreuses applications et technologies qui ont été conçues depuis une dizaine d'années dans ce domaine de façon généralement indépendantes et autonomes. Il semble désormais possible de proposer des modèles unificateurs et des méthodologies de conception associées.Les modèles traditionnels de l'Interaction Homme-Machine (IHM) et du Travail Collaboratif Assisté par Ordinateur (TCAO), comme nous le montrons, ne sont pas adaptés car ils sont conçus pour la modélisation du logiciel et ne prennent pas (ou peu) en compte les artefacts réels.Nous proposons donc le modèle IRVO (Interacting with Real and Virtual Objects) qui cherche à formaliser l'interaction entre les utilisateurs et les objets réels et virtuels. Pour cela IRVO identifie les entités intervenant dans le système (les utilisateurs, les outils, les objets de la tâche et l'application informatique) et leurs relations. Son pouvoir d'expression nous permet de modéliser les applications de la littérature dans le but de les comprendre, les comparer et les classer. Nous montrons également que IRVO est un support à la conception d'applications nouvelles : il peut être utilisé soit comme point de départ, soit en fin d'analyse pour aider le concepteur à vérifier un certain nombre de critères (complétude, cohérence, continuité, etc.). Nous étudions la liaison entre IRVO et les modèles classiques de l'IHM et du TCAO et plus spécifiquement avec les modèles AMF-C et Arch. Dans une démarche MBA (Model-Based Approach), IRVO prend naturellement la place aux côtés des modèles de tâches et de dialogues.

Cette américaine désormais installée en France a participé à la conception de nombreux prototypes d’abord de logiciels et systèmes multimédia dédiés à l’enseignement, aujourd’hui d’outils de réalité mixte.