Search

Virtual Reality is a research domain that is situated at the crossing of several domains as infography, simulation, teleoperation, collaborative work, etc. The 3D interaction is a core component of virtual reality. It allows the user to interact with the entities of the virtual environment. There exists different 3D interaction techniques that are dedicated to the different tasks of 3D interaction that are navigation, selection, manipulation and command control. In most cases, the 3D interaction techniques are only used to perform one of the 3D interaction tasks without taking into account the requirements of complex environments such as teleoperation environments and collaborative environments. Teleoperation tasks are complex tasks and must fulfill some constraints that are : very precise seizures of objects and secure selections and manipulations. The collaborative environments are worlds in which users interact between them to accomplish goals together. The complexity of these environments is related to the interaction of a group of users with shared entities. The aim of this work is to model, conceive, implement and evaluate our 3D interaction assistance system for mono and multi users. Our study is centred on the user and its interests in the virtual world. The concept of this study is based on the principle of anticipation of the user's gesture by the assistance him. Our 3D interaction assistance system is considered as a mean to bypass the limitations of some 3D interaction classical techniques in order to make them usable in different contexts., La réalité virtuelle est une discipline qui se situe à la croisée de plusieurs domaines tels que l'infographie, la simulation, la téléopération, le travail collaboratif, etc. L'interaction 3D est la composante motrice de la réalité virtuelle. Elle permet à l'utilisateur d'interagir avec les entités de l'environnement virtuel. Il existe différentes techniques d'interaction 3D qui sont dédiées aux différentes tâches d'interaction 3D à savoir la navigation, la sélection, la manipulation et le contrôle d'application. En général, la technique utilisée cherche à accomplir une tâche d'interaction 3D sans prendre en considération les exigences des environnements dédies pour la téléopération et les environnements collaboratifs. Les tâches de téléopération doivent respecter un certain nombre de contraintes, qui sont : des sélections et des manipulations sécurisées et précises. Les environnements collaboratifs sont des mondes dans lesquels les utilisateurs interagissent ensemble pour réaliser des tâches communes. La complexité de ces environnements est liée à l'interaction d'un groupe d'utilisateurs avec des entités partagées. L'objectif de ce travail est de modéliser, de concevoir, d'implémenter et d'évaluer un système d'assistance à l'interaction 3D mono-utilisateur et multi-utilisateurs. Notre concept est centré sur l'utilisateur et ses intérêts dans le monde virtuel, il est basé sur le principe d'anticipation du geste de l'utilisateur par l'assistance de ce dernier. Notre système d'assistance peut être considéré comme un moyen de contourner les limitations de certaines techniques d'interaction 3D classiques afin de les rendre utilisables dans des contextes différents.

Computer assisted generation of aesthetic patterns is a promising domain for the field of fashion design (mass customization, etc.). In this context of Virtual Reality (RV) or Mixed Reality ( MR) techniques provies a very efficient way of visualizing clothes mapped with the generated patterns. Such techniques also offers new opportunities for 3D interaction with the virtual mannequins in both static and dynamic situations (catwalks). The contribution of the work presented in this manuscript is mutiple and involves three complementary steps : (i) the identification and development of mathematical models showing some potentialities for generating complex patterns with aesthetic qualities, (ii) the implementation of the identified or developed mathematical models for computer-aided exploration of their potentialities, (iii) the integration of the mathemtical models in a flexible software platform offering multiple interactive capabilities with virtual mannequin. Moreover, we propose new 3D interaction techniques for fashion design in both virtual and mixed reality setup., La génération de motifs esthétiques assistée par ordinateur est un domaine prometteur pour la conception de vêtements (personnalisation de masse, etc.). Dans ce contexte, les techniques de réalité virtuelle (RV) et de réalité mixte (RM) sont très pertinentes pour la visualisation de vêtements sur lesquels sont appliqués les motifs générés. Ces techniques offrent aussi de nouvelles opportunités pour l'interaction 3D avec les mannequins virtuels en situation statique ou dynamique (défilé virtuel). La contribution du travail présenté dans ce mémoire est multiple et implique trois étapes complémentaires : (1) l'identification et le développement de modèles mathématiques exhibant des potentialités pour la génération automatique de motifs complexes ayant des propriétés esthétiques; (2) l'implémentation de ces modèles mathématiques et l'exploration assistée par ordinateur de leur potentialités; (3) l'intégration de ces modèles dans une plate-forme logicielle offrant de multiples possibilités d'interaction avec les mannequins virtuels. En outre, nous proposons de nouvelles techniques d'interaction 3D pour la conception en RV et RM.

Computer assisted generation of aesthetic patterns is a promising domain for the field of fashion design (mass customization, etc.). In this context of Virtual Reality (RV) or Mixed Reality ( MR) techniques provies a very efficient way of visualizing clothes mapped with the generated patterns. Such techniques also offers new opportunities for 3D interaction with the virtual mannequins in both static and dynamic situations (catwalks). The contribution of the work presented in this manuscript is mutiple and involves three complementary steps : (i) the identification and development of mathematical models showing some potentialities for generating complex patterns with aesthetic qualities, (ii) the implementation of the identified or developed mathematical models for computer-aided exploration of their potentialities, (iii) the integration of the mathemtical models in a flexible software platform offering multiple interactive capabilities with virtual mannequin. Moreover, we propose new 3D interaction techniques for fashion design in both virtual and mixed reality setup.; La génération de motifs esthétiques assistée par ordinateur est un domaine prometteur pour la conception de vêtements (personnalisation de masse, etc.). Dans ce contexte, les techniques de réalité virtuelle (RV) et de réalité mixte (RM) sont très pertinentes pour la visualisation de vêtements sur lesquels sont appliqués les motifs générés. Ces techniques offrent aussi de nouvelles opportunités pour l'interaction 3D avec les mannequins virtuels en situation statique ou dynamique (défilé virtuel). La contribution du travail présenté dans ce mémoire est multiple et implique trois étapes complémentaires : (1) l'identification et le développement de modèles mathématiques exhibant des potentialités pour la génération automatique de motifs complexes ayant des propriétés esthétiques; (2) l'implémentation de ces modèles mathématiques et l'exploration assistée par ordinateur de leur potentialités; (3) l'intégration de ces modèles dans une plate-forme logicielle offrant de multiples possibilités d'interaction avec les mannequins virtuels. En outre, nous proposons de nouvelles techniques d'interaction 3D pour la conception en RV et RM.

Les compositeurs contemporains constituent un cas d'etude particulierement riche pour la problematique du papier augmente par l'ordinateur. Ils ont tout d'abord une utilisation avancee des deux technologies. Ceux qui travaillent dans les studios de l'IRCAM sont souvent des experts en informatique : il n'est pas rare que certains programment en Lisp et connaissent les algorithmes des outils qu'ils utilisent. Ils beneficient d'un environnement informatique tres complet, dote de nombreux outils de calcul et de modelisation sophistiques, et travaillent la plupart du temps en association avec des assistants musicaux, experts en informatique ou en electro-acoustique. Quant a l'utilisation du papier, elle resulte de plusieurs siecles de tradition, au cours desquels une notation quasiment universelle a pu s'etablir. Bien entendu, on observe egalement une forte utilisation conjointe des deux technologies, parfois concurrente, comme lorsqu'il s'agit d'editer une partition soit `a la main, soit avec un outil specialise, parfois complementaire, le papier et l'ordinateur correspondant a des etapes differentes du travail de creation.

International audience; Cette vidéo présente une table interactive de réalité mixte et deux applications : WordTab pour la réalisa-tion de rapports et Gestion de crises pour la supervision d'interventions de pompiers. La table TableGate per-met à plusieurs acteurs réunis autour de la table d'agir soit en interaction classique, soit en manipulant de ob-jets réels (feuilles de papiers ou maquettes de disposi-tifs d'intervention. Dans les deux vidéos nous donnons des principes du dispositif et montrons les deux utilisa-tions

One of the main weaknesses with traditional computing is the fact that the numerical world of the computer is decoupled from the users' real world. The application of Mixed Reality (MR) can provide interactive systems in which real objects and computer data are combined in a cohesive way.In our state of the art, we review several applications and technologies that have been developed during the last decade. Most of these applications are home made and were developed in an independent and autonomous way. Therefore, it is important to propose comprehensive model and an associated design methodology.As we illustrated it, the current models of Human-Computer Interaction (HCI) and Computer-Supported Cooperative Work (CSCW), are not suitable for Mixed Reality systems. It is because they are limited in terms of modeling the real artefacts.Therefore, the proposed IRVO model (Interacting with Real and Virtual Objects) aims at formalizing the interaction between the users, the real and virtual objects. It identifies the entities that have a role in the system (users, tools, objects of the task and the application) and their relationships. Its expressiveness help us to model the applications we reviewed while helping us in understanding, comparing and classifying them.We will also show how IRVO supports the design of a new generation of Mixed Reality based applications. IRVO can be used either as a starting point, or at the end of the analysis phase to help the designer in checking the completeness, coherence, continuity of the design. We investigated also the relation between IRVO and traditional HCI and CSCW models and more specifically with the AMF-C and Arch models. In a Model-Based Approach (MBA), IRVO can supplement the task and dialog models., L'un des principaux reproches que l'on fait à l'informatique traditionnelle est que le monde numérique de l'ordinateur est trop déconnecté du monde réel dans lequel les utilisateurs évoluent. La Réalité Mixte (RM) s'intéresse aux systèmes interactifs dans lesquels des objets réels et des données informatiques sont mêlées de manière cohérente.Dans notre état de l'art nous analysons de nombreuses applications et technologies qui ont été conçues depuis une dizaine d'années dans ce domaine de façon généralement indépendantes et autonomes. Il semble désormais possible de proposer des modèles unificateurs et des méthodologies de conception associées.Les modèles traditionnels de l'Interaction Homme-Machine (IHM) et du Travail Collaboratif Assisté par Ordinateur (TCAO), comme nous le montrons, ne sont pas adaptés car ils sont conçus pour la modélisation du logiciel et ne prennent pas (ou peu) en compte les artefacts réels.Nous proposons donc le modèle IRVO (Interacting with Real and Virtual Objects) qui cherche à formaliser l'interaction entre les utilisateurs et les objets réels et virtuels. Pour cela IRVO identifie les entités intervenant dans le système (les utilisateurs, les outils, les objets de la tâche et l'application informatique) et leurs relations. Son pouvoir d'expression nous permet de modéliser les applications de la littérature dans le but de les comprendre, les comparer et les classer. Nous montrons également que IRVO est un support à la conception d'applications nouvelles : il peut être utilisé soit comme point de départ, soit en fin d'analyse pour aider le concepteur à vérifier un certain nombre de critères (complétude, cohérence, continuité, etc.). Nous étudions la liaison entre IRVO et les modèles classiques de l'IHM et du TCAO et plus spécifiquement avec les modèles AMF-C et Arch. Dans une démarche MBA (Model-Based Approach), IRVO prend naturellement la place aux côtés des modèles de tâches et de dialogues.

Cette américaine désormais installée en France a participé à la conception de nombreux prototypes d’abord de logiciels et systèmes multimédia dédiés à l’enseignement, aujourd’hui d’outils de réalité mixte.

Nowadays, prototyping is widely used in the industry for exploring design alternatives by engaging all project stakeholders. This is especially true at the earlier stage of the design process during both co-creation and exploration activities. However, prototypes have different forms, such as: physical forms like mock-ups, often based on 3D-printing, or virtual forms based on immersive technologies like Virtual Reality (VR), Augmented Reality (AR) or even Mixed Reality (MR). The main advantage of prototyping has been synthesized in a simple sentence, expressed by John Meada, a former MIT professor: “If a picture is worth a thousand words, a prototype is worth a thousand meetings”, cited by Banfield et al. (2017). More recently, the service sector has started to also adopt prototyping for exploring service design alternatives (Blomkvist, 2014). This involves different levels of service complexity, such as: online consultancy, machine configurators, and simulators for the training of machine operators or more simply assembly and disassembly guidance. Nevertheless, the current body of knowledge on Service Prototyping is lacking comparison among Service Prototype (SP) forms - conventional versus immersive - that would help businesses in the service sector to select the most appropriate SP form. In this context of the service sector, our investigation aims to bring new knowledge about the potential impact of immersive technologies on SP. Overall, it would help service organizations to experience a service idea even before this service really exists or to foresee which SP form is the most appropriate according to their specific context and degree of service complexity.A literature review was carried out in order to identify potential objective and subjective impact factors. Our created theoretical SP adoption model allows comparing different forms of Service Prototypes according to their respective performance in terms of completion, errors, and usage perception. This model was used to design an experiment, which involves mixed methods, allowing collecting a sufficient amount of quantitative data for running a statistical analysis formative approach for validating our SP adoption model. First of all, our empirical study has allowed validating our SP adoption model. Secondly, it has unveiled the positive impact of immersive technologies on service prototyping for getting an anticipated experience before a service is implemented. Thirdly, it has revealed the higher performance of AR- and MR-SP forms compared to VR and conventional SP forms. Finally, besides the obvious fact that only AR- and MR-SP forms allow to simultaneously learn a service operation, the VR-SP form is the one exhibiting the highest immersiveness and adoption score, especially because it allows exploring a service before it really exists.; De nos jours, le prototypage est largement utilisé dans l'industrie pour explorer des alternatives de conception en impliquant toutes les parties prenantes du projet. Cela est particulièrement vrai au stade antérieur du processus de conception lors des activités de Co-création et d'exploration. Cependant, les prototypes ont différentes formes, telles que : des formes physiques comme des maquettes, souvent basées sur l'impression 3D, ou des formes virtuelles basées sur des technologies immersives comme la réalité virtuelle (VR), la réalité augmentée (AR) ou même la réalité mixte (MR). Le principal avantage du prototypage a été synthétisé dans une phrase simple, exprimée par John Meada, un ancien professeur du MIT : « Si une image vaut mille mots, un prototype vaut mille réunions », cité par Banfield et al. (2017). Plus récemment, le secteur des services a également commencé à adopter le prototypage pour explorer des alternatives de conception de services (Blomkvist, 2014). Cela implique différents niveaux de complexité de service, tels que : conseil en ligne, configurateurs de machines et simulateurs pour la formation des opérateurs de machines ou plus simplement des conseils de montage et de démontage. Néanmoins, le corpus actuel de connaissances sur le prototypage de services manque de comparaison entre les formes de prototype de service (SP) - conventionnelles et immersives - qui aideraient les entreprises du secteur des services à sélectionner la forme de SP la plus appropriée. Dans ce contexte du secteur des services, notre enquête vise à apporter de nouvelles connaissances sur l'impact potentiel des technologies immersives sur la SP. Dans l'ensemble, cela aiderait les organisations de services à expérimenter une idée de service avant même que ce service existe réellement ou à prévoir la forme de SP la plus appropriée en fonction de leur contexte spécifique et du degré de complexité du service.Une revue de la littérature a été réalisée afin d'identifier les facteurs d'impact objectifs et subjectifs potentiels. Notre modèle théorique d'adoption de SP créé permet de comparer différentes formes de prototypes de services en fonction de leurs performances respectives en termes d'achèvement, d'erreurs et de perception de l'utilisation. Ce modèle a été utilisé pour concevoir une expérience, qui implique des méthodes mixtes, permettant de collecter une quantité suffisante de données quantitatives pour exécuter une approche formative d'analyse statistique pour valider notre modèle d'adoption de SP. Tout d'abord, notre étude empirique a permis de valider notre modèle d'adoption de SP. Deuxièmement, il a dévoilé l'impact positif des technologies immersives sur le prototypage de services pour obtenir une expérience anticipée avant la mise en œuvre d'un service. Troisièmement, il a révélé les performances supérieures des formes AR et MR-SP par rapport aux formes VR et SP conventionnelles. Enfin, outre le fait évident que seules les formes AR et MR-SP permettent d'apprendre simultanément une opération de service, la forme VR-SP est celle qui présente le score d'immersion et d'adoption le plus élevé, notamment parce qu'elle permet d'explorer un service avant qu'il n'existe réellement.

International audience; This paper focuses on referents used in co-design in a Mixed Reality context. A co-design device was installed inside a space to be redesigned, thus offering at once real and virtual representations of the space. Our goal is to understand how the real and virtual representations are used as resource in multidisciplinary co-design. An analysis of pointing gestures done by participants was conducted. Our results underscore complementarities at first between the real and the virtual, as design elements are matches to markers in the real space. Then virtual representations are mostly used to support the design and the construct of a common ground, highlighting the ability of the virtual representations to support design.; Cette étude porte sur l'analyse de référents de l'activité de co-design dans un contexte de réalité mixte à travers l'utilisation d'un dispositif de co-design installé au sein même de l'espace à concevoir ; le contexte de design offrant des représentations réelles et virtuelles du même espace à concevoir. Notre objectif de recherche est de comprendre comment ces deux représentations réelles et virtuelles sont utilisées comme ressources à des fins de co-design dans un cadre multidisciplinaire. Pour ce faire, une analyse des gestes de pointage effectués par les participants a été conduite. Nos résultats soulignent une complémentarité du virtuel et réel en début de processus pour soutenir le travail de co-design et la mise en relation des éléments de design avec des repères réels. Ensuite, les représentations virtuelles sont majoritairement utilisées pour soutenir le design et la construction d'un common ground ce qui met en exergue les représentations virtuelles immersives de cette étude comme suffisantes pour concevoir.

National audience; Les périphériques de réalité virtuelle et mixte (RVM) sont de plus en plus accessibles ainsi que les moteurs de jeux. Même si le nombre de développeurs d'applications 3D temps réel est aujourd'hui important, rares sont ceux qui parviennent à intégrer des interactions immersives. Cependant la commuanté des experts RVM possèdent aussi un besoin qui est celui de la réutilisation de leurs scripts. Notre concept est répondre au besoin des experts tout en faisant bénéficier les novices. Pour cela, nous avons conçu un nouvel outil indépendant nommée MIREDGE (MIxed and virtual Reality Development toolkit pour Game Engine). Cet outil est basé sur un méta-modèle permettant de capitaliser les algorithmes d'interaction et les associer à des représentations simplifiées. Un méta-modèle garantit une réutilisation d'algortihmes d'interactions en prenant en compte de la compatibilité logicielle et matérielle. L'architecture spécifique de MIREDGE donne la possibilité aux communautés des développeurs réguliers et occasionnels d'écrire de façon efficace et efficiente un algorithme d'interaction RVM.

National audience; À l’heure où les technologies de réalité virtuelle se démocratisent, de nouveaux jeux sérieux peuvent être envisagés. Dans cette perspective, nous proposons le concept de Jeux Epistémiques Numériques Pervasifs offrant aux apprenants des situations d’apprentissage plus authentiques. Plusieurs travaux montrent l’intérêt pédagogique de ces dispositifs immersifs en termes de construction de connaissances et d’engagement des apprenants. Si ces résultats sont prometteurs, il reste cependant de nombreuses problématiques concernant leur conception, le développement d’interactions immersives et leurs évaluations.

International audience; Game-based learning is one efficient pedagogical concept that uses game principles to incite learners to engage into learning activities. Learning games are commonly known as digital environments. In the mean time, new technologies have been increasingly developed, thus providing new perspectives in game-based learning, particularly, mixed reality technologies that merge both real and digital worlds. For instance, they are widely used in mobile learning or learning with tangible interfaces. For the latter, mixed reality technologies make collaboration easier and provide better feedback to users. We present in the paper a brief study on the state of the art of mixed reality technologies. While the technologies have been experimented in educational settings or in games, they are used only in few learning games. Some research efforts have proven positive outcomes of the latter in learning even they are not widely applicable. Based upon the contributions of mixed reality in learning games, we point out that means employed by designers are as crucial as the pedagogical objectives. Therefore, they have to be taken into account during the design process. Our research efforts aim at providing tools and methods to support the design of mixed reality learning games (MRLG). One of the first steps during the instructional design is to write the learning scenario. However, there is no universal method to be used in the design process. Thus, in the second section of this paper, we analyze the ability of existing pedagogical specifications to model mixed reality learning games scenarios. In this view, we compare IMS-LD, LDL and ISiS, which all intend to assist pedagogical designer and teachers in the design of new pedagogical activities and in the formalization of existing ones. Design process of MRLG includes game elements and mixed reality technologies design, particularly in the pedagogical scenario writing. Meanwhile, the specifications mentioned earlier do not fulfil our needs: they all allow a representation of a pedagogical scenario in a workflow, but in our case, a more detailed description of the workflow is needed. The specifications are not suitable to describe the used technologies or the way they are used. Regarding the fun factors, none of the formalisms includes the description of rules and neither game principles nor game objectives. The last part of the paper discuss different proposals: an extension of a pedagogical specification, a combination of existing specification with a task model for more detailed description, and a new pedagogical specification for mixed reality learning games.