Renom, Miguel, Extreme Situated Interaction (EX-SITU), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Interaction avec l'Humain (IaH), Laboratoire Interdisciplinaire des Sciences du Numérique (LISN), Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Université Paris-Saclay, Michel Beaudouin-Lafon, and Baptiste Caramiaux
Tool use pervades our everyday life. We spontaneously manipulate objects as tools, sometimes for tasks beyond their assigned function, thereby re-purposing them, such as when a knife is used as a screwdriver. The Technical Reasoning hypothesis in cognitive neuroscience posits that humans engage in tool use by reasoning about mechanical interactions among objects. By modeling tool use based on abstract knowledge about object interactions, this theory explains how tools can be re-purposed for tasks beyond their original design as a product of knowledge transfer. In digital environments, user interfaces often provide tools with pre-defined functions, such as formatting, scrolling or zooming, meant to be used for a specific set of tasks. However, the literature offers examples of users re-purposing digital tools in unexpected ways. This motivated me to investigate the Technical Reasoning hypothesis as a theoretical model for digital tool use, based on the users’ acquired knowledge of the digital world. First, I studied computer users performing a task in a digital text editor while being constrained to re-purpose some of its commands. While most participants managed to re-purpose at least one command, some experienced difficulty due to biases stemming from their knowledge of procedures and functions learned from similar environments. I relate these observations to phenomena of physical tool use, particularly, technical reasoning and functional fixedness. Next, I studied how users perceive the possibilities for action on digital objects through toolbars in the interface. Using an experimental environment whose objects support both graphics- and text-oriented commands, I controlled the visibility of corresponding toolbars to introduce the environment to participants before performing tasks with both toolbars available. This resulted in strategies where the preferred command types associated with the toolbar presented in the introduction, sugg esting a priming effect, which can hinder the exercise of technical reasoning to use alternative and possibly more efficient strategies. Last, I present a collaboration study about extreme users of text editing tools that led to the design of Textlets: interactive objects that reify text selections into persistent tools for text documents. Textlets constitute a generative concept building on principles of Instrumental Interaction. We observed a user re-purposing a Textlet during an evaluation study, supporting the notion that an instrumental approach may contribute to re-purpose digital tools. This thesis provides evidence of the relevance of the Technical Reasoning hypothesis as a theoretical model for interaction and opens the way to the design of tool-centric interfaces.; L’usage d’outils est un phénomène omniprésent dans nos vies. Nous nous servons d’objets comme outils, parfois au-delà des fonctions qui leur sont assignées, à l’instar d’un couteau qui serait utilisé comme tournevis. Selon l’hypothèse du Raisonnement Technique en neuroscience cognitive, les humains font l’usage d’outils en raisonnant sur les interactions mécaniques entre objets. En considérant ce phénomène comme reposant sur les propriétés physiques des objets, cette théorie explique les transferts de connaissances entre interactions objet-objet similaires, donnant une interprétation à l’usage d’un outil à des fins autres que celles qui ont motivées son invention. Dans les environnements numériques, les interfaces utilisateurs contiennent fréquemment des outils avec des fonctions prédéfinies, par exemple, pour formater un texte, défiler un document ou "zoomer" sur une image. Ces outils sont conçus à des fins spécifiques. Cependant, la littérature en IHM met en avant des exemples avec des utilisateurs qui font usage des outils numériques de manières inattendues. Dans cette thèse, j'étudie l’hypothèse du raisonnement technique comme modèle théorique pour comprendre l’usage d’outils numériques, pour leur fonction propre et inattendue. Ceci sur la base des notions que les utilisateurs ont formé du monde numérique. Je commence par décrire une expérience avec des utilisateurs remplissant une même tâche plusieurs fois avec un éditeur de texte, en réduisant progressivement les commandes auxquelles ils ont accès afin d’effectuer cette tâche. Cette méthodologie force les utilisateurs à utiliser une ou plusieurs commandes pour des fonctions inattendues. Alors que la plupart des participants sont arrivés à réaffecter a u moins une commande pour une fonction non prévue, certains ont exprimé des difficultés liées aux biais issus de leur connaissance dans des environnements similaires. Ces observations sont mises en lien avec des phénomènes similaires dans l’usage d’outils physiques, en particulier, la notion de “fixité fonctionnelle” et le raisonnement technique. Ensuite, je présente une étude sur les interprétations que les utilisateurs font des possibilités d’action sur les objets dans un environnement numérique à partir de son interface, et en particulier ses barres d’outils. Je m’intéresse aux objets graphiques et textuels. J’ai développé un environnement spécifique dont les objets peuvent être modifiés tant avec les commandes graphiques qu’avec les commandes textuelles. L’environnement possède deux barres d'outils correspondant aux deux types de commandes. Les participants doivent effectuer une série de tâches e n utilisant les commandes disponibles dans les barres d’outils. Les participants ont montré une tendance à utiliser les commandes de la barre d'outils présentée pendant l’introduction, suggérant un effet d’amorçage qui pourrait empêcher l’exercice du raisonnement technique pour trouver des stratégies alternatives et éventuellement plus efficaces. Finalement, je présente une étude sur des utilisateurs professionnels en édition de texte informant la conception des "Textlets", des objets interactifs qui réifient les sélections de texte comme des outils persistants dans l’édition d’un document. Les textlets représentent un concept génératif qui capitalise sur les principes de l’interaction instrumentale. L'étude a montré l’usage d'un textlet de façon écartée de sa conception originale, ce qui suggère qu’une approche instrumentale peut contribuer à l'utilisation d’outils nume ́riques au-delà des fonctions initialement imaginées. Cette thèse apporte des éléments empiriques montrant la pertinence de l’hypothèse du raisonnement technique comme modèle théorique d’interaction et ouvre la voie à la conception d’interfaces utilisateurs centrées sur des outils et des principes généraux liés aux propriétés "mécaniques" des objets numériques