Search

As shown in previous studies, positive teacher and student rapport increases motivation and performance in foreign language learning. This study investigated the impact of three forms of interaction on the development of teacher-student and student-student relationships in a Spanish as a Foreign Language classroom that transitioned from face-to-face (FtoF) to online due to the emergence of the COVID-19 pandemic. These forms of interaction were positive comments, corrective feedback, and personal thematic discourse. The participants were students from six different beginner-level Spanish courses at a university in Hawai’i. Because of COVID restrictions, half of the semester was conducted FtoF and half online. Data were collected through a three-part questionnaire with open and closed-ended questions which explored the impact of the online and FtoF setting and forms of interaction on rapport. The results reveal the importance of corrective feedback and positive comments on the development of positive teacher-student rapport, and of positive comments and personal thematic discourse on student-student rapport. The study suggests the need to bring qualities from the FtoF classroom to online, such as a sense of a more personal experience, ability to connect, ease in asking questions, receiving feedback, and greater interaction. Resumen Como se ha demostrado en estudios anteriores, una relación positiva entre profesores y estudiantes tiene un efecto favorable en la motivación y el desempeño de los estudiantes de lenguas extranjeras. El presente estudio investigó el impacto de tres formas de interacción sobre el desarrollo de las relaciones entre profesores y estudiantes y entre estudiantes y sus pares en un aula de español como lengua extranjera que hizo la transición de la presencialidad a las clases virtuales, debido a la declaración de la pandemia por COVID-19. Estas formas de interacción fueron comentarios positivos, realimentación correctiva y discurso temático personal. Los participantes eran estudiantes de seis cursos diferentes de nivel básico de español en una universidad de Hawái. Debido a las restricciones por el COVID, la mitad del semestre se impartió en modalidad presencial y la otra mitad en línea. Los datos se recogieron por medio de un cuestionario de tres partes con preguntas abiertas y cerradas, que exploró el impacto que tuvieron el entorno presencial y virtual y las formas de interacción en las relaciones entre los participantes. Los resultados revelan la importancia de la realimentación correctiva y los comentarios positivos en el desarrollo de relaciones positivas entre profesores y estudiantes, así como la importancia de los comentarios positivos y el discurso temático personal en las relaciones entre estudiantes. El estudio señala la necesidad de llevar características de la clase presencial al entorno virtual, como la sensación de una experiencia más personal, la capacidad de conectarse, la facilidad para hacer preguntas, la realimentación y mayor interacción. Résumé Comme des études précédentes ont démontré, une bonne entente entre des enseignants et des étudiants a un effet favorable sur la motivation et les performances des étudiants des langues étrangères. La présente étude a examiné l’impact de trois formes d’interaction sur le développement des relations positives entre les enseignants et les étudiants et entre les étudiants et leurs pairs dans une classe d’espagnol langue étrangère qui a fait la transition du présentiel aux classes virtuelles, à cause de la déclaration de la pandémie de COVID-19. Ces formes d’interaction ont été des remarques positives, du feedback correctif et du discours thématique personnel. Les participants étaient des étudiants de six cours différents de niveau débutant dans une université d’Hawaï. En raison des restrictions liées au COVID, la moitié du semestre a été enseignée en mode présentiel et l’autre moitié en ligne. Les données ont été recueillies au moyen d’un questionnaire en trois parties avec des questions ouvertes et fermées, qui ont exploré l’impact de l’environnement dans la classes présentielle et virtuelle et des formes d’interaction dans les relations entre les participants. Les résultats révèlent l’importance du feedback correctif et des remarques positives dans le développement de relations positives entre enseignants et élèves, ainsi que l’importance des commentaires positifs et du discours thématique personnel dans les relations établies entre les élèves eux-mêmes. L’étude souligne la nécessité de prendre des traits de la classe présentielle à l’environnement virtuel, telles que le sentiment d’une expérience plus personnelle, la capacité de se connecter, la facilité de poser des questions, le feedback et une plus grande interaction.

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events., L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux.