Multimodal learning analytics for studying creative problem-solving with modular robotics

Creative problem solving is a complex process that is being studied through a diversity of tasks. CreaCube is an open ill-defined task whereby the player is required to engage in a creative problem-solving activity (Romero et al., 2017) that we try to analyze with computational models (Alexandre, 2020a). To represent the behavior of the subject through the activity evolution, we analyze the activity through a coding schema considering the observables for this tangible problem solving activity. Observables correspond to different states of the artifact of behaviors of the participant at a given time. In this study we introduce the learning analytic strategy corresponding to a temporal sequence of observables. Through this sequence we aim to infer the participants’ internal state based on a different sequence of observables.Through this study we aim to advance in the learning analytics strategy of a tangible problem-solving task with educational robotics. Our main goal is to be able to both collect data more easily, avoiding as much as possible the manual analysis of the video recording of the activity, and propose enriched observables. To this end, we refined the observables’ model as detailed in (Mercier et al., 2021) and added new observables and decomposed existing ones into more specific ones based on the learner and task model. We distinguished observables with automatable data collection and those which require manual identification. In the end we discuss the relevance of this new version of CreaCube by discussing to what extent it offers additions to actual data analysis and ongoing research on this subject.; La résolution créative de problèmes est un processus complexe mis à l’étude via une grande variété de tâches. CreaCube est une tâche ouverte et mal-définie par laquelle une personne est engagée dans une activité de résolution créative de problème (Romero et al., 2017) que nous essayons de représenter et d’analyser avec des modèles informatiques (Alexandre, 2020a). Afin de représenter le comportement de la personne engagée dans l’activité, nous analysons le déroulement de celle-ci à travers un codage comportant différentes données nommées observables. Les observables correspondent aux différents états des artefacts observables lors de l’activité (comportements, émotions, matériel) à un moment donné. Dans cette étude, nos données d’apprentissage correspondent à des séquences d’ensembles d'observables. Via ces séquences, nous espérons pouvoir inférer l’état interne d’une personne engagée dans l’activité à partir de la séquence d’observables lui étant associée. Via cette étude, nous visons un approfondissement d’une stratégie d’analyse d’apprentissage pour CreaCube, une tâche de résolution de problème tangible avec de la robotique éducative. Notre objectif principal est d’être capable à la fois de collecter plus simplement et rapidement des données sur le déroulement de l’activité, en évitant autant que possible le recours à l’analyse manuelle des enregistrements vidéo de l’activité, et de proposer un nouveau cadre d’observables plus riche. Pour cela, nous proposons d’affiner le modèle des observables détaillé dans (Mercier et al., 2021) et d’ajouter de nouvelles observables relatives à l’évolution de la tâche extérieure à la personne engagée. Nous proposons également une distinction entre les observables dont la collecte lors des expériences peut être automatisée et celles dont la collecte requiert une identification manuelle. Enfin, nous discutons de la pertinence et de la faisabilité de ces changements en réfléchissant à une nouvelle version de CreaCube et ce qu’elle peut offrir de plus aux analyses sur les données actuellement menées sur le sujet.