Search

Cognitive diagnosis is used to model the learner knowledge from the learners’ traces on an ITS for adapted feedback or prediction of learner future state. By studying the performance of algorithms of knowl- edge tracing and factor analysis models on datasets restricted to either declarative or procedural knowledge components (KC), we show that factor analysis models outperform on declarative KCs while knowledge tracing ones outperform on procedural KCs, even if it is complicated to compare them. These results suggest the interest of categorizing the KCs by nature in cognitive diagnosis algorithms and that this categorization allows the enhancement of learner model interpretability., Le diagnostic cognitif permet de modéliser les connaissances d'un apprenantà partir de ses interactions avec un EIAH pour la recommandation adaptative de ressources ou la prédiction de l'état futur de l'apprenant. Enétudiant les performances des algorithmes des modèles knowledge tracing et factor analysis sur des jeux de données restreints aux composantes de connaissance (CC) déclaratives ou procédurales, nous montrons que les modèles factor analysis sont plus performants sur des CC déclaratives, alors que les modèles knowledge tracing réagissent mieux sur les CC procédurales, même s'il est compliqué de comparer les deux modèles l'unà l'autre. Ces résultats suggèrent l'intérêt d'une catégorisation des CC par leur nature dans le choix des algorithmes de diagnostic cognitif, et que cette catégorisation permet l'amélioration de l'interprétabilité du modèle de l'apprenant.

This paper presents a hybrid approach to learner modeling into MUSE-Logic, an ITS for logical reasoning learning. A Bayesian network built by experts is first proposed, followed by a model built from data that improves both the Bayesian network structure and its initialization for a new learner. A second model built from deep learning on data, completes the proposed hybrid solution. The combination of these three methods gives the learner model both expert and data validity, and significantly improves its predictive power., Cet article présente une démarche hybride pour la modélisation de l’apprenant dans le STI MUSE-Logique conçu pour l’apprentissage du raisonnement logique. Un réseau bayésien à validation experte est d’abord proposé, suivi par un modèle construit à partir des données qui permet d’améliorer la structure du réseau bayésien et son initialisation pour un nouvel apprenant. Un autre modèle construit par apprentissage profond sur des données, complète la solution hybride proposée. La combinaison de ces trois méthodes confère au modèle apprenant une validité induite des connaissances expertes et des données, et améliore son pouvoir prédictif., Nkambou Roger,Tato Ange,Brisson Janie,Robert Serge,Sainte-Marie Maxime. Une approche hybride à la modélisation de l’apprenant dans un STI pour l’apprentissage du raisonnement logique. In: Sciences et Technologies de l'Information et de la Communication pour l'Éducation et la Formation, volume 27 n°in, 2020. Numéro spécial : Sélection de la conférence EIAH 2019. pp. 63-102.

This thesis studies adaptive tests within learning environments. It falls within educational data mining and learning analytics, where student educational data is processed so as to optimize their learning.Computerized assessments allow us to store and analyze student data easily, in order to provide better tests for future learners. In this thesis, we focus on computerized adaptive testing. Such adaptive tests which can ask a question to the learner, analyze their answer on the fly, and choose the next question to ask accordingly. This process reduces the number of questions to ask to a learner while keeping an accurate measurement of their level. Adaptive tests are today massively used in practice, for example in the GMAT and GRE standardized tests, that are administered to hundreds of thousands of students. Traditionally, models used for adaptive assessment have been mostly summative : they measure or rank effectively examinees, but do not provide any other feedback. Recent advances have focused on formative assessments, that provide more useful feedback for both the learner and the teacher ; hence, they are more useful for improving student learning.In this thesis, we have reviewed adaptive testing models from various research communities. We have compared them qualitatively and quantitatively. Thus, we have proposed an experimental protocol that we have implemented in order to compare the most popular adaptive testing models, on real data. This led us to provide a hybrid model for adaptive cognitive diagnosis, better than existing models for formative assessment on all tried datasets. Finally, we have developed a strategy for asking several questions at the beginning of a test in order to measure the learner more accurately. This system can be applied to the automatic generation of worksheets, for example on a massive online open course (MOOC).; Cette thèse porte sur les tests adaptatifs dans les environnements d’apprentissage. Elle s’inscrit dans les contextes de fouille de données éducatives et d’analytique de l’apprentissage, où l’on s’intéresse à utiliser les données laissées par les apprenants dans des environnements éducatifs pour optimiser l’apprentissage au sens large.L’évaluation par ordinateur permet de stocker les réponses des apprenants facilement, afin de les analyser et d’améliorer les évaluations futures. Dans cette thèse, nous nous intéressons à un certain type de test par ordinateur, les tests adaptatifs. Ceux-ci permettent de poser une question à un apprenant, de traiter sa réponse à la volée, et de choisir la question suivante à lui poser en fonction de ses réponses précédentes. Ce processus réduit le nombre de questions à poser à un apprenant tout en conservant une mesure précise de son niveau. Les tests adaptatifs sont aujourd’hui implémentés pour des tests standardisés tels que le GMAT ou le GRE, administrés à des centaines de milliers d’étudiants. Toutefois, les modèles de tests adaptatifs traditionnels se contentent de noter les apprenants, ce qui est utile pour l’institution qui évalue, mais pas pour leur apprentissage. C’est pourquoi des modèles plus formatifs ont été proposés, permettant de faire un retour plus riche à l’apprenant à l’issue du test pour qu’il puisse comprendre ses lacunes et y remédier. On parle alors de diagnostic adaptatif.Dans cette thèse, nous avons répertorié des modèles de tests adaptatifs issus de différents pans de la littérature. Nous les avons comparés de façon qualitative et quantitative. Nous avons ainsi proposé un protocole expérimental, que nous avons implémenté pour comparer les principaux modèles de tests adaptatifs sur plusieurs jeux de données réelles. Cela nous a amenés à proposer un modèle hybride de diagnostic de connaissances adaptatif, meilleur que les modèles de tests formatifs existants sur tous les jeux de données testés. Enfin, nous avons élaboré une stratégie pour poser plusieursquestions au tout début du test afin de réaliser une meilleure première estimation des connaissances de l’apprenant. Ce système peut être appliqué à la génération automatique de feuilles d’exercices, par exemple sur un cours en ligne ouvert et massif (MOOC).

New text analysis softwares issued from fields of research such as Machine Learning and Natural Languages Processing prove to be relevant tools for the language sciences. Littératron is a new data-processing tool for the automatic extraction of syntactic patterns, designed at LIP6 by Jean-Gabriel Ganascia. Associated with a linear text analyser, it reveals the stylistic peculiarities of a text.We will see that Littératron carries out a linguistic diagnosis of learners if used in language sciences, especially in the field of acquisition of written French as a foreign language. The learner can be from a heterogeneous group (various language levels and various mother tongues) or from a homogeneous group (only one language level and one mother tongue, here, Arabic). The interest of this approach is related to three fields: first, language didactics, on a purely educational basis; next, computational linguistics; finally, computer-assisted learning., L'analyse textuelle et le Traitement Automatique des Langues peuvent tirer parti de nouvelles techniques d'apprentissage symbolique et de fouille de données. De nombreux travaux sur les analyseurs robustes (« Robust parsing ») en attestent. Réalisé au LIP 6, par Jean-Gabriel Ganascia, le Littératron extrait automatiquement des motifs syntaxiques récurrents dans un texte ; associé à un analyseur de textes en arbres, il révèle les singularités stylistiques d'un auteur ou d'un genre. Nous allons voir qu'utilisé en sciences du langage, dans le domaine de l'acquisition en langue étrangère du français écrit, le Littératron effectue un diagnostic cognitif de l'apprenant, qu'il s'agisse d'une classe de langue hétérogène (avec différentes langues maternelles) ou homogène (une seule langue maternelle, en l'occurrence ici l'arabe) ; l'intérêt de cette approche concerne trois domaines : d'une part la didactique des langues, à titre éducatif ; d'autre part, la linguistique computationnelle, et enfin l'enseignement assisté par ordinateur.

New text analysis softwares issued from fields of research such as Machine Learning and Natural Languages Processing prove to be relevant tools for the language sciences. Littératron is a new data-processing tool for the automatic extraction of syntactic patterns, designed at LIP6 by Jean-Gabriel Ganascia. Associated with a linear text analyser, it reveals the stylistic peculiarities of a text.We will see that Littératron carries out a linguistic diagnosis of learners if used in language sciences, especially in the field of acquisition of written French as a foreign language. The learner can be from a heterogeneous group (various language levels and various mother tongues) or from a homogeneous group (only one language level and one mother tongue, here, Arabic). The interest of this approach is related to three fields: first, language didactics, on a purely educational basis; next, computational linguistics; finally, computer-assisted learning., L'analyse textuelle et le Traitement Automatique des Langues peuvent tirer parti de nouvelles techniques d'apprentissage symbolique et de fouille de données. De nombreux travaux sur les analyseurs robustes (« Robust parsing ») en attestent. Réalisé au LIP 6, par Jean-Gabriel Ganascia, le Littératron extrait automatiquement des motifs syntaxiques récurrents dans un texte ; associé à un analyseur de textes en arbres, il révèle les singularités stylistiques d'un auteur ou d'un genre. Nous allons voir qu'utilisé en sciences du langage, dans le domaine de l'acquisition en langue étrangère du français écrit, le Littératron effectue un diagnostic cognitif de l'apprenant, qu'il s'agisse d'une classe de langue hétérogène (avec différentes langues maternelles) ou homogène (une seule langue maternelle, en l'occurrence ici l'arabe) ; l'intérêt de cette approche concerne trois domaines : d'une part la didactique des langues, à titre éducatif ; d'autre part, la linguistique computationnelle, et enfin l'enseignement assisté par ordinateur.

Les MOOC accueillent des apprenants de compétences très diverses. Afin de connaître leurs multiples besoins, il est possible de leur faire passer un test d'élicitation de connaissances, en profitant du fait que l'évaluation se fasse en ligne pour choisir la question suivante en fonction des réponses précédentes. Le test est alors dit adaptatif, il permet un diagnostic fin des connaissances de l'apprenant tout en réduisant le nombre de questions à poser. Nous montrons comment il est possible de réutiliser des réponses d’apprenants lors d'une session de MOOC pour valider un modèle de test adaptatif empiriquement, et testons notre approche sur un jeu de données réelles provenant d'un MOOC de mathématiques. Abstract: MOOCs receive learners from really diverse backgrounds. In order to address their needs, it is possible to extract their knowledge using adaptive tests, that choose the next question to ask according to the previous performance. Such tests can diagnose effectively the knowledge of the learner while reducing the number of questions asked. We show how it is possible to use questions from a MOOC session in order to validate an adaptive test model empirically, and illustrate it over a real dataset from a mathematical MOOC.