Search

This exploratory research compares Q-matrices related to two multiple choice tests in mathematics. These Q-matrices are elaborated in three different conditions. In the first one, only the items are available. In the second one, the items are presented as set together with a factor analysis. In the third condition, the item difficulty and discrimination parameters are provided to the experts as well as the distractors' analysis results. The cognitive model RUM (Reparametrized Unified Model) is used to compare the cognitive structure of the different matrices related to the same test. The form of the matrices, the agreement between the experts and the parameters estimated with the RUM are compared. The results tend to show that condition 2 cognitive structure is stronger for both tests. The difference with conditions 1 or 3 is, however, not very large. The third condition leads the experts to pay attention to non relevant aspects of the answering process and leads to the worst quality matrices.

Plusieurs recherches traitent de l’importance de la promotion de la diversité et l’équité pour les cohortes de médecine. D’autres recherches font état de la diversité des étudiants de médecine par rapport à la diversité de la population desservie. À cet intérêt, la plupart de ces études témoignent que « la profession médicale présente un problème d’iniquité » (Tricco et al., 2021, p. 664). Dans le cadre de la reddition de compte, le secteur médical, avec ses différents détenteurs d’enjeux, doit diriger ses services afin de répondre aux différents besoins locaux et régionaux de la société (Boelen et Heck, 1995). Cependant, en absence d’une diversité suffisante, le secteur médical ne peut vraisemblablement pas remplir son devoir de donner des soins optimaux à tout le monde (Cohen et al., 2002). Il faut noter qu’assurer une diversité optimale des cohortes de médecine implique de promouvoir la diversité des professionnels de santé. À cet intérêt, les facultés de médecine doivent être socialement responsables et doivent attacher une grande importance à la sélection des candidats afin de former de futurs médecins compétents, représentatifs de la société qu’ils desservent et en mesure de répondre aux besoins de celle-ci (Gough, 2004). Ainsi, les facultés de médecine sont engagées à promouvoir la diversité et l’équité parmi leurs cohortes de médecine. À cet intérêt, plusieurs recherches canadiennes ont trouvé que les caractéristiques sociodémographiques des étudiants de médecine diffèrent de celles de la population (Khan et al., 2020; Pitre et al., 2020). Au Québec, peu d’études ont exploré cette problématique. Dans ce contexte, nous avons mené notre recherche afin de comprendre le processus d’admission aux facultés de médecine franco-québécoises tout en tenant compte des caractéristiques sociodémographiques et de la performance des candidats et des étudiants admis en 2019. En premier lieu, nous avons brossé le profil sociodémographique des candidats et des étudiants de médecine par rapport au profil sociodémographique de la population québécoise. En second lieu, nous avons exploré le lien entre la performance des candidats et des candidats admis (pour la cote R, le Casper et les MEMFI) avec leurs caractéristiques sociodémographiques. Enfin, nous avons mené des études de simulation afin d’explorer l’effet potentiel de la variation des pondérations des résultats de la cote R, du Casper et des MEMFI sur la composition démographique des cohortes de médecine. Cette recherche utilise une base de données des candidats qui sont passés par la deuxième phase d’admission de 2019 et qui ont répondu au questionnaire sur les caractéristiques sociodémographiques. À l’aide d’analyses descriptives, d’analyses de variance univariées, des tests T et de la simulation, nous avons essayé de répondre à nos intérêts de recherches déjà mentionnées. Les résultats de cette étude montrent que les caractéristiques sociodémographiques des candidats et des candidats admis des facultés de médecine franco-québécoises, en général, diffèrent des caractéristiques sociodémographiques de la population québécoise. En effet, la majorité des étudiants sont des femmes et la grande majorité des étudiants sont favorisés ou ont tendance à la favorisation matérielle et sociale ; ayant des parents qui ont fréquenté l’université et qui ont un revenu annuel supérieur à 100 000 $. En ce qui concerne la diversité ethnoculturelle, les candidats noirs, latino-américains et autochtones sont sous-représentés dans notre bassin d’étudiants admis en 2019. D’autre part, nos analyses de simulation ont permis de reconnaitre le potentiel de chaque outil d’évaluation à promouvoir ou à limiter la diversité des cohortes simulées. En effet, dans le sous-groupe étudié, la cote R favorisera les chances d’admission des hommes et des candidats matériellement et socialement défavorisés. En contrepartie, les MEMFI favoriseront les chances des candidats matériellement et socialement favorisés et pourraient défavoriser les chances des candidats asiatiques par rapport aux autres. D’autre part, nous avons montré que la procédure d’admission de 2019 n’a pas favorisé des candidats sur la base de leurs caractéristiques sociodémographiques. À travers ces résultats, nous avons constaté que notre recherche confirme les résultats d’études antérieures rapportés dans la littérature médicale., Many research works seek to highlight the importance of promoting diversity and equity for medicine cohorts. Other works promote the diversity of medical students in relation to the diversity of the population. In this regard, most of these studies claimed that " the medical profession suffers from an inequity problem " (Tricco et al., 2021, p. 664). In terms of accountability, the medical sector, including its various stakeholders, must direct its services to meet the local and regional needs of society (Boelen et Heck, 1995). However, with lack of diversity, the medical sector is unlikely to fulfill its duty to provide optimal care for everyone (Cohen et al., 2002). Indeed, ensuring optimal diversity of medical cohorts enforces promoting the diversity of health professionals. Given the importance of health professionals, medical schools must be socially accountable and must give significant importance to the process of student selection in order to ensure diversity within doctors and health professionals (Gough, 2004). Thus, medical schools are committed to promoting diversity and equity among their medical cohorts. In this regard, several Canadian studies have found that socio-demographic characteristics of medical students differ from those of the general population (Khan et al., 2020; Pitre et al., 2020). In Quebec, few studies have explored this subject. In this context, we conducted our study to understand the process of admission to French medical schools in Quebec while considering the socio-demographic characteristics and performance of applicants and admitted students in 2019. First, we outlined the socio-demographic profile of applicants and medical students in relation to the socio-demographic profile of Quebec’s population. Second, we explored the link between the performance of candidates and admitted candidates (for the R score, the Casper and the MEMFI) and their socio-demographic characteristics. Finally, we performed various simulation scenarios to explore the potential effect of varying the weights of the R-score, Casper, and MEMFI scores on the demographic composition of medical cohorts. This study is based on a database of applicants who went through the second phase of admission in 2019 and answered the socio-demographic characteristics survey. Furthermore, the research interest is demonstrated using descriptive statistics, univariate analysis, Student’s T-tests and simulation. The results of this study demonstrate that, in general, the socio-demographic characteristics of candidates and students from French medical schools in Quebec differ from the socio-demographic characteristics of the Quebec population. Indeed, we found out that most of the students are women, have high socioeconomic status; have parents who attended university and have an annual parental income of more than $100,000. In terms of ethnocultural diversity, Black, Latino, and Indigenous candidates are underrepresented in our pool of admitted students in 2019. On the other hand, our simulation analyses revealed the potential for each assessment tool to promote or limit the diversity of the simulated cohorts. Indeed, the R-score would favour the chances of admission of men and materially and socially disadvantaged candidates in the studied subgroup. On the other hand, the MEMFI would favour the chances of materially and socially advantaged candidates and could disadvantage the chances of Asian candidates compared to others. Furthermore, we have demonstrated that admission procedure in 2019 did not favour candidates based on their socio-demographic characteristics. Through these results, we found that our research affirms the results of previous studies reported in the medical literature.

Le manque d'intégration des sciences cognitives et de la psychométrie est régulièrement déploré – et ignoré. En mesure et évaluation de la lecture, une manifestation de ce problème est l’évitement théorique concernant les sources de difficulté linguistiques et les processus cognitifs associés à la compréhension de texte. Pour faciliter le rapprochement souhaité entre sciences cognitives et psychométrie, nous proposons d’adopter une approche computationnelle. En considérant les procédures informatiques comme des représentations simplifiées et partielles de théories cognitivistes, une approche computationnelle facilite l’intégration d’éléments théoriques en psychométrie, ainsi que l’élaboration de théories en psychologie cognitive. La présente thèse étudie la contribution d’une approche computationnelle à la mesure de deux facettes de la complexité linguistique, abordées à travers des perspectives complémentaires. La complexité intrinsèque du texte est abordée du point de vue du traitement automatique du langage naturel, avec pour objectif d'identifier et de mesurer les attributs (caractéristiques mesurables) qui modélisent le mieux la difficulté du texte. L'article 1 présente ALSI (pour Analyseur Lexico-syntaxique intégré), un nouvel outil de traitement automatisé du langage naturel qui extrait une variété d'attributs linguistiques, principalement issus de la recherche en psycholinguistique et en linguistique computationnelle. Nous évaluons ensuite le potentiel des attributs pour estimer la difficulté du texte. L'article 2 emploie ALSI et des méthodes d’apprentissage statistique pour estimer la difficulté de textes scolaires québécois. Dans le second volet de la thèse, la complexité associée aux processus de lecture est abordée sous l'angle de l'oculométrie, qui permet de faire des inférences quant à la charge cognitive et aux stratégies d’allocation de l’attention visuelle en lecture. L'article 3 décrit une méthodologie d'analyse des enregistrements d’oculométrie mobile à l'aide de techniques de vision par ordinateur (une branche de l'intelligence artificielle); cette méthodologie est ensuite testée sur des données de simulation. L'article 4 déploie la même méthodologie dans le cadre d’une expérience pilote d’oculométrie comparant les processus de lecture de novices et d'experts répondant à un test de compréhension du texte argumentatif. Dans l’ensemble, nos travaux montrent qu’il est possible d’obtenir des résultats probants en combinant des apports théoriques à une approche computationnelle mobilisant des techniques d’apprentissage statistique. Les outils créés ou perfectionnés dans le cadre de cette thèse constituent une avancée significative dans le développement des technologies numériques en mesure et évaluation de la lecture, avec des retombées à anticiper en contexte scolaire comme en recherche., The lack of integration of cognitive science and psychometrics is commonly deplored - and ignored. In the assessment of reading, one manifestation of this problem is a theoretical avoidance regarding sources of text difficulty and cognitive processes underlying text comprehension. To facilitate the desired integration of cognitive science and psychometrics, we adopt a computational approach. By considering computational procedures as simplified and partial representations of cognitivist models, a computational approach facilitates the integration of theoretical elements in psychometrics, as well as the development of theories in cognitive psychology. This thesis studies the contribution of a computational perspective to the measurement of two facets of linguistic complexity, using complementary perspectives. Intrinsic text complexity is approached from the perspective of natural language processing, with the goal of identifying and measuring text features that best model text difficulty. Paper 1 introduces ISLA (Integrated Lexico-Syntactic Analyzer), a new natural language processing tool that extracts a variety of linguistic features from French text, primarily taken from research in psycholinguistics and computational linguistics. We then evaluate the features’ potential to estimate text difficulty. Paper 2 uses ISLA and statistical learning methods to estimate difficulty of texts used in primary and secondary education in Quebec. In the second part of the thesis, complexity associated with reading processes is addressed using eye-tracking, which allows inferences to be made about cognitive load and visual attention allocation strategies in reading. Paper 3 describes a methodology for analyzing mobile eye-tracking recordings using computer vision techniques (a branch of artificial intelligence); this methodology is then tested on simulated data. Paper 4 deploys the same methodology in the context of an eye-tracking pilot experiment comparing reading processes in novices and experts during an argumentative text comprehension test. Overall, our work demonstrates that it is possible to obtain convincing results by combining theoretical contributions with a computational approach using statistical learning techniques. The tools created or perfected in the context of this thesis constitute a significant advance in the development of digital technologies for the measurement and evaluation of reading, with easy-to-identify applications in both academic and research contexts.

L’objectif de la présente étude est de soutenir l’utilisation d’une approche écologique pour l’analyse des données d’une évaluation standardisée. Nous implémentons cette approche en utilisant une Analyse de Classes Latentes (ACL) avec covariables sur les données du test de lecture du Programme d’Analyse des Systèmes Éducatifs de la CONFEMEN (PASEC) des élèves francophones de 6e année du primaire au Cameroun (N=617) et montrons comment une telle approche peut susciter un regard nouveau sur les résultats de cette évaluation. En effet, les programmes d’Évaluations standardisées à Larges Échelles (ELE) visent à évaluer les apprentissages et les compétences des individus et fournissent des données d’aide à la décision dans beaucoup de pays (Hogan, 2017 ; Loye, 2011 ; Wagemaker, 2014). Dans le cadre de ces ELE, les performances sont estimées uniquement sur la base des réponses que fournissent les candidats et donc de leurs capacités cognitives (Zumbo et al, 2015). Pourtant, de plus en plus de recherches suggèrent de considérer la performance à un test comme un phénomène qui se réalise dans un réseau interconnecté de connaissances, de caractéristiques individuelles et de contextes particuliers (McNamara, 2007 ; McNamara et Roever, 2006 ; Mislevy, 2018 ; Zumbo et al, 2015). L’approche écologique, qui s’inscrit dans cette perspective, s’intéresse aux hypothèses contextuelles, sociales et culturelles lors de l’estimation des performances à un test (McNamara, 2007 ; McNamara et Roever, 2006 ; Zumbo et al, 2015). Nos résultats mettent en évidence des écologies de performances en lecture qui varient en fonction des régions. Dans chacune de ces écologies, les profils de performances en lecture qui s’y dégagent dépendent des caractéristiques des élèves et des caractéristiques des milieux scolaires et extrascolaires dans lesquels ils évoluent. Nous mettons ainsi l’emphase sur le caractère situé des performances à un test permettant une lecture plus équitable des performances des différents candidats. Ce faisant, nous formulons des recommandations qui tiennent compte des réalités contextuelles des candidats contrairement aux recommandations uniformes souvent formulées à la suite des résultats aux ELE., The purpose of this study is to support the use of an ecological approach for the analysis of standardized data assessment. This study is implimented by Latent Classes Analysis (ACL) with covariables on the test reading data of the « Programme d’Analyse des Systèmes Éducatifs de la CONFEMEN » (PASEC) french-speaking students of 6th grade primary school in Cameroon (N = 617) and shows how this approach can change the way we interpret the results of this study. Indeed, Standardized Large Scale Assessments (ELE) programs aim to appraise the learning and skills of individuals and provide decision support data in many countries (Hogan, 2017 ; Loye, 2011; Wagemaker, 2014). In the context of these ELEs, performance is estimated solely based on the responses provided by the candidates and therefore of their cognitive abilities (Zumbo et al, 2015). Yet a growing body of research suggests viewing test performance as a phenomenon that occurs in an interconnected network of knowledge, individual characteristics, and particular contexts (McNamara, 2007 ; McNamara and Roever, 2006 ; Mislevy, 2018 ; Zumbo et al. , 2015). The ecological approach, which is part of this perspective, is interested in the contextual, social and cultural hypotheses when estimating the performance of a test (McNamara and Roever, 2006 ; McNamara, 2007 ; Zumbo et al, 2015). Our results highlight reading performance ecologies that vary by region. In each of these ecologies, the reading performance profiles that emerge depend on the characteristics of the students and the characteristics of the school and out-of-school environments in which they operate. We therefore put the emphasis on the situated character of the performances on a test allowing a fairer reading of the performances of the different candidates. In doing so, we formulate recommendations that take into account the contextual realities of applicants, unlike the standard recommendations often made following ELE results.

Les jeux sérieux sont des jeux vidéo spécifiques adaptés à l’enseignement (Prensky, 2000 ; Johnson, 2005 ; Alvarez, 2007). Les dimensions ludiques, informationnelles et communicationnelles sont ainsi censées s’articuler aux dimensions pédagogiques, didactiques, et instrumentales pour en faire des instruments facilitant l’apprentissage (Ortega et Caron, 2011). Ainsi, leurs potentialités en font un nouveau marché en pleine expansion (Yasmine, 2012). Étant donné que la formation continue du personnel des entreprises est une question qui revêt de plus en plus d’importance, celles-ci doivent trouver un compromis entre la formation de leur personnel et la productivité, afin de rester compétitives. Plusieurs entreprises se tournent ainsi naturellement vers les jeux sérieux. Depuis plus de quinze ans, Hydro-Québec organise annuellement des formations en présentiel d’initiation au code de sécurité des travaux et aux risques d’électrocution au personnel des entreprises contractuelles intervenant sur son installation électrique. Hydro-Québec veut s’inscrire dans cette mouvance, en choisissant d’intégrer une formation mixte constituée d’une journée en présentiel et d’un jeu sérieux présentant un meilleur coût d’opportunité par rapport à la formation présentielle de trois jours pour son personnel. L’objectif de la recherche consiste à produire une analyse comparative des deux modalités de formation, en se basant sur une recension de la littérature. Ce cadre d’analyse inclut notamment des éléments en lien avec l’apprentissage, la pédagogie, la motivation et le développement des compétences. L'étude est menée selon une approche quantitative, et repose sur un protocole quasi expérimental visant à comparer deux groupes : un groupe témoin et un groupe expérimental d’échantillons respectifs de 74 et 89 participants, choisis par convenance et issus d’une même population. Les résultats obtenus ont fait état d’une meilleure performance et d’un niveau plus élevé de motivation des participants à la formation mixte que ceux à la formation présentielle. Les résultats confirment également les affirmations théoriques de la corrélation positive de la motivation et de la performance des participants (Vallerand et al. 1989). Un modèle prédictif de la performance des participants met également en lumière le niveau modeste du pouvoir explicatif des connaissances antérieures, de la motivation des participants et du type de formation. Compte tenu du fait que l’étude veut apporter une réponse fondée sur une base scientifique aux gestionnaires du programme de formation, la recommandation de l’exploitation de l’application interactive pour la formation des intervenants dans les installations d’HQ trouve sa justification au regard des résultats ainsi obtenus., Serious games are specific video games adapted to teaching (Prensky, 2000; Johnson, 2005; Alvarez, 2007). The playful, informational and communicative dimensions articulated with pedagogical, didactic and instrumental dimensions in order to forge instruments sustaining learning (Ortega and Caron, 2011). Thus, the potentialities create a new market in full expansion (Yasmine, 2012). As continuing education of personnel in various professional environments is a question of greater importance, we must find a compromise between the training of staff members and productivity to stay competitive. Many companies use Serious games for training staff. Fifteen years ago, Hydro-Québec began organizing yearly introductory training courses on the work safety code and the risks of electrocution for staff of contracted companies working on its electrical installations. Hydro-Québec wants to integrate a mixed training consisting of day classes and independent practice using Serious game with a better opportunity cost compared to the three-day classroom training for its staff. The aim of this study is to compare two training modalities, based on a literature review. The analysis includes the elements related to learning, pedagogy, motivation and skills development. The study used a quantitative approach and based on a quasi-experimental protocol comparing two groups: a control group and an experimental group of samples of 74 and 89 participants respectively, chosen for convenience and from the same population. Data analyses demonstrated better performance with higher motivation for participants of the mixed training than those who participated in the classroom training. The results also confirm the theoretical assertions of the participant’s motivation and performance (Vallerand & al. 1989). A regression model indicated that participant’s performance depended upon their knowledge base, motivation and the type of training at a modest level. Considering the fact, that the study would like to provide a scientific foundation for training program managers, it would be advantageous to utilize the interactive application for the training of intermediary staff operating within Hydro-Quebec installations, according to the results thus obtained.

Cette étude s'inscrit dans l'approche diagnostique cognitive (ADC), dont la finalité est de fournir aux enseignants des rétroactions fines et détaillées sur les forces et les faiblesses cognitives des élèves, à travers des rapports diagnostiques compréhensibles et interprétables. Elle a été menée dans le but de répondre au grand besoin qu'ont les enseignants de recevoir des informations diagnostiques à partir de tests à grande échelle, et de combler le manque de recherches empiriques sur l'élaboration et l'évaluation de rapports diagnostiques. Plus précisément, notre étude vise à : (1) modéliser des données de 4 762 élèves canadiens ayant fait le test PIRLS 2011 et (2) élaborer et évaluer des rapports diagnostiques destinés aux enseignants à partir des résultats des modélisations. Afin de répondre au premier objectif, des habiletés sous-jacentes jugées nécessaires pour répondre aux 35 items du PIRLS 2011 ont été identifiées à partir du cadre de référence pour l'élaboration du PIRLS 2011 et avec un panel de trois experts. Deux matrices, Q1 et Q2, représentant les liens entre les items et ces habiletés, ont ensuite été élaborées. Avec ces deux matrices Q, nous avons modélisé des données à l'aide des modèles DINA et G-DINA, ce qui nous a permis d'évaluer l'ajustement des modèles aux données et d'estimer la qualité diagnostique des items ainsi que les profils de maîtrise des habiletés des élèves. Quant au deuxième objectif de l'étude, un panel de cinq experts a, dans un premier temps, reformulé les descriptions des habiletés identifiées dans un langage accessible aux enseignants en salle de classe. Dans un deuxième temps, nous avons choisi le profil-type le plus représentatif des élèves parmi les profils de maîtrise des habiletés tirés des modélisations. Dans un troisième temps, trois formats de rapports ont été développés à partir de ce profil-type au moyen du protocole de conception de rapports créé grâce à une revue de la littérature. Finalement, l'évaluation des rapports a été effectuée auprès de 98 enseignants au primaire, conseillers pédagogiques et orthopédagogues à l'aide d'un questionnaire portant sur la préférence, l'évaluation de la qualité et la compréhension des rapports. Les résultats obtenus indiquent le format de rapport de préférence des participants, lequel s'explique par la familiarité du type de graphique présenté. Cette préférence est constante, peu importe les informations contextuelles. Les participants évaluent très positivement la qualité des rapports, indépendamment des variables contextuelles. Par contre, il existe une différence significative entre l'évaluation de la qualité des rapports et la préférence des participants. Les participants qui évaluent leur format préféré démontrent des perceptions plus positives. D'autre part, les participants ont une très bonne compréhension des trois formats de rapports. Le groupe ayant le mieux compris les rapports est celui dont l'évaluation de la qualité est la plus positive. Les résultats de l'étude mettent en évidence la possibilité de recevoir, à travers des rapports accessibles, fiables et compréhensibles, des rétroactions plus fines et détaillées sur les forces et les faiblesses des élèves dans des épreuves à grande échelle. Notre étude est la première à appliquer un cadre de référence pour l'élaboration et l'évaluation de rapports selon une approche diagnostique cognitive, et contribue ainsi à favoriser le soutien à l'apprentissage de la lecture au primaire., This study uses the cognitive diagnostic approach (CDA) to provide teachers with precise and detailed feedback on the cognitive strengths and weaknesses of students through comprehensible diagnostic reports. It was conducted with the aim of addressing teachers’ pressing need for diagnostic information based on large-scale tests, as well as the lack of empirical research on diagnostic report development and evaluation. More specifically, our study aims to: (1) model data from 4,762 Canadian students who took the 2011 PIRLS test and (2) develop and evaluate diagnostic reports for teachers, using modeling results. In order to attain the first objective, necessary underlying skills to solve the 35 items in PIRLS 2011 were identified based on the PIRLS 2011 development framework and with a panel of three experts. Two templates, Q1 and Q2, were then developed, representing the connexions between these skills and items. With these two “Q” templates, we modeled the data with the DINA and G-DINA models, which enabled us to assess how the models fit the data and to estimate the diagnostic quality of the items as well as the skill mastery profiles of the students. As for the second objective, a panel of five experts first rephrased the identified skills descriptions in accessible terms for teachers in the classroom. Next, among the skill mastery profiles obtained from the modeling, we chose the profile that was most representative of the students. Then, three report formats were developed based on this standard profile, using the design protocol derived from our literature review. Finally, 98 elementary school teachers, educational consultants and remedial teachers evaluated these reports by means of a survey focusing on report preference, report quality evaluation and report comprehension. The results point to a preferred report format among the participants. This preference is explained by the familiarity of the type of chart presented, and it is constant regardless of contextual information. The participants evaluated the quality of the reports very positively, with no variation according to contextual variables. However, there is a significant difference between report quality evaluation and report preference. Participants who evaluate their preferred format show more positive perceptions. Regarding report comprehension, participants have a very good understanding of all three formats. The group that best understands the reports is the one that made the most positive quality evaluation. The results of the study point to the possibility of receiving, through accessible, reliable, and comprehensible diagnostic reports, more precise and detailed feedback on the strengths and weaknesses shown by students in large-scale tests. Our study is the first to apply a report development and evaluation framework based on a cognitive diagnostic approach, thus helping improve support for reading acquisition in elementary schools.

This research documents the validity of QuizCI, an instrument for measuring information literacy (CI). The QuizCI was developed at the Université du Québec en Outaouais, a French-language university in Canada. The instrument has 32 multiple choice items. Evidence of validity is documented according to the types of validity Laveault and Gregory (2002). To support the development of QuizCI, arguments of apparent and content validity were collected. With the instrument developed, a sample of data from 469 students was collected from 2012 to 2015. This sample was used to perform analyzes and produce information intended to document the conceptual validity of QuizCI. Among the information taken into account are the simplicity of index, the discrimination, the Cronbach's alpha, the exploratory factor analysis solution available information after the application of a Rasch. After which, the study concludes that the QuizCI measurement IC with some validity, but also the finding various problems affecting the measurement. Some items are problematic. Then, the whole instrument is easy for students, which affects the measurement. Thus, this first portrait of the validity of QuizCI is a starting point for improvement. Finally, not many authors present study of the validity of an instrument to measure Information Literacy, especially in French-speaking context. Also, this study may provide an example to use of these methods., Cette recherche documente la validité du QuizCI, un instrument pour mesurer la compétence informationnelle (CI). Le QuizCI a été développé à l’Université du Québec en Outaouais, une université francophone du Canada. L’instrument est composé de 32 items à choix de réponses. La preuve de validité est documentée selon les types de validité proposés par Laveault et Grégoire (2002). Pour supporter l’élaboration du QuizCI, des arguments de validité apparente et de contenu ont été colligés. Avec l’instrument élaboré, un échantillon de données issues de 469 étudiants a été collecté de 2012 à 2015. Cet échantillon a été utilisé pour réaliser les analyses produisant l’information destinée à documenter la validité conceptuelle du QuizCI. Parmi les informations prises en compte se trouvent l’indice de simplicité, l’indice de discrimination, le coefficient alpha de Cronbach, la solution de l’analyse factorielle exploratoire et l’information disponible après l’application d’un modèle de Rasch. L’étude permet de conclure que le QuizCI mesure la CI avec une certaine validité, mais fait aussi le constat de différents problèmes affectant la mesure. Certains items sont problématiques. Puis, l’instrument dans son ensemble est facile pour les étudiants, ce qui nuit à la validité de la mesure. Ainsi, ce premier portrait en regard de la validité du QuizCI constitue un point de départ pour son amélioration. Enfin, peu d’auteurs présentent l’étude de la validité d’un instrument mesurant la compétence informationnelle, de surcroît en contexte francophone. Aussi, la présente étude pourra fournir un exemple de l’usage de ces méthodes.

Cette thèse de doctorat se situe dans le contexte des préoccupations des autorités nationales et des organisations internationales relatives à l’efficacité des organisations publiques dans les pays en développement, dans le cadre des Objectifs du Millénaire pour le développement (OMD) et du programme Éducation pour tous (ÉPT). L’argument du manque de ressources est de plus en plus remis en cause par le constat que certaines organisations disposant de ressources moindres que d’autres de même nature, obtiennent de meilleurs résultats (Barney, 1991; Durand, 1996; Isckia, 2008). Autrement dit, la quantité de ressources n’explique pas tout; il faut considérer d’autres éléments, dont la mobilisation organisationnelle, c’est-à-dire le mouvement obtenu d’une masse critique d’employés qui adoptent des actions positives dans le sens de l’atteinte des objectifs de leur organisation. Cette mobilisation suppose un climat positif auquel contribue la présence de certains états psychologiques ressentis par les employés, notamment les perceptions de soutien et de reconnaissance de la part de l’organisation de même qu’un sentiment d’habilitation psychologique (Tremblay et Simard, 2005). Ces perceptions et ce sentiment constituent les points focaux de la recherche que nous avons menée au sein du Ministère de l’éducation nationale et de l’alphabétisation (MÉNA) du Burkina Faso. L’objectif principal de notre recherche est de décrire ces trois états psychologiques. Le soutien organisationnel perçu (SOP), l’habilitation psychologique (HP) et la reconnaissance perçue ont été explorés à partir des travaux de Eisenberger et al. (1986), de Spreitzer (1995) et de Brun et Dugas (2005) respectivement. Nous avons délibérément choisi la perspective des employés plutôt que celle des pratiques de gestion observées ou déclarées de leurs supérieurs et avons entrepris de connaître leurs perceptions. Ces dernières méritent que l’on s’en préoccupe car aucune politique, mesure ou pratique visant à instaurer un climat organisationnel mobilisant ne peut être efficace si elle n’est pas perçue comme telle par les employés. Utilisant une méthodologie mixte, nous avons recueilli auprès de cadres et de directions d’école, des données sur les trois états psychologiques retenus, à l’aide d’un questionnaire comportant 37 énoncés (65 répondants); d’entrevues individuelles visant à enrichir, compléter, expliciter ou illustrer les informations obtenues par le questionnaire (18 participants); et de deux groupes de discussion autour des résultats de l’analyse préliminaire des réponses au questionnaire (7 participants). Au total, les données ont été recueillies auprès de 73 personnes, certaines d’entre elles ayant à la fois répondu au questionnaire et participé à une entrevue individuelle. Les données ont été traitées par état psychologique à l’aide des logiciels SPSS Statistics 20 (pour les questionnaires) et QDA Miner 4.0.11 (pour les entretiens individuels). Pour chaque énoncé, chaque variable créée et chacune des caractéristiques (fonction, genre et milieu de travail), nous avons d’abord obtenu des mesures de tendances centrales; nous avons poursuivi en ajoutant un second niveau de traitement en combinant les caractéristiques, par exemple : la fonction (cadre ou direction d’école) et le genre (femme ou homme). Nous avons ensuite procédé au codage des verbatims des entretiens en vue d’en extraire des éléments qui corroborent, précisent ou nuancent les résultats de l’analyse des données obtenues par le questionnaire pour chaque état psychologique. L’exploitation des données d’entretiens visait également à identifier des éléments portant sur le thème de la mobilisation au MÉNA. Les résultats des analyses des données issues des questionnaires indiquent globalement que le soutien organisationnel est perçu de façon négative au sein du MÉNA, seule la valorisation du travail réalisé recueillant un sentiment un peu moins négatif. Les répondants se perçoivent habilités psychologiquement; des quatre composantes de l’habilitation psychologique, c’est l’autonomie qui recueille la perception la plus négative. En ce qui concerne la reconnaissance, on observe une perception positive des éléments reliés à la communication et négative lorsqu’il s’agit de l’appréciation du système d’attribution des récompenses. En complément à ces résultats obtenus de l’analyse des données issues du questionnaire, les entretiens ont permis de mettre en lumière le fait que des pratiques efficaces de gestion (par exemple la rapidité des réponses aux demandes, l’application des normes de ponctualité et d’assiduité, la réception régulière du salaire) sont considérées comme des marques de soutien organisationnel. Ces entretiens ont également permis de découvrir un fort potentiel d’implication personnelle et professionnelle des participants rencontrés qui affichaient une disposition favorable à l’augmentation de leur contribution tout en souhaitant une plus grande reconnaissance de leur potentiel. La prise en compte de la fonction, du genre et du milieu de travail a permis de raffiner les analyses. À titre d’exemple: le soutien organisationnel est perçu plus positivement en milieu urbain qu’en milieu rural; les cadres perçoivent positivement la valorisation que le ministère accorde à leur contribution; alors que les directrices d’école ont une appréciation négative de cette valorisation. Le sentiment de compétence est éprouvé de façon plus positive chez les cadres alors que le sentiment d’autonomie est plus positif chez les directions d’école. En milieu urbain, la transmission de l’information, les rencontres avec les supérieurs et les témoignages d’appréciation sont plus présents qu’en milieu rural. Dans cette recherche, qui s’est déroulée dans un contexte subsaharien, nous avons affiché un parti pris pour une approche universaliste plutôt que culturaliste. Tout en reconnaissant que les traditions et la culture font partie de l’environnement organisationnel, nous pensons qu’elles ne sont pas les principaux facteurs explicatifs des comportements des employés dans une organisation. Les propos tenus par certains des participants que nous avons rencontrés renforcent notre conviction que les pratiques de gestion généralement perçues positivement par les employés le sont également dans ce contexte., This doctoral thesis is situated in the context of national authorities' and international organizations' concerns about the effectiveness of public organizations in developing countries, pursuant to the Millennium Development Goals (MDG) and the Education For All program. The argument of lack of resources has been increasingly challenged by the observation that some organizations with fewer resources than other similar ones produce better results (Barney, 1991; Durand, 1996; Isckia, 2008). This implies that the quantity of resources is not the only determining factor. Other aspects must be considered, such as organizational mobilization, i.e., the movement generated by a critical mass of employees acting in ways that support the achievement of their organization's goals. Mobilization of this kind requires a positive climate that results from the presence of specific psychological states felt by employees, in particular, the perceptions of being supported and recognized by the organization, and a sense of psychological empowerment (Tremblay & Simard, 2005). These perceptions and feelings are the focus of the study we conducted at Burkina Faso's Ministère de l'Éducation nationale and de l'alphabétisation (MÉNA) [National Ministry of Education and Literacy]. The main objective of our research was to describe these three psychological states. We explored perceived organizational support (POS), psychological empowerment and perceived recognition by drawing on the work of Eisenberger et al. (1986), Spreitzer (1995) and Brun & Dugas (2005) respectively. We deliberately chose to work from the perspective of employees, rather than the observed or self-reported management practices of their superiors, and strove to discover theirs perceptions. Perceptions merit attention because no policy, measure, or practice aiming to instill a mobilizing organizational climate will be effective if it is not perceived as such by the employees. Using a mixed methodology, we gathered data from senior educational administrators and school principals on the three selected psychological states with a questionnaire containing 37 statements (65 respondents); individual interviews designed to enrich, supplement, clarify, or illustrate information generated by the questionnaire (18 participants); and two focus groups that reviewed the results of the preliminary analysis of the questionnaire data (7 participants). In all, data were gathered from 73 individuals, some of whom both answered the questionnaire and took part in an individual interview. The data concerning each psychological state were processed using SPSS Statistics 20 software (for the questionnaires) and QDA Miner 4.0.11 (for the individual interviews). For each statement, each variable created, and each of the characteristics (function, gender, and work setting), we first obtained measures of central tendency; we then introduced a second level of processing by combining characteristics, for example, function (senior educational administrator or school principal) and gender (female or male). We then coded the interview transcripts with a view to extracting elements that would confirm, clarify, or nuance the findings of the analysis of questionnaire data for each psychological state. The analysis of the interview data aimed also to identify elements relating to the subject of mobilization within MÉNA. The analysis of questionnaire data generally revealed that organizational support is perceived in a negative way within MÉNA, with only the appreciation of job performance recording a slightly less negative perception. The respondents perceived themselves as psychologically empowered; of the four components of psychological empowerment, autonomy was perceived most negatively. With regard to recognition, we noted a positive perception of elements pertaining to communication and negative perceptions of the reward system. The results of our analysis of the questionnaire data were enriched by the material gathered from the interviews, which revealed that effective management practices (e.g., quick response to requests, application of punctuality and attendance standards, regular pay) are viewed as evidence of organizational support. The interviews also revealed a strong potential for personal and professional commitment on the part of participants, who exhibited readiness to contributing more to the organization in exchange for greater recognition of their potential. We refined our analyses by considering function, gender, and work setting. We observed, for instance, that organizational support is perceived more positively in urban settings than in rural areas; senior educational administrators have a positive perception of the Ministry's recognition of their contribution, whereas school principals have a negative perception of this recognition. The feeling of being competent is more positive among senior administrators, while the sense of autonomy is perceived more positively by school principals. In urban areas, information transmission, meetings with superiors, and expressions of appreciation are more frequent than in rural areas. In this research, which was conducted in a sub-Saharan context, we adopted a "universalist" rather than a "culturalist" approach. While recognizing that traditions and culture are part of the organizational environment, we believe they are not the main factors driving the behaviour of employees in an organization. The comments of some of the participants we met reinforced our conviction that management practices that are usually perceived positively by employees are perceived the same way in this context.

Le monde actuel, marqué par une augmentation incessante des exigences professionnelles, requiert des enseignants une adaptation constante aux changements sociaux, culturels et économiques. Si, pour les enseignants expérimentés, l’accommodation à ces transformations est accompagnée de plusieurs défis, pour les nouveaux enseignants qui ne maîtrisent pas complètement tous les aspects de la profession, l’intégration au milieu scolaire peut être extrêmement difficile ou même insupportable, au point où certains quittent le métier. Néanmoins, à force de persévérance, un certain nombre des nouveaux enseignants franchissent les obstacles imposés par la profession. Dans leur cas, la satisfaction et l’engagement professionnel peuvent être des caractéristiques importantes qui les incitent à continuer à exercer leurs activités d’enseignement. Dans ce contexte, l’étude vise l’analyse des éléments liés à la construction de l’identité professionnelle des enseignants lors de leur insertion dans le métier, à partir des perceptions des nouveaux enseignants et de celles des gestionnaires des écoles primaires et secondaires. L’harmonie entre la perception de ces deux groupes d’acteurs scolaires peut constituer un important facteur du rendement des professionnels dans leur métier et de l’efficacité des institutions d’enseignement. Ainsi, du côté des nouveaux enseignants, l’étude examine les variables qui peuvent être liées à leur engagement professionnel et de celui des gestionnaires, elle vise à analyser les éléments qui peuvent être liés à leur satisfaction sur le travail effectué par les nouveaux enseignants. La présente étude, de type quantitatif, est constituée des analyses secondaires des données issues des enquêtes pancanadiennes auprès des directions et des enseignants d’écoles primaires et secondaires du Canada, menées en 2005 et 2006 par une équipe de professeurs de différentes universités canadiennes. Les analyses statistiques sont basées sur deux modèles théoriques : (1) l’engagement professionnel des nouveaux enseignants et (2) la satisfaction des gestionnaires sur le travail effectué par les nouveaux enseignants. Ces modèles sont examinés en suivant la théorie classique des tests (TCT) et celle des réponses aux items (TRI) afin de profiter des avantages de chacune des méthodes. Du côté de la TCT, des analyses de cheminement et des modélisations aux équations structurelles ont été effectuées pour examiner les modèles théoriques. Du côté de la TRI, des modélisations de Rasch ont été utilisées pour examiner les propriétés psychométriques des échelles utilisées par la recherche afin de vérifier si les données sont bien ajustées aux modèles et si les items se regroupent de façon logique pour expliquer les traits latents à l’étude. Les résultats mettent en évidence le rapport humain qui définit la profession enseignante. Autrement dit, pour les nouveaux enseignants, les émotions en classe, conséquence du processus d’interaction avec leurs élèves, sont le facteur majeur lié à l’engagement professionnel. Dans le même sens, la relation des nouveaux enseignants avec les divers membres de la communauté scolaire (parents des élèves, gestionnaires, personnel de l’école et autres enseignants) est un facteur-clé de la satisfaction des gestionnaires quant au travail des nouveaux enseignants. Les analyses indiquent également l’importance de la satisfaction au travail dans le modèle des nouveaux enseignants. Cette variable est un important déterminant de l’engagement professionnel et peut être associée à tous les autres éléments du modèle des nouveaux enseignants. Finalement, les résultats indiquent le besoin de construction des variables latentes avec un plus grand nombre d’items pour mieux positionner les personnes dans l’échelle de mesure. Ce résultat est plutôt important pour le modèle des gestionnaires qui indique de mauvais ajustements items-personnes., Today’s world is marked by a steady increase in skill requirements, which demands teachers to adapt to continuously changing social, cultural and economic contexts. Adapting to these transformations, which can be challenging even for experienced teachers, makes school integration extremely difficult for new teachers, who have not yet fully mastered all aspects of teaching. These difficulties can drive new teachers to leave their profession. Nevertheless, a number of new teachers persevere through the obstacles imposed by their work, and their professional commitment and satisfaction may be important factors when deciding to continue pursuing their careers. The present study analyzes the elements related to the construction of the professional identity of teachers in the induction period, examining the perceptions of new teachers and principals of primary and secondary schools. The harmony between the perceptions of these two school actors can be an important factor in the performance of professionals and the effectiveness of educational institutions. Thus, the study examines the variables that may be related to the professional commitment of new teachers, and the factors that may be related to principals' satisfaction with the work done by the new teachers. This study uses a quantitative approach and consists of secondary analyses of data obtained in the Pan-Canadian surveys of principals and teachers in elementary and secondary schools, conducted in 2005 and 2006 by a team of professors from universities across Canada. The statistical analyses are based on two theoretical models: (1) professional commitment of new teachers and (2) principals' satisfaction with the work done by the new teachers. In the analysis of these models, two methods were used: the classical test theory (CTT) and the item response theory (IRT). For CTT, path analysis and structural equation modeling were performed to examine the theoretical models. For IRT, Rasch modeling examined the psychometric properties of the scales used in the current study to determine if the data are adjusted to the models, and if items are grouped logically to explain the latent traits. The results highlight the human relationship that defines the profession. In other words, for new teachers, the emotions in the classroom, a product of the relationship between teachers and students, are the major factor associated with professional commitment. Similarly, the relationship of new teachers with members of the school community, such as students’ parents, principals, school staff and other teachers, proved to be a key factor in the satisfaction of principals with the work of new teachers. The findings also indicate the importance of job satisfaction for new teachers’ model. This variable is an important determinant of the professional commitment; at the same time, job satisfaction is also associated with other elements of this model. Finally, the results indicate the need for the construction of latent variables with a large number of items to better position people in the measurement scale. This result is important for the principals’ model which indicates an important maladjustment between items-persons.

L'enseignement, l'apprentissage et l'évaluation du raisonnement clinique en sciences infirmières est un défi pour les éducateurs de cette profession et leurs étudiants. Depuis plusieurs décennies, les chercheurs et les éducateurs dans le domaine des sciences de la santé ont travaillé pour élaborer des instruments d'évaluation dans le but de pouvoir mesurer le raisonnement clinique (Charlin, Bordage & Van der Vleuten, 2003). Plusieurs études semblent appuyer le test de concordance de script (TCS) en termes de validité, fiabilité, faisabilité et applicabilité pour plusieurs disciplines et différents contextes (Carrière & al, 2009). Deschênes et ses collaborateurs (2006; Deschênes, Charlin, Gagnon & Goudreau, 2011) ont mis au point et validé un TCS spécifiquement pour le raisonnement clinique en sciences infirmières (RCI). Comme l'évaluation a un impact important sur les stratégies d'apprentissage des étudiants (Sibert et al, 2001; Durak, Caliskan & Bor, 2007), les outils d'évaluation valides et fiables qui permettraient l'identification des problèmes spécifiques dans le développement du raisonnement clinique en sciences infirmières seraient très utiles pour guider les décisions concernant l'éducation (Gierl, 2007). Nous avons donc mené une étude pour explorer le potentiel diagnostique des questions d'un TCS. La question de recherche est la suivante: «Dans quelle mesure chaque question d’un TCS visant à évaluer le RCI peut-elle être reliée à des catégories et des stratégies de pensée spécifiques?" Avec une sous-question: «Comment peut-on décrire le potentiel diagnostique d’un TCS pour évaluer le RCI?". Nous avons fait une deuxième analyse de contenu des données qui ont été obtenues dans une étude précédente dans laquelle cinq vignettes (15 questions) du TCS de Deschênes (2006) ont été utilisées. Les résultats ont montré les catégories et stratégies de pensées utilisées pour répondre à certaines questions du TCS selon les groupes de participants. Aussi, nos résultats ont permis de découvrir des disparités importantes entre les groupes, notamment que le RCI des expertes est si différent des étudiantes, qu’il ne peut servir de référence. Enfin, cette étude démontre que le TCS a un potentiel diagnostique niveau par niveau (1ère, 2e, 3e année et expertes) et non d’un niveau à un autre., Teaching, learning and assessing clinical nursing reasoning is a challenge for both nurse educators and their students. For several decades, researchers and educators in the field of health sciences, worked to develop assessment instruments that would effectively measure clinical reasoning (Charlin, Bordage & Van der Vleuten, 2003). Several studies seem to support the script concordance test (SCT) in terms of validity, reliability, feasibility and applicability in different disciplines and contexts (Carrière & al, 2009). Deschênes and her collaborators (2006; Deschênes, Charlin, Gagnon & Goudreau, 2011) developed and validated one SCT specifically for clinical nursing reasoning. Since evaluation has a great impact on students’ learning strategies (Sibert & al, 2001; Durak, Caliskan & Bor, 2007), valid and reliable assessment instruments that would allow the identification of specific problems in the development of clinical nursing reasoning would be very useful to guide educational decisions (Gierl, 2007). We therefore conducted a study to explore the diagnostic potential issues of SCT. The research question is: "To what extent each issue of SCT to assess clinical nursing reasoning can it be linked to categories and specific thinking strategies?" with a sub-question: "How can we describe the diagnostic potential of SCT to evaluate the clinical nursing reasoning?”. We did a second content analysis on think aloud data that were obtained in a previous study in which five vignettes (15 items) from Deschênes’ (2006) SCT were used. The results showed categories thoughts and strategies used to address issues of TCS by groups of participants. Thus, our results revealed significant differences between the groups, such that the clinical nursing reasoning is so different from expert students, it can’t serve as a reference. Finally, this study demonstrates that TCS has a diagnostic potential but level by level (1st, 2nd, 3rd year and experts).

Les nouveaux dispositifs de formation à distance représentent de nouvelles modalités de formation dans l’enseignement supérieur. Ces dispositifs impliquent l’utilisation d’environnements pédagogiques adaptés qui favorisent les situations de travail collaboratif. La collaboration au sein de ces outils résulte non seulement des interactions entre les étudiants, mais aussi des modalités de travail et d’accompagnement mises en place au préalable par les enseignants, notamment pour que les interactions fassent sens pour les étudiants. Ainsi, la question qui guide cette étude de cas est la suivante. Comment se caractérise le travail collaboratif des étudiants dans les blogs dans le cadre du cours ETA 6538? Plus précisément, nous cherchons à comprendre comment les étudiants collaborent à l'intérieur des blogs et quels sont les indicateurs propices à cette collaboration. À l’issue de notre étude, nous proposons une liste de recommandations pour favoriser la mise en place et le déroulement du travail collaboratif au sein des blogs, ainsi que des indicateurs pouvant servir à l’évaluation de la collaboration. Les concepts exploités dans ce mémoire sont relatifs au processus d'acquisition de savoir à partir de la collaboration émanant des interactions au sein des TIC, des dispositifs d’apprentissage en ligne et plus particulièrement des blogues. Nous avons utilisé une méthode de type à la fois quantitative et qualitative. Les blogs de huit étudiants ont été analysés. Les résultats de ces analyses montrent que les étudiants ont collaboré au sein des blogs et qu’ensemble, ils ont fait émergé de nouveaux savoirs et connaissances., New operations of distance learning represent new education’s modalities in higher education. These operations imply use of adapted learning environment, which promote collaborative work situations. Collaboration within these tools result from interaction between students and also from modalities work and support put in place by teachers in order to make sure that these interactions are clear for students. Thus, the question that leads this study case is as follows. What characterizes the collaborative work of students in blogs under ETA 6538 course? Specifically, we want to understand how students collaborate within blogs and what indicators are conducive to such collaboration. Following our study, we propose a list of recommendations to promote the establishment and conduct of collaborative work in blogs, as well as indicators that can be used for evaluation of the collaboration. The concepts used in this thesis are related to the process of acquiring knowledge from the collaboration from the interactions among ICT, online learning systems, especially blogs. We used a type of both quantitative and qualitative analyses. Blogs of eight students were tested. The results of these studies show that students have collaborated in blogs and together they have emerged from new knowledge and skill.