What Is Knowledge, What Is Ability? Interpreting the Notion of Competence and Investigating the Psychometrical Consequences in the Context of Content Knowledge and the Control-of-Variables-Strategy

With regard to the correlation of science knowledge and the ability to apply the control-of-variables strategy, the present paper investigates whether conceptualizing the role of knowledge for competences differently can motivate different psychometric models and whether using these models may lead to different information in quantitative studies. Using a sample from a cross sectional study (n = 990) on the correlation of knowledge and the control-of-variables-strategy as part of experimental competence in physics, we compared the results of applying between- und within-item-IRT-models that refer to different conceptualizations. Based on quartiles of the competence distributions, we found that only 67.4% of the students will be categorized into the same quartiles. Moreover, the models lead to different information about the competence development across years as well as about gender differences. We discuss these findings with regard to basic research, to system monitoring and to the development of teaching practices focusing on competences
Der vorliegende Beitrag untersucht, inwiefern sich verschiedene Deutungen des Kompetenzbegriffs in psychometrische Modelle überführen lassen und welche Konsequenzen daraus für das Assessment in quantitativen Studien erwachsen könnten. Auf Grundlage von Verhältnisbestimmungen von deklarativem Fachwissen und prozessorientierten Kompetenzen werden dazu Between- und Within-Item-IRT-Modelle definiert und zur Re-Analyse eines Datensatzes einer Querschnittsstudie zur Variablenkontrollstrategie (n = 990) angewendet. Bei Betrachtung der Personenschätzer für die Kompetenzausprägungen, die aus den Modellen generiert werden, zeigt sich, dass ca. ein Drittel der Schülerinnen und Schüler, je nach Modell, unterschiedlichen Quartilen der Verteilung zugewiesen werden. Gleichzeitig wird deutlich, dass die Modelle zu unterschiedlichen Informationen hinsichtlich der Zunahme an Wissen oder prozessorientierten Kompetenzen über Jahrgänge hinweg wie auch hinsichtlich von Geschlechterunterschieden in der Kompetenzausprägung führen können. Die Ausprägungen prozessorientierter Kompetenzen von Mädchen fallen aufgrund oder vielmehr trotz des (im Mittel) geringeren Fachwissens höher aus, wenn der Psychometrie ein unabhängiges, aber fachwissensrelatives Kompetenzverständnis zugrunde gelegt wird. Der Beitrag diskutiert diese Befunde mit Blick auf Konsequenzen für Grundlagenforschung, Systemmonitoring und Unterrichtsentwicklung.