Search

Zeitschrift für Pädagogik, Beiheft 66 (Ausgabe 1, April 2020), S. 179-196, One major goal of research on educational effectiveness is to detect the effects of teaching and learning. Reliably detecting the effects of teaching and learning requires the identification and adequate measurement of (a) the relevant classroom processes and (b) outcomes on the student and the classroom level and also (c) modeling the link between both. The present paper aims to identify and discuss current conceptual and methodological challenges in regard to making inferences on the effectiveness of teaching and learning. We give a brief overview of current practices, discuss key quality criteria with respect to these three aspects, and identify areas in need of further development. (Verlag)

The authors examined the extent to which classroom-specific relationships between students' gender and their reading achievement and enjoyment of reading are associated with student-perceived teaching quality. Based on a sample of 10,543 ninth-grade students from 427 classrooms, multilevel analyses revealed that effective classroom management, adequate pacing, and a strong focus on language competencies were related to a less pronounced increase of girls' advantage in reading achievement during Grade 9. High levels of teacher support and focus on language competencies were related to smaller gender differences in enjoyment of reading at the beginning of Grade 9, though not associated with change of these differences over the school year. Our findings suggest that high teaching quality is not only related to higher reading achievement and reading enjoyment in classrooms as a whole, but may also help to mitigate the increase of gender gaps in reading achievement and motivation commonly observed in secondary school. (DIPF/Orig.)

Valid inferences on teaching drawn from students' test scores require that tests are sensitive to the instruction students received in class. Accordingly, measures of the test items' instructional sensitivity provide empirical support for validity claims about inferences on instruction. In the present study, we first introduce the concepts of absolute and relative measures of instructional sensitivity. Absolute measures summarize a single item's total capacity of capturing effects of instruction, which is independent of the test's sensitivity. In contrast, relative measures summarize a single item's capacity of capturing effects of instruction relative to test sensitivity. Then, we propose a longitudinal multilevel item response theory model that allows estimating both types of measures depending on the identification constraints. (DIPF/Orig.)

American educational research journal 52 (2015) 6, S. 1-27, In this study we examine the interplay between curriculum-embedded formative assessment-a well-known teaching practice-and general features of classroom process quality (i.e., cognitive activation, supportive climate, classroom management) and their combined effect on elementary school students' understanding of the scientific concepts of floating and sinking. We used data from a cluster-randomized controlled trial and compared curriculum-embedded formative assessment (17 classes) with a control group (11 classes). Curriculum-embedded formative assessment and classroom process quality promoted students' learning. Moreover, classroom process quality and embedded formative assessment interacted in promoting student learning. To ensure effective instruction and consequently satisfactory learning outcomes, teachers need to combine specific teaching practices with high classroom process quality. (DIPF/Orig.)

Münster; New York : Waxmann 2014, 346 S., Dieses Skalenhandbuch dient der Dokumentation der Fragebögen, welche im Rahmen der Hauptstudie von PISA 2009 (Programme for International Student Assessment) in Deutschland eingesetzt wurden. Die Darstellung umfasst die internationalen Fragebögen sowie die national ergänzten Fragen und Instrumente. In PISA 2009 wurden Schülerinnen und Schüler, Eltern der Schülerinnen und Schüler, Schulleiterinnen und Schulleiter sowie Lehrerinnen und Lehrer des Fachkollegiums Deutsch befragt. In dem vorliegenden Skalenhandbuch werden die Wortlaute und die statistischen Kennwerte für die international eingesetzten sowie für die national ergänzten Fragen berichtet. Um die schulischen Rahmenbedingungen und Lerngelegenheiten im Deutschunterricht spezifischer erfassen zu können, wurden zusätzlich zur Entwicklung ergänzender Fragebögen zwei Erweiterungen des Designs vorgenommen: (1) Die Stichprobe der Schülerinnen und Schüler wurde an den an PISA 2009 teilnehmenden Schulen auf zwei vollständige Klassen der 9. Jahrgangsstufe erweitert (nicht an beruflichen Schulen sowie an Sonder- und Förderschulen) und (2) es wurde ein Fragebogen für Lehrerinnen und Lehrer des Fachkollegiums Deutsch entwickelt und eingesetzt. Die berichteten Analysen beziehen sich auf die Stichproben von 9461 Schülerinnen und Schülern der 9. Jahrgangsstufe, 9461 Eltern der Schülerinnen und Schüler, 226 Schulleiterinnen und Schulleitern sowie 2201 Lehrerinnen und Lehrern aus den Fachkollegien für das Fach Deutsch (inklusive berufliche Schulen sowie Sonder- und Förderschulen). Die Skalenbildung erfolgte auf Grundlage der Klassischen Testtheorie (KTT). In den internationalen Abschnitten der Instrumente orientierte sich die Skalenbildung an den internationalen Vorgaben. (DIPF/Orig.)

Jude, Nina [Hrsg.]; Klieme, Eckhard [Hrsg.]: PISA 2009 - Impulse für die Schul- und Unterrichtsforschung. Weinheim u.a. : Beltz 2013, S. 151-171. - (Zeitschrift für Pädagogik, Beiheft; 59), Wie bereits bei den PISA-Erhebungen 2003 und 2006 wurde bei PISA 2009 in Deutschland die internationale altersbasierte Stichprobe fünfzehnjähriger Schülerinnen und Schüler durch die Ziehung von zwei vollständigen neunten Klassen je teilnehmender Schule ergänzt. Zielsetzung des vorliegenden Beitrags ist es, die Trends in den Kompetenzmittelwerten zwischen PISA 2003 und PISA 2009 im Lesen, in der Mathematik sowie in den Naturwissenschaften für die Fünfzehnjährigen und die Neuntklässlerinnen und Neuntklässler vergleichend zu analysieren. Um exemplarisch möglichen Ursachen der Veränderungen nachzugehen, wird mit der Verteilung der Fünfzehnjährigen auf die Jahrgangsstufen ein Merkmal untersucht, das mit den Trends bei den Fünfzehnjährigen sowie möglichen differentiellen Trends bei Fünfzehnjährigen und Neuntklässlerinnen und Neuntklässlern in Beziehung stehen sollte. Während für die neunten Klassen keine signifikanten Veränderungen in den mittleren Kompetenzen nachzuweisen sind, resultiert für die Fünfzehnjährigen ein signifikanter positiver Trend zwischen PISA 2003 und PISA 2009 in der mathematischen Kompetenz. Der Trend bei den Fünfzehnjährigen hin zum Besuch höherer Jahrgangsstufen korrespondiert deskriptiv mit positiven Veränderungen in den betrachteten Domänen. Die Studie zeigt, dass alters- und jahrgangsstufenbasierte Trendanalysen auf Basis der PISA-Daten zu unterschiedlichen Schlussfolgerungen führen können. Da jahrgangsstufenbasierte Stichproben für die Bearbeitung bestimmter Fragestellungen etwa im Bereich der Unterrichtsforschung besonders angemessen sind, könnte es lohnend sein, die Trendberichterstattung bei PISA in Deutschland um Ergebnisse für die Neuntklässlerinnen und Neuntklässler zu ergänzen. (DIPF/Autor)

Jude, Nina [Hrsg.]; Klieme, Eckhard [Hrsg.]: PISA 2009 - Impulse für die Schul- und Unterrichtsforschung. Weinheim u.a. : Beltz 2013, S. 172-199. - (Zeitschrift für Pädagogik, Beiheft; 59), Die Autoren stellen in ihrem Beitrag erste Ergebnisse zur Schulentwicklung im Verlauf eines Jahrzehnts dar. Dazu nutzen sie Daten einer an PISA 2009 anschließenden, nationalen Panelstudie, in der Schulen, die an PISA 2000 teilgenommen hatten, im Jahr 2009 erneut getestet wurden. In ihren Analysen betrachten sie Faktoren der Schulorganisation, die Bedeutung von interner Evaluation als Schulentwicklungsmaßnahme sowie spezifischer Förderangebote auf Schulebene für die Unterschiede in der Entwicklung zwischen den Schulen. Erstmals wird für Deutschland empirisch nachgewiesen, dass interne Evaluierung sich sowohl auf den Leistungsstand als auch auf das Schulklima positiv auswirkt. (DIPF/Orig.)

Jude, Nina [Hrsg.]; Klieme, Eckhard [Hrsg.]: PISA 2009 - Impulse für die Schul- und Unterrichtsforschung. Weinheim u.a. : Beltz 2013, S. 12-39. - (Zeitschrift für Pädagogik, Beiheft; 59), Kompetenzüberzeugungen und aufgabenspezifische Lerngelegenheiten sind nach den Befunden der Schul- und Unterrichtseffektivitätsforschung für die Kompetenzen und Motivation von Schülerinnen und Schülern prädiktiv. Bisherige Analysen haben jedoch nur wenige Zusammenhänge zwischen allgemeinen Merkmalen der Schulqualität und der Unterrichtsqualität gefunden. Deshalb wurde anhand der erweiterten PISA 2009-Stichprobe in Deutschland der Frage nachgegangen, inwiefern Zusammenhänge zwischen Überzeugungen und Praktiken auf Schul- und Unterrichtsebene bestehen, wenn diese aufgabenspezifisch erfasst, hier auf die Bildungsstandards im Bereich des Lesens bezogen werden. Die Ergebnisse der Mehrebenenanalysen mit 9193 Schülerinnen und Schülern in 382 Klassen in 197 Schulen mit 2113 Lehrkräften zeigen, dass bildungsstandardbezogene Kompetenzüberzeugungen von Lehrkräften des Fachkollegiums Deutsch mit denen von Schülerinnen und Schülern zusammenhängen und diese für die Lesekompetenzen und Lesefreude prädiktiv sind. (DIPF/Autor), According to the findings in educational effectiveness research self-efficacy and domain-specific opportunities to learn have an impact on competencies and motivation of students. Previous studies only found a few relationships between general characteristics of school and instructional quality. Therefore, in the extended PISA 2009-sample in Germany we investigate, whether such relationships between beliefs and practices at school and classroom level occur, when these characteristics are measured specifically, in this case with regard to the educational standards in the area of reading. The results of the multilevel-analyses with 9193 students in 382 classrooms in 197 schools with 2113 German teachers show that the efficacy expectations of German teachers correlate with those of the students and that the efficiency expectations of the students strongly correlate with their reading competencies and reading motivation. (DIPF/Autor)

Klieme, Eckhard [Hrsg.]; Artelt, Cordula [Hrsg.]; Hartig, Johannes [Hrsg.]; Jude, Nina [Hrsg.]; Köller, Olaf [Hrsg.]; Prenzel, Manfred [Hrsg.]; Schneider, Wolfgang [Hrsg.]; Stanat, Petra [Hrsg.]: PISA 2009. Bilanz nach einem Jahrzehnt. Münster : Waxmann 2010, S. 113-151, Das zentrale Anliegen der PISA-Studien ist die kontinuierliche Beobachtung der Bildungssysteme im internationalen Vergleich, das Bildungsmonitoring. Dies schließt neben dem internationalen Vergleich der Kompetenzen von Schülerinnen und Schülern auch die Beschreibung der Rahmenbedingungen und Funktionsmerkmale der Bildungssysteme ein. Welche Ressourcen stehen den Schulen zur Verfügung? Wer entscheidet über deren Verwendung, über Personal, Lehrpläne, die Gestaltung von Prüfungen? Wie arbeiten Schulen intern? Wie sieht die pädagogische Kultur der Schulen aus? Wie wird Unterricht gestaltet und welche darüberhinausgehenden Fördermaßnahmen finden statt? Solche und ähnliche Fragen soll PISA international vergleichend beantworten. Die Wirkungen dieser Rahmenbedingungen, Strukturen und Prozesse auf das Lernen der Schülerinnen und Schüler lassen sich in Querschnittsstudien, wie sie die internationalen PISA-Erhebungen darstellen, kaum beziffern. PISA vermag jedoch ein Bild der Arbeitsbedingungen und der pädagogischen Prozesse zu zeichnen, wie es sonst nicht verfügbar wäre – nicht im nationalen und nicht im internationalen Kontext. Wenn zentrale Themen regelmäßig aufgegriffen, also Trends auch hinsichtlich der Rahmenbedingungen und Gestaltungsmerkmale von Schulen berichtet werden, stellt dies ein wichtiges Feedback für die Bildungspolitik und alle anderen Akteure in den be¬teiligten Bildungssystemen dar. Das vorliegende Kapitel wird einen Beitrag zu dieser Art des Bildungsmonitorings leisten. Ziel ist es, die schulischen Rahmenbedingungen und die Lerngelegenheiten im Deutschunterricht in ihrem Ist-Zustand darzustellen und ihre Entwicklung zwischen den Jahren 2000 und 2009 zu betrachten. Dafür wird sowohl eine Einordnung auf internationaler Ebene vorgenommen als auch ein intranationaler Vergleich der Schularten in Deutschland durchgeführt. (DIPF/Orig.)

Klieme, Eckhard [Hrsg.]; Artelt, Cordula [Hrsg.]; Hartig, Johannes [Hrsg.]; Jude, Nina [Hrsg.]; Köller, Olaf [Hrsg.]; Prenzel, Manfred [Hrsg.]; Schneider, Wolfgang [Hrsg.]; Stanat, Petra [Hrsg.]: PISA 2009. Bilanz nach einem Jahrzehnt. Münster : Waxmann 2010, S. 153-176, Diesem Kapitel liegen drei zentrale Fragestellungen zugrunde. Erstens wird untersucht, wie sich die bei PISA 2009 erhobene mathematische Kompetenz von fünfzehnjährigen Schülerinnen und Schülern in Deutschland im internationalen Vergleich einordnen lässt. Zweitens wird der Frage nachgegangen, wie sich die mathematische Kompetenz dieser Jugendlichen zwischen den Bildungsgängen innerhalb Deutschlands unterscheidet. Drittens wird berichtet, welche Veränderungen der mathematischen Kompetenz über die drei PISA-Erhebungen der Jahre 2003, 2006 und 2009 zu verzeichnen sind. Es werden zunächst der theoretische Hintergrund, die Fragestellungen und die Testkonzeption des Mathematiktests bei PISA 2009 beschrieben. Darauf folgend werden erst die Ergebnisse des internationalen Vergleichs sowie die Ergebnisse für Deutschland nach Bildungsgängen differenziert präsentiert und dann die Befunde zu Veränderungen der mathematischen Kompetenz von PISA 2003 bis PISA 2009 berichtet. Das Kapitel schließt mit einer Bilanz und Diskussion der Befunde. (DIPF/Orig.)

Klieme, Eckhard [Hrsg.]; Artelt, Cordula [Hrsg.]; Hartig, Johannes [Hrsg.]; Jude, Nina [Hrsg.]; Köller, Olaf [Hrsg.]; Prenzel, Manfred [Hrsg.]; Schneider, Wolfgang [Hrsg.]; Stanat, Petra [Hrsg.]: PISA 2009. Bilanz nach einem Jahrzehnt. Münster : Waxmann 2010, S. 177-198, Diesem Kapitel liegen im Wesentlichen drei Fragestellungen zugrunde: Zunächst wird die naturwissenschaftliche Kompetenz fünfzehnjähriger Schülerinnen und Schüler in Deutschland international eingeordnet. Hierzu werden die Ergebnisse für Deutschland mit denen anderer Staaten verglichen. Neben dem Vergleich von Mittelwerten und Streuungen liegt ein besonderes Augenmerk auf der Verteilung der Schülerinnen und Schüler auf die Stufen naturwissenschaftlicher Kompetenz sowie auf Kompetenzunterschieden zwischen Mädchen und Jungen. Eine zweite Fragestellung beschäftigt sich vertiefend mit Unterschieden in der naturwissenschaftlichen Kompetenz zwischen den Bildungsgängen in Deutschland. Schließlich wird in einer dritten Fragestellung untersucht, wie sich die naturwissenschaftliche Kompetenz der Schülerinnen und Schüler seit PISA 2000 und insbesondere seit PISA 2006 verändert hat. Nach einer Einführung in den theoretischen Hintergrund wird zunächst die Testkonzeption beschrieben. Im anschließenden Ergebnisteil werden die Befunde des internationalen Vergleichs sowie der vertiefenden Analysen für Deutschland berichtet. Dabei wird die Verteilung der Schülerinnen und Schüler auf die Stufen der naturwissenschaftlichen Kompetenz dargestellt, es wird auf Geschlechterdifferenzen eingegangen sowie die naturwissenschaftliche Kompetenz in Abhängigkeit vom Bildungsgang besprochen. Mit den Veränderungen in der naturwissenschaftlichen Kompetenz der Schülerinnen und Schüler befasst sich Abschnitt 6.3.3. Das Kapitel schließt mit einer Bilanz und Diskussion der Befunde. (DIPF/Orig.)