Search

Disparitäten bei der Leistungsbewertung von Schülern und Schülerinnen mit Migrationshintergrund konnten häufig für den Übergang zwischen Grundschule und weiterführender Schule nachgewiesen werden. In der hier vorgestellten Studie wurde geprüft, ob sich solche Zusammenhänge auch nach dem Übergang auf das Gymnasium zeigen. Untersucht wurde der Effekt des Migrationshintergrundes von Schüler_innen auf die Leistungsbewertung im Fach Mathematik bei Klassenarbeiten und Zeugnissen. Daten von 1487 Gymnasiastinnen und Gymnasiasten und deren 56 Lehrkräften im Fach Mathematik zu fünf Messzeitpunkten (Beginn der fünften Klasse bis zum Ende der sechsten Klasse) zeigten, dass Schüler_innen nicht-deutscher Herkunft auch unter Kontrolle von Leistungen in standardisierten Tests signifikant schlechtere Klassenarbeits- und Zeugnisnoten erhielten. Der Effekt blieb im Zeitverlauf stabil. Diese Ergebnisse unterstützen die Hypothese, dass sich Urteilsfehler bei der Benotung von Leistungen von Schülern und Schülerinnen mit nichtdeutscher Herkunft zeigen. (DIPF/Orig.), Disparities in the educational outcomes of students with migration background were often detected for the transition from primary school to secondary school. Here we examined whether such disparities also persist after the transition to secondary school. Thereby, the present study considers the effect of migration background on students' grades in mathematics. The data of 1,487 secondary school students and their 56 teachers in mathematics based on five points of measurement (from the start of fifth grade until the end of sixth grade) showed that students with migration background obtained significantly worse grades in examinations and final school reports even after controlling for mathematical test performance. The effect was stable over time. These results support the hypothesis that a confirmation bias might exist in giving grades for students with a migration background. (DIPF/Orig.)

Competence data from low-stakes educational large-scale assessment studies allow for evaluating relationships between competencies and other variables. The impact of item-level nonresponse has not been investigated with regard to statistics that determine the size of these relationships (e.g., correlations, regression coefficients). Classical approaches such as ignoring missing values or treating them as incorrect are currently applied in many large-scale studies, while recent model-based approaches that can account for nonignorable nonresponse have been developed. Estimates of item and person parameters have been demonstrated to be biased for classical approaches when missing data are missing not at random (MNAR). In our study, we focus on parameter estimates of the structural model (i.e., the true regression coefficient when regressing competence on an explanatory variable), simulating data according to various missing data mechanisms. We found that model-based approaches and ignoring missing values performed well in retrieving regression coefficients even when we induced missing data that were MNAR. Treating missing values as incorrect responses can lead to substantial bias. We demonstrate the validity of our approach empirically and discuss the relevance of our results. (DIPF/Orig.)

IGLU wird im Abstand von fünf Jahren durchgeführt und liefert nicht nur Daten zum Leseverständnis, zur Motivation und zum Leseverhalten von Schülerinnen und Schülern am Ende der vierten Jahrgangsstufe, sondern auch Informationen zu Faktoren, die die Lesekompetenz begünstigen, wie familiäre, schulische, curriculare und unterrichtliche Merkmale. An IGLU 2016 beteiligten sich im internationalen Vergleich weltweit 47 Staaten und Regionen als reguläre Teilnehmer und weitere 10 Benchmark-Teilnehmer mit gesonderten Teilnahmebedingungen. In diesem Berichtsband werden primär die Ergebnisse von zentralen Vergleichsstaaten berichtet. Wesentliche Aussagen der Studie sind: 2001 erzielten Viertklässlerinnen und Viertklässler in Deutschland auf der Gesamtskala Lesen 539 Punkte, im Jahr 2016 537 Punkte. (…) In einer Reihe anderer Staaten, auch in der EU, ist es jedoch gelungen, die Leistungen in den vergangenen 15 Jahren zu verbessern. Deshalb hat sich die relative Position Deutschlands erheblich verschlechtert. Während im Verlauf der letzten 15 Jahre in nur wenigen Staaten und Regionen die Streubreite der Leistungen zugenommen hat, ist für Deutschland eine Zunahme zu verzeichnen. Im Trendvergleich ergeben sich bei allen vier IGLU-Erhebungen in Deutschland bessere Ergebnisse beim Lesen literarischer Texte [im Vergleich zu Sachtexten]. Insgesamt deuten die Daten auf einen ungünstigen internationalen Trend im Leseverhalten hin. In fast allen Staaten und Regionen ist der Anteil der Kinder, die fast täglich zum Vergnügen lesen, seit 2001 beziehungsweise 2006 beträchtlich gesunken, in einigen Staaten und Regionen sogar um 10 Prozentpunkte. Der Leistungsvorsprung der Mädchen gegenüber den Jungen ist in den letzten Jahren fast unverändert geblieben. Ein vertiefender Blick zeigt, dass es insbesondere beim literarischen Lesen im Mittel deutliche Vorteile der Mädchen in den Leseleistungen gibt, während dies beim informierenden Lesen nur minimal der Fall ist. Weitere Analysen mit Indikatoren, die nur für den deutschen Datensatz vorliegen, belegen, dass sich die sozialen Disparitäten in Deutschland in den letzten 15 Jahren nicht statistisch signifikant verändert haben. Die Leistungsunterschiede im Lesetest zwischen Kindern aus günstigen und ungünstigen sozialen Lagen liegen bei etwa einem Lernjahr. Im Vergleich zu ihren Mitschülerinnen und Mitschülern, deren Eltern in Deutschland geboren sind, erzielen Schülerinnen und Schüler mit Migrationshinter grund Leseleistungen, die 24 (ein Elternteil im Ausland geboren) beziehungsweise 49 (beide Elternteile im Ausland geboren) Leistungspunkte geringer ausfallen, ein Unterschied, der einem Lernzuwachs von einem halben beziehungsweise einem ganzen Schuljahr entspricht. (Orig.)

Ongoing societal and technological developments in education and changes in the global debate about education continue to promote the value of international large-scale assessments (ILSAs) in education. ILSAs are expanding their sphere of influence, evolving to cover novel target populations and subject domains. Advances in the methods and technology available to collect, scale, and analyze data present continuous methodological challenges, but also foster rapid developments of the methodological research and respective technology. Most ILSAs in education are now enforcing a transition to computer-based assessment. Recent research has suggested new approaches for addressing nonresponse, novel methods to improve measurement invariance evaluation, and explored innovative methodologies for statistical data analyses. This paper reflects on IEA's extensive experience of ILSA research to identify the most important contemporary challenges, contextualized by historical developments. The authors discuss these developments considering their potentials, drawing conclusions and giving recommendations on best practice. (DIPF/Orig.), Die Autorinnen und die Autoren dieses Beitrags formulieren aus der Perspektive der International Association for the Evaluation of Educational Achievement (IEA) aktuelle Entwicklungen und methodische Herausforderungen im Kontext von international vergleichenden Schulleistungsuntersuchungen. (DIPF/Orig.)

Tertium comparationis 23 (2017) 1, S. 1-8, Der einführende Artikel in das Heftthema "Aktuelle Perspektiven und Entwicklungen in Large-Scale-Studien" ordnet das Thema Schulvergleichsstudien in die Entwicklung der Empirischen Bildungsforschung in Deutschland nach dem 2. Weltkrieg ein. 1963: First International Mathematics Study (FIMS), 1970: First International Science Study (FISS), 1991/91: International Reading Literacy Study, ab 2001: Progress in International Reading Literacy Study/ Internationale Grundschul-Lese-Untersuchung (PIRLS/IGLU), 1994/95: Third International Mathematics and Science Study (TIMMS), ab 2000: Programme for International Student Assessment (PISA), 2013: International Computer and Information Literacy Study (ICILS). Er zeigt die bildungspolitischen Reaktionen auf die Ergebnisse des Bildungsmonitorings auf und beleuchtet die Transformation der Ergebnisse in den Schulalltag. Die Heftbeiträge arbeiten "Perspektiven und Entwicklungsmöglichkeiten in internationalen Schulleistungsuntersuchungen aus unterschiedlichen Blickwinkeln und auf unterschiedlichen Ebenen" heraus. (DIPF/SK/Orig.)

Der deutsche Abituraufsatz und die entsprechende Prüfungspraxis, das Schreiben des Aufsatzes, entsteht mit der Herausbildung des meritokratischen Schulwesens als eine Art Hybrid, in dem von Beginn an holistisch Fähigkeiten - verstanden als "Gesammtbildung" der Person - geprüft wurden bzw. gezeigt werden mussten. Der Bezug zu einem disziplinär verorteten Fachwissen war lose. Der Aufsatz passte sich in seiner Geschichte - so die Forschungslage - recht unproblematisch ideologischen Strömungen an und zeigte sich anfällig für den Zeitgeist. Dargestellt werden soll anhand der Untersuchung von Abituraufsätzen eines Jahrganges der 1950er Jahren aus einem in der Bibliothek für Bildungsgeschichtliche Forschung deponierten Aktenbestand, dass sich hier immer noch ein ähnliches Bild zeigt. Zwar haben sich Verfahrensweisen der Prüfung herausgebildet, wurden festgelegt und standardisiert, nach wie vor aber war nicht genau festgelegt, was geprüft und nach welchen Kriterien beurteilt werden sollte. Vielmehr hatten sich Bewertungsschemata in den Praktiken der schriftlichen Lehrerkommentare und Benotungsbegründungen herausgebildet. Hierbei gibt es Gründe für die Annahme, dass möglicherweise nicht explizierte Rezeptionsmuster in die Beurteilung eingehen. (DIPF/Orig.), The German Abitur essay and its corresponding examination process, the writing of the essay, originates as a sort of hybrid within the development of a meritocratic school system. From its very beginning the essay was used to test and show competencies - seen as one's 'general education' - from a holistic perspective. The connection to subject knowledge located within specific disciplines was rather weak. According to the state of research, during the course of its history the essay easily assimilated to different ideological tendencies and appeared rather fragile to zeitgeist. On the basis of Abitur essays from one cohort in the 1950s that are archived at "Bibliothek für Bildungsgeschichtliche Forschung" it is shown that a similar image still appears. Though the process of the examination had been developed, determined and standardised, what was to be examined was still not accurately defined nor were the criteria on which assessments should be made. Instead, certain patterns of assessment were established through the practices of teachers' comments and justifications of grading. There are reasons to assume that non-explicated patterns of perception affected the assessment. (DIPF/Orig.)

Editorial of the special issue on Adapting developmental assessment instruments for children with special needs. (DIPF/Autor)

This article sets out how PISA has and continues to evolve to reflect the evolution of the demand for knowledge and skills in societies and the possibilities that new assessments offer to provide more relevant and granular information about what students know and can do. (DIPF/Orig.), Der Beitrag beschäftigt sich aus OECD-Perspektive mit der Zukunft von PISA und bezieht sich dabei u.a. auf veränderte berufliche Anforderungen in der globalisierten Welt, zu denen vor allem Problemlöse-, aber auch soziale Kompetenzen wie Teamfähigkeit gehören. Erörtert werden Perspektiven, wie diese Kompetenzen erfasst werden können, zusammen mit den Potenzialen von 'big data' im Bildungsbereich. (DIPF/Orig.)

An die Stelle punktueller Überprüfungen in Form von (Abschluss-)Prüfungen tritt im schwedischen Bildungssystem die fortlaufende schulische Leistungsbeurteilung während des Schuljahres (formative Beurteilung). Schüler_innen erhalten erst mit den Zeugniszensuren - beginnend ab Klasse 6 - eine summative Beurteilung in Form einer Note. Das Abschlusszeugnis der neunjährigen Grundschule ist relevant für den Übergang an die weiterführende Schule, das Abschlusszeugnis der weiterführenden Schule wiederum für den Hochschulzugang bzw. den Übergang in den Arbeitsmarkt. Der Beitrag beleuchtet, wie sich die formative und summative Leistungsbeurteilung in Schweden in den Regularien darstellt und kontrastiert dies mit den Beurteilungspraxen von Lehrkräften und den Beurteilungserfahrungen der Schüler_innen bezüglich der beiden Funktionen der Leistungsbeurteilung und ihrer Wechselwirkungen. Es zeigt sich, dass in der Beurteilungspraxis die formativ gedachten Rückmeldungen zum Lernstand teilweise durch die summativen Beurteilungselemente überlagert werden, wodurch sich widersprüchliche Anforderungen für die Lehrkräfte ergeben, die diese versuchen auszubalancieren. Bei den Schüler_innen scheint die kontinuierliche Rückmeldung ebenfalls andere Effekte zu haben als die primär intendierten, u. a. die Erzeugung eines Gefühls des ständigen Geprüftwerdens. (DIPF/Orig.), In the Swedish school system, there are no final exams at the end of lower and upper secondary school. Rather, there is continuous formative assessment during the school year. Pupils only receive summative assessments (starting with year 6) at the end of each term. School leaving certificates play a role for access to the different branches of higher secondary schooling, to higher education and to working life. The article discusses the rules and regulations of formative and summative assessment. It then juxtaposes these rules with the assessment practices of teachers on the one hand and the way in which pupils experience assessment on the other. As a result, the authors find that teachers' formative assessment practices during the school year are partially superimposed by summative elements, which results in conflicting demands on teachers that they then seek to bring back into balance. Among pupils, the continuous formative feedback seems to lead to effects that differ from the intended ones, among them a feeling of constantly being in an examination situation. (DIPF/Orig.)

Der Beitrag zeigt den Widerspruch auf zwischen einem Output-fixierten (hier: evidenzbasierten) und einem entwicklungsbezogenen Bildungskonzept. Das eine führt zur Hochwertung der Leistungstests, das andere wird deutlich bei den "Empfehlungen zur Arbeit in der Grundschule" der Kultusministerkonferenz und bei der Entwicklung einer pädagogischen Leistungskultur. Insgesamt ist dies ein Plädoyer "wider die Ökonomisierung der Bildung und für die Stärkung aller Kinder".

Beeinträchtigungen des Arbeits- und Sozialverhaltens sind in sonderpädagogischen Zielgruppen häufig und stellen ein Risiko für den schulischen Lernerfolg dar. Ziel dieser Studie ist die Validierung von Items, mit denen sonderpädagogische Lehrkräfte das aktuelle Arbeits- und Sozialverhalten ihrer Schülerinnen und Schüler erfassen können. Weiterführend könnten solche Items zur Auswahl und Evaluation von Fördermaßnahmen genutzt werden. Lehrkräfte schätzten elf Items, die erwünschtes Arbeits- und Sozialverhalten abbilden, für 373 Schülerinnen und Schüler aus vier sonderpädagogischen Gruppen (Förderbedarfe Lernen und Emotionale und Soziale Entwicklung) und einer Vergleichsgruppe ein. Zudem wurde für einen Teil der Stichprobe ein standardisiertes Fragebogenverfahren durchgeführt. Es zeigt sich erwartungskonform, dass die Gruppen mit Förderbedarf ein schlechteres Arbeits- und Sozialverhalten aufweisen als die Vergleichsgruppe. Die untersuchten Items korrelieren hoch mit dem standardisierten Fragebogen. Die Ergebnisse implizieren basierend auf der Methode bekannter Gruppen und der konkurrenten Validität, dass sich die untersuchten Items zur Erfassung des Arbeits- und Sozialverhaltens eignen. Da die Überprüfung der Dimensionalität der Items kein annehmbares Modell ergibt, wird eine modifizierte Kurzskala Erfolgreiches Arbeitsverhalten zur weiteren Überprüfung vorgeschlagen. (DIPF/Orig.), Students with special needs frequently exhibit poor work and social behavior, which represents a risk for academic success. The aim of this study is to validate items that enable special education teachers to assess the current work and social behavior of their students. Such items could also be used to select and evaluate interventions. Teachers rated eleven items on appropriate work and social behavior for 373 students from four groups with special needs (learning, emotional, and social problems) and a comparison group. In addition, a standardized questionnaire was administered to part of the sample. As expected, the groups with special needs showed poorer work and a social behavior than the comparison group. The items were found to correlate strongly with the items of the standardized questionnaire. The results imply, based on the method of known groups and the concurrent validity, that the examined items are appropriate for assessing work and social behavior. Since there was no acceptable model on the dimensionality of the items, a modified short scale, Effective Work Behavior, is proposed for further investigation. (DIPF/Orig.)

IGLU wird im Abstand von fünf Jahren durchgeführt und liefert nicht nur Daten zum Leseverständnis, zur Motivation und zum Leseverhalten von Schülerinnen und Schülern am Ende der vierten Jahrgangsstufe, sondern auch Informationen zu Faktoren, die die Lesekompetenz begünstigen, wie familiäre, schulische, curriculare und unterrichtliche Merkmale. An IGLU 2016 beteiligten sich im internationalen Vergleich weltweit 47 Staaten und Regionen als reguläre Teilnehmer und weitere 10 Benchmark-Teilnehmer mit gesonderten Teilnahmebedingungen. In diesem Berichtsband werden primär die Ergebnisse von zentralen Vergleichsstaaten berichtet. Wesentliche Aussagen der Studie sind: 2001 erzielten Viertklässlerinnen und Viertklässler in Deutschland auf der Gesamtskala Lesen 539 Punkte, im Jahr 2016 537 Punkte. (…) In einer Reihe anderer Staaten, auch in der EU, ist es jedoch gelungen, die Leistungen in den vergangenen 15 Jahren zu verbessern. Deshalb hat sich die relative Position Deutschlands erheblich verschlechtert. Während im Verlauf der letzten 15 Jahre in nur wenigen Staaten und Regionen die Streubreite der Leistungen zugenommen hat, ist für Deutschland eine Zunahme zu verzeichnen. Im Trendvergleich ergeben sich bei allen vier IGLU-Erhebungen in Deutschland bessere Ergebnisse beim Lesen literarischer Texte [im Vergleich zu Sachtexten]. Insgesamt deuten die Daten auf einen ungünstigen internationalen Trend im Leseverhalten hin. In fast allen Staaten und Regionen ist der Anteil der Kinder, die fast täglich zum Vergnügen lesen, seit 2001 beziehungsweise 2006 beträchtlich gesunken, in einigen Staaten und Regionen sogar um 10 Prozentpunkte. Der Leistungsvorsprung der Mädchen gegenüber den Jungen ist in den letzten Jahren fast unverändert geblieben. Ein vertiefender Blick zeigt, dass es insbesondere beim literarischen Lesen im Mittel deutliche Vorteile der Mädchen in den Leseleistungen gibt, während dies beim informierenden Lesen nur minimal der Fall ist. Weitere Analysen mit Indikatoren, die nur für den deutschen Datensatz vorliegen, belegen, dass sich die sozialen Disparitäten in Deutschland in den letzten 15 Jahren nicht statistisch signifikant verändert haben. Die Leistungsunterschiede im Lesetest zwischen Kindern aus günstigen und ungünstigen sozialen Lagen liegen bei etwa einem Lernjahr. Im Vergleich zu ihren Mitschülerinnen und Mitschülern, deren Eltern in Deutschland geboren sind, erzielen Schülerinnen und Schüler mit Migrationshinter grund Leseleistungen, die 24 (ein Elternteil im Ausland geboren) beziehungsweise 49 (beide Elternteile im Ausland geboren) Leistungspunkte geringer ausfallen, ein Unterschied, der einem Lernzuwachs von einem halben beziehungsweise einem ganzen Schuljahr entspricht. (Orig.)

Valid inferences on teaching drawn from students' test scores require that tests are sensitive to the instruction students received in class. Accordingly, measures of the test items' instructional sensitivity provide empirical support for validity claims about inferences on instruction. In the present study, we first introduce the concepts of absolute and relative measures of instructional sensitivity. Absolute measures summarize a single item's total capacity of capturing effects of instruction, which is independent of the test's sensitivity. In contrast, relative measures summarize a single item's capacity of capturing effects of instruction relative to test sensitivity. Then, we propose a longitudinal multilevel item response theory model that allows estimating both types of measures depending on the identification constraints. (DIPF/Orig.)

Deutschland beteiligte sich im Jahr 2015 an der Trends in International Mathematics and Science Study (TIMSS). Mit diesem Handbuch werden die im Rahmen der Studie genutzten Befragungsinstrumente dokumentiert. Dieser Band umfasst damit die Instrumente, die Teil des internationalen Studiendesigns sind, sowie nationale Ergänzungen für Deutschland. Deskriptive Statistiken der Instrumente ermöglichen eine Einschätzung der Verteilungen von Angaben sowie der Datenqualität. Um die Arbeit mit den Datensätzen der Studien zu erleichtern, werden zudem System-, Organisations- und Linkingvariablen sowie generierte Indizes dokumentiert. Das Skalenhandbuch versteht sich als Ergänzung zu Materialien, die zu den Studien von der internationalen Studienleitung an anderer Stelle umfassend dokumentiert sind. Es soll die Arbeit mit den Datensätzen der Studie erleichtern. (DIPF/Orig.)

Vor dem Hintergrund der primär leistungsbezogenen gesellschaftlichen Verhältnisse stellt sich die Frage, ob und wie Inklusion und inklusives pädagogisches Handeln denkbar ist, begründet und umgesetzt werden kann. Darauf bezugnehmend umfassen die Beiträge des vorliegenden Bandes politische Einwürfe und theoretische Zugänge. Inwieweit erzeugt die Idee von Inklusion Widersprüche? Welche Bedeutung haben Theorien von Gleichheit und Differenz unter der Prämisse "Inklusion"? Darüber hinaus werden professionsbezogene Perspektiven erörtert. Wie lassen sich pädagogische Settings und Übergänge gestalten? Und wie können Lehrkräfte für professionelles Handeln in einem Antinomien konstituierenden System ausgebildet werden? Die Beiträge geben einen Überblick über den aktuellen Diskussionsstand in der deutschsprachigen Integrations-/Inklusionsforschung. Der zweite Band: "Leistung inklusive? Inklusion in der Leistungsgesellschaft II: Unterricht, Leistungsbewertung und Schulentwicklung" wirft einen vertiefenden Blick auf die Herausforderungen und Chancen eines inklusiven Schulsystems. (Orig.)

Las preguntas clásicas acerca de la evaluación: para qué evaluar, qué evaluar, cómo evaluar o quién ha de evaluar los aprendizajes adquiridos por los estudiantes sigue siendo un tema recurrente y polémico en la literatura pedagógica actual que se reaviva periódicamente con motivo de la publicación de las distintas evaluaciones nacionales o internacionales o las polémicas “reválidas” de la LOMCE. En el ámbito académico coexisten la evaluación formativa y la evaluación certificadora, estableciéndose entre ambas profundas imbricaciones de las que no podemos sustraernos. Ello condiciona, inevitablemente, e incluso polariza todo el proceso de Enseñanza-Aprendizaje. Ambas funciones no son, en absoluto, excluyentes sino complementarias; evaluamos, fundamentalmente, para mejorar; pero, ¿cómo mejorar sin saber de dónde partimos ni adónde hemos llegado? Ciertamente, la mera medición, aislada, descontextualizada, sin consecuencias es un ejercicio estéril que, en el mejor de los casos, solo produce pérdida de recursos y de tiempo, pero también es cierto que no es posible la valoración y consiguiente toma de decisiones en función de esa valoración si no se parte de un conocimiento profundo de aquello que se quiere valorar. De la calidad de la medición: validez de los indicadores seleccionados, validez y fiabilidad de los instrumentos de evaluación elegidos e idoneidad de las condiciones de aplicación va a depender la calidad de la evaluación y por consiguiente la eficacia de las actuaciones que de ella se deriven. Así pues, en este artículo intentaremos aportar, justificadamente, tanto reflexiones de carácter teórico como útiles consideraciones de orden práctico que se debieran tener en cuenta a la hora de recoger y valorar los aprendizajes adquiridos por los estudiantes., The classic questions about evaluation: why to evaluate, what to evaluate, how to evaluate, or who is to evaluate the learning acquired by the students are still a recurrent and controversial topic in the current pedagogic literature that periodically revives due to the publication of the different national or international assessments or the controversial "reválidas" of the LOMCE. In the academic field coexist formative assessment and certification assessment, establishing between the two deep overlapping of which we cannot ignore. This condition inevitably polarizes even entire E-A process. Both functions are not at all exclusive but complementary; we evaluate primarily to improve, but how to improve without knowing where we started from or where we come? Certainly, the mere measurement, isolated, decontextualized, without consequences is a sterile exercise, which in the best case only leads to loss of resources and time, on the other hand it is also true that it is not possible the assessment and subsequent decision making based on that valuation if it is not part of a thorough understanding of what we want to assess. The quality of the measurement-validity of selected indicators, validity and reliability of assessment instruments chosen and suitability of the conditions of application, will depend on the quality of assessment and therefore the effectiveness of the actions that she derived. Thus, in this article we will try to provide, justifiably, theoretical thoughts as well as useful practical considerations that should be considered when it comes to collect and evaluate the learning acquired by the students., Universidad de Granada. Departamento de Didáctica y Organización Escolar. Grupo FORCE (HUM-386)

Since the turn of the century, an increasing number of low-stakes assessments (i.e., assessments without direct consequences for the test-takers) are being used to evaluate the quality of educational systems. Internationally, research has shown that low-stakes test results can be biased due to students' low test-taking motivation and that students' effort levels can vary throughout a testing session involving both cognitive and noncognitive tests. Thus, it is possible that students' motivation varies throughout a single cognitive test and in turn affects test performance. This study examines the change in test-taking motivation within a 2-h cognitive low-stakes test and its association with test performance. Based on expectancy-value theory, we assessed three components of test-taking motivation (expectancy for success, value, and effort) and investigated its change. Using data from a large-scale student achievement study of German ninth-graders, we employed second-order latent growth modeling and structural equation modeling to predict test performance in mathematics. On average, students' effort and perceived value of the test decreased, whereas expectancy for success remained stable. Overall, initial test-taking motivation was a better predictor of test performance than change in motivation. Only the variability of change in the expectancy component was positively related to test performance. The theoretical and practical implications for test practitioners are discussed. (DIPF/Orig.)

European journal for Research on the Education and Learning of Adults 4 (2013) 2, S. 189-203, To better recognise foreign qualifications, many OECD countries have promoted liberal fairness epitomised by universal standards and institutional efficiency. This paper departs from such a managerial orientation towards recognition. Building on recognitive justice, it proposes an alternative anchoring point for recognition practices: the standpoint or everyday experiences of immigrants. This approach is illustrated with a qualitative study of the credential recognition practices of the engineering profession in Canada. From the standpoint of Chinese immigrants, the study identifies a disjuncture between credential recognition practices and immigrants’ career stage post-migration. Taking this disjuncture as problematic, it further pinpoints recognition issues such as redundancy and arbitrariness, a narrow focus on undergraduate education, and a deficit view of training from other countries. While some of these issues may be addressed by improving administrative procedures, others demand a participatory space allowing immigrants to become partners of assessment, rather than merely its objects. (DIPF/Orig.)

Seifried, Jürgen [Hrsg.]; Seeber, Susan [Hrsg.]; Ziegler, Birgit [Hrsg.]: Jahrbuch der berufs- und wirtschaftspädagogischen Forschung 2016. Opladen; Berlin ; Toronto : Verlag Barbara Budrich 2016, S. 205-222. - (Schriftenreihe der Sektion Berufs- und Wirtschaftspädagogik der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE)), Die Autoren präsentieren die Ergebnisse einer explorativen Studie zur Beurteilung kaufmännischer Auszubildender in der betrieblichen Praxis. 136 Ausbildungsbetriebe nahmen an der Studie teil, und es zeigt sich, dass die in den Betrieben eingesetzten Beurteilungsbogen primär auf eine Bewertung allgemeiner Arbeitstugenden und sozialer Kompetenzen abstellen. (DIPF/Orig.)

Frontiers in Psychology 7 (2016), S. 1-8, Reading habit is considered an important construct in reading research as it serves as a significant predictor of reading achievement. However, there is still no consensus on how to best measure reading habit. In recent research, it has mostly been measured as behavioral frequency; this approach neglects the fact that repeated behavior does not cover the broad content of habitual behavior—such as automaticity and the expression of one’s identity. In this study, we aimed to adapt a 10-item scale on the basis of the Self-Report Habit Index by Verplanken and Orbell (2003) that is comprehensive but still economical for measuring reading habit. It was tested by drawing on a sample of N = 1,418 upper secondary school students. The scale showed good psychometric properties and the internal and external validity was supported. Moreover, the scale predicted reading achievement and decoding speed over and above reading frequency. The implications of an elaborated but still economical way of measuring reading habit are discussed giving new impetus on research on reading habit, challenging conventional approaches of traditional measures. (IPN/Orig.)

Der Beitrag setzt sich mit der Frage auseinander, wie Schülerinnen und Schüler, die unter den Schutz der UN-Behindertenrechtskonvention (UN-BRK) fallen, im Rahmen von bundesweiten Studien identifiziert werden können. Die Identifikation ist notwendig, um einerseits die Umsetzung der UN-BRK überprüfen zu können und andererseits vertiefte Analysen dieser Schülergruppe vorzunehmen. Die Autorinnen arbeiten mit drei Konzepten: , sonderpädagogischer Förderbedarf', , sonderpädagogische Förderung' sowie, besondere Unterstützung'. Auf der Grundlage von bundesländerspezifischen Regelungen, Erfahrungsberichten aus der Praxis sowie Definitionen aus der Theorie grenzen sie diese Konzepte voneinander ab. Anschließend beschreiben die Autorinnen, wie diese Schülergruppe derzeit in bundesweiten Studien erfasst wird und welche Schwierigkeiten sich aus diesen Erhebungsweisen ergeben. Der Beitrag schließt mit einer konkreten Empfehlung für die Erfassung, welche in ähnlicher Fassung bereits bei TIMSS, IQB-LV und NEPS umgesetzt wird. (DIPF/Orig.), This article addresses how students protected by the UN Convention on the Rights of Persons with Disabilities (UN-CRPD) can be identified in nation-wide studies. The identification is necessary for monitoring the implementation of the UN-CRPD and for carrying out in-depth analyses about this group of students. The authors work with three concepts: 'special educational needs', 'special needs education', and 'special support'. They differentiate the concepts based on regulations from the German states, reports from practitioners and definitions used in theoretical approaches. In a second step, the authors describe how this group of students is currently identified in nation-wide studies and discuss the difficulties resulting from these survey methods. They conclude by recommending specific survey items for the identification of this group. Some of these items have recently been implemented by TIMSS, IQB-LV, and NEPS studies. (DIPF/Orig.)

Bundesministerium für Bildung und Forschung [Hrsg.]: Forschungsvorhaben in Ankopplung an Large-Scale-Assessments. Berlin : Bundesministerium für Bildung und Forschung 2016, S. 121-139. - (Bildungsforschung; 44), Das vorliegende Projekt widmet sich einem spezifischen Testkontexteffekt, der als (Item-)Positionseffekt bekannt ist und die systematische Variation von statistischen Eigenschaften von Einzelitems in Abhängigkeit ihrer Darbietungsposition in einem Leistungstest bezeichnet. Im Fokus der Betrachtung stehen individuelle Unterschie­de in der Höhe von Positionseffekten, deren Korrelate und die Auswirkungen der Vernachlässigung von Positionseffekten insbesondere in Large-Scale-Assessments. Die auf Grundlage exitierender Datensätze von Large-Scale-Assessments durchge­führten Analysen dokumentieren systematische Zusammenhänge von Positions­effekten mit Merkmalen der Schülerinnen und Schüler, der Einzelschulen und der Erhebungszeitpunkte. Die Ergebnisse zeigen ferner, dass Positionseffekte zu ignorie­ren zu verzerrten Ergebnissen hinsichtlich Leistungsunterschieden, Korrelaten von Testleistungen und Leistungszuwächsen führen kann. (IPN/Orig.)

Rezension von: Alfred Schäfer / Christiane Thompson (Hrsg.): Leistung. Reihe: Pädagogik – Perspektiven. Paderborn: Schöningh 2015 (184 S.; ISBN 978-3-506-77598-6; 24,90 EUR).

Formative Leistungsmessungen werden in der Lehr-Lernforschung als effektive Methode zur Steigerung von Schülerleistungen beschrieben. Allerdings variieren die Effekte stark in Abhängigkeit von Lerninhalt, Diagnoseverfahren und Art der Rückmeldung. In einer randomisierten, experimentellen Studie im Fach Biologie wurde deshalb der Frage nachgegangen, ob bei einem computergestützten, formativen Leistungstest ausführliche Rückmeldungen (Treatment 1) zu besseren Lernergebnissen führen als einfache Rückmeldungen (Treatment 2). In einer Kontrollgruppe lasen die Schülerinnen und Schüler inhaltsgleiche Texte. An der Studie nahmen zehn Schulklassen (Sek I) mit insgesamt 261 Schülerinnen und Schülern teil. Es zeigte sich, dass einfache Rückmeldungen sowohl im Posttest als auch im Behaltenstest besser abschneiden als das Treatment 1 bzw. die Kontrollgruppe. Berücksichtigt man allerdings die Nutzung der Rückmeldungen, so lassen sich positive Leistungseffekte der ausführlichen Rückmeldung im Vergleich zur Kontrollgruppe nachweisen. (DIPF/Orig.), In research on teaching and learning, formative assessments are considered to be an effective method of improving student performance. However, the effects vary strongly depending on learning content, diagnostic procedures, and the form of feedback. In a randomized experimental study conducted in biology classes, it was thus examined whether in the case of a computer-based, formative achievement test detailed indepth feedback (treatment 1) would lead to better learning results than simple feedback (treatment 2). In a control group, students read the identical texts. 10 forms with a total of 261 students attending classes on the lower secondary level participated in the study. Results show that students receiving simple feedback achieve better results in both the posttest and the test of knowledge retained than students receiving treatment 1 or students of the control group. However, when looking more closely at the use made of the feedback, positive achievement effects can be shown for students getting in-depth feedback, too, compared to the control group. (DIPF/Orig.)

Im Beitrag wird der Frage nachgegangen, ob und inwiefern Third Mission auch ein Entwicklungsthema für Universitäten ist. Die Anwendungs- und Praxisbezüge der Third Mission legten zwar nahe, dass sich primär Hochschulen für angewandte Wissenschaften damit befassen, allerdings fasst die Autorin Third Mission weiter: als normative Leitidee der Bildung durch Wissenschaft. Hier beobachtet sie zunächst einen scheinbaren Widerspruch zwischen Humboldts Idee der zweckfreien Wissenschaft und dem Ziel, Wissenschaft gesellschaftlich nutzbar zu machen. Sie fragt, ob die Third Mission nicht auch beide Ansprüche miteinander vereinbaren könne. Dies gelinge dann, wenn Strukturen vorhanden seien, die eine kritische Reflexion gesellschaftlicher Herausforderungen sowie den Austausch mit externen Akteuren im Rahmen der Wissensproduktion anregten. Als Beispiele führt sie die verstärkte Vermittlung wissenschaftlicher Erkenntnisse in die Öffentlichkeit sowie die Einbeziehung wissenschaftsexterner Erfahrungen in die Wissensproduktion an. Dies stehe nicht im Widerspruch zum Humboldt'schen Ideal von der Freiheit der Wissenschaft. Für die Lehre bedeute Third Mission nicht, sich an externen Bedarfen auszurichten, sondern Studierende mit Urteilsfähigkeit und Verantwortungsbewusstsein auszustatten. Wenn sich Universitäten folglich als strategischer Akteur erwiesen, gelinge die Bewahrung wissenschaftlicher Freiheit und gleichzeitiger Erzeugung von Resonanzfähigkeit. (HoF/Text übernommen)

Rezension von: Marina Bonanati / Claudia Knapp (Hrsg.): Eltern – Lehrer – Schüler. Theoretische und qualitativ-empirische Betrachtungen zum Verhältnis von Elternhaus und Schule sowie zu schulischen Gesprächen. Bad Heilbrunn: Klinkhardt 2016 (172 S; ISBN 978-3-7815-2099-8; 19,90 EUR).

Im Jahr 2015 beteiligte sich Deutschland zum dritten Mal an der Grundschuluntersuchung Trends in International Mathematics and Science Study (TIMSS 2015). Mit TIMSS werden alle vier Jahre die Fachleistungen von Schülerinnen und Schülern der vierten Jahrgangsstufe in den Bereichen Mathematik und Naturwissenschaften im internationalen Vergleich untersucht. An TIMSS 2015 waren - neben Deutschland - weltweit 47 Staaten und Regionen als reguläre Teilnehmer mit Schülerinnen und Schülern der vierten Jahrgangsstufe beteiligt. In diesem Band werden die Ergebnisse von TIMSS 2015 für die Bildungsdiskussion in Deutschland erschlossen. Die Ergebnisse des internationalen Vergleichs werden vor dem Hintergrund von Themen dargestellt, die das Lehren und Lernen an Grundschulen in Deutschland verändert und den Bildungsdiskurs der letzten Jahre besonders geprägt haben. Im Fokus stehen neben der Betrachtung von Schülerleistungen in Mathematik und Naturwissenschaften im internationalen Vergleich Leistungsdisparitäten zwischen Jungen und Mädchen sowie Kindern unterschiedlicher sozialer und kultureller Herkunft. Darüber hinaus werden zentrale Lehr- und Lernbedingungen in den Blick genommen, wobei Gestaltungsmerkmale des Unterrichts und die Aus- und Fortbildung von Lehrkräften, Lernbedingungen an Ganztagsschulen sowie die Inanspruchnahme von Nachhilfe differenziert betrachtet werden. Darüber hinaus werden der Übergang von der Grundschule in die Sekundarstufe I und soziale Kompetenzen von Grundschulkindern untersucht. Mit vertiefenden Analysen und der Einordnung der Ergebnisse in den aktuellen Forschungsstand stellt der Band eine differenzierte und anschlussfähige Bestandsaufnahme zur Qualität mathematischer und naturwissenschaftlicher Bildung in der Grundschule dar und nimmt Entwicklungen seit 2007 in den Blick. Dieser Bericht wendet sich somit an eine Leserschaft, die an bildungspolitischen, pädagogischen und fachdidaktischen Fragestellungen interessiert ist.

International research with regard to the intended as well as to the unintended outcomes and effects of high-stakes testing shows that the impact of high-stakes tests has important consequences for the participants involved in the respective educational systems. The purpose of this special issue is to examine the implementation of high-stakes testing in different national school systems and to refer to the effects in view of the concept of Educational Governance. (DIPF/Orig.)

Journal for educational research online 8 (2016) 2, S. 107-135, Im Beitrag wird der Frage nachgegangen, ob eine holistische und eine analytische Auswertungsstrategie schon bei Texten des ersten Grundschuljahres gleichermaßen geeignet sind, um Schreibkompetenz reliabel zu erfassen. Die Analysen zu den insgesamt 540 Texten stammen aus dem DFG-Projekt Narrative Schreibkompetenz in Klasse 1 (NaSch 1). Zunächst wird die Dimensionalität des Konstrukts Schreibkompetenz anhand der analytischen Auswertung untersucht. Im Anschluss werden die mit den beiden Auswertungsstrategien ermittelten Kompetenzwerte unter Berücksichtigung der Textlänge miteinander verglichen. Die Ergebnisse der Rasch-Skalierung der analytischen Kriterien weisen auf eine zweidimensionale Struktur (semantisch-pragmatisch vs. sprachsystematisch) der Schreibkompetenz hin. Dabei zeigt sich ein stärkerer Zusammenhang des holistischen Ratings mit der semantisch-pragmatischen (r = .78) als mit der sprachsystematischen Dimension (r = .47). Die Textlänge wiederum weist eine gleichermaßen hohe Übereinstimmung mit der semantisch-pragmatischen Dimension (r = .63) und dem holistischen Rating auf (r = .62), deren Zusammenhang zueinander aber auch nach Herauspartialisieren der Textlänge deutlich bleibt (r = .64). Zwischen Textlänge und der sprachsystematischen Schreibkompetenz lässt sich dagegen kein bedeutsamer Zusammenhang nachweisen (r = .09). (DIPF/Orig.), The article examines whether holistic and analytic evaluation-strategies are comparably suitable to reliably determine writing skills already in texts of first graders. The analyses of the 540 texts in total are sourced from the DFG project Narrative Writing Skills in Grade One (NaSch 1). First of all, the dimensionality of writing skills is being examined based on the analytic evaluation. Subsequently, the competence values determined by the two evaluation strategies are compared taking into account the length of text. The results of the Rasch scaling of the analytic criteria are indicating a two-dimensional structure (semantic-pragmatic vs. language-systematic) of writing skills where a stronger correlation of the holistic rating with the semantic-pragmatic (r = .78) than with the language-systematic dimension (r = .47) is emerging. In turn, the length of text shows a comparably high accordance with the semantic-pragmatic dimension (r = .63) and the holistic rating (r = .62), whose correlation still stays distinct when controlling the influence of the length of text using partial correlation (r = .64). In contrast, a correlation between the length of text and the language-systematic writing skills (r = .09) cannot be identified. (DIPF/Orig.)

This study aims to add empirical evidence to the generalized internal/external frames of reference (GI/E) model, according to which students' social and dimensional achievement comparisons might not only be related to students' self-concepts but also to perceptions of the learning environment. In a sample of N = 4926 German students, math and language achievements were measured along with two facets of students' perceptions of the learning environment, i.e., perceived instructional quality of math and language classes and perceived relations to math and language teachers. In the GI/E path model, achievement and perceptions of the learning environment were positively related within matching domains but negatively related or unrelated across non-matching domains. This pattern of relations indicates that social and dimensional achievement comparisons contribute to the formation of students' perceptions of the learning environment but the pattern of relations was stronger for math than for language achievement. Students' perceptions of instructional quality were more strongly related to achievement than perceptions of student-teacher relations. The findings were generalizable across same-aged elementary and secondary school students. The results are discussed regarding their implications for the proposed GI/E model and their importance for future research. (DIPF/Orig.)

Research on classroom instruction has consistently identified characteristics that contribute to student learning. For instance, these include structural-organizational aspects (e.g., classroom management) and affective aspects (e.g., classroom social climate). The idea that the effects of instruction may differentially depend on students’ characteristics has been investigated within the scope of aptitude-treatment-interactions (ATI) research. This study of elementary school (1,041 students, 54 classes) builds on ATI and examines main effects and interaction effects of instructional quality (i.e., classroom management and classroom social climate) and individual risks of school failure (i.e., demographic risk: immigration background or functional risk: low cognitive ability scores) on students’ science competence. Based on hierarchical linear modeling and class-level aggregated student ratings of instructional quality, results show a positive link between classroom social climate and science competence but not for classroom management and science competence. As its most important finding, our study demonstrates the compensatory capacity of instructional quality to narrow the achievement gap between students at risk and their peers. Furthermore, classroom management also counteracted risk of school failure when controlling for students’ language proficiency. (DIPF/Orig.) Im Rahmen von Forschung zu gutem Unterricht wurden Unterrichtsqualitätsmerkmale identifiziert, die mit dem Lernerfolg von Schülerinnen und Schülern verbunden sind. Diese beinhalten bspw. strukturell-organisatorische Aspekte, wie Classroom Management, oder affektive Aspekte, wie das Klassenklima. Dass der Lernerfolg nicht nur von Unterrichtsmerkmalen, sondern auch von deren Wechselspiel mit den individuellen Lernervoraussetzungen abhängt, ist Thema der Forschung zu Aptitude-Treatment-Interactions (ATI). Gegenwärtig erfährt diese Forschung erneute Aufmerksamkeit und bestätigende empirische Befunde. Diese Studie an deutschen Grundschulen (1041 Kinder aus 54 Klassen) knüpft daran an und prüft Haupt- und Interaktionseffekte von Unterrichtsqualitätsmerkmalen (Classroom Management und Klassenklima) sowie individuellen Lernvoraussetzungen (Migrationshintergrund oder geringe kognitive Grundfähigkeiten) für die naturwissenschaftliche Kompetenz von Grundschulkindern. Ergebnisse aus Mehrebenenanalysen zeigen einen positiven Zusammenhang zwischen Klassenklima und naturwissenschaftlicher Kompetenz, nicht aber zwischen Classroom Management und naturwissenschaftlicher Kompetenz. Darüber hinaus zeigten sich Interaktionseffekte zwischen Unterrichtsqualitäts- und Schülermerkmalen dahingehend, dass Unterrichtsqualität einen ausgleichenden Effekt auf die Leistungen von Kindern mit ungünstigen Lernvoraussetzungen und diejenigen ihrer Mitschülerinnen und Mitschüler ausübte. Dieser kompensatorische Effekt zeigte sich für Classroom Management auch nach Kontrolle sprachlicher Kompetenzen. (DIPF/Orig.)

Developmental Review 39 (2016) 1, S. 37-63, A core component of scientific inquiry is the ability to evaluate evidence generated from controlled experiments and then to relate that evidence to a hypothesis or theory. The control-of-variables strategy (CVS) is foundational for school science and scientific literacy, but it does not routinely develop without practice or instruction. This meta-analysis summarizes the findings from 72 intervention studies at least partly designed to increase students' CVS skills. By using the method of robust meta-regression for dealing with multiple effect sizes from single studies, and by excluding outliers, we estimated a mean effect size of g = 0.61 (95% CI = 0.53–0.69). Our moderator analyses focused on design features, student characteristics, instruction characteristics, and assessment features. Only two instruction characteristics – the use of cognitive conflict and the use of demonstrations – were significantly related to student achievement. Furthermore, the format of the assessment instrument was identified as a major source of variability between study outcomes. Implications for teaching and learning science process skills and future research are discussed.

Der Beitrag beschäftigt sich mit dem Thema leistungsangemessener Benotung durch Lehrkräfte am Ende der 4. Schulstufe der österreichischen Volksschule anhand einer mehrebenenanalytischen Betrachtung von Effekten der Leistungszusammensetzung von Klassen auf individuelle Noten. Die Analysen erfolgten mit Daten aus der 2013 vom Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens (BIFIE) durchgeführten Bildungsstandardüberprüfung Mathematik 4 (N = 73.655). Neben der individuellen Testleistung und der Leistungszusammensetzung der Klasse wurden das Geschlecht, der sozioökonomische Status (SES) und der Migrationshintergrund der Schüler/innen berücksichtigt. Insgesamt ergab sich ein mittels logistischer Regressionen berechneter Zusammenhang zwischen Testleistung und Note von über 0,60. Demnach gelingt es Lehrkräften über Klassen und Schulen hinweg recht gut, die Leistungsrangfolge von Primarstufenschüler/inne/n mit Noten abzubilden. Darüber hinaus zeigten sich aber auch Referenzgruppeneffekte sowie eine weniger leistungsadäquate Benotungen von besonders leistungsschwachen und besonders leistungsstarken Schüler/inne/n. Zudem fanden sich positive Abweichungen der Noten von den Testleistungen bei Schüler/inne/n aus Elternhäusern mit höherem SES und negative bei jenen mit Migrationshintergrund (nur innerhalb von Klassen). Keine systematischen Abweichungen der Noten von den Testleistungen ergaben sich in Abhängigkeit vom Geschlecht. (DIPF/Orig.), This article addresses the issue of performance-appropriate marks for pupils in Austrian elementary schools at the end of fourth grade, based upon a multilevel analysis including the effect of the performance composition of classes on individual marks. The analyses were performed using data from the 2013 Learning Standards Assessment Mathematics 4 (N = 73,655) conducted by the Federal Institute for Educational Research, Innovation and Development of the Austrian School System (BIFIE). In addition to individual test performance and the performance composition of classes, gender, socio-economic status (SES), and the immigrant backgrounds of pupils were taken into account. Overall, logistic regressions reveal a relationship higher 0,60 between test performance and marks. This means that teachers were fairly successful in matching the performance rankings of primary school pupils with marks across classes and schools. However, the results also indicate the less-than-adequate evaluation of particularly low-performing and highperforming students. In addition, a positive deviation of marks compared to test performance was found for students from families with higher SES, and a negative deviation for students with immigrant backgrounds (within classes only). No systematic deviation of marks compared to test performance was found in relation to gender. (DIPF/Orig.)

Large-scale assessments in education 4 (2016) 1, S. 1-19, English language proficiency is considered a basic skill that students from different language backgrounds are expected to master, independent of whether they are native or non-native speakers. Tests that measure language proficiency in non-native speakers are typically linked to the common European framework of reference for languages. Such tests, however, often lack the criteria to define a practically relevant degree of proficiency in English. We approach this deficit by assessing non-native speakers’ performance within a native speakers’ framework.

Im Beitrag wird erörtert, wie man die Bewertung gesellschaftlicher Auswirkungen anwendungsorientierter Forschung verbessern kann. Ausgangspunkt ist hier eine doppelte Herausforderung: Einerseits werde der gesellschaftliche Impact von Forschungsvorhaben erst mit zeitlicher Verzögerung und damit jenseits des Projekthorizonts messbar. Zum anderen würden leicht zugängliche Daten wie Publikations- und Zitationsindices der Komplexität gesellschaftlicher Auswirkungen nicht gerecht. Die AutorInnen schlagen hier ein von den jeweiligen Forschungsförderern organisiertes, nachgelagertes Evaluationsverfahren vor, dass insbesondere auch die Stakeholder-Perspektive berücksichtigt. In einem solchen Verfahren führen die Förderer bereits während der Förderphase ein Forschungsinformationssystem ein, das mit projektrelevanten Daten und später auch mit Evaluationsergebnissen zu befüllen ist. Die Evaluationen sollten für alle Projekte durch unabhängige GutachterInnen drei Jahre nach Projektende erfolgen. Der Aufwand einer solchen Impact-Messung rentiere sich dann, wenn deren Ergebnisse im Wissenschaftssystem Relevanz für die Reputationszuweisung- und Qualitätssicherung gewinnen und damit wissenschaftsinterne Anreize für gesellschaftliche Leistungen erzeugen würden. (HoF/Text übernommen)

Erstmalig werden in einer Längsschnittstudie Ganztagsschuleffekte unter Berücksichtigung der Lernausgangslage sowie sozialer Herkunftsmerkmale untersucht und die Wirkungen konkret besuchter Angebote und deren Qualität geprüft. Anhand der Daten von 2149 Schüler/-innen werden Entwicklungen ihrer Kompetenzen in Naturwissenschaften und ihres sachunterrichtsbezogenen Selbstkonzepts vom dritten bis vierten Schuljahr betrachtet. Die Ergebnisse zeigen, dass die Teilnahme an domänenspezifischen Lernangeboten keinen Effekt auf die Entwicklung von Naturwissenschaftskompetenz und sachunterrichtsbezogenem Selbstkonzept hat. Auch eine positiver bewertete Angebotsqualität fördert die Kompetenzentwicklung der Schüler/-innen im Bereich Naturwissenschaften nicht. Allerdings gibt es Hinweise, dass sich eine höhere Angebotsqualität günstig auf die Entwicklung des sachunterrichtsbezogenen Selbstkonzepts bei Kindern aus sozial benachteiligten Familienkontexten auswirkt. (DIPF/Orig.), Based on longitudinal data from 2149 students, this article addresses the effects of all-day schooling in primary schools. Accounting for the students' prior achievements and their family contexts, the article investigates whether taking part in science-related extra-curricular activities has a supportive effect on the development of students' competencies in natural science and their self-concept in relation to the subject 'Sachunterricht' (an interdisciplinary subject which includes contents of different natural science domains; Ohle, Boone & Fischer, 2014) from grade three to four. The analysis reveals that taking part in natural science-related extra-curricular activities neither affects the development of scientific competencies nor the development of self-concept. Even extra-curricular activities that are rated to be of higher quality do not support the development of scientific competencies. However, the study indicates that higher quality extra-curricular activities positively affect the subject-related self-concept of students from socially deprived family contexts. (DIPF/Orig.)

Im Beitrag wurde geprüft, inwieweit die im IQB-Ländervergleich 2011 in der Primarstufe eingesetzten Kompetenztests in Deutsch und Mathematik dazu geeignet sind, auch die Kompetenzen von Schülerinnen und Schülern mit sonderpädagogischem Förderbedarf (SPF) adäquat zu erfassen. Dazu wurden der Anteil fehlender Werte, die Passung des Raschmodells, differenzielle ltemfunktionalität und Korrelationen der Testwerte zwischen den Schülergruppen mit SPF in Förder- und Grundschulen und Kindern ohne SPF analysiert. Die eingesetzten Tests scheinen die schulischen Kompetenzen von Kindern mit SPF reliabel und valide zu erfassen. Allerdings zeigten sich Einschränkungen hinsichtlich der Vergleichbarkeit der Messungen für Kinder in Förderschulen in Mathematik. (DIPF/Orig.), In 2011, students with special educational needs (SEN) were part of the sample of the National Assessment Study (IQB-Ländervergleich 2011) in primary schools. The study examines if the achievement tests in German and Mathematics are also suited to assess SEN students' proficiencies. To evaluate the structural validity of the achievement tests for SEN students in special education and regular schools, missing patterns, the fit of the Rasch model, differential item functioning, and correlations of the test scores were analyzed. Results show that the achievement tests captured the same proficiencies in similar ways for SEN students compared to students without SEN. However, comparability of the achievement tests in Mathematics was reduced for students in special education schools. (DIPF/Orig.)

CEPS Journal 6 (2016) 1, S. 49-70, The article introduces learners between two age groups: childhood and adulthood. The aim of the author is to analyse the writing skills of French primary school learners – mostly 14 years old – and to determine which descriptors could be used to assess them. The article begins with a presentation of the learners’ characteristics and continues with a review of the position of the French language in Slovenian primary schools, where French is taught as a second foreign language and an elective subject. Since French is a rather infrequent subject in primary schools, it is difficult to obtain comparable materials. Finally, 36 written compositions from the national French competition serve as the basis for analysis. The detailed analysis is accompanied by a presentation of the CEFR and AYLLIT descriptors for writing, as well as reflection on which descriptors are appropriate for assessing compositions and placing them on the CEFR levels. The AYLLIT descriptors seem more relevant, as they are more explicit and appropriate for the target group. (DIPF/Orig.)

Psychological test and assessment modeling 58 (2016) 4, S. 641-670, Position effects (PE) in school achievement tests are a specific kind of test context effects (TCEs) that refer to the phenomenon of items becoming more difficult, the later they are positioned in a test. Up until today, PEs have been investigated mainly in cross-sectional settings; this means that little is known about how the size of PEs changes when retesting students. In the present article, we investigate TCEs in the longitudinal extension of the PISA 2012 assessment in Germany. To this end, we propose an extension of the two-dimensional one-parameter item response model, with one dimension per measurement occasion, that includes the effects of booklets (i.e., test forms) on item clusters (i.e., item bundles) that are allowed to vary between assessment occasions and groups (school types). Results indicate that the TCEs uncovered in all domains tested (mathematics, science, and reading) are closely in line with PEs, with reading being most strongly affected, and mathematics being least affected. The size of PEs increased in the second assessment, although the domains were differently affected. This pattern of effects was more pronounced in nonacademic school types. Finally, estimates of average achievement gains appeared to be underestimated by IRT models that neglected TCEs, with differences being largest in domains most strongly affected by PEs (i.e., science and reading).

Empirische Sonderpädagogik 8 (2016) 4, S. 346-366, Schülerinnen und Schüler sollten arithmetische Operationen am Ende der Grundschulzeit sicher beherrschen (Humbach, 2009; Moser Opitz, 2009), damit eine gesicherte Grundlage für den weiteren mathematischen Kompetenzerwerb in der Sekundarstufe I besteht (Bos et al., 2007). An Lehrkräfte wird die Forderung gestellt, Lernverläufe sensibel zu dokumentieren (Strathmann & Klauer, 2010). Diese Dokumentation stellt jedoch für viele Grundschullehrkräfte eine große Herausforderung dar (Knopp & Hartke, 2010). Eine evidenzbasierte Möglichkeit des Monitorings von Lernverläufen sind dabei curriculumbasierte Messverfahren (Hartke & Diehl, 2013). In Form von Kurztests, die den Standards der wissenschaftlichen Güte entsprechen, kann die Leistungsentwicklung in einer spezifischen schulischen Domäne erhoben und dokumentiert werden. Im vorliegenden Beitrag wird ein solches curriculumbasiertes Messverfahren für das Fach Mathematik für die Jahrgangsstufe 4, das anhand eines Konstruktionsleitfadens entwickelt wurde, vorgestellt und der Überprüfung der Güte unterzogen. Die Ergebnisse zeigen, dass es sich um ein valides und reliables Instrument zur Messung des Lernverlaufs handelt. (DIPF/Orig.), When leaving primary school, pupils should be able to master arithmetical operations (Humbach, 2009; Moser Opitz, 2009), a skill that will serve as a basis for additional mathematical skills acquisition (Bos et al., 2007). Teachers need to monitor children’s progress sensitively (Strathmann & Klauer, 2010). However, this is very challenging for many teachers at primary schools (Knopp & Hartke, 2010). One evidence-based method to monitor children’s progress is curriculum-based measurement (cbm) (Hartke & Diehl, 2013). These short tests that meet scientific standards document and assess school student’s learning process in a specific scholastic domain. In this paper a cbm that was developed by using a guideline for the school subject maths for grade four, and its psychometric criteria are presented. Analyses confirm that the developed cbm is a valid and reliable instrument to document learning process. (DIPF/Orig.)

Mit Bezug auf die UN-Kinderrechtskonvention von 1989 und das Manifest "Kinderrechte, Demokratie und Schule" (Krappmann u. a. 2016) werden Anforderungen an die Selbst- und Mitbestimmung von Kindern in der Schule bis hin zum Fachunterricht im Sinne einer „pädagogischen Leistungskultur“ (Grundschulverband 2005-2007) formuliert und begründet. Am Beispiel verschiedener Formen der Leistungsbeurteilung wird veranschaulicht, wie selbst in diesem Bereich die Prinzipien der Mehrperspektivität und einer dialogischen Rollenbeziehung schon in der Grundschule umgesetzt werden können.

Auf der Folie der „Taxonomie von Unterrichtsmethoden“ (Baumgartner 2014) entwickelt dieser Beitrag eine Taxonomie von Feedbackformen von Multiple-Choice-Tests für Online-Lernen. Am Beispiel von Moodle werden sechs Grundtypen (Feedback-Modelle) zu zehn konkreten Anwendungsfällen (Feedback-Muster) ausgearbeitet und ihre Umsetzung in Moodle gezeigt. Dieser Text wird durch einen Moodle-Kurs ergänzt, der diese zehn Feedback-Muster demonstriert. (DIPF/Orig.)

Der Artikel führt in den thematischen Schwerpunkt des Heftes ein und stellt die einzelnen Beiträge kurz vor. (HoF/Text übernommen)

Leistungsbewertung gehört zu einer der zentralen Aufgaben von Lehrer/-innen. Unterschiedliche Testverfahren dienen dazu, Wissen gezielt zu überprüfen. Dabei kann zwischen Aneignung und Leistungsüberprüfung zumindest zeitlich trennscharf unterschieden werden: die Wissensaneignung geht der Wissensüberprüfung notwendig voraus. Jenseits expliziter Leistungsmessungen jedoch lassen sich die Vermittlung von Unterrichtsgegenständen sowie die Feststellung und Bewertung von Leistungen der Schüler/-innen nicht voneinander trennen. Während diese im Unterricht unausgesetzt aufgefordert sind, Leistungen zu erbringen, muss ihnen Gelegenheit dazu didaktisch erst eröffnet werden. Das geschieht nicht allein durch Tests und Leistungskontrollen, sondern auch durch die Aufforderung zur mündlichen Beteiligung am Unterricht. In dieser Perspektive dient didaktisches Handeln nicht allein der Vermittlung im Sinne der wechselseitigen Erschließung von Subjekt und Sache, sondern zugleich der Evaluation von Leistungen. Diese wiederum referiert pädagogisch-normativ auf die individuelle Aneignungsleistung der Schüler/- innen und gesellschaftlich-funktional auf deren Leistungsstand im sozialen Gefüge der Schulklasse. Im folgenden Beitrag wird eine Forschungsperspektive skizziert, die einen möglichen Zugang zur Erschließung der inneren Strukturlogik von Bewertungspraktiken durch die sequenzanalytische Rekonstruktion des komplexen Zusammenspiels von Vermittlung und Bewertung als einer widersprüchlichen Handlungseinheit im Unterricht eröffnet. (DIPF/Orig.), Performance evaluation is one of the central tasks of teachers. Various different testing methods are used to examine specific knowledge. It is possible to clearly distinguish between acquisition and performance review, at least chronologically: knowledge acquisition necessarily precedes knowledge review. Beyond explicit performance assessments, however, it is not possible to differentiate between the teaching of the curriculum and the identification and evaluation of student performance. While students are constantly encouraged to perform during lessons, they must first be given the didactic opportunity to do so. This is achieved not just with tests and performance reviews, but also by encouraging students to take part in class discussions. From this perspective, didactic action is not just part of teaching in the sense of the reciprocal development of subject and object, but it is also at the same time part of the evaluation of performance. In turn, this is related in a pedagogical-normative way to individual students' acquisition performance, and in a social-functional way to students' performance levels in the social context of the classroom. This paper outlines a research perspective that introduces a possible approach to analysing the internal structural logic of evaluation practices by carrying out a sequence-analytical reconstruction of the complex interplay of teaching and evaluation as a self-contradictory unity of action in the classroom. (DIPF/Orig.)

Im Jahr 2015 beteiligte sich Deutschland zum dritten Mal an der Grundschuluntersuchung Trends in International Mathematics and Science Study (TIMSS 2015). Mit TIMSS werden alle vier Jahre die Fachleistungen von Schülerinnen und Schülern der vierten Jahrgangsstufe in den Bereichen Mathematik und Naturwissenschaften im internationalen Vergleich untersucht. An TIMSS 2015 waren - neben Deutschland - weltweit 47 Staaten und Regionen als reguläre Teilnehmer mit Schülerinnen und Schülern der vierten Jahrgangsstufe beteiligt. In diesem Band werden die Ergebnisse von TIMSS 2015 für die Bildungsdiskussion in Deutschland erschlossen. Die Ergebnisse des internationalen Vergleichs werden vor dem Hintergrund von Themen dargestellt, die das Lehren und Lernen an Grundschulen in Deutschland verändert und den Bildungsdiskurs der letzten Jahre besonders geprägt haben. Im Fokus stehen neben der Betrachtung von Schülerleistungen in Mathematik und Naturwissenschaften im internationalen Vergleich Leistungsdisparitäten zwischen Jungen und Mädchen sowie Kindern unterschiedlicher sozialer und kultureller Herkunft. Darüber hinaus werden zentrale Lehr- und Lernbedingungen in den Blick genommen, wobei Gestaltungsmerkmale des Unterrichts und die Aus- und Fortbildung von Lehrkräften, Lernbedingungen an Ganztagsschulen sowie die Inanspruchnahme von Nachhilfe differenziert betrachtet werden. Darüber hinaus werden der Übergang von der Grundschule in die Sekundarstufe I und soziale Kompetenzen von Grundschulkindern untersucht. Mit vertiefenden Analysen und der Einordnung der Ergebnisse in den aktuellen Forschungsstand stellt der Band eine differenzierte und anschlussfähige Bestandsaufnahme zur Qualität mathematischer und naturwissenschaftlicher Bildung in der Grundschule dar und nimmt Entwicklungen seit 2007 in den Blick. Dieser Bericht wendet sich somit an eine Leserschaft, die an bildungspolitischen, pädagogischen und fachdidaktischen Fragestellungen interessiert ist.

Die Thematik 'Schulische Inklusion' wird im vorliegenden Beiheft unter vier Perspektiven beleuchtet, die sowohl grundlagentheoretische als auch Steuerungs- und Professionalisierungprozesse in den Blick nehmen. Zunächst wird differenztheoretisch die Herstellung von Unterschieden in Schulen und Schulklassen beleuchtet. Zweitens werden mit einer governancetheoretischen Analyse Implementierungsprozesse des Programms Inklusion in Schulen untersucht. Drittens werden Facetten der hiermit verbundenen Professions- und Unterrichtsentwicklungen betrachtet sowie viertens mit der Fragestellung, wie sich die Umsetzung von Inklusion in Schulen nachvollziehen lässt, messtheoretische Probleme beleuchtet. (DIPF/Verlag)

Im Jahr 2011 fielen erstmalig die Erhebungszeitpunkte der Studien IGLU (Internationale Grundschul-Lese-Untersuchung) und TIMSS (Trends in International Mathematics and Science Study) zusammen. Mit diesem Handbuch werden die im Rahmen beider Studien in Deutschland eingesetzten Befragungsinstrumente dokumentiert. Dieser Band umfasst damit die Instrumente, die Teil des internationalen Studiendesigns sind, sowie nationale Ergänzungen für Deutschland. Deskriptive Statistiken und Skalenkennwerte der Instrumente ermöglichen eine Einschätzung der Verteilungen von Angaben sowie der Datenqualität. Um die Arbeit mit den Datensätzen der Studien zu erleichtern, werden zudem System-, Organisations- und Linkingvariablen sowie generierte Indizes dokumentiert. Das Skalenhandbuch versteht sich als Ergänzung zu Materialien, die zu den Studien von der internationalen Studienleitung an anderer Stelle umfassend dokumentiert sind. Es soll die Arbeit mit den Datensätzen beider Studien erleichtern. (DIPF/Orig.)

The shift from decentralized to centralized A-level examinations (Abitur) was implemented in the German school system as a measure of Educational Governance in the last decade. This reform was mainly introduced with the intention of providing higher comparability of school examinations and student achievement as well as increasing fairness in school examinations. It is not known yet if these ambitious aims and functions of the new centralized examination format have been achieved and if fairer assessment can be guaranteed in terms of providing all students with the same opportunities to pass the examinations by allocating fair tests to different student subpopulations e.g., students of different background or gender. The research presented in this article deals with these questions and focuses on gender differences. It investigates gender-specific fairness of the test items in centralized Abitur examinations as high school exit examinations in Germany. The data are drawn from Abitur examinations in English (as a foreign language). Differential item functioning (DIF) analysis reveals that at least some parts of the examinations indicate gender inequality. (DIPF/Orig.), Die fast flächendeckende Implementation des Zentralabiturs in Deutschland als Maßnahme im Kontext der Neuen Steuerung im Bildungswesen ist eng mit dem Ziel verbunden, die Vergleichbarkeit von Schulabschlüssen und schulischen Leistungen insgesamt zu erhöhen und durch zentrale Prüfungen die Fairness von Leistungsfeststellungen im Sinne der Komparabilitätsfunktion zentraler Prüfungsformate zu sichern. Bisher ist jedoch nicht bekannt und untersucht, ob das Zentralabitur diesen Ansprüchen tatsächlich gerecht wird und die vorgenannten Funktionen so erfüllt, dass eine faire Leistungsmessung für unterschiedliche Schülersubgruppen gegeben ist. Auf der Grundlage von Daten zu differenzierten Schülerergebnissen zum Zentralabitur im Fach Englisch untersucht dieser Beitrag exemplarisch die geschlechtsspezifische Fairness von Abitur aufgaben. Eine Differential-Item-Functioning-Analyse (DIF-Analyse) zeigt, dass zumindest ein Teil der eingesetzten Aufgaben auf eine geschlechtsspezifische Ungleichbehandlung durch die Aufgabenstellung hinweist. (DIPF/Orig.)

The aim of the present study was to examine the effect of the systematic use of comics as a literary-didactic method to reduce gender differences in reading literacy and reading motivation at the primary level of education. It was assumed that the use of comics would have a positive effect on pupils’ reading literacy and reading motivation, while also reducingthe aforementioned differences between boys and girls. The dimensions of reading literacy and reading motivation were examined in experimental and control groups, before and after the intervention, by means of questionnaires and tests for pupils. The sample consisted of 143 pupils from second to fifth grade from two Slovenian primary schools in a rural environment, of which 73 pupils participated in the experimental group and 70 pupils represented the control group. Effects of the use of comics as a literary-didactic method were not found: using comics as a literary-didactic method did not have a statistically significant effect on pupils’ reading literacy and reading motivation. However, when the four-way structureof the research (taking into account the age and gender of the pupils) was considered, some subgroups showed a statistically significant increase in reading interest and attitude towards reading. No reduction of gender differences in reading literacy and reading motivation was found. Based on the results, guidelines for further research are established and suggestionsare offered for teachers’ work.

Sammelrezension von: 1. Bettina Amrhein (Hrsg.): Diagnostik im Kontext inklusiver Bildung. Theorien, Ambivalenzen, Akteure, Konzepte. Bad Heilbrunn: Klinkhardt 2016 (317 S.; ISBN 978-3-7815-2078-3; 21,90 EUR). 2. Holger Schäfer / Christel Rittmeyer (Hrsg.): Handbuch inklusive Diagnostik. Weinheim / Basel: Beltz 2015 (608 S.; ISBN 978-3-407-83187-3; 49,90 EUR).