The Final Oral/Practical State Examination at Freiburg Medical Faculty in 2012 - Analysis of grading to test quality assurance

Aim: The aim of this study is to analyze the grades given for the oral/practical part of the German State Examination at the Medical Faculty of Freiburg. We examined whether or not the grades given for the written and the oral/practical examinations correlated and if differences in grading between the Freiburg University Medical Center (UMC) and the other teaching hospitals could be found.In order to improve the quality of the state examination, the medical school has been offering standardized training for examiners for several years. We evaluated whether or not trained and untrained examiners differed in their grading of the exam and how these differences have changed over time.Methods: The results of the 2012 spring and fall exams were analyzed (N=315). The relevant data set was made available to us by the Baden-Württemberg Examination Office (Landesprüfungsamt ). The data were analyzed by means of descriptive and inferential statistics.Results: We observed a correlation of rho=0.460** between the grades for the written and the oral/practical exams. The UMC and the teaching hospitals did not differ significantly in their grade distributions. Compared to untrained examiners, trained ones assigned the grade of "very good" less often. Furthermore, they displayed a significantly higher variance in the grades given (p=0.007, phi=0.165). This effect is stronger when concentrating specifically on those examiners who took part in the training less than a year before.Conclusion: The results of this study suggest that the standardized training for examiners at the Medical Faculty of Freiburg is effective for quality assurance. As a consequence, more examiners should be motivated to take part in the training.
Zielsetzung: Von der Medizinischen Fakultät Freiburg werden verschiedene Maßnahmen zur Qualitätssicherung des mündlich-praktischen Teils des Zweiten Abschnitts der Ärztlichen Prüfung (M2) betrieben. Insbesondere werden die Prüfenden in einem Baden-Württemberg-weit standardisierten M2-Prüferworkshop fortgebildet.Ziel der vorliegenden Studie war es die Notenvergabe zu analysieren. Es wurde geprüft, welcher Zusammenhang zwischen der schriftlichen und der mündlich-praktischen Notenvergabe besteht und ob sich ein Unterschied in der Notenvergabe zwischen Universitätsklinikum (UKL) und den Akademischen Lehrkrankenhäusern (ALKs) findet. Darüber hinaus wurde untersucht, ob sich die Notenvergabe von fortgebildeten und nicht fortgebildeten Prüfenden unterscheidet und inwieweit diese Unterschiede sich im zeitlichen Abstand zum Workshop verändern. Methodik: Die analysierte Stichprobe (N=315) umfasst die Frühjahrs- und Herbstprüfungskohorte 2012. Der Datensatz wurde vom Landesprüfungsamt zur Verfügung gestellt und mittels deskriptiver und Inferenzstatistik ausgewertet.Ergebnisse: Zwischen der schriftlichen und mündlich-praktischen M2-Prüfungsnote konnte ein Zusammenhang von rho=0,460** ermittelt werden. Es konnte kein signifikanter Unterschied in der Verteilung der Noten zwischen UKL und den ALKs festgestellt werden. Die Daten zu den Variablen fortgebildete versus nicht fortgebildete Prüfende zeigen, dass Prüfende mit Absolvierung eines Prüferworkshops seltener die Note "sehr gut" sowie ein breiteres Notenspektrum vergeben. In der Verteilung der Noten zeigt sich ein signifikanter Unterschied (p=0,007, phi=0,165). Dieses Ergebnis wird deutlicher bei Betrachtung von Prüfenden, deren Workshopteilnahme nicht länger als ein Jahr zurücklag. Schlussfolgerungen: Die Ergebnisse der Analyse weisen darauf hin, dass der Prüferworkshop an der Medizinischen Fakultät Freiburg eine wirksame Qualitätssicherungsmaßnahme ist. Die Ergebnisse lassen den Schluss zu, die Prüfenden zur Absolvierung eine