Successful implementation of a rater training program for medical students to evaluate simulated pediatric emergencies

Introduction: Simulation-based training is increasingly used in pediatrics to teach technical skills, teamwork, and team communication, and to improve potential deficiencies in pediatric emergency care. Team performance must be observed, analyzed, and evaluated by trained raters. The structured training of medical students for the assessment of simulated pediatric emergencies has not yet been investigated. Methods: We developed a rater training program for medical students to assess guideline adherence, teamwork, and team communication in simulated pediatric emergencies. Interrater reliability was measured at each training stage using Kendall tau coefficients.Results: In 10 out of 15 pairs of raters interrater reliability was moderate to high (tau>0.4), whereas it was low in the remaining 5 pairs of raters.Discussion: The interrater reliability showed good agreement between medical students and expert raters at the end of the rater training program. Medical students can be successfully involved in the assessment of guideline adherence as well as teamwork and team communication in simulated pediatric emergencies.
Einleitung: Auf Simulation basierende Schulungsformate werden zunehmend in der Pädiatrie eingesetzt, um technische Fertigkeiten, Teamarbeit und Teamkommunikation zu trainieren und Defizite in pädiatrischen Notfallversorgungen zu verbessern. Geschulte Beobachter*innen sind notwendig, um dies im Rahmen simulierter Notfallsituationen zu erfassen, zu analysieren und zu beurteilen. Die strukturierte Schulung von Medizinstudierenden zur Beurteilung pädiatrischer Notfallsituationen im Rahmen von Simulationstrainings wurde bisher nicht untersucht. Methoden: Entwicklung eines mehrstufigen Beobachtertrainings für Medizinstudierende zur Bewertung der Leitlinienadhärenz, sowie der Teamarbeit und -kommunikation. Die Interrater-Reliabilität wurde in jeder Stufe des Trainings durch die Bestimmung von Kendall tau-Koeffizienten ermittelt.Ergebnisse: In 10 von 15 Beobachterpaaren wurde eine moderate bis hohe Interrater-Reliabilität gezeigt (tau>0,4), in den übrigen 5 Beobachterpaaren eine schwache Übereinstimmung.Diskussion: Die Interrater-Reliabilität zeigte nach Beendigung des Beobachtertrainings eine gute Übereinstimmung zwischen den Beobachter*innen. Medizinstudierende können demnach erfolgreich in die Evaluation der Leitlinienadhärenz sowie der Teamarbeit und -kommunikation einbezogen werden.