Search

Systeme zur automatisierten Bewertung von Programmieraufgaben bewerten üblicherweise nicht die Codequalität. In dieser Arbeit wird an einem Praktikum mit \num{212} Studierenden empirisch untersucht, welche Relevanz diese der Codequalität beimessen und welche Relevanz verschiedene Qualitätsmetriken auf das Bestehen des Praktikums haben. Des Weiteren wird analysiert, ob diese Metriken von externen Faktoren wie dem Studiengang oder der Praktikumswiederholung beeinflusst werden.

Bei Lernprozessen spielt das Anwenden der zu erlernenden Tätigkeit eine wichtige Rolle. Im Kontext der Ausbildung an Schulen und Hochschulen bedeutet dies, dass es wichtig ist, Schülern und Studierenden ausreichend viele Übungsmöglichkeiten anzubieten. Die von Lehrpersonal bei einer "Korrektur" erstellte Rückmeldung, auch Feedback genannt, ist jedoch teuer, da der zeitliche Aufwand je nach Art der Aufgabe beträchtlich ist. Eine Lösung dieser Problematik stellen E-Learning-Systeme dar. Geeignete Systeme können nicht nur Lernstoff präsentieren, sondern auch Übungsaufgaben anbieten und nach deren Bearbeitung quasi unmittelbar entsprechendes Feedback generieren. Es ist jedoch im Allgemeinen nicht einfach, maschinelle Verfahren zu implementieren, die Bearbeitungen von Übungsaufgaben korrigieren und entsprechendes Feedback erstellen. Für einige Aufgabentypen, wie beispielsweise Multiple-Choice-Aufgaben, ist dies zwar trivial, doch sind diese vor allem dazu gut geeignet, sogenanntes Faktenwissen abzuprüfen. Das Einüben von Lernzielen im Bereich der Anwendung ist damit kaum möglich. Die Behandlung dieser nach gängigen Taxonomien höheren kognitiven Lernziele erlauben sogenannte offene Aufgabentypen, deren Bearbeitung meist durch die Erstellung eines Freitexts in natürlicher Sprache erfolgt. Die Information bzw. das Wissen, das Lernende eingeben, liegt hier also in sogenannter „unstrukturierter“ Form vor. Dieses unstrukturierte Wissen ist maschinell nur schwer verwertbar, sodass sich Trainingssysteme, die Aufgaben dieser Art stellen und entsprechende Rückmeldung geben, bisher nicht durchgesetzt haben. Es existieren jedoch auch offene Aufgabentypen, bei denen Lernende das Wissen in strukturierter Form eingeben, so dass es maschinell leichter zu verwerten ist. Für Aufgaben dieser Art lassen sich somit Trainingssysteme erstellen, die eine gute Möglichkeit darstellen, Schülern und Studierenden auch für praxisnahe Anwendungen viele Übungsmöglichkeiten zur Verfügung zu stellen, ohne das Lehrpersonal zusätzlich zu belasten. In dieser Arbeit wird beschrieben, wie bestimmte Eigenschaften von Aufgaben ausgenutzt werden, um entsprechende Trainingssysteme konzipieren und implementieren zu können. Es handelt sich dabei um Aufgaben, deren Lösungen strukturiert und maschinell interpretierbar sind. Im Hauptteil der Arbeit werden vier Trainingssysteme bzw. deren Komponenten beschrieben und es wird von den Erfahrungen mit deren Einsatz in der Praxis berichtet: Eine Komponente des Trainingssystems „CaseTrain“ kann Feedback zu UML Klassendiagrammen erzeugen. Das neuartige Trainingssystem „WARP“ generiert zu UML Aktivitätsdiagrammen Feedback in mehreren Ebenen, u.a. indem es das durch Aktivitätsdiagramme definierte Verhalten von Robotern in virtuellen Umgebungen visualisiert. Mit „ÜPS“ steht ein Trainingssystem zur Verfügung, mit welchem die Eingabe von SQL-Anfragen eingeübt werden kann. Eine weitere in „CaseTrain“ implementierte Komponente für Bildmarkierungsaufgaben ermöglicht eine unmittelbare, automatische Bewertung entsprechender Aufgaben. Die Systeme wurden im Zeitraum zwischen 2011 und 2014 an der Universität Würzburg in Vorlesungen mit bis zu 300 Studierenden eingesetzt und evaluiert. Die Evaluierung ergab eine hohe Nutzung und eine gute Bewertung der Studierenden der eingesetzten Konzepte, womit belegt wurde, dass elektronische Trainingssysteme für offene Aufgaben in der Praxis eingesetzt werden können., In learning processes, the application of skills plays a central role. In the context of education at schools and universities, this means that it is important to offer a sufficient number of practice opportunities to pupils and students. However, the feedback created by teachers at an assessment is expensive because of the amount of time involved. A solution of this problem are e-learning systems. Suitable systems can not only present learning content, but also offer exercises and generate immediate, appropriate feedback. However, it is not straightforward in general to design automatic methods that help to assess exercises and generate appropriate feedback. For or some task types, such as multiple-choice questions, this is indeed trivial. However, these are especially well suited for assessing factual knowledge. The practicing of learning objectives in the field of application is therefore hardly possible. So-called open-ended tasks allow the treatment of these (according to standard taxonomies) higher cognitive learning objectives. These tasks are usually processed by creating a free text in natural language. The information and knowledge that learners hereby show, is presented in so-called “unstructured” form. This unstructured knowledge is hardly machine-recognizable, so training systems being able to give appropriate feedback to open-ended tasks are not established. However, there are also open-ended task types in which learners present the knowledge in a structured form, which is more likely to be machine-recognizable in a sufficient way. Therefore, training systems for these tasks can be implemented, which are a great way to provide exercises to pupils and students without burdening the teaching staff. This work describes how certain properties of tasks are used to design and implement appropriate training systems. In the main part of the work, four training systems and their components are described and it is reported on the experience of their use in practice: A component of the training system "Case Train" is able to generate feedback on UML class diagrams. The novel training system "WARP" generates feedback for UML activity diagrams on several levels, including the visualization of the behavior of robots in virtual environments which before is defined by activity diagrams. "ÜPS" is a training system, with which the input of SQL queries can be practiced. Another "Case Train" component for image labeling tasks allows an immediate, automatic valuation of such tasks. The systems were used and evaluated in lectures at the University of Würzburg with up to 300 students in the period 2011-2014. The evaluation showed that students indeed use and value the systems, which is an evidence that electronic training systems for open tasks can be used in practice.

Introduction: Multiple-choice-examinations are still fundamental for assessment in medical degree programs. In addition to content related research, the optimization of the technical procedure is an important question. Medical examiners face three options: paper-based examinations with or without computer support or completely electronic examinations. Critical aspects are the effort for formatting, the logistic effort during the actual examination, quality, promptness and effort of the correction, the time for making the documents available for inspection by the students, and the statistical analysis of the examination results. Methods: Since three semesters a computer program for input and formatting of MC-questions in medical and other paper-based examinations is used and continuously improved at Wuerzburg University. In the winter semester (WS) 2009/10 eleven, in the summer semester (SS) 2010 twelve and in WS 2010/11 thirteen medical examinations were accomplished with the program and automatically evaluated. For the last two semesters the remaining manual workload was recorded. Results: The cost of the formatting and the subsequent analysis including adjustments of the analysis of an average examination with about 140 participants and about 35 questions was 5-7 hours for exams without complications in the winter semester 2009/2010, about 2 hours in SS 2010 and about 1.5 hours in the winter semester 2010/11. Including exams with complications, the average time was about 3 hours per exam in SS 2010 and 2.67 hours for the WS 10/11. Discussion: For conventional multiple-choice exams the computer-based formatting and evaluation of paper-based exams offers a significant time reduction for lecturers in comparison with the manual correction of paper-based exams and compared to purely electronically conducted exams it needs a much simpler technological infrastructure and fewer staff during the exam.

Introduction: Medical training cases (virtual patients) are in widespread use for student education. Most publications report about development and experiences in one course with training cases. In this paper we compare the acceptance of different training case courses with different usages deployed as supplement to lectures of the medical faculty of Wuerzburg university during a period of three semesters. Methods: The training cases were developed with the authoring tool CaseTrain and are available for students via the Moodle-based eLearning platform WueCampus at Wuerzburg university. Various data about usage and acceptance is automatically collected. Results: From WS (winter semester) 08/09 till WS 09/10 19 courses with about 200 cases were available. In each semester, about 550 different medical students from Würzburg and 50 students from other universities processed about 12000 training cases and filled in about 2000 evaluation forms. In different courses, the usage varied between less than 50 and more than 5000 processed cases. Discussion: Although students demand training cases as supplement to all lectures, the data show that the usage does not primarily depend on the quality of the available training cases. Instead, the training cases of nearly all case collections were processed extremely often shortly before the examination. It shows that the degree of usage depends primarily on the perceived relevance of the training cases for the examination.", Einleitung: Medizinische Trainingsfälle sind in der studentischen Ausbildung inzwischen weit verbreitet. In den meisten Publikationen wird über die Entwicklung und die Erfahrungen in einem Kurs mit Trainingsfällen berichtet. In diesem Beitrag vergleichen wir die Akzeptanz von verschiedenen Trainingsfallkursen, die als Ergänzung zu zahlreichen Vorlesungen der Medizinischen Fakultät der Universität Würzburg mit sehr unterschiedlichen Nutzungsraten eingesetzt wurden, über einen Zeitraum von drei Semestern. Methoden: Die Trainingsfälle wurden mit dem Autoren- und Ablaufsystem CaseTrain erstellt und über die Moodle-basierte Würzburger Lernplattform WueCampus den Studierenden verfügbar gemacht. Dabei wurden umfangreiche Daten über die Nutzung und Akzeptanz erhoben. Ergebnisse: Im Zeitraum vom WS 08/09 bis zum WS 09/10 waren 19 Kurse mit insgesamt ca. 200 Fällen für die Studierenden verfügbar, die pro Semester von ca. 550 verschiedenen Medizinstudenten der Universität Würzburg und weiteren 50 Studierenden anderer bayerischer Universitäten genutzt wurden. Insgesamt wurden pro Semester ca. 12000 Mal Trainingsfälle vollständig durchgespielt zu denen ca. 2000 Evaluationen von den Studierenden ausgefüllt wurden. In den verschiedenen Kursen variiert die Nutzung zwischen unter 50 Bearbeitungen in wenig frequentierten Fallsammlungen und über 5000 Bearbeitungen in stark frequentierten Fallsammlungen. Diskussion: Auch wenn Studierende wünschen, dass zu allen Vorlesungen Trainingsfälle angeboten werden, zeigen die Daten, dass der Umfang der Nutzung nicht primär von der Qualität der verfügbaren Trainingsfälle abhängt. Dagegen werden die Trainingsfälle in fast allen Fallsammlungen kurz vor den Klausuren extrem häufig bearbeitet. Dies zeigt, dass die Nutzung von Trainingsfällen im Wesentlichen von der wahrgenommenen Klausurrelevanz der Fälle abhängt.

Basierend auf umfangreichen Erfahrungen mit fallbasierten Trainingssystemen in der Medizin werden Anforderungen, Umsetzung und eine universitätsweite Evaluation des fachübergreifenden Players und Autorensystem für fallbasiertes Training CaseTrain präsentiert. Die wichtigsten Erfolgsfaktoren waren (1) die Falleingabe mit Standardtextsystemen und einer Webapplikation zum Upload der Falldokumente und zur Fallverwaltung, (2) die Integration mit einer Lernplattform und (3) die curriculare Integration der Trainingsfälle mit automatisierten Evaluationstechniken., GMS Medizinische Informatik, Biometrie und Epidemiologie; 5(1):Doc07; ISSN 1860-9171

Apostolopoulos, Nicolas [Hrsg.]; Hoffmann, Harriet [Hrsg.]; Mansmann, Veronika [Hrsg.]; Schwill, Andreas [Hrsg.]: E-Learning 2009. Lernen im digitalen Zeitalter. Münster ; New York ; München ; Berlin : Waxmann 2009, S. 173-184. - (Medien in der Wissenschaft; 51), Zur Verbesserung der Qualität der Lehre wurde an der Universität Würzburg eine fakultätsübergreifende Initiative für fallbasiertes Lernen gestartet. Dazu wurde mit CaseTrain eine neue Autoren- und Ablaufumgebung entwickelt, die inzwischen erfolgreich im Einsatz ist. Durch die breite Nutzung von CaseTrain ergeben sich aber auch neue Anforderungen wie etwa der Einsatz im Übungsbetrieb und zur elektronischen Prüfung. (… Die Autoren) stellen im Folgenden den aktuellen Stand des CaseTrain-Projekts sowie die geplanten Erweiterungen vor. (DIPF/ Orig.)