Gestures for Human-Machine Interaction. Design Aspects, User Experience and Impact on Driving Safety

Das Ziel der Dissertation war, zu untersuchen, welche Aspekte bei Design und Implementierung von Gestensteuerung im Bereich Mensch-Maschine Interaktion wichtig sind. Der Schwerpunkt des ersten Teiles richtet sich auf Aspekte eines Gestenvokabulars und die Frage eines zusätzlichen Feedbacks unter Bezugnahme auf Usability, mentale Belastung und Nutzerzufriedenheit. Der Schwerpunkt des zweiten Teils liegt auf den Auswirkungen von Gestensteuerung auf das Fahrverhalten. In der vorliegenden Dissertation wurden drei relevante Aspekte von Gestensteuerung herausgestellt. Experiment 1 und 2 der Vorstudie untersuchten, wie ein Gestenvokabular aussehen sollte im Hinblick auf die Form der Gesten und die Anzahl verschiedener Gesten, die in einem System implementiert werden. Als Ergebnis schnitt die höchste Anzahl an Gesten (6) in Bezug auf User Experience und Akzeptanz am besten ab. Ebenso das Gestenset, das an die menschliche Kommunikation angelehnt war. Im Unterschied zur Bedienung eines Touchscreens gibt es bei Gestensteuerung kein direktes haptisches Feedback. Aus diesem Grund wurde in Experiment 3 der Vorstudie untersucht, ob es einen Ersatz für das fehlende direkte Feedback geben sollte. Als Ergebnis kann festgehalten werden, dass alle genutzten Feedback-Varianten nicht signifikant besser abschnitten als die Variante mit keinem zusätzlichen Feedback. Die Simulator- und die VIL-Studie untersuchten den Einfluss von Gestensteuerung auf das Blickverhalten und die Reaktion auf kritische Ereignisse im Straßenverkehr. Für diesen Zweck wurde das Gestensteuerungs-Setup in einen Simulator beziehungsweise das Vehicle in the Loop (VIL) übertragen. Die Simulator-Studie konnte zeigen, dass die Fahrer weniger häufig auf das Display im Fahrzeuginneren schauten wenn sie Gestensteuerung benutzten im Vergleich zu Touchsteuerung. Außerdem fühlten sie sich sicherer und die Gebrauchstauglichkeit wurde als gut beschrieben. Die VIL-Studie konnte einen positiven Einfluss auf Reaktionszeiten auf kritische Ereignisse zeigen. Insgesamt kann damit Gestensteuerung als sichere Alternative für Interaktion im Fahrzeug bezeichnet werden, die darüber hinaus auch beliebt bei den Fahrern zu sein scheint. This thesis investigates aspects of designing and implementing gestures in human-machine interaction (HMI). The first part focuses on aspects of a gesture set and additional feedback with regard to usability, workload, and user satisfaction. The second part focuses on the impact of gesture-based interaction (GBI) on driving behavior. More specifically, this thesis identifies three elementary aspects of designing a GBI. Pre-study experiments 1 and 2 examine how a gesture set should appear in terms of the shape and number of gestures used. The results indicate that the highest number of gestures, six, performs best in terms of user experience and acceptance. However, a gesture set borrowed from human communication performs equally well. In contrast to touch-based interaction (TBI), direct haptic feedback for mid-air gestures is not present. Therefore, pre-study experiment 3 is conducted in order to determine whether a surrogate is necessary. The results of this experiment suggest that implemented forms of feedback are not rated significantly higher than special feedback. The simulator-study and VIL-study investigate the real-world impact of GBI on driver behavior in terms of gaze behavior and reaction to critical events. For this purpose, the GBI setup is transferred into a simulator environment with a Vehicle in the Loop (VIL) to evaluate GBI for IVIS use. The simulator-study demonstrates that drivers look less to the display when using GBI compared to TBI. Moreover, they feel safer, and the user experience is better rated. Therefore, GBI has a positive impact on driver distraction. The VIL-study reveals a positive impact on reaction times to critical events. In conclusion, gestures can be a safe alternative for in-car interaction, an alternative which is popular among drivers.