Hand Sign Recognition based on Myographic Methods and Random K-Tournament Grasshopper Extreme Learner

The recognition of hand signs is important for several applications. Myographic methods, such as surface electromyography (sEMG), force myography (FMG) and surface electrical impedance myography (sEIM) deliver interesting physiological signals, can build the basis for hand signs recognition and are subjected to investigation by a limited number of sensors at suitable positions and adequate signal processing algorithms for perspective implementation in wearable embedded systems. A database has been collected with measurements of American sign language (ASL) gestures at the forearm and wrist of more than 100 healthy persons in total. Novel classification methods have been developed based on Extreme Learning Machine (ELM) supported by a grasshopper optimization algorithm (GOA) as a core weight pruning process. A K-tournament selection strategy introduced to the GOA ensures its population’s diversity. The K-Tournament Grasshopper Optimization Algorithm (KTGOA) has been further improved for discrete optimization problems and implemented to select the ELM weights as a K-Tournament Grasshopper Extreme Learner (KTGEL). To improve the balance between exploration and exploitation, the balancing coefficients of the KTGEL are subjected to uniform randomization. The resulting Random K-Tournament Grasshopper Extreme Learner (RKTGEL) is a novel classifier with a simultaneously automated feature selection. In a first stage and based on the conventional ELM method, the number of sensors and their positions have been investigated. For FMG, it has been shown that 8 sensors are suitable, for sEMG, only 2 sensors are suitable and for sEIM, 4 equidistant electrodes are suitable for measurements in the frequency range from 1 kHz to 4 kHz. In a second step, different collections of hand signs having reduced ambiguity, middle ambiguity and great ambiguity have been defined and subjected to classification by the novel algorithms. Combinations between sEMG and FMG or between sEIM and FMG reach thereby an accuracy of 100% in the cases of small and medium ambiguous signs collection even with data collected from at least 20 subjects. However, for the case of a high ambiguity, a targeted reduction of ambiguity by excluding hand signs with a high similarity is necessary. From the set of 20 gestures with a high level of ambiguity and after excluding respectively one hand sign from 6 ambiguous gesture pairs and the ambiguous sign ’Z’, 13 signs remained including letters and numbers collected from 40 subjects with 2 sEMG and 8 FMG sensors. After reduction of ambiguity, the RKTGEL reached an overall accuracy of 97%.:1 Introduction 2 Hand Gesture Recognition based on Myography 3 Extreme Learning Machine 4 Random K-Tournament Grasshopper Extreme Learner 5 Data Collection and Pre-Processing 6 Implementation of the Random K-Tournament Grasshopper Extreme Learner 7 Summary and Outlook Die Handzeichenerkennung ist für verschiedene Anwendungen wichtig. Myographische Methoden, wie die Oberflächen-Elektromyographie (sEMG), die Kraft-Myographie (FMG) und die Oberflächen-Elektrische-Impedanz-Myographie (sEIM) liefern interessante physiologische Signale, die die Grundlage für die Erkennung von Handzeichen bilden können und mit einer begrenzten Anzahl von Sensoren an geeigneten Positionen und geeigneten Signalverarbeitungsalgorithmen für eine perspektivische Implementierung in tragbare eingebettete Systeme untersucht werden müssen. Eine Datenbank mit Messungen von Gesten der amerikanischen Gebärdensprache (ASL) am Unterarm und Handgelenk von insgesamt mehr als 100 gesunden Personen wurde erhoben. Neuartige Klassifizierungsmethoden wurden entwickelt, die auf einer Extreme Lernmaschine (ELM) basieren, unterstützt durch einen Grashüpfer-Optimierungsalgorithmus (GOA) als zentralen Prozess für das Verbindungspruning. Eine K-Tournament-Auswahlstrategie, die in den GOA eingeführt wurde, gewährleistet die Diversität seiner Population. Der K-Tournament-Grashüpfer-Optimierungsalgorithmus (KT-GOA) wurde für diskrete Optimierungsprobleme weiter verbessert und zur Auswahl der ELM-Gewichte als K-Tournament-Grashüpfer-Extrem-Lerner (KTGEL) implementiert. Um das Gleichgewicht zwischen Exploration und Exploitation zu verbessern, werden die Ausgleichskoeffizienten des KTGEL einer gleichmäßigen Randomisierung unterzogen. Der resultierende 'Random K-Tournament Grasshopper Extreme Learner (RKTGEL)' ist ein neuartiger Klassifikator mit einer gleichzeitig automatisierten Merkmalsselektion. In einem ersten Schritt und basierend auf der konventionellen ELM-Methode wurden die Anzahl der Sensoren und deren Positionen untersucht. Für FMG hat sich gezeigt, dass 8 Sensoren geeignet sind, für sEMG sind nur 2 Sensoren geeignet und für sEIM sind 4 äquidistante Elektroden für Messungen im Frequenzbereich von 1 kHz bis 4 kHz geeignet. In einem zweiten Schritt wurden verschiedene Kollektionen von Handzeichen mit reduzierter Mehrdeutigkeit, mittlerer Mehrdeutigkeit und großer Mehrdeutigkeit definiert und durch die neuartigen Algorithmen einer Klassifizierung unterzogen. Kombinationen zwischen sEMG und FMG bzw. zwischen sEIM und FMG erreichen dabei in den Fällen der klein- und mittelmehrdeutigen Zeichensammlung selbst bei Daten von mindestens 20 Probanden eine Genauigkeit von insgesamt 100%. Für den Fall einer hohen Mehrdeutigkeit ist jedoch eine gezielte Reduktion der Mehrdeutigkeit durch Ausschluss von Handzeichen mit hoher Ähnlichkeit notwendig. Aus der Menge von 20 Gesten mit hoher Mehrdeutigkeit und nach Ausschluss von jeweils einem Handzeichen aus 6 mehrdeutigen Gestenpaaren und dem mehrdeutigen Zeichen ’Z’ blieben 13 Zeichen, darunter Buchstaben und Zahlen, die von 40 Probanden mit 2 sEMG- und 8 FMG-Sensoren erhoben wurden. Nach der Reduzierung der Mehrdeutigkeit erreichte das RKTGEL eine Gesamtgenauigkeit von 97%.:1 Introduction 2 Hand Gesture Recognition based on Myography 3 Extreme Learning Machine 4 Random K-Tournament Grasshopper Extreme Learner 5 Data Collection and Pre-Processing 6 Implementation of the Random K-Tournament Grasshopper Extreme Learner 7 Summary and Outlook