Reconnaissance des intéractions humaines avec l'objet

In this thesis, we have investigated the human object interaction recognitionby using the skeleton data and local depth information provided byRGB-D sensors. There are two main applications we address in this thesis:human object interaction recognition and abnormal activity recognition.First, we propose a spatio-temporal modeling of human-object interactionvideos for on-line and off-line recognition. In the spatial modelingof human object interactions, we propose low-level feature and object relateddistance feature which adopted on on-line human object interactionrecognition and abnormal gait detection. Then, we propose object feature,a rough description of the object shape and size as new features tomodel human-object interactions. This object feature is fused with thelow-level feature for online human object interaction recognition. In thetemporal modeling of human object interactions, we proposed a shapeanalysis framework based on low-level feature and object related distancefeature for full sequence-based off-line recognition. Experiments carriedout on two representative benchmarks demonstrate the proposed methodare effective and discriminative for human object interaction analysis.Second, we extend the study to abnormal gait detection by using theon-line framework of human object interaction classification. The experimentsconducted following state-of-the-art settings on the benchmarkshows the effectiveness of proposed method.Finally, we collected a multi-view human object interaction dataset involvingabnormal and normal human behaviors by RGB-D sensors. Wetest our model on the new dataset and evaluate the potential of the proposedapproach.; Dans cette thèse, nous avons étudié la reconnaissance des actions quiincluent l’intéraction avec l’objet à partir des données du skeleton et desinformations de profondeur fournies par les capteurs RGB-D. Il existedeux principales applications que nous abordons dans cette thèse: lareconnaissance de l’interaction humaine avec l’objet et la reconnaissanced’une activité anormale.Nous proposons, dan un premier temps, une modélisation spatiotemporellepour la reconnaissance en ligne et hors ligne des intéractionsentre l’humain et l’objet. Dans la modélisation spatiale, nous proposonsdes caractéristiques de bas niveau liés à la distance entre les points duskeleton et la distance entre l’objet et les points du skeleton. Ces caractéristiquesont été adoptées pour la reconnaissance en ligne des intéractionshumaines avec l’objet et pour la détection de la démarche anormale.Ensuite, nous proposons des caractéristiques liées à d’objet qui décriventapproximativement la forme et la taille de l’objet. Ces caractéristiques sontfusionnées avec les caractéristiques bas-niveau pour la reconnaissance enligne des intéractions humaines avec l’objet. Dans la modélisation temporelle,nous avons proposé un framework élastique pour aligner les trajectoiresdes distances dans le temps afin de permettre une reconnaissancehors ligne invariante au taux d’exécution. Les expériences menées surdeux benchmarks démontrent l’efficacité de la méthode proposée. Dans ledeuxième volet de ce travail, nous étendons l’étude à la détection de la démarcheanormale en utilisant le cadre en ligne l’approche. Afin de validerla robustesse de l’approche à la pose, nous avons collecté une base multivuespour des intéractions humaines avec l’objet, de façon normale etanormale. Les résultats expérimentaux sur le benchmark des actions anormalesfrontales et sur la nouvelles base prouvent l’efficacité de l’approche.