Search

Feature selection is a preprocessing step crucial to the performance of machine learning algorithms. It allows reducing computational costs, improving classification performances and building simple and understandable models. Recently, using pairwise constraints, a cheaper kind of supervision information that does not need to reveal the class labels of data points, received a great deal of interest in the domain of feature selection. Accordingly, we first proposed a semi-supervised margin-based constrained feature selection algorithm called Relief-Sc. It is a modification of the well-known Relief algorithm from its optimization perspective. It utilizes cannot-link constraints only to solve a simple convex problem in a closed-form giving a unique solution. However, we noticed that in the literature these pairwise constraints are generally provided passively and generated randomly over multiple algorithmic runs by which the results are averaged. This leads to the need for a large number of constraints that might be redundant, unnecessary, and under some circumstances even inimical to the algorithm’s performance. It also masks the individual effect of each constraint set and introduces a human labor-cost burden. Therefore, we suggested a framework for actively selecting and then propagating constraints for feature selection. For that, we made use of the similarity matrix based on Laplacian graph. We assumed that when a small perturbation of the similarity value between a data couple leads to a more well-separated cluster indicator based on the second eigenvector of the graph Laplacian, this couple is expected to be a pairwise query of higher and more significant impact. Constraints propagation, on the other side, ensures increasing supervision information while decreasing the cost of human labor. Besides, for the sake of handling feature redundancy, we proposed extending Relief- Sc to a feature selection approach that combines feature clustering and hypothesis margin maximization. This approach is able to deal with the two core aspects of feature selection i.e. maximizing relevancy while minimizing redundancy (maximizing diversity) among features. Eventually, we experimentally validate our proposed algorithms in comparison to other known feature selection methods on multiple well-known UCI benchmark datasets which proved to be prominent. Only with little supervision information, the proposed algorithms proved to be comparable to supervised feature selection algorithms and were superior to the unsupervised ones., Dans le domaine de l’apprentissage automatique, la sélection d’attributs est une étape d’une importance capitale. Elle permet de réduire les coûts de calcul, d’améliorer les performances de la classification et de créer des modèles simples et interprétables.Récemment, l’apprentissage par contraintes de comparaison, un type d’apprentissage semi-supervisé, a suscité un vif intérêt pour la sélection d’attributs. En effet, celui-ci est moins contraignant car il n’impose pas la connaissance des labels des classes.Dans ce contexte semi-supervisé avec contraintes, nous avons proposé un algorithme de sélection d’attributs à large marge appelé Relief-Sc. Il s’agit d’une modification de l’algorithme supervisé Relief. Il utilise uniquement les contraintes de comparaison cannot-links pour résoudre un problème d’optimisation convexe donnant une solution unique. Les contraintes sont généralement générées aléatoirement, de manière passive et dans certains cas, défavorables aux performances de l’algorithme. Pour cela, nous proposons une méthodologie de sélection active des contraintes suivie d’une étape de propagation des contraintes. Nous avons appliqué la théorie de la perturbation sur la matrice de similarité du graphe Laplacien. Les contraintes cannot-links sont choisies parmi les couples de données ayant le plus d’influence sur la matrice de similarité. La procédure de propagation des contraintes est appliquée pour assurer une augmentation des informations de supervision tout en réduisant l’effort humain. De plus, dans un souci de gestion de la redondance des attributs, nous avons proposé d’étendre l’algorithme Relief-Sc en y intégrant une procédure de classification non supervisée des attributs. Cette approche permet de traiter les deux aspects fondamentaux de la sélection des attributs : maximiser la pertinence tout en minimisant la redondance (maximisation de la diversité) entre les attributs. Finalement, nous avons validé expérimentalement les algorithmes proposés en les comparant à d’autres algorithmes de sélection d’attributs sur plusieurs bases de données UCI. Nous avons montré qu’avec peu d’information de supervision, les performances des algorithmes proposés sont comparables aux algorithmes de sélection supervisée et supérieures aux algorithmes non supervisés.

With the advent of Big Data, databases whose size far exceed the human scale are becoming increasingly common. The resulting overabundance of monitored variables (friends on a social network, movies watched, nucleotides coding the DNA, monetary transactions...) has motivated the development of Dimensionality Reduction (DR) techniques. A DR algorithm such as Principal Component Analysis (PCA) or an AutoEncoder typically combines the original variables into new features fewer in number, such that most of the information in the dataset is conveyed by the extracted feature set.A particular subcategory of DR is formed by Feature Selection (FS) methods, which directly retain the most important initial variables. How to select the best candidates is a hot topic at the crossroad of statistics and Machine Learning. Feature importance is usually inferred in a supervised context, where variables are ranked according to their usefulness for predicting a specific target feature.The present thesis focuses on the unsupervised context in FS, i.e. the challenging situation where no prediction goal is available to help assess feature relevance. Instead, unsupervised FS algorithms usually build an artificial classification goal and rank features based on their helpfulness for predicting this new target, thus falling back on the supervised context. Additionally, the efficiency of unsupervised FS approaches is typically also assessed in a supervised setting.In this work, we propose an alternate model combining unsupervised FS with data compression. Our Agnostic Feature Selection (AgnoS) algorithm does not rely on creating an artificial target and aims to retain a feature subset sufficient to recover the whole original dataset, rather than a specific variable. As a result, AgnoS does not suffer from the selection bias inherent to clustering-based techniques.The second contribution of this work (Agnostic Feature Selection, G. Doquet and M. Sebag, ECML PKDD 2019) is to establish both the brittleness of the standard supervised evaluation of unsupervised FS, and the stability of the new proposed AgnoS., Les bases de données dont la taille dépasse largement l'échelle humaine sont de plus en plus courantes. La surabondance de variables considérées qui en résulte (amis sur un réseau social, films regardés, nucléotides codant l'ADN, transactions monétaires...) a motivé le développement des techniques de réduction de dimensionalité (DR). Une sous-catégorie particulière de DR est formée par les méthodes de sélection d'attributs (SA), qui conservent directement les variables initiales les plus importantes. La manière de sélectionner les meilleurs candidats est un sujet d'actualité à la croisée des chemins entre statistiques et apprentissage automatique. L'importance des attributs est généralement déduite dans un contexte supervisé, où les variables sont classées en fonction de leur utilité pour prédire une variable cible spécifique. Cette thèse porte sur le contexte non supervisé de la SA, c'est-à-dire la situation épineuse où aucun objectif de prédiction n'est disponible pour évaluer la pertinence des attributs. Au lieu de cela, les algorithmes de SA non supervisés construisent généralement un objectif de classification artificiel et notent les attributs en fonction de leur utilité pour prédire cette nouvelle cible, se rabattant ainsi sur le contexte supervisé. Dans ce travail, nous proposons un autre modèle combinant SA non supervisée et compression de données. Notre algorithme AgnoS (Agnostic Feature Selection) ne repose pas sur la création d'une cible artificielle, et vise à conserver un sous-ensemble d'attributs suffisant pour reconstruire l'intégralité des données d'origine, plutôt qu'une variable cible en particulier. Par conséquent, AgnoS ne souffre pas du biais de sélection inhérent aux techniques basées sur le clustering.La seconde contribution de ce travail (Agnostic Feature Selection, G. Doquet and M. Sebag, ECML PKDD 2019) est d'établir à la fois la fragilité du processus supervisé standard d'évaluation de la SA non supervisée ainsi que la stabilité du nouvel algorithme proposé AgnoS.

Large-scale combinatorial optimization problems are generally hard to solve optimally due to expensive computation times. In order to tackle this problem, approximation algorithms such as heuristics and metaheuristics are used to quickly find approximate solutions. Heuristics are problem-specific approaches that provide solutions very quickly. Metaheuristics are generic approaches to finding solutions with good quality for several problems. Each of these approaches has its advantages and disadvantages. We propose in this thesis to use the advantages of these two approaches, that is to say, to integrate specific knowledge associated to a problem as heuristics do, within the mechanisms of metaheuristics in order to design new effective approaches. In this thesis report, we first review knowledge integration approaches in the literature to propose a taxonomy for a classification of these approaches. Then we focus on the integration of knowledge in two different problems: the No-Wait Flowshop Scheduling Problem, and the Feature Selection Problem in a classification context. Finally we study the impact of the integration of knowledge on these problems with different metaheuristic's mechanisms, that is initialization procedure, neighborhood operator and neighborhood selection.; Les problèmes d’optimisation combinatoire de grandes tailles sont en général difficiles à résoudre de façon optimale due à des temps de calcul trop élevés. Afin de pallier ce problème, des algorithmes d’approximation tels que les heuristiques et les métaheuristiques sont utilisés pour trouver rapidement des solutions approchées de bonne qualité. Les heuristiques sont des approches développées spécifiquement pour un problème et permettent d’obtenir des solutions très rapidement. Les métaheuristiques sont des approches génériques, indépendantes du problème, permettant de trouver des solutions de bonne qualité. Ces approches présentent chacune leurs avantages et inconvénients. Nous proposons dans ce mémoire de tirer parti des avantages de ces deux approches, c’est-à-dire intégrer des connaissances spécifiques à un problème, telles que celles utilisées dans les heuristiques, dans les mécanismes génériques des métaheuristiques, afin de concevoir des nouvelles approches efficaces. Ainsi, dans ce mémoire, nous passons d’abord en revue dans la littérature les approches avec intégration de connaissances afin de proposer une taxonomie de classification de ces approches. Puis nous nous focalisons sur l’intégration de connaissances pour deux problèmes différents : le problème d’ordonnancement de type Flowshop sans temps d’attente, et le problème de sélection d’attributs en classification. Enfin, nous étudions dans ces problèmes l’impact de l’intégration de connaissances dans différents mécanismes des métaheuristiques : l’initialisation, l’opérateur de voisinage et la sélection du voisinage.

Texture analysis has been extensively studied and a wide variety of description approaches have been proposed. Among them, Local Binary Pattern (LBP) takes an essential part of most of color image analysis and pattern recognition applications. Usually, devices acquire images and code them in the RBG color space. However, there are many color spaces for texture classification, each one having specific properties. In order to avoid the difficulty of choosing a relevant space, the multi color space strategy allows using the properties of several spaces simultaneously. However, this strategy leads to increase the number of features extracted from LBP applied to color images. This work is focused on the dimensionality reduction of LBP-based feature selection methods. In this framework, we consider the LBP histogram and bin selection approaches for supervised texture classification. Extensive experiments are conducted on several benchmark color texture databases. They demonstrate that the proposed approaches can improve the state-of-the-art results., L'analyse de texture a été largement étudiée dans la littérature et une grande variété de descripteurs de texture ont été proposés. Parmi ceux-ci, les motifs binaires locaux (LBP) occupent une part importante dans la plupart des applications d'imagerie couleur ou de reconnaissance de formes et sont particulièrement exploités dans les problèmes d'analyse de texture. Généralement, les images couleurs acquises sont représentées dans l'espace colorimétrique RGB. Cependant, il existe de nombreux espaces couleur pour la classification des textures, chacun ayant des propriétés spécifiques qui impactent les performances. Afin d'éviter la difficulté de choisir un espace pertinent, la stratégie multi-espace couleur permet d'utiliser simultanémentles propriétés de plusieurs espaces. Toutefois, cette stratégie conduit à augmenter le nombre d'attributs, notamment lorsqu'ils sont extraits de LBP appliqués aux images couleur. Ce travail de recherche est donc axé sur la réduction de la dimension de l'espace d'attributs générés à partir de motifs binaires locaux par des méthodes de sélection d'attributs. Dans ce cadre, nous considérons l'histogramme des LBP pour la représentation des textures couleur et proposons des approches conjointes de sélection de bins et d'histogrammes multi-espace pour la classification supervisée de textures. Les nombreuses expériences menées sur des bases de référence de texture couleur, démontrent que les approches proposées peuvent améliorer les performances en classification comparées à l'état de l'art.

In several scientific fields such as statistics, computer vision and machine learning, redundant and/or irrelevant information reduction in the data description (dimension reduction) is an important step. This process contains two different categories : feature extraction and feature selection, of which feature selection in unsupervised learning is hitherto an open question. In this manuscript, we discussed about feature selection on image datasets using the Formal Concept Analysis (FCA), with focus on lattice structure and lattice theory. The images in a dataset were described as a set of visual words by the bag of visual words model. Two algorithms were proposed in this thesis to select relevant features and they can be used in both unsupervised learning and supervised learning. The first algorithm was the RedAttSansPerte, which based on lattice structure and lattice theory, to ensure its ability to remove redundant features using the precedence graph. The formal definition of precedence graph was given in this thesis. We also demonstrated their properties and the relationship between this graph and the AC-poset. Results from experiments indicated that the RedAttsSansPerte algorithm reduced the size of feature set while maintaining their performance against the evaluation by classification. Secondly, the RedAttsFloue algorithm, an extension of the RedAttsSansPerte algorithm, was also proposed. This extension used the fuzzy precedence graph. The formal definition and the properties of this graph were demonstrated in this manuscript. The RedAttsFloue algorithm removed redundant and irrelevant features while retaining relevant information according to the flexibility threshold of the fuzzy precedence graph. The quality of relevant information was evaluated by the classification. The RedAttsFloue algorithm is suggested to be more robust than the RedAttsSansPerte algorithm in terms of reduction.; La réduction des informations redondantes et/ou non-pertinentes dans la description de données est une étape importante dans plusieurs domaines scientifiques comme les statistiques, la vision par ordinateur, la fouille de données ou l’apprentissage automatique. Dans ce manuscrit, nous abordons la réduction de la taille des signatures des images par une méthode issue de l’Analyse Formelle de Concepts (AFC), qui repose sur la structure du treillis des concepts et la théorie des treillis. Les modèles de sac de mots visuels consistent à décrire une image sous forme d’un ensemble de mots visuels obtenus par clustering. La réduction de la taille des signatures des images consiste donc à sélectionner certains de ces mots visuels. Dans cette thèse, nous proposons deux algorithmes de sélection d’attributs (mots visuels) qui sont utilisables pour l’apprentissage supervisé ou non. Le premier algorithme, RedAttSansPerte, ne retient que les attributs qui correspondent aux irréductibles du treillis. En effet, le théorème fondamental de la théorie des treillis garantit que la structure du treillis des concepts est maintenue en ne conservant que les irréductibles. Notre algorithme utilise un graphe d’attributs, le graphe de précédence, où deux attributs sont en relation lorsque les ensembles d’objets à qui ils appartiennent sont inclus l’un dans l’autre. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsSansPerte permet de diminuer le nombre d’attributs tout en conservant de bonnes performances de classification. Le deuxième algorithme, RedAttsFloue, est une extension de l’algorithme RedAttsSansPerte. Il repose sur une version approximative du graphe de précédence. Il s’agit de supprimer les attributs selon le même principe que l’algorithme précédent, mais en utilisant ce graphe flou. Un seuil de flexibilité élevé du graphe flou entraîne mécaniquement une perte d’information et de ce fait une baisse de performance de la classification. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsFloue permet de diminuer davantage l’ensemble des attributs sans diminuer de manière significative les performances de classification.

International audience; La délimitation des peuplements forestiers est une tâche fondamentale pour la gestion des forêts, qui est encore principalement réalisée manuellement par photo-interprétation d'images géospatiales à (très) haute résolution spatiale (THR). La détection des peuplements a été peu abordée dans la littérature, qui s'est principalement intéressé, dans des environnements forestiers, à l'extraction individuelle des arbres et la classification des espèces d'arbres. Dans cet article, une méthode fondée sur la fusion des données lidar aéroportées et des images multispectrales THR est proposée pour la délimitation automatique des peuplements forestiers. Les images multispectrales donnent des informations sur les espèces d'arbres, tandis que les nuages de points lidar 3D fournissent des informations géométriques. Les attributs multimodaux sont calculés, à la fois au niveau du pixel et de l'objet: les objets sont obtenus à partir d'une sur-segmentation. Une classification supervisée est ensuite effectuée au niveau de l'objet afin de discriminer grossièrement les espèces d'arbres existantes dans chaque zone d'intérêt. Les résultats de la classification sont ensuite traités pour obtenir des zones homogènes avec des frontières lisses par minimisation d'énergie. La formulation de l'énergie comporte deux parties; une lié à la classification, et une autre dans laquelle des contraintes supplémentaires sont ajoutées. Le modèle énergétique est efficace avec un gain de précision jusqu'à 15% par rapport à la classification. Les résultats de la segmentation utilisant ce modèle ont une précision allant de 96% à 99%.

Cette habilitation présente mon parcours professionnel, une synthèse de mes travaux de recherche depuis une dizaine d’années et ouvre ensuite des perspectives sur les développements futurs envisagés.Ses travaux de recherche sont axés sur des développements méthodologiques guidés par des enjeux sociétaux et des problématiques appliquées en Environnement. Ils apportent des réponses à des besoins en cartographie de l’occupation du sol dans différents milieux (urbain, forêt, agricole et côtier) et la production de Modèles Numériques de Terrain fins.Pour répondre à ces besoins, je m'intéresse tout particulièrement aux données de télédétection optique à Hautes et Très Hautes Résolutions spatiale et spectrale (hyperspectrale, superspectrale) et aux données LiDAR pour la caractérisation des milieux par nuages de points 3D.Ces contributions se déclinent suivant trois axes méthodologiques correspondant à différentes étapes de la chaîne de traitement des données: 1) calcul et sélection d'attributs, 2) les techniques de segmentation, et 3) les techniques d’apprentissage automatique pour la classification de l'occupation du Sol.Mes perspectives de recherche se situent pour la plupart dans la continuité de mes travaux actuels avec la prise en compte de l’axe temporel des données, le renforcement de l’utilisation de capteurs hétérogènes avec les méthodes de fusions de données mais aussi sur des axes plus prospectifs tels que la segmentation sémantique.

In several scientific fields such as statistics, computer vision and machine learning, redundant and/or irrelevant information reduction in the data description (dimension reduction) is an important step. This process contains two different categories : feature extraction and feature selection, of which feature selection in unsupervised learning is hitherto an open question. In this manuscript, we discussed about feature selection on image datasets using the Formal Concept Analysis (FCA), with focus on lattice structure and lattice theory. The images in a dataset were described as a set of visual words by the bag of visual words model. Two algorithms were proposed in this thesis to select relevant features and they can be used in both unsupervised learning and supervised learning. The first algorithm was the RedAttSansPerte, which based on lattice structure and lattice theory, to ensure its ability to remove redundant features using the precedence graph. The formal definition of precedence graph was given in this thesis. We also demonstrated their properties and the relationship between this graph and the AC-poset. Results from experiments indicated that the RedAttsSansPerte algorithm reduced the size of feature set while maintaining their performance against the evaluation by classification. Secondly, the RedAttsFloue algorithm, an extension of the RedAttsSansPerte algorithm, was also proposed. This extension used the fuzzy precedence graph. The formal definition and the properties of this graph were demonstrated in this manuscript. The RedAttsFloue algorithm removed redundant and irrelevant features while retaining relevant information according to the flexibility threshold of the fuzzy precedence graph. The quality of relevant information was evaluated by the classification. The RedAttsFloue algorithm is suggested to be more robust than the RedAttsSansPerte algorithm in terms of reduction., La réduction des informations redondantes et/ou non-pertinentes dans la description de données est une étape importante dans plusieurs domaines scientifiques comme les statistiques, la vision par ordinateur, la fouille de données ou l’apprentissage automatique. Dans ce manuscrit, nous abordons la réduction de la taille des signatures des images par une méthode issue de l’Analyse Formelle de Concepts (AFC), qui repose sur la structure du treillis des concepts et la théorie des treillis. Les modèles de sac de mots visuels consistent à décrire une image sous forme d’un ensemble de mots visuels obtenus par clustering. La réduction de la taille des signatures des images consiste donc à sélectionner certains de ces mots visuels. Dans cette thèse, nous proposons deux algorithmes de sélection d’attributs (mots visuels) qui sont utilisables pour l’apprentissage supervisé ou non. Le premier algorithme, RedAttSansPerte, ne retient que les attributs qui correspondent aux irréductibles du treillis. En effet, le théorème fondamental de la théorie des treillis garantit que la structure du treillis des concepts est maintenue en ne conservant que les irréductibles. Notre algorithme utilise un graphe d’attributs, le graphe de précédence, où deux attributs sont en relation lorsque les ensembles d’objets à qui ils appartiennent sont inclus l’un dans l’autre. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsSansPerte permet de diminuer le nombre d’attributs tout en conservant de bonnes performances de classification. Le deuxième algorithme, RedAttsFloue, est une extension de l’algorithme RedAttsSansPerte. Il repose sur une version approximative du graphe de précédence. Il s’agit de supprimer les attributs selon le même principe que l’algorithme précédent, mais en utilisant ce graphe flou. Un seuil de flexibilité élevé du graphe flou entraîne mécaniquement une perte d’information et de ce fait une baisse de performance de la classification. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsFloue permet de diminuer davantage l’ensemble des attributs sans diminuer de manière significative les performances de classification.

National audience

In a world where all personal devices become smart and connected, some French industrials created a project to make ovens able detecting the cooking state of fish and meat without contact sensor. This thesis takes place in this context and is divided in two major parts. The first one is a feature selection phase to be able to classify food in three states: under baked, well baked and over baked. The point of this selection method, based on fuzzy logic is to strongly reduce the number of features got from laboratory specific sensors. The second part concerns on-line monitoring of the food cooking state by several methods. These technics are: classification algorithm into ten bake states, the use of a discrete version of the heat equation and the development of a soft sensor based on an artificial neural network model build from cooking experiments to infer the temperature inside the food from available on-line measurements. These algorithms have been implemented on microcontroller equipping a prototype version of a new oven in order to be tested and validated on real use cases., Dans un monde où tous les appareils électro-ménagers se connectent et deviennent intelligents, il est apparu pour des industriels français le besoin de créer des fours de cuisson innovants capables de suivre l’état de cuisson à cœur de poissons et de viandes sans capteur au contact. Cette thèse se place dans ce contexte et se divise en deux grandes parties. La première est une phase de sélection d’attributs parmi un ensemble de mesures issues de capteurs spécifiques de laboratoire afin de permettre d’appliquer un algorithme de classification supervisée sur trois états de cuisson. Une méthode de sélection basée sur la logique floue a notamment été appliquée pour réduire grandement le nombre de variable à surveiller. La seconde partie concerne la phase de suivi de cuisson en ligne par plusieurs méthodes. Les techniques employées sont une approche par classification sur dix états à cœur, la résolution d’équation de la chaleur discrétisée, ainsi que le développement d’un capteur logiciel basé sur des réseaux de neurones artificiels synthétisés à partir d’expériences de cuisson, pour réaliser la reconstruction du signal de la température au cœur des aliments à partir de mesures disponibles en ligne. Ces algorithmes ont été implantés sur microcontrôleur équipant une version prototype d’un nouveau four afin d’être testés et validés dans le cas d’utilisations réelles.

This work was performed in the context of a possible enrichment of land cover databases. The description of land cover is necessary it possible to produce environmental indicators for the management of ecosystems and territories, in response to various societal and scientific needs. Thus, different land cover databases already exist at various levels (global, European, national, regional or local) or are currently being produced. However, it appeared that knowledge about land cover should more detailled in urban areas, since it is required by several city modeling applications (micro-meteorological, hydrological, or pollution monitoring simulators), or public regulations monitoring (e.g. concerning ground perviousness). Such materials maps would be (both semantically and spatially) finer than what is contained in existing land cover databases. Therefore, they could be an additional layer, both in land cover databases (such as in IGN High Resolution land cover database) and in 3D city models. No existing database contains such information about urban material maps. Thus remote sensing is the only solution to produce it. However, due to the high heterogeneity of urban materials, their variability, but also the strong similarities between different material classes, usual optical multispectral sensors (with only the 4 red - green - blue - near infrared bands) are not sufficient to reach a good discrimination of materials. A multispectral sensor or superspectral, that is to say spectrally richer, could therefore provide a solution to this limit. Thus, this work was performed intending the design of such sensor. It aimed at identifying the best spectral configuration for classification of urban materials, or at least to propose sub-optimal solutions. In other words, a spectral optimization was carried out in order to optimize both the position of the bands in the spectrum and their width. Automatic feature selection methods were used. This work was performed in two steps. A first task aimed at defining the spectral optimization methods and at validating them on literature reference data sets. Two state-of-the-art optimization heuristics (Sequential Forward Floating Search and genetic algorithms) were chosen owing to their genericity and flexibility, and therefore their ability to be used to optimize different feature selection criteria. A benchmark of different scores measuring the relevance of a set of features was performed to decide which score to optimize during the band selection process. Band width optimization was then studied: the proposed method consisted in building a hierarchy of bands merged according to their similarities. Band selection was then processed within this hierarchy. The second part of the work consisted in the application of these spectral optimization algorithms to the case study of urban materials. A collection of urban materials spectra was first caught and from various spectral libraries ( ASTER , MEMORIES...). Spectral optimization was then performed on this dataset. A limited number (about 10) of well chosen bands appeared to be sufficient to classify next common materials (slates - asphalt - cement - gravel - metal - cobblestones - shingle - earth – tiles). Bands from short wave infrared spectral domain (1400 - 2500 nm) were shown again to be very useful to discriminate urban materials. However, quantitative results assessing the confusions between the materials must be considered carefully since some materials are very uncommon in the library of collected spectra, and thus their possible variability is not completely considered; Ce travail s'inscrit dans la perspective de l'enrichissement des bases de données d'occupation du sol. La description de l'occupation du sol permet de produire des indicateurs environnementaux pour la gestion des écosystèmes et des territoires, en réponse à des besoins sociétaux, réglementaires et scientifiques. Aussi, des bases de données décrivant l'occupation du sol existent à différents niveaux (local, national, européen) ou sont en cours de constitution. Il est toutefois apparu que la connaissance de l'occupation du sol nécessaire pour certaines applications de modélisation de la ville (simulateurs de micro-météorologie, d'hydrologie, ou de suivi de pollutions), voire de suivi réglementaire (imperméabilisation des sols) est plus fine (au niveau sémantique et géométrique) que ce que contiennent ces bases de données. Des cartes de matériaux sont donc nécessaires pour certaines applications. Elles pourraient constituer une couche supplémentaire, à la fois dans des bases de données sur l'occupation du sol (comme l'occupation du sol à grande échelle de l'IGN) et dans des maquettes urbaines 3D.Aucune base de données existante ne contenant cette information, la télédétection apparaît comme la seule solution pour la produire. Néanmoins, du fait de la forte hétérogénéité des matériaux, de leur variabilité, mais aussi des fortes ressemblances entre classes distinctes, il apparaît que les capteurs optiques multispectraux classiques (limités aux 4 canaux rouge - vert - bleu - proche infrarouge) sont insuffisants pour bien discriminer des matériaux. Un capteur dit superspectral, c'est-à-dire plus riche spectralement, pourrait apporter une solution à cette limite. Ce travail s'est donc positionné dans l'optique de la conception d'un tel capteur et a consisté à identifier la meilleure configuration spectrale pour la classification des matériaux urbains, ou du moins à proposer des solutions s'en approchant. Un travail d'optimisation spectrale a donc été réalisé afin d'optimiser à la fois la position des bandes dans le spectre ainsi que leur largeur. Le travail s'est déroulé en deux temps. Une première tâche a consisté à définir et préciser les méthodes d'optimisation de bandes, et à les valider sur des jeux de données de référence de la littérature. Deux heuristiques d'optimisation classiques (l'une incrémentale, l'autre stochastique) ont été choisies du fait de leur généricité et de leur flexibilité, et donc de leur capacité à être utilisées pour différents critères de sélection d'attributs. Une comparaison de différentes mesures de la pertinence d'un jeu de bandes a été effectuée afin de définir le score à optimiser lors du processus de sélection de bandes. L'optimisation de la largeur des bandes a ensuite été étudiée : la méthode proposée consiste à préalablement construire une hiérarchie de bandes fusionnées en fonction de leur similarité, le processus de sélection de bandes se déroulant ensuite au sein de cette hiérarchie. La seconde partie du travail a consisté en l'application de ces algorithmes d'optimisation spectrale au cas d'étude des matériaux urbains. Une collection de spectres de matériaux urbains a d'abord été réunie à partir de différentes librairies spectrales (ASTER, MEMOIRES, ...). L'optimisation spectrale a ensuite été menée à partir de ce jeu de données. Il est apparu qu'un nombre limité de bandes bien choisies suffisait pour discriminer 9 classes de matériaux communs (ardoise - asphalte - ciment - gravier - métal - pavés en pierre - shingle - terre – tuile). L'apport de bandes issues du domaine de l'infrarouge onde courte (1400 - 2500 nm) pour la discrimination des matériaux a également été vérifiée. La portée des résultats chiffrés obtenus en terme de confusions entre les matériaux reste toutefois à nuancer du fait de la très faible représentation de certains matériaux dans la librairie de spectres collectés, ne couvrant donc pas la totalité de leur variabilité

We propose a supervised approach to detect falls in home environment adapted to location andpoint of view changes. First, we maid publicly available a realistic dataset, acquired in four differentlocations, containing a large number of manual annotation suitable for methods comparison. We alsodefined a new metric, adapted to real-time tasks, allowing to evaluate fall detection performance ina continuous video stream. Then, we build the initial spatio-temporal descriptor named STHF usingseveral combinations of transformations of geometrical features and an automatically optimised setof spatio-temporal descriptors thanks to an automatic feature selection step. We propose a realisticand pragmatic protocol which enables performance to be improved by updating the training in thecurrent location with normal activities records. Finally, we implemented the fall detection in Zynqbasedhardware platform similar to smart camera. An Algorithm-Architecture Adequacy step allowsa good trade-off between performance of classification and processing time, Nous proposons une méthode supervisée de détection de chutes de personnes en temps réel, robusteaux changements de point de vue et d’environnement. La première partie consiste à rendredisponible en ligne une base de vidéos DSFD enregistrées dans quatre lieux différents et qui comporteun grand nombre d’annotations manuelles propices aux comparaisons de méthodes. Nousavons aussi défini une métrique d’évaluation qui permet d’évaluer la méthode en s’adaptant à la naturedu flux vidéo et la durée d’une chute, et en tenant compte des contraintes temps réel. Dans unsecond temps, nous avons procédé à la construction et l’évaluation des descripteurs spatio-temporelsSTHF, calculés à partir des attributs géométriques de la forme en mouvement dans la scène ainsique leurs transformations, pour définir le descripteur optimisé de chute après une méthode de sélectiond’attributs. La robustesse aux changements d’environnement a été évaluée en utilisant les SVMet le Boosting. On parvient à améliorer les performances par la mise à jour de l’apprentissage parl’intégration des vidéos sans chutes enregistrées dans l’environnement définitif. Enfin, nous avonsréalisé, une implantation de ce détecteur sur un système embarqué assimilable à une caméra intelligentebasée sur un composant SoC de type Zynq. Une démarche de type Adéquation AlgorithmeArchitecture a permis d’obtenir un bon compromis performance de classification/temps de traitement

National audience; Nous nous intéressons au problème de la sélection supervisée d’attributs, l’objectif étant de sélectionner séquentiellement et par ordre de pertinence les attributs permettant d’expliquer l’appartenance d’une observation à une classe particulière. Nous proposons une nouvelle technique de sélection séquentielle supervisée de type filtre, basée sur la maximisation de l’information mutuelle entre la vérité de terrain et les données multidimensionnelles. Cette technique s’appuie sur l’approximation de superposition de Kirkwood, qui permet d’appréhender le conditionnement multivarié nécessaire pour prendre en compte l’historique du processus de sélection. Nous illustrons la pertinence de notre approche par comparaison avec quelques méthodes similaires pour la classification supervisée, notamment en imagerie hyperspectrale.

National audience

This thesis focuses on model selection in Machine Learning from two points of view. The first part of the thesis focuses on relational kernel methods. Kernel methods hope to overcome the instances propositionalization, and to bridge the gap between relational and propositional problems. This thesis examines this objective in a particular case: the multiple instance problem, which is considered to be intermediate between relational and propositional problems. Concretely, we determine under which conditions the averaging kernel used for multiple instance problems, allows to reconstruct the target concept. This study follows the standard sketch of phase transition studies and relies on a new criterion to test the efficiency of of the propositionalization induced by the averaging kernel. The second part of the thesis focuses on feature selection. A solution to solve multiple instance problems, as presented in the first part, is to construct a propositionalization where each instance of the problem leads to a feature. This propositionalization constructs a huge number of features, which implies the need to look for a subset of features with only relevant features. Thus, the second part of the thesis presents a new framework for feature selection. Feature Selection is formalized as a Reinforcement Learning problem, leading to a provably optimal though intractable selection policy. This optimal policy is approximated, based on a one-player game approach and relying on the Monte-Carlo tree search UCT (Upper Confidence bound applied to Trees) proposed by Kocsis and Szepesvari (2006). The Feature Uct SElection (FUSE) algorithm extends UCT to deal with i) a finite unknown horizon (the target number of relevant features); ii) the huge branching factor of the search tree, reflecting the size of the feature set. Finally, a frugal reward function is proposed as a rough but unbiased estimate of the relevance of a feature subset. A proof of concept of FUSE is shown on benchmark data sets.; Nous nous intéressons à la sélection de modèle en apprentissage automatique, sous deux angles différents. La première partie de la thèse concerne les méthodes à noyau relationnel. Les méthodes à noyau permettent en principe de s'affranchir de la représentation des instances, et de combler le fossé entre apprentissage relationnel et apprentissage propositionnel. Cette thèse s'intéresse à la faisabilité de cet objectif dans un cas particulier : les problèmes à instances multiples, qui sont considérés comme un intermédiaire entre les problèmes propositionnels et les problèmes relationnels. Concrètement, nous déterminons sous quelles conditions le noyau-somme, utilisé sur des problèmes à instances multiples, est en mesure de reconstruire le concept-cible. Cette étude suit le schéma standard des études de transition de phase et s'appuie sur un critère nouveau pour caractériser l'efficacité de la propositionnalisation induite par le noyau-somme. La deuxième partie de la thèse porte sur la sélection d'attributs. Une solution pour résoudre les problèmes à instances multiples, tels que présentés en première partie, passe par une propositionnalisation associant un attribut à chaque instance présente dans le problème. Le nombre d'attributs ainsi construits étant gigantesque, il est alors nécessaire de sélectionner un sous-ensemble d'attributs ne contenant que des attributs pertinents. La deuxième partie de la thèse propose donc une nouvelle approche pour la sélection d'attributs. La sélection d'attributs est réécrite comme un problème d'apprentissage par renforcement, conduisant ainsi à une politique de sélection optimale mais non-calculable en un temps raisonnable. Cette politique est approchée en se fondant sur une approche de jeu à un joueur et en utilisant la méthode Monte-Carlo pour les arbres UCT (Upper Confidence bound applied to Trees), qui a été proposée par Kocsis et Szepesvari (2006). L'algorithme FUSE (Feature Uct SElection) étend UCT pour gérer (1) l'horizon fini mais inconnu, et (2) le facteur de branchement élevé de l'arbre de recherche reflétant la taille de l'ensemble d'attributs. Finalement, une fonction de récompense frugale est proposée en tant qu'estimation grossière mais non-biaisée de la pertinence d'un sous-ensemble d'attributs. Une preuve de concept de FUSE est fournie sur des bases de données de référence.

In molecular biology, technologies for gene expression analyses, as DNA microarrays, give rise to a lot of research. One possible application of such technologies is diagnosis and recognition of different kinds of tumours. One particularity of microarray data is their great number of attributes (genes) whereas very few samples are available. This dimensionality problem makes the data difficult to understand and reduces the efficiency of classification algorithms. This thesis proposes newmethods to reduce the initial dimension of data and to select relevant gene subsets for classification. First, we propose a method for data pre-processing and dimension reduction based on fuzzy logic. Then the problem of gene selection is treated by two kinds of approaches. In the first one, we propose a wrapper method that selects a relevant gene subset for a SVM classifier by a double genetic exploration. In the second approach, we propose an embedded method where LDA classifier provides information about gene relevancy to guide the genetic algorithm. The different experimentations that we have performed give very good results, especially for the embedded method.; Dans le domaine de la biologie moléculaire, les technologies d'analyse d'expression génique comme les biopuces suscitent un intérêt très grand. Une des applications de ces technologies est le diagnostic et la classification de différents types de tumeurs. Une des particularités des données issues des biopuces est qu'elles sont décrites par un très grand nombre d'attributs (gènes) alors que peu d'échantillons analysés sont disponibles. Cela empêche la compréhension des données et réduit de manière considérable la performance des algorithmes de classification. Dans cette thèse, nous proposons des méthodes innovantes pour réduire la taille initiale des données et pour sélectionner des ensembles de gènes pertinents pour une classification supervisée. Nous proposons tout d'abord une méthode de pré-traitement des données et de réduction de dimension basée sur la logique floue. Le problème de la sélection d'attributs est ensuite traité par deux types d'approche. Dans la première, nous proposons une méthode enveloppe qui grâce à une double exploration génétique sélectionne un ensemble de gènes pertinents pour un classifieur SVM. Dans la deuxième, nous proposons une méthode intégrée où les informations fournies par un classifieur linéaire (ADL) guident le processus de recherche vers un sous-ensemble de petite taille et performant pour la classification. Les différentes expérimentations que nous avons menées montrent de très bonnes performances, surtout pour la méthode intégrée.

In molecular biology, technologies for gene expression analyses, as DNA microarrays, give rise to a lot of research. One possible application of such technologies is diagnosis and recognition of different kinds of tumours. One particularity of microarray data is their great number of attributes (genes) whereas very few samples are available. This dimensionality problem makes the data difficult to understand and reduces the efficiency of classification algorithms. This thesis proposes newmethods to reduce the initial dimension of data and to select relevant gene subsets for classification. First, we propose a method for data pre-processing and dimension reduction based on fuzzy logic. Then the problem of gene selection is treated by two kinds of approaches. In the first one, we propose a wrapper method that selects a relevant gene subset for a SVM classifier by a double genetic exploration. In the second approach, we propose an embedded method where LDA classifier provides information about gene relevancy to guide the genetic algorithm. The different experimentations that we have performed give very good results, especially for the embedded method., Dans le domaine de la biologie moléculaire, les technologies d'analyse d'expression génique comme les biopuces suscitent un intérêt très grand. Une des applications de ces technologies est le diagnostic et la classification de différents types de tumeurs. Une des particularités des données issues des biopuces est qu'elles sont décrites par un très grand nombre d'attributs (gènes) alors que peu d'échantillons analysés sont disponibles. Cela empêche la compréhension des données et réduit de manière considérable la performance des algorithmes de classification. Dans cette thèse, nous proposons des méthodes innovantes pour réduire la taille initiale des données et pour sélectionner des ensembles de gènes pertinents pour une classification supervisée. Nous proposons tout d'abord une méthode de pré-traitement des données et de réduction de dimension basée sur la logique floue. Le problème de la sélection d'attributs est ensuite traité par deux types d'approche. Dans la première, nous proposons une méthode enveloppe qui grâce à une double exploration génétique sélectionne un ensemble de gènes pertinents pour un classifieur SVM. Dans la deuxième, nous proposons une méthode intégrée où les informations fournies par un classifieur linéaire (ADL) guident le processus de recherche vers un sous-ensemble de petite taille et performant pour la classification. Les différentes expérimentations que nous avons menées montrent de très bonnes performances, surtout pour la méthode intégrée.

In many different fields, rational risk analysis is part of the decision making process. It is a fundamental methodological tool which helps economic and politic actors to anticipate potential crises. Such an analysis aims at identifying not only risky situations but also the main risk factors so that prevention policies can be built more easily.This analysis is usually dedicated to human experts, but the data available in which to retrieve the relevant information may be so large that there is a great need for tools automating part of the risk analysis.We propose a generic decision support system dedicated to crisis prediction. The goal of this system is to provide a synthesis of the structural situation through the identification of potential crises and of the main factors that may explain the weaknesses of the situation. Our system relies on the supervised learning of fuzzy decision rules. As the data quality is a major concern in many applications a large part of our study has to deal with data preprocessing and more precisely missing data imputation and feature selection. We have also investigated the problem of model selection so that our system can find the most suitable model for a given application. To assess the quality of our methodology we have chosen to apply it on intrastate conflict prediction which will thus be at the subject of our experiments throughout the thesis., Dans de nombreux domaines, l'analyse rationnelle des risques fait partie intégrante du processus de décision. Il s'agit d'un outil méthodologique essentiel pour les acteurs politiques et économiques qui leur permet d'anticiper le déclenchement de crises potentielles. Dans certains secteurs d'activité les conséquences de telles crises sont parfois telles que le recours à l'analyse de risque correspond à une contrainte réglementaire imposée par le législateur. L'objectif d'une telle analyse est de parvenir à identifier les situations à risque ainsi que les principaux facteurs de risque de manière à pouvoir mettre en place les politiques de prévention adéquates.Si de nombreuses cellules de veille ont été mises en place, tant au niveau de l'entreprise, qu'au niveau des institutions nationales et internationales, la quantité d'information potentiellement pertinente pour un sujet donné est parfois telle que la mise à disposition d'outils automatisant tout ou partie du traitement de cette information répond à un besoin réel, sinon à une nécessité.Dans cette optique, dans cette thèse, nous proposons un système générique d'aide à l'anticipation de crises. Notre objectif est de fournir une synthèse d'une situation donnée, d'un point de vue structurel et non événementiel, via l'identification des crises potentielles ainsi que des principaux facteurs de risque associés. Le système que nous proposons repose sur l'apprentissage supervisé de règles de décision floues.La qualité des données d'apprentissage étant problématique dans de nombreuses applications, nous proposons, dans nos travaux, une étude approfondie sur la chaîne de prétraitement, et en particulier sur le traitement des valeurs manquantes et sur la sélection d'attributs. Nous avons également mis l'accent sur l'évaluation et la sélection de modèles afin de pouvoir adapter les modèles de détection au problème à traiter, ainsi qu'aux besoins de l'utilisateur final.La synthèse des résultats fournis par notre système étant destiné à des utilisateurs en charge de la veille stratégique, des outils d'aide au raisonnement et à la compréhension de cette synthèse sont également proposés.Pour juger de l'intérêt de notre méthodologie nous détaillons son application à un problème concret : la détection des conflits armés intra-étatiques.

The aim of this work is to contribute efficient solutions to machine recognition of musical instruments both for the mono-instrumental and multi-instrumental cases. We tackle the problem following an automatic classification approach. Much effort is dedicated to obtain adequate instances of the different blocs constituting the system which we propose for instrument recognition. We adopt a hierarchical classification scheme based on computer-generated taxonomies of instruments and musical ensembles. The system utilises a novel feature selection technique producing an efficient description of audio signals which, in association with support vector machines, entails high recognition accuracy on sound excerpts translating the diversity of the musical performance and recording conditions found in the real world. Our proposal is thus able to recognise up to four instruments played concurrently in jazz music possibly involving percussion.; L'objet de cette thèse est de contribuer à améliorer l'identification automatique des instruments de musique dans des contextes réalistes, (sur des solos de musique, mais également sur des pièces multi-instrumentales). Nous abordons le problème suivant une approche de classification automatique en nous efforçant de rechercher des réalisations performantes des différents modules constituant le système que nous proposons. Nous adoptons un schéma de classification hiérarchique basé sur des taxonomies des instruments et des mélanges d'instruments. Ces taxonomies sont inférées au moyen d'un algorithme de clustering hiérarchique exploitant des distances probabilistes robustes qui sont calculées en utilisant une méthode à noyau. Le système exploite un nouvel algorithme de sélection automatique des attributs pour produire une description efficace des signaux audio qui, associée à des machines à vecteurs supports, permet d'atteindre des taux de reconnaissance élevés sur des pièces sonores reflétant la diversité de la pratique musicale et des conditions d'enregistrement rencontrées dans le monde réel. Notre architecture parvient ainsi à identifier jusqu'à quatre instruments joués simultanément, à partir d'extraits de jazz incluant des percussions.

The aim of this work is to contribute efficient solutions to machine recognition of musical instruments both for the mono-instrumental and multi-instrumental cases. We tackle the problem following an automatic classification approach. Much effort is dedicated to obtain adequate instances of the different blocs constituting the system which we propose for instrument recognition. We adopt a hierarchical classification scheme based on computer-generated taxonomies of instruments and musical ensembles. The system utilises a novel feature selection technique producing an efficient description of audio signals which, in association with support vector machines, entails high recognition accuracy on sound excerpts translating the diversity of the musical performance and recording conditions found in the real world. Our proposal is thus able to recognise up to four instruments played concurrently in jazz music possibly involving percussion., L'objet de cette thèse est de contribuer à améliorer l'identification automatique des instruments de musique dans des contextes réalistes, (sur des solos de musique, mais également sur des pièces multi-instrumentales). Nous abordons le problème suivant une approche de classification automatique en nous efforçant de rechercher des réalisations performantes des différents modules constituant le système que nous proposons. Nous adoptons un schéma de classification hiérarchique basé sur des taxonomies des instruments et des mélanges d'instruments. Ces taxonomies sont inférées au moyen d'un algorithme de clustering hiérarchique exploitant des distances probabilistes robustes qui sont calculées en utilisant une méthode à noyau. Le système exploite un nouvel algorithme de sélection automatique des attributs pour produire une description efficace des signaux audio qui, associée à des machines à vecteurs supports, permet d'atteindre des taux de reconnaissance élevés sur des pièces sonores reflétant la diversité de la pratique musicale et des conditions d'enregistrement rencontrées dans le monde réel. Notre architecture parvient ainsi à identifier jusqu'à quatre instruments joués simultanément, à partir d'extraits de jazz incluant des percussions.

Multimodal signal processing analyzes a physical phenomenon through several types of measures, or modalities. This leads to the extraction of higher-quality and more reliable information than that obtained from single-modality signals. The advantage is two-fold. First, as the modalities are usually complementary, the end-result of multimodal processing is more informative than for each of the modalities individually, which represents the first advantage. This is true in all application domains: human-machine interaction, multimodal identification or multimodal image processing. The second advantage is that, as modalities are not always reliable, it is possible, when one modality becomes corrupted, to extract the missing information from the other one. There are two essential challenges in multimodal signal processing. First, the features used from each modality need to be as relevant and as few as possible. The fact that multimodal systems have to process more than just one modality means that they can run into errors caused by the curse of dimensionality much more easily than mono-modal ones. The curse of dimensionality is a term used essentially to say that the number of equally-distributed samples required to cover a region of space grows exponentially with the dimensionality of the space. This has important implications in the classification domain, since accurate models can only be obtained if an adequate number of samples is available, and obviously this required number of samples grows with the dimensionality of the features. Dimensionality reduction is thus a necessary step in any application dealing with complex signals, and this is achieved through selection, transforms or the combination of the two. The second essential challenge is multimodal integration. Since the signals involved do not necessarily have the same data rate, range or even dimensionality, combining information coming from such different sources is not straightforward. This can be done at different levels, starting from the basic signal level by combining the signals themselves, if they are compatible, up to the highest decision level, where only the individual decisions taken based on the signals are combined. Ideally, the fusion method should allow temporal variations in the relative importance of the two streams, to account for possible changes in their quality. However, this can only be done with methods operating at a high decision level. The aim of this thesis is to offer solutions to both these challenges, in the context of audio-visual speech recognition and speaker localization. Both these applications are from the field of human-machine interaction. Audio-visual speech recognition aims to improve the accuracy of speech recognizers by augmenting the audio with information extracted from the video, more particularly, the movement of the speaker's lips. This works well especially when the audio is corrupted, leading in this case to significant gains in accuracy. Speaker localization means detecting who is the active speaker in a audio-video sequence containing several persons, something that is useful for videoconferencing and the automated annotation of meetings. These two applications are the context in which we present our solutions to both feature selection and multimodal integration. First, we show how informative features can be extracted from the visual modality, using an information-theoretic framework which gives us a quantitative measure of the relevance of individual features. We also prove that reducing redundancy between these features is important for avoiding the curse of dimensionality and improving recognition results. The methods that we present are novel in the field of audio-visual speech recognition and we found that their use leads to significant improvements compared to the state of the art. Second, we present a method of multimodal fusion at the level of intermediate decisions using a weight for each of the streams. The weights are adaptive, changing according to the estimated reliability of each stream. This makes the system tolerant to changes in the quality of either stream, and even to the temporary interruption of one of the streams. The reliability estimate is based on the entropy of the posterior probability distributions of each stream at the intermediate decision level. Our results are superior to those obtained with a state of the art method based on maximizing the same posteriors. Moreover, we analyze the effect of a constraint typically imposed on stream weights in the literature, the constraint that they should sum to one. Our results show that removing this constraint can lead to improvements in recognition accuracy. Finally, we develop a method for audio-visual speaker localization, based on the correlation between audio energy and the movement of the speaker's lips. Our method is based on a joint probability model of the audio and video which is used to build a likelihood map showing the likely positions of the speaker's mouth. We show that our novel method performs better than a similar method from the literature. In conclusion, we analyze two different challenges of multimodal signal processing for two audio-visual problems, and offer innovative approaches for solving them.

Humans perceive their surrounding environment in a multimodal manner by using multi-sensory inputs combined in a coordinated way. Various studies in psychology and cognitive science indicate the multimodal nature of human speech production and perception. Such findings have motivated the development of a new and fast growing research field of audio-visual speech processing. Exhaustive research done so far shows that systems using both visual and acoustic data do perform better than their conventional "blind" counterparts. The choice of suitable visual cues is of paramount importance in such systems. The aim of this thesis is to analyze visual features and evaluate their relevance from an automatic speech recognition point of view. Speech pertinent information is mainly conveyed in the mouth area and a fundamental requirement is to obtain its representation in a parameterized form. The first objective of this work is to address the problem of visual front end design. This represents a challenging issue that involves complex computer vision tasks of face detection and facial feature tracking. After finding the speaker's face, it is important to accurately detect the mouth area and subsequently track it throughout a video sequence. In this thesis a method for nose and mouth region of interest tracking, has been developed for the application scenario restricted to audio-visual speech recognition. Nose tracking is accomplished by employing a template matching technique. Further on, the mouth region is localized taking into account knowledge of geometric properties of the human face. The next objective of this work is set upon the need for robust and accurate extraction of key lip points of interest. To accomplish such a task two novel algorithms are developed. The first one aims to find four key lip points that enable normalization of mouth images. The second algorithm provides additional mouth shape descriptors and the basis for fitting labial contours. The emphasis of this study is on audio-visual speech recognition which requires visual features suitable for classification. A question that immediately arises is what the most speech salient features are. To date different methods are proposed that mainly rely on some a priori defined rules. Area based features are selected based on criteria inherited from image compression, where geometric based methods use set of cues selected as meaningfull one for humans. There is no guarantee that such representations are optimal for automatic recognition of the uttered speech. The study done in this thesis aims to observe this problem from a different angle by including basic information theoretic concepts in visual feature analysis. The selection criteria employs Mutual Information as a measure of how informative visual cues are. The concept of mutual information eigenlips is introduced to reflect the most informative eigenfeatures. Visual features obtained using an information theoretic framework are further used for audio-visual speech recognition experiments. The obtained results indicate improved system performance when such visual cues are applied. In conclusion, the proposed information theoretic framework for visual feature selection can be applied in other audio-visual speech processing areas. The possible applications include audio-visual speaker detection and speaker localization.