Search

The increasing pace of data generation from tumor profiles profiles during the last decade has enable the development of statistical learning algorithms to explore and analyze the landscape of tumor types, subtypes and patient survival from a biomolecular point of view. Tumor data is mainly described by trasncriptomic features and the level of expression of a given gene-transcript in the tumor cell, therefore these features can be used to learn statistical rules that improves the understanding about the state and type of a cancer cell. Nevertheless transcriptomic tumor data is high dimensional and each tumor can be described by thousands of gene features making it difficult to perform a machine learning task and to understand the underlying biological mechanisms. This thesis studies how to reduce dimensionality and to gain interpretability about which genes encode signals of the data distribution by proposing dimension reduction methods based on Feature Selection and Feature Extraction pipelines. The proposed methods are based on Latent Variable Models and Kernel Methods with the idea to explore the connection between pair-wise similarity functions of tumor samples and low dimensional latent spaces that captures the inner structure of the training data. Proposed methods have shown improvements in supervised and unsupervised feature selection tasks when compared with benchmark methods to classify and learn subgroups of tumors respectively.; Le rythme croissant de génération de données à partir de profils tumoraux au cours de la dernière décennie a permis le développement d'algorithmes d'apprentissage statistique pour explorer et analyser le paysage des types et sous-types de tumeurs et la survie des patients d'un point de vue biomoléculaire. Les données tumorales sont principalement décrites par des caractéristiques transcriptomiques et le niveau d'expression d'un transcrit génique donné dans la cellule tumorale. Par conséquent, ces caractéristiques peuvent être utilisées pour apprendre des règles statistiques qui améliorent la compréhension de l'état et du type d'une cellule cancéreuse. Néanmoins, les données tumorales transcriptomiques sont de grande dimension et chaque tumeur peut être décrite par des milliers de caractéristiques génétiques, ce qui rend difficile la réalisation d'une tâche d'apprentissage automatique et la compréhension des mécanismes biologiques sous-jacents. Cette thèse étudie comment réduire la dimensionnalité et gagner en interprétabilité pour savoir quels gènes codent le signal de la distribution des données en proposant des méthodes de réduction de dimension basées sur un modèle qui envisage la structure globale des données à l'aide d'un espace de représentation latente. Les méthodes proposées ont montré des améliorations dans les tâches de sélection de caractéristiques supervisées et non supervisées par rapport aux méthodes de référence pour classer et apprendre des sous-groupes de tumeurs respectivement.

Transfer Learning aims to take advantage of source data to help the learning task of related but different target data. This thesis contributes to homogeneous transductive transfer learning where no labeled target data is available. In this thesis, we relax the constraint on conditional probability of labels required by covariate shift to be more and more general, based on which the alignment of marginal probabilities of source and target observations renders source and target similar. Thus, firstly, a maximum likelihood based approach is proposed. Secondly, SVM is adapted to transfer learning with an extra MMD-like constraint where Maximum Mean Discrepancy (MMD) measures this similarity. Thirdly, KPCA is used to align data in a RKHS on minimizing MMD. We further develop the KPCA based approach so that a linear transformation in the input space is enough for a good and robust alignment in the RKHS. Experimentally, our proposed approaches are very promising, Le transfert d‘apprentissage regroupe les méthodes permettant de transférer l’apprentissage réalisé sur des données (appelées Source) à des données nouvelles, différentes, mais liées aux données Source. Ces travaux sont une contribution au transfert d’apprentissage homogène (les domaines de représentation des Source et Cible sont identiques) et transductif (la tâche à effectuer sur les données Cible est identique à celle sur les données Source), lorsque nous ne disposons pas d’étiquettes des données Cible. Dans ces travaux, nous relâchons la contrainte d’égalité des lois des étiquettes conditionnellement aux observations, souvent considérée dans la littérature. Notre approche permet de traiter des cas de plus en plus généraux. Elle repose sur la recherche de transformations permettant de rendre similaires les données Source et Cible. Dans un premier temps, nous recherchons cette transformation par Maximum de Vraisemblance. Ensuite, nous adaptons les Machines à Vecteur de Support en intégrant une contrainte additionnelle sur la similitude des données Source et Cible. Cette similitude est mesurée par la Maximum Mean Discrepancy. Enfin, nous proposons l’utilisation de l’Analyse en Composantes Principales à noyau pour rechercher un sous espace, obtenu à partir d’une transformation non linéaire des données Source et Cible, dans lequel les lois des observations sont les plus semblables possibles. Les résultats expérimentaux montrent l’efficacité de nos approches

This thesis will focus exclusively on the application of kernel-based nonparametric methods to nonlinear identification problems. As for other nonlinear methods, two key questions in kernel-based identification are the questions of how to define a nonlinear model (kernel selection) and how to tune the complexity of the model (regularisation). The following chapter will discuss how these questions are usually dealt with in the literature. The principal contribution of this thesis is the presentation and investigation of two optimisation criteria (one existing in the literature and one novel proposition) for structural approximation and complexity tuning in kernel-based nonlinear system identification. Both methods are based on the idea of incorporating feature-based complexity constraints into the optimisation criterion, by penalising derivatives of functions. Essentially, such methods offer the user flexibility in the definition of a kernel function and the choice of regularisation term, which opens new possibilities with respect to how nonlinear models can be estimated in practice. Both methods bear strong links with other methods from the literature, which will be examined in detail in Chapters 2 and 3 and will form the basis of the subsequent developments of the thesis. Whilst analogy will be made with parallel frameworks, the discussion will be rooted in the framework of Reproducing Kernel Hilbert Spaces (RKHS). Using RKHS methods will allow analysis of the methods presented from both a theoretical and a practical point-of-view. Furthermore, the methods developed will be applied to several identification ‘case studies’, comprising of both simulation and real-data examples, notably: • Structural detection in static nonlinear systems. • Controlling smoothness in LPV models. • Complexity tuning using structural penalties in NARX systems. • Internet traffic modelling using kernel methods; Cette thèse se concentrera exclusivement sur l’application de méthodes non paramétriques basées sur le noyau à des problèmes d’identification non-linéaires. Comme pour les autres méthodes non-linéaires, deux questions clés dans l’identification basée sur le noyau sont les questions de comment définir un modèle non-linéaire (sélection du noyau) et comment ajuster la complexité du modèle (régularisation). La contribution principale de cette thèse est la présentation et l’étude de deux critères d’optimisation (un existant dans la littérature et une nouvelle proposition) pour l’approximation structurale et l’accord de complexité dans l’identification de systèmes non-linéaires basés sur le noyau. Les deux méthodes sont basées sur l’idée d’intégrer des contraintes de complexité basées sur des caractéristiques dans le critère d’optimisation, en pénalisant les dérivées de fonctions. Essentiellement, de telles méthodes offrent à l’utilisateur une certaine souplesse dans la définition d’une fonction noyau et dans le choix du terme de régularisation, ce qui ouvre de nouvelles possibilités quant à la facon dont les modèles non-linéaires peuvent être estimés dans la pratique. Les deux méthodes ont des liens étroits avec d’autres méthodes de la littérature, qui seront examinées en détail dans les chapitres 2 et 3 et formeront la base des développements ultérieurs de la thèse. Alors que l’analogie sera faite avec des cadres parallèles, la discussion sera ancrée dans le cadre de Reproducing Kernel Hilbert Spaces (RKHS). L’utilisation des méthodes RKHS permettra d’analyser les méthodes présentées d’un point de vue à la fois théorique et pratique. De plus, les méthodes développées seront appliquées à plusieurs «études de cas» d’identification, comprenant à la fois des exemples de simulation et de données réelles, notamment : • Détection structurelle dans les systèmes statiques non-linéaires. • Contrôle de la fluidité dans les modèles LPV. • Ajustement de la complexité à l’aide de pénalités structurelles dans les systèmes NARX. • Modelisation de trafic internet par l’utilisation des méthodes à noyau

This thesis will focus exclusively on the application of kernel-based nonparametric methods to nonlinear identification problems. As for other nonlinear methods, two key questions in kernel-based identification are the questions of how to define a nonlinear model (kernel selection) and how to tune the complexity of the model (regularisation). The following chapter will discuss how these questions are usually dealt with in the literature. The principal contribution of this thesis is the presentation and investigation of two optimisation criteria (one existing in the literature and one novel proposition) for structural approximation and complexity tuning in kernel-based nonlinear system identification. Both methods are based on the idea of incorporating feature-based complexity constraints into the optimisation criterion, by penalising derivatives of functions. Essentially, such methods offer the user flexibility in the definition of a kernel function and the choice of regularisation term, which opens new possibilities with respect to how nonlinear models can be estimated in practice. Both methods bear strong links with other methods from the literature, which will be examined in detail in Chapters 2 and 3 and will form the basis of the subsequent developments of the thesis. Whilst analogy will be made with parallel frameworks, the discussion will be rooted in the framework of Reproducing Kernel Hilbert Spaces (RKHS). Using RKHS methods will allow analysis of the methods presented from both a theoretical and a practical point-of-view. Furthermore, the methods developed will be applied to several identification ‘case studies’, comprising of both simulation and real-data examples, notably: • Structural detection in static nonlinear systems. • Controlling smoothness in LPV models. • Complexity tuning using structural penalties in NARX systems. • Internet traffic modelling using kernel methods, Cette thèse se concentrera exclusivement sur l’application de méthodes non paramétriques basées sur le noyau à des problèmes d’identification non-linéaires. Comme pour les autres méthodes non-linéaires, deux questions clés dans l’identification basée sur le noyau sont les questions de comment définir un modèle non-linéaire (sélection du noyau) et comment ajuster la complexité du modèle (régularisation). La contribution principale de cette thèse est la présentation et l’étude de deux critères d’optimisation (un existant dans la littérature et une nouvelle proposition) pour l’approximation structurale et l’accord de complexité dans l’identification de systèmes non-linéaires basés sur le noyau. Les deux méthodes sont basées sur l’idée d’intégrer des contraintes de complexité basées sur des caractéristiques dans le critère d’optimisation, en pénalisant les dérivées de fonctions. Essentiellement, de telles méthodes offrent à l’utilisateur une certaine souplesse dans la définition d’une fonction noyau et dans le choix du terme de régularisation, ce qui ouvre de nouvelles possibilités quant à la facon dont les modèles non-linéaires peuvent être estimés dans la pratique. Les deux méthodes ont des liens étroits avec d’autres méthodes de la littérature, qui seront examinées en détail dans les chapitres 2 et 3 et formeront la base des développements ultérieurs de la thèse. Alors que l’analogie sera faite avec des cadres parallèles, la discussion sera ancrée dans le cadre de Reproducing Kernel Hilbert Spaces (RKHS). L’utilisation des méthodes RKHS permettra d’analyser les méthodes présentées d’un point de vue à la fois théorique et pratique. De plus, les méthodes développées seront appliquées à plusieurs «études de cas» d’identification, comprenant à la fois des exemples de simulation et de données réelles, notamment : • Détection structurelle dans les systèmes statiques non-linéaires. • Contrôle de la fluidité dans les modèles LPV. • Ajustement de la complexité à l’aide de pénalités structurelles dans les systèmes NARX. • Modelisation de trafic internet par l’utilisation des méthodes à noyau

In the framework of prediction of molecule’s properties, graph kernels allow to combine anatural encoding of a molecule by a graph with classical statistical tools. Unfortunately somemolecules encoded by a same graph and differing only by the three dimensional orientations oftheir atoms in space have different properties. Such molecules are called stereoisomers. Thiswork aims to take into account stereoisomerism into graph kernels method. In this documentwe first present the main methods of prediction of molecule’s properties, and we focus onmethods based on graph kernels. Based on this state of the art, we present stereoisomersand a state of the art of methods which take into account those molecules. Then we proposeto encode stereoisomers by ordered graphs. We define minimal stereo subgraphs, which aresubgraphs that locally characterizes the stereochemistry. Those subgraphs are used to definea kernel that take into account the stereochemistry. Finally we propose three extensionsfor this kernel. Those extensions allow to consider the neighbourhoods of minimal stereosubgraphs and to compare different minimal stereo subgraphs.; Dans le domaine de la prédiction de propriétés moléculaires, les noyaux sur graphes permettent de combiner la représentation naturelle des molécules par des graphes avec des méthodes classiques d’apprentissage automatique. Malheureusement, le positionnement relatif des atomes dans l’espace peut être différent pour des molécules représentées par un même graphe. Ces molécules, appelées stéréoisomères, peuvent avoir des propriétés différentes. L’objectif de cette thèse est la prise en compte des stéréoisomères dans les méthodes à noyaux pour la prédiction de propriétés moléculaires.Nous commençons par présenter les méthodes de prédiction de propriétés moléculaires, en particulier les méthodes à noyaux. Puis, après une présentation de la stéréochimie, nous présentons un état de l’art des méthodes la prenant en compte. En se basant sur cet état de l’art, nous proposons d’utiliser des graphes ordonnés afin de représenter les stéréoisomères. Nous définissons ensuite les stéréo sous-graphes minimaux qui sont des sous-graphes caractérisant localement la stéréochimie. Ces sous-graphes servent alors à définir un noyau permettant de prendre en compte la stéréochimie. Finalement nous présentons trois extensions à ce noyau. Ces extensions permettent de considérer les voisinages des stéréo sous-graphes minimaux et de comparer des stéréo sous-graphes minimaux différents.

In the framework of prediction of molecule’s properties, graph kernels allow to combine anatural encoding of a molecule by a graph with classical statistical tools. Unfortunately somemolecules encoded by a same graph and differing only by the three dimensional orientations oftheir atoms in space have different properties. Such molecules are called stereoisomers. Thiswork aims to take into account stereoisomerism into graph kernels method. In this documentwe first present the main methods of prediction of molecule’s properties, and we focus onmethods based on graph kernels. Based on this state of the art, we present stereoisomersand a state of the art of methods which take into account those molecules. Then we proposeto encode stereoisomers by ordered graphs. We define minimal stereo subgraphs, which aresubgraphs that locally characterizes the stereochemistry. Those subgraphs are used to definea kernel that take into account the stereochemistry. Finally we propose three extensionsfor this kernel. Those extensions allow to consider the neighbourhoods of minimal stereosubgraphs and to compare different minimal stereo subgraphs., Dans le domaine de la prédiction de propriétés moléculaires, les noyaux sur graphes permettent de combiner la représentation naturelle des molécules par des graphes avec des méthodes classiques d’apprentissage automatique. Malheureusement, le positionnement relatif des atomes dans l’espace peut être différent pour des molécules représentées par un même graphe. Ces molécules, appelées stéréoisomères, peuvent avoir des propriétés différentes. L’objectif de cette thèse est la prise en compte des stéréoisomères dans les méthodes à noyaux pour la prédiction de propriétés moléculaires.Nous commençons par présenter les méthodes de prédiction de propriétés moléculaires, en particulier les méthodes à noyaux. Puis, après une présentation de la stéréochimie, nous présentons un état de l’art des méthodes la prenant en compte. En se basant sur cet état de l’art, nous proposons d’utiliser des graphes ordonnés afin de représenter les stéréoisomères. Nous définissons ensuite les stéréo sous-graphes minimaux qui sont des sous-graphes caractérisant localement la stéréochimie. Ces sous-graphes servent alors à définir un noyau permettant de prendre en compte la stéréochimie. Finalement nous présentons trois extensions à ce noyau. Ces extensions permettent de considérer les voisinages des stéréo sous-graphes minimaux et de comparer des stéréo sous-graphes minimaux différents.

In the reliability literature, several researches works have been developed to deal with modeling, analysis and implementation of maintenance policies for equipments subject to random failures. The majority of these works are based on common assumptions among which the distribution function of the equipment lifetimes is assumed to be known. Furthermore, the equipment is assumed to experience only one operating environment. Such assumptions are indeed restrictive and may introduce a bias in the statistical analysis of the distribution function of the equipment lifetimes which in turn impacts optimization of maintenance policies. In the present research work, these two particular assumptions are relaxed. This relaxation allows to take into account of information related to conditions where the equipment is being operating and to focus on the statistical analysis of maintenance policies without using an intermediate parametric lifetimes distribution. The objective of this thesis consists then on the development of efficient statistical models and tools for managing the maintenance of equipments whose lifetimes distribution is unknown and defined through the heterogeneous lifetimes data. Indeed, this thesis proposes a framework for maintenance strategies determination, from lifetimes data acquisition toward the computation of optimal maintenance policies. The maintenance policies considered are assumed to be performed on used equipments. These later are conduct to experience their missions within different environments each of which is characterized by a degree of severity. In this context, a first mathematical model is proposed to evaluate costs induced by maintenance strategies. The analysis of these costs helps to establish the necessary and sufficient conditions to ensure the existence of an optimal age to perform the preventive maintenance. The maintenance costs are fully estimated by using the Kernel method. This estimation method is non-parametric and defined by two parameters, namely the kernel function and the smoothing parameter. The variability of maintenance costs estimator is deeply analyzed according to the smoothing parameter of Kernel method. From these analyses, it is shown that Kernel estimator method ensures a weak propagation of the errors due to the computation of smoothing parameter. In addition, several simulations are made to estimate the optimal replacement age. These simulations figure out that the numerical results from the Kernel method are close to the theoretical values with a weak coefficient of variation. Two probabilistic extensions of the first mathematical model are proposed and theoretically discussed. To deal with the problem of delayed preventive maintenance, an approach is proposed and discussed. The proposed approach allows evaluating the risk that could induce the delay taken to perform a preventive maintenance at the required optimal date. This approach is based on risk analysis conduct on the basis of a proposed risk function, Dans la littérature, plusieurs travaux ont été développés autour de la modélisation, l’analyse et la mise en place de politiques de maintenance pour les équipements sujets à des défaillances aléatoires. Ces travaux occultent souvent les réalités industrielles par des hypothèses telles que la connaissance a priori des distributions paramétriques des durées de vie et l’homogénéité des conditions d’exploitation des équipements. Ces hypothèses sont restrictives et constituent une source de biais parce qu’elles conditionnent l’analyse statistique des politiques de maintenance. Dans ce présent travail de thèse, de telles hypothèses sont relaxées pour permettre la prise en compte et la mise en valeurs des informations dérivant directement des données de durées vie issues de l’exploitation de l’équipement et ce sans passer par un modèle paramétrique intermédiaire. L’objectif de ce travail de thèse consiste alors en le développement de modèles statistiques et d’outils efficaces pour l’analyse des politiques de maintenance basées sur les données de durées de vie hétérogènes. Nous proposons en effet une démarche complète d’analyse de stratégies de maintenance en partant des données de durées de vie jusqu’à l’obtention des politiques optimales de maintenance en passant par une phase d’estimation des lois de probabilité. Les politiques de maintenance considérées sont appliques à des équipements usagés évoluant dans des environnements d’exploitation distingués par leur niveau de sévérité. Dans ce contexte, un modèle mathématique est proposé permettant d’évaluer et d’analyser théoriquement les coûts unitaires d’une stratégie de maintenance particulière dite de type âge. Cette analyse a permis d’établir les conditions nécessaires et suffisantes garantissant un âge optimal de remplacement préventif de l’équipement. Les coûts unitaires de maintenance sont complètement estimés par la méthode du Noyau de Parzen. Cette méthode d’estimation est non-paramétrique et définie par une fonction noyau et un paramètre de lissage. Il est également montré, dans nos travaux de recherche, que cet estimateur garantit une faible propagation des erreurs induites par le paramètre de lissage. Les résultats obtenus par la méthode du Noyau de Parzen sont proches des valeurs théoriques avec un faible coefficient de variation. Des extensions de la première politique de maintenance sont également proposées et étudiées. Ce travail de thèse s’achève par la proposition d’une approche permettant de mesurer et d’analyser le risque induit par le report d’une maintenance préventive. Ce risque est analysé à travers une fonction risque proposée

In automatic control, obtaining a model is always the cornerstone of the synthesis procedures such as controller design, fault detection or prediction... This thesis deals with the identification of a class of complex systems, hybrid dynamical systems. These systems involve the interaction of continuous and discrete behaviors. The goal is to build a model from experimental measurements of the system inputs and outputs. A new approach for the identification of linear hybrid systems based on the geometric properties of hybrid systems in the parameter space is proposed. A new algorithm is then proposed to recover the sparsest solutions of underdetermined systems of linear equations. This allows us to improve an identification approach based on the error sparsification. In addition, new approaches based on kernel models are proposed for the identification of nonlinear hybrid systems and piecewise smooth systems., En automatique, l'obtention d'un modèle du système est la pierre angulaire des procédures comme la synthèse d'une commande, la détection des défaillances, la prédiction... Cette thèse traite de l'identification d'une classe de systèmes complexes, les systèmes dynamiques hybrides. Ces systèmes impliquent l'interaction de comportements continus et discrets. Le but est de construire un modèle à partir de mesures expérimentales d'entrée et de sortie. Une nouvelle approche pour l'identification de systèmes hybrides linéaires basée sur les propriétés géométriques des systèmes hybrides dans l'espace des paramètres est proposée. Un nouvel algorithme est ensuite proposé pour le calcul de la solution la plus parcimonieuse (ou creuse) de systèmes d'équations linéaires sous-déterminés. Celui-ci permet d'améliorer une approche d'identification basée sur l'optimisation de la parcimonie du vecteur d'erreur. De plus, de nouvelles approches, basées sur des modèles à noyaux, sont proposées pour l'identification de systèmes hybrides non linéaires et de systèmes lisses par morceaux.

Function approximation methods based on reproducing kernel Hilbert spaces are of great importance in kernel-based regression. However, the order of the model is equal to the number of observations, which makes this method inappropriate for online identification. To overcome this drawback, many sparsification methods have been proposed to control the order of the model. The coherence criterion is one of these sparsification methods. It has been shown possible to select a subset of the most relevant passed input vectors to form a dictionary to identify the model.A kernel function, once introduced into the dictionary, remains unchanged even if the non-stationarity of the system makes it less influent in estimating the output of the model. This observation leads to the idea of adapting the elements of the dictionary to obtain an improved one with an objective to minimize the resulting instantaneous mean square error and/or to control the order of the model.The first part deals with adaptive algorithms using the coherence criterion. The adaptation of the elements of the dictionary using a stochastic gradient method is presented for two types of kernel functions. Another topic is covered in this part which is the implementation of adaptive algorithms using the coherence criterion to identify Multiple-Outputs models.The second part introduces briefly the active magnetic bearing (AMB). A proposed method to control an AMB by an adaptive algorithm using kernel methods is presented to replace an existing method using neural networks, L’estimation fonctionnelle basée sur les espaces de Hilbert à noyau reproduisant demeure un sujet de recherche actif pour l’identification des systèmes non linéaires. L'ordre du modèle croit avec le nombre de couples entrée-sortie, ce qui rend cette méthode inadéquate pour une identification en ligne. Le critère de cohérence est une méthode de parcimonie pour contrôler l’ordre du modèle. Le modèle est donc défini à partir d'un dictionnaire de faible taille qui est formé par les fonctions noyau les plus pertinentes.Une fonction noyau introduite dans le dictionnaire y demeure même si la non-stationnarité du système rend sa contribution faible dans l'estimation de la sortie courante. Il apparaît alors opportun d'adapter les éléments du dictionnaire pour réduire l'erreur quadratique instantanée et/ou mieux contrôler l'ordre du modèle.La première partie traite le sujet des algorithmes adaptatifs utilisant le critère de cohérence. L'adaptation des éléments du dictionnaire en utilisant une méthode de gradient stochastique est abordée pour deux familles de fonctions noyau. Cette partie a un autre objectif qui est la dérivation des algorithmes adaptatifs utilisant le critère de cohérence pour identifier des modèles à sorties multiples.La deuxième partie introduit d'une manière abrégée le palier magnétique actif (PMA). La proposition de contrôler un PMA par un algorithme adaptatif à noyau est présentée pour remplacer une méthode utilisant les réseaux de neurones à couches multiples

Our work is devoted to person recognition in video images and focuses mainly on faces. We areinterested in the registration and recognition steps, assuming that the locations of faces in the images areknown.The registration step aims at compensating the location and pose variations of the faces, making themeasier to compare. We present a method to predict the location of key-points based on sparse regression.It predicts the offset between average and real positions of a key-point from the appearence of the imagearound the average positions.Our contributions to face recognition rely on the idea that two different representations of faces of the sameperson should be closer, with respect to a given distance measure, than those of two different persons. Wepropose a metric learning method that verifies these properties. Besides, the approach is general enoughto be able to learn a distance between different modalities.The models we use in our approaches are linear. To alleviate this limitation, they are extended to the nonlinearcase through the use of the kernel trick.A part of this thesis precisely deals with the properties of additive homogeneous kernels, well adapted forhistogram comparisons. We especially present some oringal theoretical results on the feature map of thepower mean kernel.; Nos travaux portent sur la reconnaissance des personnes dans des images vidéo en se basant principalement sur les visages. Nous nous intéressons aux étapes d’alignement et de reconnaissance, en supposant que les positions des visages dans les images sont connues.L’alignement vise à compenser les variations de position et d'orientation des visages, les rendant plus facilement comparables. Nous présentons une méthode de détection de points-clés basée sur une régression parcimonieuse. Elle permet de prédire le décalage entre les positions moyennes et réelles d'un point-clé à partir de l'apparence de l'image autour des positions moyennes.Nos contributions à la reconnaissance de visages reposent sur l'idée que deux représentations différentes d'une même personne devraient être plus proches, au sens d'une certaine mesure de distance, que celles de deux personnes distinctes. Nous proposons une méthode d’apprentissage de métriques vérifiant ces propriétés. L'approche est par ailleurs assez générale pour être en mesure d'apprendre une distance entre des modalités différentes.Les modèles utilisés dans nos approches sont linéaires. Pour pallier cette limitation, ces modèles sont étendus au cas non-linéaire grâce au «truc» du noyau.Une partie de cette thèse porte justement sur l'étude des propriétés des noyaux additifs homogènes, adaptés aux comparaisons d'histogrammes. Nous apportons notamment des résultats théoriques originaux sur la fonction de re-description du noyau de la moyenne puissance. Nous montrons également comment apprendre explicitement une nouvelle fonction de re-description.

The proliferation of kernel methods lies essentially on the kernel trick, which induces an implicit nonlinear transformation with reduced computational cost. Still, the inverse transformation is often necessary. The resolution of this so-called pre-image problem enables new fields of applications of these methods.The main purpose of this thesis is to show that recent advances in statistical learning theory provide relevant solutions to several issues raised in signal and image processing.The first part focuses on the pre-image problem, and on solutions with constraints imposed by physiology. The non-negativity is probably the most commonly stated constraints when dealing with natural signals and images. Non-negativity constraints on the result, as well as on the additivity of the contributions, are studied.The second part focuses on time series analysis according to a predictive approach. Autoregressive models are developed in the transformed space, while the prediction requires solving the pre-image problem. Two kernel-based predictive models are considered: the first one is derived by solving a least-squares problem, and the second one by providing the adequate Yule-Walker equations.The last part deals with the classification task for electrocardiograms, in order to detect anomalies. Detection and multi-class classification are explored in the light of support vector machines and self-organizing maps.; Le foisonnement des méthodes à noyaux réside dans l’astuce du noyau, induisant implicitement une transformation non-linéaire à coût calculatoire réduit. Cependant, la transformation inverse est souvent cruciale. La résolution de ce problème, dit de pré-image, permet de nouveaux domaines d’applications de ces méthodes.L’objectif de cette thèse est de montrer que les récentes avancées en théorie de l’apprentissage statistique apportent des solutions pertinentes à plusieurs problèmes soulevés en traitement du signal et des images.La première partie porte sur la résolution du problème de pré-image avec contraintes imposées par la physiologie. En particulier, la non-négativité est probablement la plus couramment énoncée. Les contraintes de non-négativité du résultat ainsi que celles de l’additivité des contributions, induisant une certaine parcimonie, sont étudiées.La seconde partie porte sur l’analyse de séries temporelles, selon une approche prédictive. Des modèles autorégressifs sont élaborés dans l’espace transformé, la prédiction nécessitant la résolution du problème de pré-image. Deux modèles à noyaux de prédiction sont considérés : le premier basé sur le problème de moindres carrés, et le second sur les équations de Yule-Walker.La dernière partie traite le problème de classification d’électrocardiogrammes, afin d’y détecter des anomalies. La détection et la classification multi-classes sont examinées au jour des machines à vecteurs supports et des cartes d’auto-organisation.

Our work is devoted to person recognition in video images and focuses mainly on faces. We areinterested in the registration and recognition steps, assuming that the locations of faces in the images areknown.The registration step aims at compensating the location and pose variations of the faces, making themeasier to compare. We present a method to predict the location of key-points based on sparse regression.It predicts the offset between average and real positions of a key-point from the appearence of the imagearound the average positions.Our contributions to face recognition rely on the idea that two different representations of faces of the sameperson should be closer, with respect to a given distance measure, than those of two different persons. Wepropose a metric learning method that verifies these properties. Besides, the approach is general enoughto be able to learn a distance between different modalities.The models we use in our approaches are linear. To alleviate this limitation, they are extended to the nonlinearcase through the use of the kernel trick.A part of this thesis precisely deals with the properties of additive homogeneous kernels, well adapted forhistogram comparisons. We especially present some oringal theoretical results on the feature map of thepower mean kernel., Nos travaux portent sur la reconnaissance des personnes dans des images vidéo en se basant principalement sur les visages. Nous nous intéressons aux étapes d’alignement et de reconnaissance, en supposant que les positions des visages dans les images sont connues.L’alignement vise à compenser les variations de position et d'orientation des visages, les rendant plus facilement comparables. Nous présentons une méthode de détection de points-clés basée sur une régression parcimonieuse. Elle permet de prédire le décalage entre les positions moyennes et réelles d'un point-clé à partir de l'apparence de l'image autour des positions moyennes.Nos contributions à la reconnaissance de visages reposent sur l'idée que deux représentations différentes d'une même personne devraient être plus proches, au sens d'une certaine mesure de distance, que celles de deux personnes distinctes. Nous proposons une méthode d’apprentissage de métriques vérifiant ces propriétés. L'approche est par ailleurs assez générale pour être en mesure d'apprendre une distance entre des modalités différentes.Les modèles utilisés dans nos approches sont linéaires. Pour pallier cette limitation, ces modèles sont étendus au cas non-linéaire grâce au «truc» du noyau.Une partie de cette thèse porte justement sur l'étude des propriétés des noyaux additifs homogènes, adaptés aux comparaisons d'histogrammes. Nous apportons notamment des résultats théoriques originaux sur la fonction de re-description du noyau de la moyenne puissance. Nous montrons également comment apprendre explicitement une nouvelle fonction de re-description.

A lot of research have been carried out in the field of pedestrian detection using images and computers. The main obstacle is related with the pedestrian himself, which could not be easily characterized, due to its high variability. In particular, we have a scale, pose and appearance variability.To bring an issue to these variabilities, the pedestrian representation should be carefully chosen. In our case, we first use a graph based representation. In fact, a labeled graph has interesting properties to reduce particularly the scale and pose variability.A second representation is based on histogramms of oriented gradient, which computes some local histogramms of an image. This method has a good generalization capacity against variability. To apply this method on infrared images in order to detect pedestrians, we have to design a function to extract and analyse some windows from this image.The second part of the pattern recognition process is the classification. In our case we use the Support Vector Machine classifier, which is based on an particular function : the kernel function. The aim is to compute the inner product between data.For the graph method, we have to design an inner product between graphs. The aim is to compare two graphs by using bag-of-paths. That is to say, we extract some paths from graphs and we compare paths between them. The final kernel is obtained by combining all comparisons between paths.We also studied different kinds of kernel functions more specific for the histogramm-based representation in order to improve the performance of the classifier when we are using the HOG descriptor.; La détection de piéton est un problème récurrent depuis de nombreuses années. La principale confrontation est liée à la grande variabilité du piéton en échelle, posture et apparence. Un algorithme efficace de reconnaissance de formes doit donc être capable d'affronter ces difficultés. En particulier, le choix d'une représentation pertinente et discriminante est un sujet difficile à résoudre. Dans notrre cas, nous avons envisagé deux approches. La première consiste à représenter la forme d'un objet à l'aide de graphes étiquetés. Selon les étiquettes apportées, le graphe possède en effet des propriétés intéressantes pour résoudre les problèmes de variabilité de taille et de posture. Cette méthode nécessite cependant une segmentation rigoureuse au préalable. Nous avons ensuite étudié une représentation constituée d'histogrammes locaux d'orientation de gradient. Cette méthode présente des résultats intéressants par ses capacités de généralisation. L'application de cette méthode sur des images infrarouges complètes nécessite cependant une fonction permettant d'extraire des fenêtres dans l'image afin d'analyser leur contenu et vérifier ainsi la présence ou non de piétons. La deuxième étape du processus de reconnaissance de formes concerne l'analyse de la représentation des données. Nous utilisons pour cela le classifieur Support Vector Machine bâti, entre autres, sur une fonction noyau calculant le produit scalaire entre les données support et la donnée évaluée. Dans le cas des graphes, nous utilisons une formulation de noyau de graphes calculé sur des "sacs de chemins". Le but consiste à extraire un ensemble de chemins de chaque graphe puis de comparer les chemins entre eux et combiner les comparaisons pour obtenir le noyau final. Pour analyser les histogrammes de gradient, nous avons étudié différentes formulations permettant d'obtenir les meilleures performances avec cette représentation qui peut être assimilée à une distribution de probabilités.

A lot of research have been carried out in the field of pedestrian detection using images and computers. The main obstacle is related with the pedestrian himself, which could not be easily characterized, due to its high variability. In particular, we have a scale, pose and appearance variability.To bring an issue to these variabilities, the pedestrian representation should be carefully chosen. In our case, we first use a graph based representation. In fact, a labeled graph has interesting properties to reduce particularly the scale and pose variability.A second representation is based on histogramms of oriented gradient, which computes some local histogramms of an image. This method has a good generalization capacity against variability. To apply this method on infrared images in order to detect pedestrians, we have to design a function to extract and analyse some windows from this image.The second part of the pattern recognition process is the classification. In our case we use the Support Vector Machine classifier, which is based on an particular function : the kernel function. The aim is to compute the inner product between data.For the graph method, we have to design an inner product between graphs. The aim is to compare two graphs by using bag-of-paths. That is to say, we extract some paths from graphs and we compare paths between them. The final kernel is obtained by combining all comparisons between paths.We also studied different kinds of kernel functions more specific for the histogramm-based representation in order to improve the performance of the classifier when we are using the HOG descriptor., La détection de piéton est un problème récurrent depuis de nombreuses années. La principale confrontation est liée à la grande variabilité du piéton en échelle, posture et apparence. Un algorithme efficace de reconnaissance de formes doit donc être capable d'affronter ces difficultés. En particulier, le choix d'une représentation pertinente et discriminante est un sujet difficile à résoudre. Dans notrre cas, nous avons envisagé deux approches. La première consiste à représenter la forme d'un objet à l'aide de graphes étiquetés. Selon les étiquettes apportées, le graphe possède en effet des propriétés intéressantes pour résoudre les problèmes de variabilité de taille et de posture. Cette méthode nécessite cependant une segmentation rigoureuse au préalable. Nous avons ensuite étudié une représentation constituée d'histogrammes locaux d'orientation de gradient. Cette méthode présente des résultats intéressants par ses capacités de généralisation. L'application de cette méthode sur des images infrarouges complètes nécessite cependant une fonction permettant d'extraire des fenêtres dans l'image afin d'analyser leur contenu et vérifier ainsi la présence ou non de piétons. La deuxième étape du processus de reconnaissance de formes concerne l'analyse de la représentation des données. Nous utilisons pour cela le classifieur Support Vector Machine bâti, entre autres, sur une fonction noyau calculant le produit scalaire entre les données support et la donnée évaluée. Dans le cas des graphes, nous utilisons une formulation de noyau de graphes calculé sur des "sacs de chemins". Le but consiste à extraire un ensemble de chemins de chaque graphe puis de comparer les chemins entre eux et combiner les comparaisons pour obtenir le noyau final. Pour analyser les histogrammes de gradient, nous avons étudié différentes formulations permettant d'obtenir les meilleures performances avec cette représentation qui peut être assimilée à une distribution de probabilités.