Search

In many machine learning and pattern recognition tasks, there is always a need for appropriate metric functions to measure pairwise distance or similarity between data, where a metric function is a function that defines a distance or similarity between each pair of elements of a set. In this thesis, we propose Triangular Similarity Metric Learning (TSML) for automatically specifying a metric from data. A TSML system is loaded in a siamese architecture which consists of two identical sub-systems sharing the same set of parameters. Each sub-system processes a single data sample and thus the whole system receives a pair of data as the input. The TSML system includes a cost function parameterizing the pairwise relationship between data and a mapping function allowing the system to learn high-level features from the training data. In terms of the cost function, we first propose the Triangular Similarity, a novel similarity metric which is equivalent to the well-known Cosine Similarity in measuring a data pair. Based on a simplified version of the Triangular Similarity, we further develop the triangular loss function in order to perform metric learning, i.e. to increase the similarity between two vectors in the same class and to decrease the similarity between two vectors of different classes. Compared with other distance or similarity metrics, the triangular loss and its gradient naturally offer us an intuitive and interesting geometrical interpretation of the metric learning objective. In terms of the mapping function, we introduce three different options: a linear mapping realized by a simple transformation matrix, a nonlinear mapping realized by Multi-layer Perceptrons (MLP) and a deep nonlinear mapping realized by Convolutional Neural Networks (CNN). With these mapping functions, we present three different TSML systems for various applications, namely, pairwise verification, object identification, dimensionality reduction and data visualization. For each application, we carry out extensive experiments on popular benchmarks and datasets to demonstrate the effectiveness of the proposed systems., Dans de nombreux problèmes d’apprentissage automatique et de reconnaissance des formes, il y a toujours un besoin de fonctions métriques appropriées pour mesurer la distance ou la similarité entre des données. La fonction métrique est une fonction qui définit une distance ou une similarité entre chaque paire d’éléments d’un ensemble de données. Dans cette thèse, nous proposons une nouvelle methode, Triangular Similarity Metric Learning (TSML), pour spécifier une fonction métrique de données automatiquement. Le système TSML proposée repose une architecture Siamese qui se compose de deux sous-systèmes identiques partageant le même ensemble de paramètres. Chaque sous-système traite un seul échantillon de données et donc le système entier reçoit une paire de données en entrée. Le système TSML comprend une fonction de coût qui définit la relation entre chaque paire de données et une fonction de projection permettant l’apprentissage des formes de haut niveau. Pour la fonction de coût, nous proposons d’abord la similarité triangulaire (Triangular Similarity), une nouvelle similarité métrique qui équivaut à la similarité cosinus. Sur la base d’une version simplifiée de la similarité triangulaire, nous proposons la fonction triangulaire (the triangular loss) afin d’effectuer l’apprentissage de métrique, en augmentant la similarité entre deux vecteurs dans la même classe et en diminuant la similarité entre deux vecteurs de classes différentes. Par rapport aux autres distances ou similarités, la fonction triangulaire et sa fonction gradient nous offrent naturellement une interprétation géométrique intuitive et intéressante qui explicite l’objectif d’apprentissage de métrique. En ce qui concerne la fonction de projection, nous présentons trois fonctions différentes: une projection linéaire qui est réalisée par une matrice simple, une projection non-linéaire qui est réalisée par Multi-layer Perceptrons (MLP) et une projection non-linéaire profonde qui est réalisée par Convolutional Neural Networks (CNN). Avec ces fonctions de projection, nous proposons trois systèmes de TSML pour plusieurs applications: la vérification par paires, l’identification d’objet, la réduction de la dimensionnalité et la visualisation de données. Pour chaque application, nous présentons des expérimentations détaillées sur des ensembles de données de référence afin de démontrer l’efficacité de notre systèmes de TSML.

In the digitization age, data becomes cheap and easy to obtain. That results in many new optimization problems with extremely large sizes. In particular, for the same kind of problems, the numbers of variables and constraints are huge. Moreover, in many application settings such as those in Machine learning, an accurate solution is less preferred as approximate but robust ones. It is a real challenge for traditional algorithms, which are used to work well with average-size problems, to deal with these new circumstances.Instead of developing algorithms that scale up well to solve these problems directly, one natural idea is to transform them into small-size problems that strongly relates to the originals. Since the new ones are of manageable sizes, they can still be solved efficiently by classical methods. The solutions obtained by these new problems, however, will provide us insight into the original problems. In this thesis, we will exploit the above idea to solve some high-dimensional optimization problems. In particular, we apply a special technique called random projection to embed the problem data into low dimensional spaces, and approximately reformulate the problem in such a way that it becomes very easy to solve but still captures the most important information. Therefore, by solving the projected problem, we either obtain an approximate solution or an approximate objective value for the original problem.We will apply random projection to study a number of important optimization problems, including linear and integer programming (Chapter 3), convex optimization with linear constraints (Chapter 4), membership and approximate nearest neighbor (Chapter 5) and trust-region subproblems (Chapter 6).In Chapter 3, we study optimization problems in their feasibility forms. In particular, we study the so-called restricted linear membership problem. This class contains many important problems such as linear and integer feasibility. We proposeto apply a random projection to the linear constraints, andwe want to find conditions on T, so that the two feasibility problems are equivalent with high probability.In Chapter 4, we continue to study the above problem in the case the restricted set is a convex set. Under that assumption, we can define a tangent cone at some point with minimal squared error. We establish the relations between the original and projected problems based on the concept of Gaussian width, which is popular in compressed sensing. In particular, we prove thatthe two problems are equivalent with high probability as long as for some random projection sampled from sub-gaussian ensemble with large enough dimension (depends on the gaussian width).In Chapter 5, we study the Euclidean membership problem: ``Given a vector b and a Euclidean closed set X, decide whether b is in Xor not". This is a generalization of the restricted linear membership problem considered previously. We employ a Gaussian random projection T to embed both b and X into a lower dimension space and study the corresponding projected version: ``Decide whether Tb is in T(X) or not". When X is finite or countable, using a straightforward argument, we prove that the two problems are equivalent almost surely regardless the projected dimension. In the case when X may be uncountable, we prove that the original and projected problems are also equivalent if the projected dimension d is proportional to some intrinsic dimension of the set X. In particular, we employ the definition of doubling dimension estimate the relation between the two problems.In Chapter 6, we propose to apply random projections for the trust-region subproblem. We reduce the number of variables by using a random projection and prove that optimal solutions for the new problem are actually approximate solutions of the original. This result can be used in the trust-region framework to study black-box optimization and derivative-free optimization., À l'ère de la numérisation, les données devient pas cher et facile à obtenir. Cela se traduit par de nombreux nouveaux problèmes d'optimisation avec de très grandes tailles. En particulier, pour le même genre de problèmes, le nombre de variables et de contraintes sont énormes. En outre, dans de nombreux paramètres d'application tels que ceux dans l'apprentissage de la machine, une solution précise est moins préférée que celles approximatives mais robustes. Il est un véritable défi pour les algorithmes traditionnels, qui sont utilisés pour bien travailler avec des problèmes de taille moyenne, pour faire face à ces nouvelles circonstances.Au lieu de développer des algorithmes qui évoluent bien à résoudre ces problèmes directement, une idée naturelle est de les transformer en problèmes de petite taille qui se rapporte fortement aux originaux. Étant donné que les nouvelles sont de tailles gérables, ils peuvent encore être résolus efficacement par des méthodes classiques. Les solutions obtenues par ces nouveaux problèmes, cependant, nous donner un aperçu des problèmes originaux. Dans cette thèse, nous allons exploiter l'idée ci-dessus pour résoudre certains problèmes de grande dimension optimisation. En particulier, nous appliquons une technique spéciale appelée projection aléatoire pour intégrer les données du problème dans les espaces de faible dimension, et de reformuler environ le problème de telle manière qu'il devient très facile à résoudre, mais capte toujours l'information la plus importante.Dans le chapitre 3, nous étudions les problèmes d'optimisation dans leurs formes de faisabilité. En particulier, nous étudions le problème que l'on appelle l'adhésion linéaire restreint. Cette classe contient de nombreux problèmes importants tels que la faisabilité linéaire et entier. Nous proposonsd'appliquer une projection aléatoire aux contraintes linéaires etnous voulons trouver des conditions sur T, de sorte que les deux problèmes de faisabilité sont équivalentes avec une forte probabilité.Dans le chapitre 4, nous continuons à étudier le problème ci-dessus dans le cas où l'ensemble restreint est un ensemble convexe. Nous établissons les relations entre les problèmes originaux et projetés sur la base du concept de la largeur gaussienne, qui est populaire dans la détection comprimé. En particulier, nous montrons que les deux problèmes sont équivalents avec une forte probabilité aussi longtemps que pour une projection aléatoire échantillonné à partir ensemble sous-gaussienne avec grande dimension suffisante (dépend de la largeur gaussienne).Dans le chapitre 5, nous étudions le problème de l'adhésion euclidienne:.. `` Étant donné un vecteur b et un euclidienne ensemble fermé X, décider si b est en Xor pas "Ceci est une généralisation du problème de l'appartenance linéaire restreinte précédemment considéré. Nous employons une gaussienne projection aléatoire T pour l'intégrer à la fois b et X dans un espace de dimension inférieure et étudier la version projetée correspondant. Lorsque X est fini ou dénombrable, en utilisant un argument simple, nous montrons que les deux problèmes sont équivalents presque sûrement quelle que soit la dimension projetée. Dans le cas où X peut être indénombrable, nous prouvons que les problèmes initiaux et prévus sont également équivalentes si la dimension d projetée est proportionnelle à une dimension intrinsèque de l'ensemble X. En particulier, nous employons la définition de doubler la dimension estimer la relation entre les deux problèmes.Dans le chapitre 6, nous proposons d'appliquer des projections aléatoires pour la zone de confiance sous-problème. Nous réduisons le nombre de variables en utilisant une projection aléatoire et prouver que des solutions optimales pour le nouveau problème sont en fait des solutions approchées de l'original. Ce résultat peut être utilisé dans le cadre de confiance-région pour étudier l'optimisation de boîte noire et l'optimisation des produits dérivés libre.

The purpose of this thesis is to develop and suggest new dimensionreduction methods to construct composite indicators on a municipal scale. The developedstatistical methodology highlights the consideration of the multi-dimensionalityof the quality of life concept, with a particular attention on the treatment of mixeddata (quantitative and qualitative variables) and the introduction of environmentalconditions. We opt for a variable clustering approach and for a multi-table method(multiple factorial analysis for mixed data). These two methods allow to build compositeindicators that we propose as a measure of living conditions at the municipalscale. In order to facilitate the interpretation of the created composite indicators, weintroduce a method of selections of variables based on a bootstrap approach. Finally,we suggest the clustering of observations method, named hclustgeo, which integratesgeographical proximity constraints in the clustering procedure, in order to apprehendthe spatiality specificities better., L’objectif de cette thèse est de développer et de proposer de nouvellesméthodes de réduction de dimension pour la construction d’indicateurs composites dequalité de vie à l’échelle communale. La méthodologie statistique développée met l’accentsur la prise en compte de la multidimensionnalité du concept de qualité de vie, avecune attention particulière sur le traitement de la mixité des données (variables quantitativeset qualitatives) et l’introduction des conditions environnementales. Nous optonspour une approche par classification de variables et pour une méthode multi-tableaux(analyse factorielle multiple pour données mixtes). Ces deux méthodes permettent deconstruire des indicateurs composites que nous proposons comme mesure des conditionsde vie à l’échelle communale. Afin de faciliter l’interprétation des indicateurscomposites construits, une méthode de sélection de variables de type bootstrap estintroduite en analyse factorielle multiple. Enfin nous proposons la méthode hclustgeode classification d’observations qui intègre des contraintes de proximité géographiqueafin de mieux appréhender la spatialité des phénomènes mis en jeu.

This Ph.D dissertation deals with a "one among many" detection problem, where one has to discriminate between pure noise under H0 and one among L known alternatives under H1. This work focuses on the study and implementation of robust reduced dimension detection tests using optimized dictionaries. These detection methods are associated with the Generalized Likelihood Ratio test. The proposed approaches are principally assessed on hyperspectral data. In the first part, several technical topics associated to the framework of this dissertation are presented. The second part highlights the theoretical and algorithmic aspects of the proposed methods. Two issues linked to the large number of alternatives arise in this framework. In this context, we propose dictionary learning techniques based on a robust criterion that seeks to minimize the maximum power loss (type minimax). In the case where the learned dictionary has K = 1 column, we show that the exact solution can be obtained. Then, we propose in the case K > 1 three minimax learning algorithms. Finally, the third part of this manuscript presents several applications. The principal application regards astrophysical hyperspectral data of the Multi Unit Spectroscopic Explorer instrument. Numerical results show that the proposed algorithms are robust and in the case K > 1 they allow to increase the minimax detection performances over the K = 1 case. Other possible applications such as worst-case recognition of faces and handwritten digits are presented.; Le travail dans cette thèse porte sur le problème de détection «one among many» où l’on doit distinguer entre un bruit sous H0 et une parmi L alternatives connues sous H1. Ce travail se concentre sur l’étude et la mise en œuvre de méthodes de détection robustes de dimension réduite utilisant des dictionnaires optimisés. Ces méthodes de détection sont associées au test de Rapport de Vraisemblance Généralisé. Les approches proposées sont principalement évaluées sur des données hyperspectrales. Dans la première partie, plusieurs sujets techniques associés à cette thèse sont présentés. La deuxième partie met en évidence les aspects théoriques et algorithmiques des méthodes proposées. Deux inconvénients liés à un grand nombre d’alternatives se posent. Dans ce cadre, nous proposons des techniques d’apprentissage de dictionnaire basées sur un critère robuste qui cherche à minimiser la perte de puissance dans le pire des cas (type minimax). Dans le cas où l’on cherche un dictionnaire à K = 1 atome, nous montrons que la solution exacte peut être obtenue. Ensuite, nous proposons dans le cas K > 1 trois algorithmes d’apprentissage minimax. Finalement, la troisième partie de ce manuscrit présente plusieurs applications. L’ application principale concerne les données astrophysiques hyperspectrales de l’instrument Multi Unit Spectroscopic Explorer. Les résultats numériques montrent que les méthodes proposées sont robustes et que le cas K > 1 permet d’augmenter les performances de détection minimax par rapport au cas K = 1. D’autres applications possibles telles que l’apprentissage minimax de visages et la reconnaissance de chiffres manuscrits dans le pire cas sont présentées.

This thesis studies three popular dimension reduction techniques: compressed sensing, random projection and sparse representation, and brings significant improvements on these techniques. In compressed sensing, the construction of sensing matrix with both good performance and hardware-Friendly structure has been a significant challenge. In this thesis, we explicitly propose the optimal zero-One binary matrix by searching the best Restricted Isometry Property. In practice, an efficient greedy algorithm is successively developed to construct the optimal binary matrix with arbitrary size. Moreover, we also study another interesting problem for compressed sensing, that is the performance of sensing matrices with high compression rates. For the first time, the performance floor of random Bernoulli matrices over increasing compression rates is observed and effectively estimated. Random projection is mainly used in the task of classification, for which the construction of random projection matrix is also critical in terms of both performance and complexity. This thesis presents so far the most sparse random projection matrix, which is proved holding better feature selection performance than other more dense random matrices. The theoretical result is confirmed with extensive experiments. As a novel technique for feature or sample selection, sparse representation has recently been widely applied in the area of image processing. In this thesis, we mainly focus our attention on its applications to visual object tracking. To reduce the computation load related to sparse representation, a simple but efficient scheme is proposed for the tracking of single object. Subsequently, the potential of sparse representation to multiobject tracking is investigated.; Cette thèse étudie et apporte des améliorations significatives sur trois techniques répandues en réduction de dimension : l'acquisition parcimonieuse (ou l'échantillonnage parcimonieux), la projection aléatoire et la représentation parcimonieuse. En acquisition parcimonieuse, la construction d’une matrice de réduction possédant à la fois de bonnes performances et une structure matérielle adéquate reste un défi de taille. Ici, nous proposons explicitement la matrice binaire optimale, avec éléments zéro-Un, en recherchant la meilleure propriété d’isométrie restreinte (RIP). Dans la pratique, un algorithme glouton efficace est successivement développé pour construire la matrice binaire optimale avec une taille arbitraire. Par ailleurs, nous étudions également un autre problème intéressant pour l'acquisition parcimonieuse, c'est celui de la performance des matrices d'acquisition parcimonieuse avec des taux de compression élevés. Pour la première fois, la limite inférieure de la performance des matrices aléatoires de Bernoulli pour des taux de compression croissants est observée et estimée. La projection aléatoire s'utilise principalement en classification mais la construction de la matrice de projection aléatoire s'avère également critique en termes de performance et de complexité. Cette thèse présente la matrice de projection aléatoire, de loin, la plus éparse. Celle-Ci est démontrée présenter la meilleure performance en sélection de caractéristiques, comparativement à d’autres matrices aléatoires plus denses. Ce résultat théorique est confirmé par de nombreuses expériences. Comme nouvelle technique pour la sélection de caractéristiques ou d’échantillons, la représentation parcimonieuse a récemment été largement appliquée dans le domaine du traitement d'image. Dans cette thèse, nous nous concentrons principalement sur ses applications de suivi d'objets dans une séquence d'images. Pour réduire la charge de calcul liée à la représentation parcimonieuse, un système simple mais efficace est proposé pour le suivi d'un objet unique. Par la suite, nous explorons le potentiel de cette représentation pour le suivi d'objets multiples.

This thesis presents three approaches to deal with different issues concerning supervised classification in hyperspectral (HS) images: spectral dimension reduction, spectral spatial combination and light source independence. The high dimensionality and collinearity of spectral variables necessitate specific processing methods to be used before classification. To tackle this issue, we propose an original supervised spectral dimension reduction method that uses orthogonal projections. The projection is performed so that the obtained scores minimize the within-class variability and preserve between-class distances. In addition, since the method is based on removing information, overfitting is prevented without the need for cross-validation. Then, in order to combine the spectral and spatial information, we propose using a spatial regularization on score image channels obtained with a supervised dimension reduction method. These channels, that are built to highlight class differences, allow edges to be obtained, in the spatial domain, that correspond to the actual class borders and not to the background variability. Therefore, applying an edge-preserving spatial regularization to the channels of this score image reduces the remaining within-class variability and thus leads to an easier classification. Finally, we propose an approach that allows, in the context of supervised classification, the prerequisite reflectance correction of the HS images to be unblocked. Under the assumption that classes have Lambertian reflectance, we show that, after log-transformation, the difference in lighting corresponds to a translation in the spectral space as well as in a score space obtained through linear supervised dimension reduction. Owing to the use of a supervised dimension reduction, classes form clusters in the low-dimensional score space. Using these clusters, we propose a method to estimate the translation that is robust against an unbalanced number of samples and missing classes. These three approaches have been evaluated and validated on two real HS datasets, i.e., classification of weeds in a wheat crop using close-range HS images, and classification of a rural area using remotely-sensed HS images.; Cette thèse présente trois approches pour gérer différentes problématiques de la classification supervisée des images hyperspectrales (HS) : réduction de la dimension spectrale, combinaison de l’information spectrale et spatiale et indépendance vis-à-vis de l’éclairement. La grande dimension et forte colinéarité des données spectrales nécessitent un traitement adapté avant classification. Pour pallier à ce problème, nous proposons une approche originale de réduction de dimension supervisée utilisant les projections orthogonales. La projection est réalisée afin que les scores obtenus minimisent la variabilité intraclasse tout en préservant les distances entre classes. De plus, la méthode étant basée sur de la suppression d’information, le sur-apprentissage peut être empêché sans nécessiter une validation croisée. Ensuite, afin de combiner l’information spectrale et spatiale, nous développons une approche de régularisation spatiale sur les canaux d’images de scores obtenus de manière supervisée. Ces scores, mettant en évidence les différences entre les classes, permettent dans le domaine spatial, d’obtenir des bordures correspondant aux variations entre classes et non au bruit de fond. Par conséquent, une régularisation spatiale qui préserve les contours, appliquée aux canaux de l’image des scores, réduit la variabilité intra-classe restant et facilite la classification. Enfin, nous présentons une démarche permettant, dans le contexte de classification supervisée, de s’affranchir de la correction en réflectance préalable des images HS. En faisant l’hypothèse que les classes ont des réflectances lambertiennes, nous montrons que, après une transformation logarithmique, la différence d'éclairement correspond à une translation dans l’espace spectral ainsi que dans l’espace des scores obtenu à partir d’une réduction de dimension supervisée linéaire. Grâce à l’utilisation de la méthode de réduction de dimension supervisée, les classes forment des clusters dans l’espace réduit. Nous proposons donc une méthode d’estimation de cette translation dans l’espace des scores, robuste aux variations du nombre d’individus par classe ainsi qu’aux aux classes manquantes. Ces trois approches ont été évaluées et validées sur deux jeux de données HS réels, i.e., classification d’adventices dans les champs de blé à partir d’image HS en proxi-détection et classification d’une zone rurale à partir de données HS en télédétection.

This thesis presents three approaches to deal with different issues concerning supervised classification in hyperspectral (HS) images: spectral dimension reduction, spectral spatial combination and light source independence. The high dimensionality and collinearity of spectral variables necessitate specific processing methods to be used before classification. To tackle this issue, we propose an original supervised spectral dimension reduction method that uses orthogonal projections. The projection is performed so that the obtained scores minimize the within-class variability and preserve between-class distances. In addition, since the method is based on removing information, overfitting is prevented without the need for cross-validation. Then, in order to combine the spectral and spatial information, we propose using a spatial regularization on score image channels obtained with a supervised dimension reduction method. These channels, that are built to highlight class differences, allow edges to be obtained, in the spatial domain, that correspond to the actual class borders and not to the background variability. Therefore, applying an edge-preserving spatial regularization to the channels of this score image reduces the remaining within-class variability and thus leads to an easier classification. Finally, we propose an approach that allows, in the context of supervised classification, the prerequisite reflectance correction of the HS images to be unblocked. Under the assumption that classes have Lambertian reflectance, we show that, after log-transformation, the difference in lighting corresponds to a translation in the spectral space as well as in a score space obtained through linear supervised dimension reduction. Owing to the use of a supervised dimension reduction, classes form clusters in the low-dimensional score space. Using these clusters, we propose a method to estimate the translation that is robust against an unbalanced number of samples and missing classes. These three approaches have been evaluated and validated on two real HS datasets, i.e., classification of weeds in a wheat crop using close-range HS images, and classification of a rural area using remotely-sensed HS images.; Cette thèse présente trois approches pour gérer différentes problématiques de la classification supervisée des images hyperspectrales (HS) : réduction de la dimension spectrale, combinaison de l’information spectrale et spatiale et indépendance vis-à-vis de l’éclairement. La grande dimension et forte colinéarité des données spectrales nécessitent un traitement adapté avant classification. Pour pallier à ce problème, nous proposons une approche originale de réduction de dimension supervisée utilisant les projections orthogonales. La projection est réalisée afin que les scores obtenus minimisent la variabilité intraclasse tout en préservant les distances entre classes. De plus, la méthode étant basée sur de la suppression d’information, le sur-apprentissage peut être empêché sans nécessiter une validation croisée. Ensuite, afin de combiner l’information spectrale et spatiale, nous développons une approche de régularisation spatiale sur les canaux d’images de scores obtenus de manière supervisée. Ces scores, mettant en évidence les différences entre les classes, permettent dans le domaine spatial, d’obtenir des bordures correspondant aux variations entre classes et non au bruit de fond. Par conséquent, une régularisation spatiale qui préserve les contours, appliquée aux canaux de l’image des scores, réduit la variabilité intra-classe restant et facilite la classification. Enfin, nous présentons une démarche permettant, dans le contexte de classification supervisée, de s’affranchir de la correction en réflectance préalable des images HS. En faisant l’hypothèse que les classes ont des réflectances lambertiennes, nous montrons que, après une transformation logarithmique, la différence d'éclairement correspond à une translation dans l’espace spectral ainsi que dans l’espace des scores obtenu à partir d’une réduction de dimension supervisée linéaire. Grâce à l’utilisation de la méthode de réduction de dimension supervisée, les classes forment des clusters dans l’espace réduit. Nous proposons donc une méthode d’estimation de cette translation dans l’espace des scores, robuste aux variations du nombre d’individus par classe ainsi qu’aux aux classes manquantes. Ces trois approches ont été évaluées et validées sur deux jeux de données HS réels, i.e., classification d’adventices dans les champs de blé à partir d’image HS en proxi-détection et classification d’une zone rurale à partir de données HS en télédétection.

This thesis is an overview of some inverse problems and methods for the environment (weather, ocean, ice).; On proposera un tour d'horizon de quelques problèmes et méthodes inverses pour l'environnement (météo, océano, glacio).

More and more scientific studies yield to the collection of a large amount of data that consist of sets of curves recorded on individuals. These data can be seen as an extension of longitudinal data in high dimension and are often modeled as functional data in a mixed-effects framework. In a first part we focus on performing unsupervised clustering of these curves in the presence of inter-individual variability. To this end, we develop a new procedure based on a wavelet representation of the model, for both fixed and random effects. Our approach follows two steps : a dimension reduction step, based on wavelet thresholding techniques, is first performed. Then a clustering step is applied on the selected coefficients. An EM-algorithm is used for maximum likelihood estimation of parameters. The properties of the overall procedure are validated by an extensive simulation study. We also illustrate our method on high throughput molecular data (omics data) like microarray CGH or mass spectrometry data. Our procedure is available through the R package "curvclust", available on the CRAN website. In a second part, we concentrate on estimation and dimension reduction issues in the mixed-effects functional framework. Two distinct approaches are developed according to these issues. The first approach deals with parameters estimation in a non parametrical setting. We demonstrate that the functional fixed effects estimator based on wavelet thresholding techniques achieves the expected rate of convergence toward the true function. The second approach is dedicated to the selection of both fixed and random effects. We propose a method based on a penalized likelihood criterion with SCAD penalties for the estimation and the selection of both fixed effects and random effects variances. In the context of variable selection we prove that the penalized estimators enjoy the oracle property when the signal size diverges with the sample size. A simulation study is carried out to assess the behaviour of the two proposed approaches., Un nombre croissant de domaines scientifiques collectent de grandes quantités de données comportant beaucoup de mesures répétées pour chaque individu. Ce type de données peut être vu comme une extension des données longitudinales en grande dimension. Le cadre naturel pour modéliser ce type de données est alors celui des modèles mixtes fonctionnels. Nous traitons, dans une première partie, de la classification non-supervisée dans les modèles mixtes fonctionnels. Nous présentons dans ce cadre une nouvelle procédure utilisant une décomposition en ondelettes des effets fixes et des effets aléatoires. Notre approche se décompose en deux étapes : une étape de réduction de dimension basée sur les techniques de seuillage des ondelettes et une étape de classification où l'algorithme EM est utilisé pour l'estimation des paramètres par maximum de vraisemblance. Nous présentons des résultats de simulations et nous illustrons notre méthode sur des jeux de données issus de la biologie moléculaire (données omiques). Cette procédure est implémentée dans le package R "curvclust" disponible sur le site du CRAN. Dans une deuxième partie, nous nous intéressons aux questions d'estimation et de réduction de dimension au sein des modèles mixtes fonctionnels et nous développons en ce sens deux approches. La première approche se place dans un objectif d'estimation dans un contexte non-paramétrique et nous montrons dans ce cadre, que l'estimateur de l'effet fixe fonctionnel basé sur les techniques de seuillage par ondelettes possède de bonnes propriétés de convergence. Notre deuxième approche s'intéresse à la problématique de sélection des effets fixes et aléatoires et nous proposons une procédure basée sur les techniques de sélection de variables par maximum de vraisemblance pénalisée et utilisant deux pénalités SCAD sur les effets fixes et les variances des effets aléatoires. Nous montrons dans ce cadre que le critère considéré conduit à des estimateurs possédant des propriétés oraculaires dans un cadre où le nombre d'individus et la taille des signaux divergent. Une étude de simulation visant à appréhender les comportements des deux approches développées est réalisée dans ce contexte.

We study the problem of fracture in thin film systems subject to tensile stresses originated by mechanical loading or inelastic phenomena, due e.g. to thermal or moisture couplings. In such systems, homogeneous loads lead to the nucleation of interacting transverse and debonding cracks, producing auto-structuration of quasi-periodic crack networks and propagation of complex patterns showing robust morphological features. We tackle the problem of describing the irreversible evolution of fractures, covering the phases of crack nucleation, path selection and irreversible evolution in space and time. Available literature results rely upon phenomenological models lacking rigorous derivation and are limited to simple geometrical settings. In addition, problems of nucleation of new cracks, mechanisms of path selection and irreversible, non-smooth evolution in space and time are not explored, due to the limitations of to classical theory of fracture mechanics. We propose the derivation of a limit, asymptotic, reduced-dimension, global, varia- tional, theory for fracture of thin films starting from three-dimensional brittle elasticity within the framework of variational fracture, using notions of variational convergence. We then introduce a regularization of the limit fracture problem, by the means of a damage gradient functional, suitable to the numerical solution by finite elements. The proposed work allows to obtain a systematic understanding of the competition between various mechanisms including fracture and debonding; to rigorously establish a reduced, variational, asymptotic model, valid for thin films that is rich enough to capture the important physics of failure; and to tackle a detailed numerical study of the complex cracking and debonding patterns observed in thin film systems., Nous étudions le problème de rupture des systèmes de couches minces soumis à contraintes de tension dues aux chargements mécaniques ou à d'autres phénomènes élastiques, associés e.g. à couplages thérmiques où humidité. Dans ces systèmes, chargements homogènes conduisent à la nucléation de fissures interagissantes transverses et de décollement, produisant l'auto-structuration de réseaux de fissures quasi-périodiques et la propagation de patterns complexes qui montrent caractéristiques morphologiques robustes. On s'intéresse à décrire l'évolution de ces fissures, en prenant en compte les phases de nucléation, sélection du trajet de fissure et évolution irreversible en espace et en temps. Les résultats disponibles en littérature se basent sur des modèles phénoménologiques, dépourvus d'une dérivation rigoureuse, et sont limités à des cas géométriquement simples. Dans ces derniers, le problème de nucléation, les mécanismes de sélection du chemin de fissuration et l'évolution non régulière en espace et en temps ne sont pas explorés, à cause des limitations de la théorie classique de la mécanique de la rupture. Nous proposons la dérivation d'une théorie variationnelle asymptotique, bidimensionnelle et globale, à partir d'un problème tridimensionnel d'élasticité fragile dans le cadre de l'approche variationnelle à la mécanique de la rupture, en faisant intervenir une notion de convergence variationnelle. Ensuite, nous introduisons une régularisation du problème faible de rupture par le moyen d'un modèle en gradient d'endommagement, adapté à la solution numérique via la méthode des éléments finis. Le travail proposé permet d'obtenir une compréhension des mécanismes couplés élastiques, de fissuration et décollement; d'établir un modèle asymptotique, réduit et variationnel, valable pour des systèmes de couches minces suffisamment riche pour capturer les mécanismes physiques essentiels; et d'aborder une étude détaillé des expériences numériques qui révèlent les patterns complexes de fissures observés dans les systèmes de couches minces.

Robots are usually designed following an internal organization of the kind "sense-plan-act" proposed during the early years of research in Artificial Intelligence. It involves the preliminary development of interaction models between the robot and its environment and of sensory data processing algorithms leading eventually to the generation of motor commands. In this specific context, the features of the environment perceived by the robot fundamentally result from the sensory data processing implemented by the robotician. They can thus turn out to be inadequate to capture the real sensorimotor interaction the robot has with the environment. Another approach, developed in this thesis, consists in redesigning the perception problematic in robotics. It is inspired by the sensorimotor contingencies theory that proposes considering our perception not as a phenomenon happening in our brain but as an interaction we have with the environment. This point of view, radically opposed to classical postulates, induces that perceiving is not innate but is learned through the discovery of sensorimotor relations that underlie our experience of the world. The goal of this thesis is to apply this new paradigm in the field of robotics. More precisely, this work aims at determining how a naive robot can discover and characterize the space in which his body and the environment are immersed through the only analysis of its sensorimotor data. To answer this question, an approach is developed on the basis of the compensability of sensory variations generated by the displacements of the robot/environment system, a concept initially introduced by H.Poincaré. It allows our robots to determine the dimension of the external geometrical space and to build an internal representation of it allowing in the long term to interpret their experience and to guide their action.; L'approche classique de conception des robots obéit à une organisation interne du type sentir-planifier-agir, proposée dès l'apparition des problématiques d'Intelligence Artificielle. Elle implique le développement amont de modèles d'interaction entre le robot et son environnement et d'algorithmes de traitement du flux sensoriel conduisant, à terme, à la génération de commandes motrices. Dans ce contexte particulier, les caractéristiques de l'environnement perçues par le robot dérivent fondamentalement des traitements du flux sensoriel implémentés par le roboticien. Elles peuvent donc se révéler inadaptées vis-à-vis de l'interaction sensorimotrice réelle que le robot entretient avec le monde. Une autre approche, développée dans cette thèse, consiste à repenser la problématique de la perception en robotique. Elle s'inspire de la théorie des contingences sensorimotrices qui propose de concevoir notre perception non pas comme un phénomène se produisant dans le cerveau mais comme une interaction que nous entretenons avec l'environnement. Cette perspective, radicalement opposée aux postulats classiques, induit que percevoir n'est pas inné mais s'acquiert par la découverte des relations sensorimotrices qui sous-tendent notre expérience du monde. L'objectif de cette thèse est d'appliquer ce nouveau paradigme au champ de la robotique. Plus précisément, les travaux menés visent à déterminer comment un robot naïf peut découvrir et caractériser l'espace dans lequel son corps et l'environnement sont plongés au travers de l'analyse de son seul flux sensorimoteur. Pour se faire, une approche sera développée sur la base de la compensabilité des variations sensorielles générées par les déplacements du système robot/environnement, concept initialement introduit par H.Poincaré. Elle permettra à nos robots de déterminer la dimension de l'espace géométrique extérieur puis d'en construire une représentation interne, permettant à terme d'interpréter intrinsèquement leur expérience et de guider leur action.

National audience; La caractérisation des images IRM cérébrales fœtales par la mise en place de biomarqueurs est un outil essentiel pour l'aide au diagnostic précoce. Dans ce contexte, il est intéressant d'extraire des marqueurs fiables de maturation cérébrale in-utero par le biais de méthodes de sélection de caractéristiques permettant de conserver l'interprétation physique des paramètres. Dans ce travail, nous étudions la morphométrie de la surface corticale du lobe frontal chez le fœtus.

International audience; L'Analyse en Composantes Principales pour des donn ees quantitatives, et l'Analyse des Correspondances Multiples pour des donn ees qualitatives, sont des techniquesde r eduction de dimension bien connues. Cependant, les composantes obtenues al'issue de ces m ethodes sont des combinaisons de toutes les variables de d epart, ce qui rend l'interprétation des résultats difficile pour des données de grande dimension. Pour pallier ces difficultés, nous proposons deux nouvelles méthodes de sélection de groupes de variables quantitatives et qualitatives : la "Group Sparse Principal Component Analysis" et l'ACM sparse, respectivement. La GSPCA est une extension de la SPCA-rSVD de Shen et Huang pour des données structurées par bloc. Elle utilise les liens entre l'ACP et la décomposition en valeurs singulières, afin d'extraire les composantes en résolvant un problème d'approximation de matrice de rang inférieur. Une contrainte de type "Group Lasso" est introduite dans ce problème de minimisation afin d'obtenir des composantes étant combinaison d'un petit nombre de groupes de variables. Les loadings d'un groupe sont mis à zéro permettant de réduire le nombre de variables sélectionnées. La sélection ne sera pas globale mais propre à chaque composante. Puisque l'ACM est un cas particulier de l'ACP pour des blocs de variables indicatrices, l'ACM sparse est dénié comme une extension de la GSPCA. Une application de cette méthode sera présentée sur un jeu de données bien connu comportant 27 races de chiens, décrites par 6 variables qualitatives.

Feature selection is an important task in data mining and machine learning processes. This task is well known in both supervised and unsupervised contexts. The semi-supervised feature selection is still under development and far from being mature. In general, machine learning has been well developed in order to deal with partially-labeled data. Thus, feature selection has obtained special importance in the semi-supervised context. It became more adapted with the real world applications where labeling process is costly to obtain. In this thesis, we present a literature review on semi-supervised feature selection, with regard to supervised and unsupervised contexts. The goal is to show the importance of compromising between the structure from unlabeled part of data, and the background information from their labeled part. In particular, we are interested in the so-called «small labeled-sample problem» where the difference between both data parts is very important. In order to deal with the problem of semi-supervised feature selection, we propose two groups of approaches. The first group is of «Filter» type, in which, we propose some algorithms which evaluate the relevance of features by a scoring function. In our case, this function is based on spectral-graph theory and the integration of pairwise constraints which can be extracted from the data in hand. The second group of methods is of «Embedded» type, where feature selection becomes an internal function integrated in the learning process. In order to realize embedded feature selection, we propose algorithms based on feature weighting. The proposed methods rely on constrained clustering. In this sense, we propose two visions, (1) a global vision, based on relaxed satisfaction of pairwise constraints. This is done by integrating the constraints in the objective function of the proposed clustering model; and (2) a second vision, which is local and based on strict control of constraint violation. Both approaches evaluate the relevance of features by weights which are learned during the construction of the clustering model. In addition to the main task which is feature selection, we are interested in redundancy elimination. In order to tackle this problem, we propose a novel algorithm based on combining the mutual information with maximum spanning tree-based algorithm. We construct this tree from the relevant features in order to optimize the number of these selected features at the end. Finally, all proposed methods in this thesis are analyzed and their complexities are studied. Furthermore, they are validated on high-dimensional data versus other representative methods in the literature., La sélection de variables est une tâche primordiale en fouille de données et apprentissage automatique. Il s’agit d’une problématique très bien connue par les deux communautés dans les contextes, supervisé et non-supervisé. Le contexte semi-supervisé est relativement récent et les travaux sont embryonnaires. Récemment, l’apprentissage automatique a bien été développé à partir des données partiellement labélisées. La sélection de variables est donc devenue plus importante dans le contexte semi-supervisé et plus adaptée aux applications réelles, où l’étiquetage des données est devenu plus couteux et difficile à obtenir. Dans cette thèse, nous présentons une étude centrée sur l’état de l’art du domaine de la sélection de variable en s’appuyant sur les méthodes qui opèrent en mode semi-supervisé par rapport à celles des deux contextes, supervisé et non-supervisé. Il s’agit de montrer le bon compromis entre la structure géométrique de la partie non labélisée des données et l’information supervisée de leur partie labélisée. Nous nous sommes particulièrement intéressés au «small labeled-sample problem» où l’écart est très important entre les deux parties qui constituent les données. Pour la sélection de variables dans ce contexte semi-supervisé, nous proposons deux familles d’approches en deux grandes parties. La première famille est de type «Filtre» avec une série d’algorithmes qui évaluent la pertinence d’une variable par une fonction de score. Dans notre cas, cette fonction est basée sur la théorie spectrale de graphe et l’intégration de contraintes qui peuvent être extraites à partir des données en question. La deuxième famille d’approches est de type «Embedded» où la sélection de variable est intrinsèquement liée à un modèle d’apprentissage. Pour ce faire, nous proposons des algorithmes à base de pondération de variables dans un paradigme de classification automatique sous contraintes. Deux visions sont développées à cet effet, (1) une vision globale en se basant sur la satisfaction relaxée des contraintes intégrées directement dans la fonction objective du modèle proposé ; et (2) une deuxième vision, qui est locale et basée sur le contrôle stricte de violation de ces dites contraintes. Les deux approches évaluent la pertinence des variables par des poids appris en cours de la construction du modèle de classification. En outre de cette tâche principale de sélection de variables, nous nous intéressons au traitement de la redondance. Pour traiter ce problème, nous proposons une méthode originale combinant l’information mutuelle et un algorithme de recherche d’arbre couvrant construit à partir de variables pertinentes en vue de l’optimisation de leur nombre au final. Finalement, toutes les approches développées dans le cadre de cette thèse sont étudiées en termes de leur complexité algorithmique d’une part et sont validés sur des données de très grande dimension face et des méthodes connues dans la littérature d’autre part.

Variable selection methods for process monitoring have focused mainly on the explained variance performance criteria. However, explained variance efficiency is a minimal notion of optimality and does not necessarily result in an economically desirable selected subset, as it makes no statement about the measurement cost or other engineering criteria. For many applications, it may be useful for external information to influence the selection process. For example, some variables may be easier and cheaper to carry out then others or they might be very important according to some engineering criteria. Neglecting this information in statistical process control, would be counterproductive. In this article, we propose a statistical methodology to select a reduced number of relevant variables for multivariate statistical process control that makes use of engineering and variability evaluation criteria. A double reduction of dimensionality is applied in conjunction with economic and variability selection criteria. The subset of relevant variables is selected in a manner that retains, to some extent, the structure and information carried by the full set of original variables. A real application from automotive industry will be used to illustrate the method.

International audience; In hyperspectral image unmixing, a collection of pure spectra, the so-called endmembers, is identified and their abundance fractions are estimated at each pixel. While endmembers are often extracted using a geometric approach, the abundances are usually estimated by solving an inverse problem. In this paper, we bypass the problem of abundance estimation by using a geometric point of view. The proposed framework shows that a large number of endmember extraction techniques can be adapted to jointly estimate the abundance fractions, with no additional computational complexity. This is illustrated in this paper with the N-Findr, SGA, VCA, OSP, and ICE endmember extraction techniques. A nonlinear extension is also proposed, using non linear dime nsion reduction methods such as MDS, LLE and ISOMAP. These strategies maintain the geometric unmixing algorithms unchanged, for endmember extraction as well as abundance fraction estimation. The relevance of the proposed approach is illustrated through experiments on synthesized data and real hyperspectral image.

Steam generators are massive heat exchangers feeding the turbines of pressurised water nuclear power plants. Internal parts of steam generators foul up with iron oxides which gradually close some holes aimed for the passing of the fluid. This phenomenon called clogging causes safety issues and means to assess it are needed to optimise the maintenance strategy. The approach investigated in this thesis is the analysis of steam generators dynamic behaviour during power transients with a monodimensional physical model. Two improvements to the model have been implemented. One was taking into account flows orthogonal to the modelling axis, the other was introducing a slip between phases accounting for velocity difference between liquid water and steam. These two elements increased the model's degrees of freedom and improved the adequacy of the simulati onto plant data. A new calibration and validation methodology has been proposed to assess the robustness of the model. The initial inverse problem was ill posed: different clogging spatial configurations can produce identical responses. The relative importance of clogging, depending on its localisation, has been estimated by sensitivity analysis with the Sobol' method. The dimension of the model functional output had been previously reduced by principal components analysis. Finally, the input dimension has been reduced by a technique called sliced inverse regression. Based on this new framework, a new diagnosis methodology, more robust and better understood than the existing one, has been proposed.; Les générateurs de vapeur sont d'imposants échangeurs de chaleur qui alimentent les turbines des centrales nucléaires à eau pressurisée. Au cours de leur exploitation, des dépôts d'oxydes s'y accumulent et obstruent progressivement des trous prévus pour le passage du fluide. Ce phénomène, appelé colmatage, pose des problèmes de sûreté. Une méthode de diagnostic est nécessaire pour optimiser la stratégie de maintenance permettant de s'en prémunir. La piste explorée dans cette thèse est l'analyse de la réponse dynamique des générateurs de vapeur lors de transitoire de puissance, à l'aide d'un modèle physique monodimensionnel. Deux améliorations ont été apportées au modèle existant au cours de la thèse : la prise en compte des débits perpendiculaires à l'axe du générateur de vapeur et la modélisation du déséquilibre cinématique entre la phase liquide et la phase vapeur. Ces éléments ont ajouté des degrés de liberté permettant de mieux reproduire le comportement réel des générateurs de vapeur. Une nouvelle méthodologie de calage et de validation a alors été proposée afin de garantir la robustesse du modèle.Le problème inverse initial était mal posé car plusieurs configurations spatiales de colmatage peuvent donner des réponses identiques. La magnitude relative de l'effet des dépôts suivant leur localisation a été évaluée par analyse de sensibilité avec la méthode de Sobol'. La dimension de la sortie fonctionnelle du modèle a au préalable été réduite par une analyse en composantes principales.Enfin, une méthode de réduction de dimension appelée régression inverse par tranches a été mise en œuvre pour déterminer dessous-espaces de projection optimaux pour le diagnostic. Une méthode de diagnostic plus robuste et mieux maitrisée que celle existante a pu être proposée grâce à cette nouvelle formulation.

The main objective of this PhD thesis is to develop a score that measures the skin pigmentation using spectral images. The ultimate goal is to build a more objective and at least as powerful as clinical methods for evaluation of treatment effects acting on the skin hyper-pigmentation. This tool is intended to be used in clinical trials. The work focuses on melasma that is a disease mainly due to hormonal disorders and sunlight exposure. To assess the severity of this disease and its evolution under treatment, we proposed two types of classification. The first one is a binary classification between healthy tissue and pathological tissue. The second one consists in defining different levels of severity for pathological tissues. The first classification concerns high dimensional spaces. An algorithm for dimensionality reduction associated with a classification by support vector machines has been developed. This method comes with a comparison of projection pursuit and source separation, as well as automated methods to estimate the dimension of the arrival space, and the estimation of different groups of spectral bands in the case of projection pursuit. The second classification criterion aims at qualifying a clinical severity criterion of hyperpigmentation. This clinical criterion includes three components: area, contrast and homogeneity. The surface component arises from the classification between healthy and pathological tissues. A methodology for estimating combination of spectral bands taking into account the spectral information and the kinetics of the treatment effect on a clinical study is proposed to obtain a contrast criterion. To get a spatial homogeneity criterion, an approach based on multiscale analysis of Gaussian fields adapted from the methodology of statistical parametric mapping is used between two acquisition dates.; L'objectif principal de ce travail de thèse est de développer un score mesurant la pigmentation de la peau à partir d'images spectrales. L'objectif final est de construire un outil plus objectif et au moins aussi performant que les outils cliniques, dans l'évaluation de l'effet des traitements agissant sur l'hyper-pigmentation de la peau. Cet outil a pour vocation à être utilisé dans des essais cliniques. Le travail se focalise sur le mélasma qui est une pathologie pigmentaire symétrique due principalement à des troubles hormonaux et à l'exposition au soleil. Pour évaluer la sévérité de cette pathologie et son évolution sous traitements, deux types de classification sont proposés. Le premier concerne une classification binaire entre tissu sain et tissu pathologique. Le second consiste à définir différents niveaux de sévérité pour les tissus pathologiques. La première classification s'inscrit dans le cadre de la classification dans des espaces de grande dimension. Un outil de réduction de dimension associé à un algorithme de classification par séparateurs à vaste marge a été développé. Cet outil est issu d'une comparaison des techniques de poursuite de projection et de séparation de sources, ainsi que des méthodes d'automatisation pour estimer la dimension de l'espace d'arrivée, et l'estimation des différents groupes de bandes spectrales dans le cas de la poursuite de projection. La seconde classification vise à mesurer un critère clinique de sévérité de l'hyperpigmentation. Ce critère clinique comprend trois composantes : surface, contraste et homogénéïté. La composante de surface découle de la classification entre tissus sains et tissus pathologiques. Une méthodologie d'estimation de combinaison de bandes spectrales tenant conjointement compte de la signature spectrale et de la cinétique de l'effet d'un traitement sur toute une étude clinique est proposée afin d'obtenir un critère de contraste. Pour obtenir un critère d'homogénéïté spatiale, une approche fondée sur l'analyse multi-échelles de champs gaussiens et issue de la méthodologie du "statistical parametric mapping" est employée entre deux dates d'acquisition.

The main objective of this PhD thesis is to develop a score that measures the skin pigmentation using spectral images. The ultimate goal is to build a more objective and at least as powerful as clinical methods for evaluation of treatment effects acting on the skin hyper-pigmentation. This tool is intended to be used in clinical trials. The work focuses on melasma that is a disease mainly due to hormonal disorders and sunlight exposure. To assess the severity of this disease and its evolution under treatment, we proposed two types of classification. The first one is a binary classification between healthy tissue and pathological tissue. The second one consists in defining different levels of severity for pathological tissues. The first classification concerns high dimensional spaces. An algorithm for dimensionality reduction associated with a classification by support vector machines has been developed. This method comes with a comparison of projection pursuit and source separation, as well as automated methods to estimate the dimension of the arrival space, and the estimation of different groups of spectral bands in the case of projection pursuit. The second classification criterion aims at qualifying a clinical severity criterion of hyperpigmentation. This clinical criterion includes three components: area, contrast and homogeneity. The surface component arises from the classification between healthy and pathological tissues. A methodology for estimating combination of spectral bands taking into account the spectral information and the kinetics of the treatment effect on a clinical study is proposed to obtain a contrast criterion. To get a spatial homogeneity criterion, an approach based on multiscale analysis of Gaussian fields adapted from the methodology of statistical parametric mapping is used between two acquisition dates.; L'objectif principal de ce travail de thèse est de développer un score mesurant la pigmentation de la peau à partir d'images spectrales. L'objectif final est de construire un outil plus objectif et au moins aussi performant que les outils cliniques, dans l'évaluation de l'effet des traitements agissant sur l'hyper-pigmentation de la peau. Cet outil a pour vocation à être utilisé dans des essais cliniques. Le travail se focalise sur le mélasma qui est une pathologie pigmentaire symétrique due principalement à des troubles hormonaux et à l'exposition au soleil. Pour évaluer la sévérité de cette pathologie et son évolution sous traitements, deux types de classification sont proposés. Le premier concerne une classification binaire entre tissu sain et tissu pathologique. Le second consiste à définir différents niveaux de sévérité pour les tissus pathologiques. La première classification s'inscrit dans le cadre de la classification dans des espaces de grande dimension. Un outil de réduction de dimension associé à un algorithme de classification par séparateurs à vaste marge a été développé. Cet outil est issu d'une comparaison des techniques de poursuite de projection et de séparation de sources, ainsi que des méthodes d'automatisation pour estimer la dimension de l'espace d'arrivée, et l'estimation des différents groupes de bandes spectrales dans le cas de la poursuite de projection. La seconde classification vise à mesurer un critère clinique de sévérité de l'hyperpigmentation. Ce critère clinique comprend trois composantes : surface, contraste et homogénéïté. La composante de surface découle de la classification entre tissus sains et tissus pathologiques. Une méthodologie d'estimation de combinaison de bandes spectrales tenant conjointement compte de la signature spectrale et de la cinétique de l'effet d'un traitement sur toute une étude clinique est proposée afin d'obtenir un critère de contraste. Pour obtenir un critère d'homogénéïté spatiale, une approche fondée sur l'analyse multi-échelles de champs gaussiens et issue de la méthodologie du "statistical parametric mapping" est employée entre deux dates d'acquisition.

Two new methods to select groups of variables have been developed for multiblock data: "Group Sparse Principal Component Analysis" (GSPCA) for continuous variables and "Sparse Multiple Correspondence Analysis" (SMCA) for categorical variables. GSPCA is a compromise between Sparse PCA method of Zou, Hastie and Tibshirani and the method "group Lasso" of Yuan and Lin. PCA is formulated as a regression-type optimization problem and uses the constraints of the group Lasso on regression coe cients to produce modi ed principalcomponents with sparse loadings. It leads to reduce the number of nonzero coe cients, i.e. the number of selected groups. SMCA is a straightforward extension of GSPCA to groups of indicator variables, with the chi-square metric. Two real examples will be used to illustrate each method. The fi rst one is a data set on 25 trace elements measured in three tissues of 48 crabs (25 blocks of 3 variables). The second one is a data set of 502 women aimed at the identi cation of genes a ecting skin aging with more than 370.000 blocks, each block corresponding to SNPs (Single Nucleotide Polymorphisms) coded into 3 categories.

Depuis au moins les premières pierres taillées de l'ère Paléolithique,les hommes n'ont cessé de créer des artefacts, moyens d'agir sur leur environnementet moyens de l'observer au-delà de leurs capacités propres.Ils ont développé ces outils pour les assister dans leur quête viscérale decompréhension (sciences) et de maîtrise (techniques) de ce monde dont ilsfont partie. Cette compréhension du monde est nécessaire pour en prédireles états, et la maîtrise qui en découle est le moyen de ne plus le subir maisde l'asservir pour réduire les sourances qu'il nous assène par nature. Enplus de transformer le Monde, les hommes ont aussi pu réparer, corriger etaugmenter leur propre corps par des orthèses et des prothèses biologiques,chimiques, mécaniques ou numériques. La multiplication de ces moyensd'agir et d'observer entraîne un accroissement exponentiel des donnéesdésormais capturées dont la masse est supposée assurer les hommes decontenir toute l'information utile à leur quête. Cette massication desdonnées impose de développer des méthodes d'analyse et de traitementtoujours plus ecaces pour que les hommes qui les étudient ou appuientleurs décisions sur elles puissent continuer à le faire et à le faire mieux. J'aiproposé diérentes approches dans les champs de l'analyse descriptive etde la modélisation prédictive an de rendre plus intelligible la chaîne detraitement de l'information du capteur à l'écran. J'ai placé la Topologieau coeur de mes travaux. En eet, je considère qu'elle forme le substratessentiel à l'interprétabilité de l'information, c'est-à-dire à la transmissiondu sens dans cette chaîne, et in ne à la compréhension et à la maîtrisedu Monde par l'Homme.Le développement permanent des artefacts techniques pour tenter demieux comprendre et maîtriser le Monde, entretient la croissance de sacomplexité, à la fois parce que grâce aux artefacts développés pour lascience et la technologie, nous accédons à des mécanismes toujours plusprécis et plus nombreux qui le gouvernent, mais aussi parce que les artefactstechniques engendrés par ces connaissances nouvelles, font partieintégrante du Monde lui-même et en modient le fonctionnement. Auxcauses naturelles s'entremêlent les causes articielles. C'est pour certainsauteurs [Crutzen, Geology of Mankind, Nature 415(6867):23, 2002] une nouvelle ère qui a commencée au 19e siècle, l'ère de l'Anthropocène , dans laquelle l'intelligence des hommes les a dotés de moyenstechniques capable de modier durablement leur écosystème et en particulierles mécanismes de la Sélection Naturelle qui ont engendrée cette intelligence.Il est vraissemblable que ce développement aboutira à l'émergencede machines intelligentes, conscientes et émotionnelles capables d'explorerce monde par elles-mêmes et de communiquer aux hommes leurs conclusionssur les lois qui le gouvernent, comme le font déjà quelques machinesencore rudimentaires mais ecaces [Sparkes et al. An integrated laboratory robotic system for autonomousdiscovery of gene function, JALA 15(1):33-40, 2010]. Ces machines sont la forme ultimede ces orthèses dont les hommes cherchent à se doter depuis le Paléolithique pour tenter de dépasser leur condition. Avant que n'adviennece moment singulier que Kurzweil appelle la Singularité [Kurzweil,The singularity is near : when humans transcendbiology. http ://books.google.fr/books ?id=88U6hdUi6D0C, 2005.], où les machinesautonomes seront en mesure de dépasser l'homme et de développerpour elles-mêmes des connaissances et des techniques, des questionséthiques seront posées qui mèneront soit à l'abandon du développementde telles machines, soit à la nécessité impérieuse de les maîtriser. Il seraalors impératif que les processus internes et les produits de ces machinessoient intelligibles aux hommes an qu'ils en comprennent le sens et enconservent le contrôle. C'est ainsi tout l'enjeu de mes recherches actuelleset futures.

Les développements en biotechnologie ont permis à la biologie de mesurer l'information contenue dans des milliers de gènes grâce aux puces d'ADN. Ceci a permis de déterminer les gènes exprimés dans une condition donnée. Le volume et la spéci cité de ces jeux de données qui sont constituées d'un nombre de variables très largement supérieur au nombre d'expériences (échantillons) conduisent à des traitements faisant appel aux techniques de la réduction de dimension (sélection de variables) pour déterminer les gènes pertinents et les plus informatifs. Dans ce travail nous nous intéressons à la sélection de gènes du cancer du côlon qui pose un problème majeur de santé publique dans le monde et surtout en Algérie. Nous proposons di érents types de méthodes de sélection de variables de nature probabiliste et statistique. Nos expérimentations ont montré que l'approche adoptée a la capacité de sélectionner un nombre réduit de variables tout en conservant des taux de classi cation très satisfaisant. Mots cl

Mathematical models seldom represent perfectly the reality of studied systems, due to, for instance, uncertainties on the parameters that define the system. In the context of geophysical fluids modelling, these parameters can be, e.g., the domain geometry, the initial state, the wind stress, the friction or viscosity coefficients. Sensitivity analysis aims at measuring the impact of each input parameter uncertainty on the model solution and, more specifically, to identify the ``sensitive'' parameters (or groups of parameters). Amongst the sensitivity analysis methods, we will focus on the Sobol indices method. The numerical computation of these indices require numerical solutions of the model for a large number of parameters' instances. However, many models (such as typical geophysical fluid models) require a large amount of computational time just to perform one run. In these cases, it is impossible (or at least not practical) to perform the number of runs required to estimate Sobol indices with the required precision. This leads to the replacement of the initial model by a emph{metamodel} (also called emph{response surface} or emph{surrogate model}), which is a model that approximates the original model, while having a significantly smaller time per run, compared to the original model. This thesis focuses on the use of metamodel to compute Sobol indices. More specifically, our main topic is the quantification of the metamodeling impact, in terms of Sobol indices estimation error. We also consider a method of metamodeling which leads to an efficient and rigorous metamodel, which can be used in the geophysical context., Les modèles mathématiques ont pour but de décrire le comportement d'un système. Bien souvent, cette description est imparfaite, notamment en raison des incertitudes sur les paramètres qui définissent le modèle. Dans le contexte de la modélisation des fluides géophysiques, ces paramètres peuvent être par exemple la géométrie du domaine, l'état initial, le forçage par le vent, ou les coefficients de frottement ou de viscosité. L'objet de l'analyse de sensibilité est de mesurer l'impact de l'incertitude attachée à chaque paramètre d'entrée sur la solution du modèle, et, plus particulièrement, identifier les paramètres (ou groupes de paramètres) og sensibles fg. Parmi les différentes méthodes d'analyse de sensibilité, nous privilégierons la méthode reposant sur le calcul des indices de sensibilité de Sobol. Le calcul numérique de ces indices de Sobol nécessite l'obtention des solutions numériques du modèle pour un grand nombre d'instances des paramètres d'entrée. Cependant, dans de nombreux contextes, dont celui des modèles géophysiques, chaque lancement du modèle peut nécessiter un temps de calcul important, ce qui rend inenvisageable, ou tout au moins peu pratique, d'effectuer le nombre de lancements suffisant pour estimer les indices de Sobol avec la précision désirée. Ceci amène à remplacer le modèle initial par un emph{métamodèle} (aussi appelé emph{surface de réponse} ou emph{modèle de substitution}). Il s'agit d'un modèle approchant le modèle numérique de départ, qui nécessite un temps de calcul par lancement nettement diminué par rapport au modèle original. Cette thèse se centre sur l'utilisation d'un métamodèle dans le cadre du calcul des indices de Sobol, plus particulièrement sur la quantification de l'impact du remplacement du modèle par un métamodèle en terme d'erreur d'estimation des indices de Sobol. Nous nous intéressons également à une méthode de construction d'un métamodèle efficace et rigoureux pouvant être utilisé dans le contexte géophysique.

The main topics of this manuscript are sparsity and discrimination for modeling complex data. In a first part, we focus on the GMM context: we introduce a new family of probabilistic models which both clusters and finds a discriminative subspace chosen such as it best discriminates the groups. A family of 12 Discriminative Latent Mixture (DLM) models is introduced and is based on three ideas: firstly, the actual data live in a latent subspace with an intrinsic dimension lower than the dimension of the observed space; secondly, a subspace of K-1 dimensions is theoretically sufficient to discriminate K groups; thirdly, the observation space and the latent one are linked by a linear transformation. An estimation procedure, named Fisher-EM is proposed and improves, most of the time, clustering performances owing to the use of a discriminative subspace. As each axis, spanning the discriminative subspace, is a linear combination of all original variables, we therefore proposed 3 different methods based on a penalized criterion in order to ease the interpretation results. In particular, it allows to introduce sparsity directly in the loadings of the projection matrix which enables also to make variable selection for clustering. In a second part, we focus on the seriation context. We propose a dissimilarity measure based on a common neighborhood which allows to deal with noisy data and overlapping groups. A forward stepwise seriation algorithm, called the PB-Clus algorithm, is introduced and allows to obtain a block representation form of the data. This tool enables to reveal the intrinsic structure of data even in the case of noisy data, outliers, overlapping and non-Gaussian groups. Both methods have been validated on a biological application based on the cancer cell detection., Les thèmes principaux de ce mémoire sont la parcimonie et la discrimination pour la modélisation de données complexes. Dans une première partie de ce mémoire, nous nous plaçons dans un contexte de modèle de mélanges gaussiens: nous introduisons une nouvelle famille de modèles probabilistes qui simultanément classent et trouvent un espace discriminant tel que cet espace discrimine au mieux les groupes. Une famille de 12 modèles latents discriminants (DLM) modèles est introduite et se base sur trois idées: tout d'abord, les données réelles vivent dans un sous-espace latent de dimension intrinsèque plus petite que celle de l'espace observé; deuxièmement, un sous-espace de K-1 dimensions est suffisant pour discriminer K groupes; enfin, l'espace observé et celui latent sont liés par une transformation linéaire. Une procédure d'estimation, appelée Fisher-EM, est proposée et améliore la plupart du temps les performances de clustering grâce à l'utilisation du sous-espace discriminant. Dans un second travail, nous nous sommes intéressés à la détermination du nombre de groupes en utilisant le cadre de la sériation. nous proposons d'intégrer de la parcimonie dans les données par l'intermédiaire d'une famille de matrices binaires. Ces dernière sont construites à partir d'une mesure de dissimilarité basée sur le nombre de voisins communs entre paires d'observations. En particulier, plus le nombre de voisins communs imposé est important, plus la matrice sera parcimonieuse, i.e. remplie de zéros, ce qui permet, à mesure que le seuil de parcimonie augmente, de retirer les valeurs extrêmes et les données bruitées. Cette collection de matrices parcimonieuses est ordonnée selon un algorithme de sériation de type forward, nommé PB-Clus, afin d'obtenir des représentations par blocs des matrices sériées. Ces deux méthodes ont été validées sur une application biologique basée sur la détection du cancer du col de l'utérus.

In-vivo parcellation of the human cortex into functional brain areas is a major goal to better understand how the brain works and could have a lot of medical applications and give useful information to guide neurosurgery for example. This objective is related to the buildong of the human brain connectome, which is the networks of brain connections.Indeed, it is necessary to define the basic element of this connectome, and for doing this to have a subdivision of the cortex into brain regions. Actually, there is no such gold standard parcellation : there are a lot of techniques and methods to achieve this goal. During this PhD., anatomical connectivité based on diffusion-weighted imaging hase been used to address this problem, with a surfacic approach. In this context, we will present a set of new tools to create, visualize and simulate the human brain connectome for a group of subjects. We will introduce dimension reduction methods to compile the cortical connectivity profiles taking into account the interindividual variability. These methods will be apply to parcellate the cortex, for one subject or for a group of subjects simultaneously.There are many applications of this work, in methodology, to compare tractography algorithms for example or in clinical, to look at the relations between connections damages and pathology., La parcellisation du cerveau humain en aires fonctionnelles est un problème complexe mais majeur pour la compréhension du fonctionnement du cerveau et pourrait avoir des applications médicales importantes en neurochirurgie par exemple pour mieux identifier les zones fonctionnelles à sauvegarder. Cet objectif va de pair avec l’idée de construire le connectome cérébral humain, qui n’est autre que le réseau de ses connexions.Pour définir un tel réseau, il faut en effet définir les éléments de ce réseau de connexions : c’est-à-dire avoir un découpage du cerveau en régions. Il existe de multiples manières et critères pour identifier ces régions et à ce jour il n’y a pas de parcellisation universelle du cortex. Dans cette thèse nous étudierons la possibilité d’effectuer cette parcellisation en fonction des données de connectivité anatomique, issues de l’imagerie par résonance magnétique de diffusion, qui est une technique d’acquisition permettant de reconstruire les faisceaux de neurones cérébraux de manière non invasive. Nous nous placerons dans un cadre surfacique en étudiant seulement la surface corticale et les connexions anatomiques sous-jacentes. Dans ce contexte nous présenterons un ensemble de nouveaux outils pour construire, visualiser et simuler le connectome cérébral humain, dans un cadre surfacique et à partir des données de connectivité anatomique reconstruites par IRM, et ceci pour un groupe de sujets. A partir de ces outils nous présenterons des méthodes de réduction de dimension des données de connectivité, que nous appliquerons pour parcelliser le cortex entier de quelques sujets. Nous proposons aussi une nouvelle manière de décomposer les données de connectivité au niveau d’un groupe de sujets en tenant compte de la variabilité inter-individuelle. Cette méthode sera testée et comparée à d’autres méthodes sur des données simulées et des données réelles. Les enjeux de ce travail sont multiples, tant au niveau méthodologique (comparaison de différents algorithmes de tractographie par exemple) que clinique (étude du lien entre altérations des connexions et pathologie).

In-vivo parcellation of the human cortex into functional brain areas is a major goal to better understand how the brain works and could have a lot of medical applications and give useful information to guide neurosurgery for example. This objective is related to the buildong of the human brain connectome, which is the networks of brain connections.Indeed, it is necessary to define the basic element of this connectome, and for doing this to have a subdivision of the cortex into brain regions. Actually, there is no such gold standard parcellation : there are a lot of techniques and methods to achieve this goal. During this PhD., anatomical connectivité based on diffusion-weighted imaging hase been used to address this problem, with a surfacic approach. In this context, we will present a set of new tools to create, visualize and simulate the human brain connectome for a group of subjects. We will introduce dimension reduction methods to compile the cortical connectivity profiles taking into account the interindividual variability. These methods will be apply to parcellate the cortex, for one subject or for a group of subjects simultaneously.There are many applications of this work, in methodology, to compare tractography algorithms for example or in clinical, to look at the relations between connections damages and pathology., La parcellisation du cerveau humain en aires fonctionnelles est un problème complexe mais majeur pour la compréhension du fonctionnement du cerveau et pourrait avoir des applications médicales importantes en neurochirurgie par exemple pour mieux identifier les zones fonctionnelles à sauvegarder. Cet objectif va de pair avec l’idée de construire le connectome cérébral humain, qui n’est autre que le réseau de ses connexions.Pour définir un tel réseau, il faut en effet définir les éléments de ce réseau de connexions : c’est-à-dire avoir un découpage du cerveau en régions. Il existe de multiples manières et critères pour identifier ces régions et à ce jour il n’y a pas de parcellisation universelle du cortex. Dans cette thèse nous étudierons la possibilité d’effectuer cette parcellisation en fonction des données de connectivité anatomique, issues de l’imagerie par résonance magnétique de diffusion, qui est une technique d’acquisition permettant de reconstruire les faisceaux de neurones cérébraux de manière non invasive. Nous nous placerons dans un cadre surfacique en étudiant seulement la surface corticale et les connexions anatomiques sous-jacentes. Dans ce contexte nous présenterons un ensemble de nouveaux outils pour construire, visualiser et simuler le connectome cérébral humain, dans un cadre surfacique et à partir des données de connectivité anatomique reconstruites par IRM, et ceci pour un groupe de sujets. A partir de ces outils nous présenterons des méthodes de réduction de dimension des données de connectivité, que nous appliquerons pour parcelliser le cortex entier de quelques sujets. Nous proposons aussi une nouvelle manière de décomposer les données de connectivité au niveau d’un groupe de sujets en tenant compte de la variabilité inter-individuelle. Cette méthode sera testée et comparée à d’autres méthodes sur des données simulées et des données réelles. Les enjeux de ce travail sont multiples, tant au niveau méthodologique (comparaison de différents algorithmes de tractographie par exemple) que clinique (étude du lien entre altérations des connexions et pathologie).

This habilitation thesis summarizes my research works in the three following topics: inference on Weibull tail distributions, conditional extreme quantile estimation and reduction of dimension in a regression context. As part of the first topic, we proposed several estimators of the shape parameter and of extreme quantiles of Weibull tail distribution. A theoretical study of these estimators has also been done. Second and third topics are motivated by concrete applications: rainfalls return level estimation and study of hyperspectral images respectively. In a theoretical point of view, we proposed and studied, in the second topic, conditional extreme quantile estimators. In the third topic, a regularization of the Sliced Inverse Regression (SIR) is proposed.; Ce mémoire résume mes travaux de recherche portant sur les trois thèmes suivants : inférence pour les lois à queue de type Weibull, estimation de quantiles extrêmes conditionnels et réduction de dimension pour la régression. Dans le cadre du premier thème, nous avons proposé de nombreux estimateurs du paramètre de forme et de quantiles extrêmes pour des lois à queue de type Weibull. Leurs propriétés théoriques ont aussi été étudiées. Les deuxième et troisième thèmatiques ont pour point de départ une application concrête respectivement l'estimation de niveaux de retour de pluies et l'étude d'images hyperspectrales Martienne. D'un point de vue théorique, nous avons proposé et étudié, dans le cadre du deuxième thème, des estimateurs de quantiles extrêmes conditionnels. Au sein du troisième thème, nous avons proposé une méthode de régularisation pour la régression inverse par tranches (SIR).

The selection of a proper model is an essential task in statistical learning. In general, for a given learning task, a set of parameters has to be chosen, each parameter corresponds to a different degree of "complexity''. In this situation, the model selection procedure becomes a search for the optimal "complexity'', allowing us to estimate a model that assures a good generalization. This model selection problem can be summarized as the calculation of one or more hyperparameters defining the model complexity in contrast to the parameters that allow to specify a model in the chosen complexity class.The usual approach to determine these parameters is to use a "grid search''. Given a set of possible values, the generalization error for the best model is estimated for each of these values. This thesis is focused in an alternative approach consisting in calculating the complete set of possible solution for all hyperparameter values. This is what is called the regularization path. It can be shown that for the problems we are interested in, parametric quadratic programming (PQP), the corresponding regularization path is piecewise linear. Moreover, its calculation is no more complex than calculating a single PQP solution.This thesis is organized in three chapters, the first one introduces the general setting of a learning problem under the Support Vector Machines' (SVM) framework together with the theory and algorithms that allow us to find a solution. The second part deals with supervised learning problems for classification and ranking using the SVM framework. It is shown that the regularization path of these problems is piecewise linear and alternative proofs to the one of Rosset (2004) are given via the subdifferential. These results lead to the corresponding algorithms to solve the mentioned supervised problems. The third part deals with semi-supervised learning problems followed by unsupervised learning problems. For the semi-supervised learning a sparsity constraint is introduced along with the corresponding regularization path algorithm. Graph-based dimensionality reduction methods are used for unsupervised learning problems. Our main contribution is a novel algorithm that allows to choose the number of nearest neighbors in an adaptive and appropriate way contrary to classical approaches based on a fix number of neighbors.; La sélection d'un modèle approprié est l'une des tâches essentielles de l'apprentissage statistique. En général, pour une tâche d'apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de "complexité". Dans ce cadre, le processus de sélection de modèle revient à trouver la "complexité" optimale, permettant d'estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l'estimation d'un ou plusieurs hyperparamètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie.L'approche habituelle pour déterminer ces hyperparamètres consiste à utiliser une "grille". On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l'erreur de généralisation du meilleur modèle. On s'intéresse, dans cette thèse, à une approche alternative consistant à calculer l'ensemble des solutions possibles pour toutes les valeurs des hyperparamètres. C'est ce qu'on appelle le chemin de régularisation. Il se trouve que pour les problèmes d'apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyperparamètres est linéaire par morceaux et que son calcul a une complexité numérique de l'ordre d'un multiple entier de la complexité de calcul d'un modèle avec un seul jeu hyper-paramètres.La thèse est organisée en trois parties. La première donne le cadre général des problèmes d'apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d'appréhender ce problème. La deuxième partie traite du problème d'apprentissage supervisé pour la classification et l'ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d'ordonnancement. La troisième partie aborde successivement les problèmes d'apprentissage semi supervisé et non supervisé. Pour l'apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l'algorithme de chemin de régularisation associé. En ce qui concerne l'apprentissage non supervisé nous utilisons une approche de type "réduction de dimension". Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

The selection of a proper model is an essential task in statistical learning. In general, for a given learning task, a set of parameters has to be chosen, each parameter corresponds to a different degree of “complexity”. In this situation, the model selection procedure becomes a search for the optimal “complexity”, allowing us to estimate a model that assures a good generalization. This model selection problem can be summarized as the calculation of one or more hyperparameters defining the model complexity in contrast to the parameters that allow to specify a model in the chosen complexity class. The usual approach to determine these parameters is to use a “grid search”. Given a set of possible values, the generalization error for the best model is estimated for each of these values. This thesis is focused in an alternative approach consisting in calculating the complete set of possible solution for all hyperparameter values. This is what is called the regularization path. It can be shown that for the problems we are interested in, parametric quadratic programming (PQP), the corresponding regularization path is piece wise linear. Moreover, its calculation is no more complex than calculating a single PQP solution. This thesis is organized in three chapters, the first one introduces the general setting of a learning problem under the Support Vector Machines’ (SVM) framework together with the theory and algorithms that allow us to find a solution. The second part deals with supervised learning problems for classification and ranking using the SVM framework. It is shown that the regularization path of these problems is piecewise linear and alternative proofs to the one of Rosset [Ross 07b] are given via the subdifferential. These results lead to the corresponding algorithms to solve the mentioned supervised problems. The third part deals with semi-supervised learning problems followed by unsupervised learning problems. For the semi-supervised learning a sparsity constraint is introduced along with the corresponding regularization path algorithm. Graph-based dimensionality reduction methods are used for unsupervised learning problems. Our main contribution is a novel algorithm that allows to choose the number of nearest neighbors in an adaptive and appropriate way contrary to classical approaches based on a fix number of neighbors.; La sélection d’un modèle approprié est l’une des tâches essentielles de l’apprentissage statistique. En général, pour une tâche d’apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de « complexité». Dans ce cadre, le processus de sélection de modèle revient `a trouver la « complexité » optimale, permettant d’estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l’estimation d’un ou plusieurs hyper-paramètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie. L’approche habituelle pour déterminer ces hyper-paramètres consiste à utiliser une « grille ». On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l’erreur de généralisation du meilleur modèle. On s’intéresse, dans cette thèse, à une approche alternative consistant à calculer l’ensemble des solutions possibles pour toutes les valeurs des hyper-paramètres. C’est ce qu’on appelle le chemin de régularisation. Il se trouve que pour les problèmes d’apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyper-paramètres est linéaire par morceaux et que son calcul a une complexité numérique de l’ordre d’un multiple entier de la complexité de calcul d’un modèle avec un seul jeu hyper-paramètres. La thèse est organisée en trois parties. La première donne le cadre général des problèmes d’apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d’appréhender ce problème. La deuxième partie traite du problème d’apprentissage supervisé pour la classification et l’ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d’ordonnancement. La troisième partie aborde successivement les problèmes d’apprentissage semi supervisé et non supervisé. Pour l’apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l’algorithme de chemin de régularisation associé. En ce qui concerne l’apprentissage non supervisé nous utilisons une approche de type « réduction de dimension ». Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

The selection of a proper model is an essential task in statistical learning. In general, for a given learning task, a set of parameters has to be chosen, each parameter corresponds to a different degree of "complexity''. In this situation, the model selection procedure becomes a search for the optimal "complexity'', allowing us to estimate a model that assures a good generalization. This model selection problem can be summarized as the calculation of one or more hyperparameters defining the model complexity in contrast to the parameters that allow to specify a model in the chosen complexity class.The usual approach to determine these parameters is to use a "grid search''. Given a set of possible values, the generalization error for the best model is estimated for each of these values. This thesis is focused in an alternative approach consisting in calculating the complete set of possible solution for all hyperparameter values. This is what is called the regularization path. It can be shown that for the problems we are interested in, parametric quadratic programming (PQP), the corresponding regularization path is piecewise linear. Moreover, its calculation is no more complex than calculating a single PQP solution.This thesis is organized in three chapters, the first one introduces the general setting of a learning problem under the Support Vector Machines' (SVM) framework together with the theory and algorithms that allow us to find a solution. The second part deals with supervised learning problems for classification and ranking using the SVM framework. It is shown that the regularization path of these problems is piecewise linear and alternative proofs to the one of Rosset (2004) are given via the subdifferential. These results lead to the corresponding algorithms to solve the mentioned supervised problems. The third part deals with semi-supervised learning problems followed by unsupervised learning problems. For the semi-supervised learning a sparsity constraint is introduced along with the corresponding regularization path algorithm. Graph-based dimensionality reduction methods are used for unsupervised learning problems. Our main contribution is a novel algorithm that allows to choose the number of nearest neighbors in an adaptive and appropriate way contrary to classical approaches based on a fix number of neighbors., La sélection d'un modèle approprié est l'une des tâches essentielles de l'apprentissage statistique. En général, pour une tâche d'apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de "complexité". Dans ce cadre, le processus de sélection de modèle revient à trouver la "complexité" optimale, permettant d'estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l'estimation d'un ou plusieurs hyperparamètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie.L'approche habituelle pour déterminer ces hyperparamètres consiste à utiliser une "grille". On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l'erreur de généralisation du meilleur modèle. On s'intéresse, dans cette thèse, à une approche alternative consistant à calculer l'ensemble des solutions possibles pour toutes les valeurs des hyperparamètres. C'est ce qu'on appelle le chemin de régularisation. Il se trouve que pour les problèmes d'apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyperparamètres est linéaire par morceaux et que son calcul a une complexité numérique de l'ordre d'un multiple entier de la complexité de calcul d'un modèle avec un seul jeu hyper-paramètres.La thèse est organisée en trois parties. La première donne le cadre général des problèmes d'apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d'appréhender ce problème. La deuxième partie traite du problème d'apprentissage supervisé pour la classification et l'ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d'ordonnancement. La troisième partie aborde successivement les problèmes d'apprentissage semi supervisé et non supervisé. Pour l'apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l'algorithme de chemin de régularisation associé. En ce qui concerne l'apprentissage non supervisé nous utilisons une approche de type "réduction de dimension". Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

The selection of a proper model is an essential task in statistical learning. In general, for a given learning task, a set of parameters has to be chosen, each parameter corresponds to a different degree of “complexity”. In this situation, the model selection procedure becomes a search for the optimal “complexity”, allowing us to estimate a model that assures a good generalization. This model selection problem can be summarized as the calculation of one or more hyperparameters defining the model complexity in contrast to the parameters that allow to specify a model in the chosen complexity class. The usual approach to determine these parameters is to use a “grid search”. Given a set of possible values, the generalization error for the best model is estimated for each of these values. This thesis is focused in an alternative approach consisting in calculating the complete set of possible solution for all hyperparameter values. This is what is called the regularization path. It can be shown that for the problems we are interested in, parametric quadratic programming (PQP), the corresponding regularization path is piece wise linear. Moreover, its calculation is no more complex than calculating a single PQP solution. This thesis is organized in three chapters, the first one introduces the general setting of a learning problem under the Support Vector Machines’ (SVM) framework together with the theory and algorithms that allow us to find a solution. The second part deals with supervised learning problems for classification and ranking using the SVM framework. It is shown that the regularization path of these problems is piecewise linear and alternative proofs to the one of Rosset [Ross 07b] are given via the subdifferential. These results lead to the corresponding algorithms to solve the mentioned supervised problems. The third part deals with semi-supervised learning problems followed by unsupervised learning problems. For the semi-supervised learning a sparsity constraint is introduced along with the corresponding regularization path algorithm. Graph-based dimensionality reduction methods are used for unsupervised learning problems. Our main contribution is a novel algorithm that allows to choose the number of nearest neighbors in an adaptive and appropriate way contrary to classical approaches based on a fix number of neighbors., La sélection d’un modèle approprié est l’une des tâches essentielles de l’apprentissage statistique. En général, pour une tâche d’apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de « complexité». Dans ce cadre, le processus de sélection de modèle revient `a trouver la « complexité » optimale, permettant d’estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l’estimation d’un ou plusieurs hyper-paramètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie. L’approche habituelle pour déterminer ces hyper-paramètres consiste à utiliser une « grille ». On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l’erreur de généralisation du meilleur modèle. On s’intéresse, dans cette thèse, à une approche alternative consistant à calculer l’ensemble des solutions possibles pour toutes les valeurs des hyper-paramètres. C’est ce qu’on appelle le chemin de régularisation. Il se trouve que pour les problèmes d’apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyper-paramètres est linéaire par morceaux et que son calcul a une complexité numérique de l’ordre d’un multiple entier de la complexité de calcul d’un modèle avec un seul jeu hyper-paramètres. La thèse est organisée en trois parties. La première donne le cadre général des problèmes d’apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d’appréhender ce problème. La deuxième partie traite du problème d’apprentissage supervisé pour la classification et l’ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d’ordonnancement. La troisième partie aborde successivement les problèmes d’apprentissage semi supervisé et non supervisé. Pour l’apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l’algorithme de chemin de régularisation associé. En ce qui concerne l’apprentissage non supervisé nous utilisons une approche de type « réduction de dimension ». Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins.

The history matching problem in reservoir engineering, which consists in matching the geostatistical model to production data, is an ill-posed inverse problem. Its resolu- tion implies to infer the probability distribution of the geostatistical model conditioned to the dynamical data, considering both the geological a priori, expressed in the geostatistical model, and the adequacy with production data. The aim is then to generate a representative sample from this distribution. Geostatistical models are usually discretized on a grid of hundreds of thousands even millions of blocks. Classical methods aim at solving the inverse problem considering the value of the random field at each gridblock as parameters. The huge dimension of this problem makes it intractable in practice. Therefore, we need a parameterization technique that will be able to reduce the problem dimension. The first part of this thesis is devoted to studying a parameterization method of Gaussian-related geostatistical models, based on their Karhunen-Loève (KL) expansion. We describe its theory and principles. Then, according to both statistical and dynamical (with respect to fluid flow results) criteria, we quantify the dimension reductio offered by this decomposition. In the second part, we present the principles of Markov chain Monte-Carlo (McMC) methods. Particularly, we point out the defects of classical approaches when trying to solve a bayesian inversion problem. We then intro- duce the interacting Markov chains methods whose advantages are exposed. Finally, the results obtained by using jointly both methods are exhibited in two publications. A different approach, using sensitivity analysis methods, is also described in a third article., La problématique du calage d'historique en ingénierie de réservoir, c'est-à-dire le calage des modèles géostatistiques aux données de production, est un problème inverse mal posé. Dans un cadre bayésien, sa résolution suppose l'inférence de la distribution de probabilité du modèle géostatistique conditionné aux données dynamiques, rendant compte à la fois de l'a priori géologique, exprimé dans le modèle géostatistique, et de l'adéquation aux données de production. Typiquement, la résolution de ce problème passe par la génération d'un ensemble de réalisations calées aux données, échantillon représentatif de cette distribution. Les modèles géostatistiques sont en général discrétisés sur des grilles de plusieurs centaines de milliers, voire des millions de blocs ; les approches classiques tentent de résoudre le problème inverse en considérant l'ensemble des blocs comme paramètres du modèle. Sa dimension est alors considérable et les méthodes d'échantillonnages deviennent impraticables sur un cas réel. Il convient alors de choisir une paramétrisation susceptible de réduire la dimension du problème. Dans la première partie de cette thèse, nous présentons une méthode de paramétrisation optimale des modèles géostatistiques basés sur les champs aléatoires gaussiens, à partir de leur décomposition de Karhunen-Loève (KL). Nous en décrivons les fondements théo- riques, puis, sur des applications aux modèles de champs aléatoires gaussiens courants en géostatistique, selon des critères d'abord statistiques puis hydrodynamiques, nous quantifions la réduction de la dimension du problème offerte par cette paramétrisation. Dans la seconde partie, nous présentons les principes des méthodes de Monte-Carlo par Chaînes de Markov (MCMC) et les défauts des méthodes classiques pour la résolution du problème inverse dans le cadre bayésien. Nous développons alors l'approche par chaînes de Markov en interaction dont nous exposons les avantages. Enfin, les résultats obtenus par l'emploi conjoint de ces deux méthodes sont présentés dans deux articles. Une approche différente, passant par l'emploi de méthodes d'analyse de sensibilité, est également décrite dans un troisième article.

We consider regression models with randomly right-censored responses. We propose new estimators of the regression function in parametric models, and nonparametric lack-of-fit tests of these models. We then adapt these methods to the study of a semiparametric single-index model, in order to generalize dimension reduction techniques used in absence of censoring. We first consider models relying on more restrictive identifiability conditions, and then consider the case when the response and the censoring variable are independent conditionally to the covariates. In this last kind of models, actual techniques do not allow to estimate the regression function when there is more than one covariate. We develop a new dimension reduction approach to circumvent this problem.; Nous considérons des modèles de régression où la variable expliquée est censurée à droite aléatoirement. Nous proposons de nouveaux estimateurs de la fonction de régression dans des modèles paramétriques, et nous proposons une procédure de test non paramétrique d'adéquation à ces modèles. Nous prolongeons ces méthodes à l'étude du modèle semi-paramétrique "single-index", généralisant ainsi des techniques de réduction de dimension utilisées en l'absence de censure. Nous nous penchons tout d'abord sur le cas d'un modèle où la variable de censure est indépendante de la variable expliquée ainsi que des variables explicatives. Nous travaillons dans un second temps dans un cadre moins restrictif où la variable expliquée et la censure sont indépendantes conditionnellement aux variables explicatives. Une difficulté spécifique à ce dernier type de modèle tient en l'impossibilité des techniques actuelles à estimer une espérance conditionnelle (de façon paramétrique ou non) en présence de plus d'unevariable explicative. Nous développons une nouvelle approche de réduction de la dimension afin de résoudre ce problème.

Ce texte constitue une synthèse de mes travaux de recherche menés depuis 2000 en statistique mathématique. Ces travaux s'articulent autour de 4 thèmes: la statistique non paramétrique pour les processus de diffusion, efficacité au second ordre pour l'estimation semiparamétrique, agrégation par des poids exponentiels et réduction de dimension pour la régression non paramétrique. Le premier chapitre contient une description générale des résultats obtenus en les replaçant dans un contexte historique et en présentant les motivations qui nous ont animées pour étudier ces problèmes. J'y décris également de façon informelle les idées clés des démonstrations. Au second chapitre, je présente les définitions principales nécessaires pour énoncer de façon rigoureuse les résultats les plus importants. Ce chapitre contient également une discussion plus formelle permettant de mettre en lumière certains aspects théoriques et pratiques de nos résultats.

In this thesis we deal with aggregationprocedures under the margin assumption. We prove that the marginassumption improves the rate of aggregation. Another contribution ofthis thesis is to show that some empirical risk minimizationprocedures are suboptimal when the loss function is convex, evenunder the margin assumption. Contrarily to some aggregationprocedures with exponential weights, these model selection methodscannot benefit from the large margin. Then, we apply aggregationmethods to construct adaptive estimators in several differentproblems. The final contribution of this thesis is to purpose a newapproach to the control of the bias term in classification byintroducing some spaces of sparse prediction rules. Minimax rates ofconvergence have been obtained for these classes of functions and,by using an aggregation method, we provide an adaptive version ofthese estimators., Le principal travail decette thèse porte sur l'étude des méthodes d'agrégation sousl'hypothèse de marge. Nous avons mis en avant que l'hypothèse demarge améliore les vitesses d'agrégation. Un autre résultat decette thèse montre que certaines méthodes de minimisation du risqueempirique pénalisé sont sous-optimales quand le risque est convexe,même sous l'hypothèse de marge. Contrairement aux procéduresd'agrégation à poids exponentiels, ces méthodes n'arrivent pas àprofiter de la marge du modèle. Nous avons ensuite appliqué lesméthodes d'agrégation à la résolution de quelques problèmesd'adaptation. Une dernière contribution apportée dans cette thèse aété de proposer une approche du contrôle du biais en classificationpar l'introduction d'espaces de règles de prédiction parcimonieuses.Des vitesses minimax ont été obtenues pour ces modèles et uneméthode d'agrégation a donné une version adaptative de cesprocédures d'estimation.

The goal of the first part of the thesis is to define concepts allowing developing efficient classification tool for high dimensional data. In the second part of the thesis, we proposed methods based on supervised dimensionality reduction principle. These methods are based on PLS regression which is especially efficient when dealing with high dimensional data. In this context, we proposed a non-linear and binary classification tool, the Kernel Logistic PLS regression. It is based both on latent variables construction and learning with Kernel. We extend the Kernel Logistic PLS regression to the multiclass case, giving rise to the Kernel Logistic Multinomial PLS regression.The two last chapters deal with applications such as melanoma detection from medical imaging or classfication of microarray data., L'objectif de la thèse est de définir les bases conceptuelles permettant de développer des méthodes efficaces et adaptées à la classification dans les espaces de grande dimension. Dans ce contexte, les méthodes à noyau s'avèrent particulièrement adaptées. En effet, au-delà de leurs propriétés de régularisation - régularisation de type Tikhonov (Régression Ridge, Support Vector Machines, ... ) ou réduction de dimension (Partial Least Squares, Régression sur Composantes Principales,...) – elles offrent des avantages algorithmiques majeurs lorsque la dimension des données est supérieure au nombre d'observations. Ces méthodes ont fait l'objet d'une étude approfondie à la fois du point de vue théorique et appliqué dans les deux premiers chapitres de la thèse.Les deux chapitres suivants proposent de nouvelles méthodes, découlant de cette étude. Elles se fondent sur des principes de réduction de dimension supervisée en se focalisant principalement sur la régression PLS, particulièrement bien adaptée à la gestion de données de grande dimension. Il s'agissait de concevoir des algorithmes de classification s'appuyant sur les principes algorithmiques de la régression PLS. Nous avons proposé, la Kernel Logistic PLS, modèle de classification nonlinéaire et binaire basé à la fois sur la construction de variables latentes et sur des transformations du type Empirical Kernel Map. Nous avons étendu la KL-PLS au cas où la variable à prédire est polytomique donnant naissance à la Kernel Multinomial Logistic PLS regression.Enfin dans les deux derniers chapitres, nous avons appliqué ces méthodes à de nombreux domaines, notamment en analyse d'images. Nous avons ainsi contribué au développement d'une application en vraie grandeur dans le domaine médical en élaborant un outil d'aide au diagnostic de tumeurs noires de la peau à partir d'images.

The main topic of this thesis is modeling and classification of high-dimensional data. Based on theassumption that high-dimensional data live in subspaces with intrinsic dimensions smaller than the dimension of the original space and that the data of different classes live in different subspaces with differentintrinsic dimensions, we propose a re-parametrization of the Gaussian mixture model. By forcing someparameters to be common within or between classes, we show a family of 28 Gaussian models appropriated forhigh-dimensional data, from the most general model to the most parsimonious one. These models are then usedfor discrimination and clustering of high-dimensional data. The classifiers associated with these models arecalled respectively High Dimensional Discriminant Analysis (HDDA) and High Dimensional Data Clustering(HDDC) and their construction is based on the maximum likelihood estimation of model parameters. The natureof our re-parametrization allows HDDA and HDDC not to be disturbed by the ill-conditioning or the singularity of empirical covariance matrices and to be efficient in terms of computing time. The methods HDDA and HDDC are then used in a probabilistic framework to object recognition in images. This approach, which can be supervised or weakly-supervised, allows to locate in a probabilistic way an object in a new image. Our approach is validated on two recent image databases and compared to the most efficient object recognition methods., Le thème principal d'étude de cette thèse est la modélisation et la classification des données de grandedimension. Partant du postulat que les données de grande dimension vivent dans des sous-espaces dedimensions intrinsèques inférieures à la dimension de l'espace original et que les données de classesdifférentes vivent dans des sous-espaces différents dont les dimensions intrinsèques peuvent être aussidifférentes, nous proposons une re-paramétrisation du modèle de mélange gaussien. En forçant certainsparamètres à être communs dans une même classe ou entre les classes, nous exhibons une famille de 28 modèles gaussiens adaptés aux données de grande dimension, allant du modèle le plus général au modèle le plus parcimonieux. Ces modèles gaussiens sont ensuite utilisés pour la discrimination et la classificationautomatique de données de grande dimension. Les classifieurs associés à ces modèles sont baptisés respectivement High Dimensional Discriminant Analysis (HDDA) et High Dimensional Data Clustering (HDDC) etleur construction se base sur l'estimation par la méthode du maximum de vraisemblance des paramètres dumodèle. La nature de notre re-paramétrisation permet aux méthodes HDDA et HDDC de ne pas être perturbées par le mauvais conditionnement ou la singularité des matrices de covariance empiriques des classes et d'êtreefficaces en terme de temps de calcul. Les méthodes HDDA et HDDC sont ensuite mises en dans le cadre d'uneapproche probabiliste de la reconnaissance d'objets dans des images. Cette approche, qui peut êtresupervisée ou faiblement supervisée, permet de localiser de manière probabiliste un objet dans unenouvelle image. Notre approche est validée sur des bases d'images récentes et comparée aux meilleuresméthodes actuelles de reconnaissance d'objets.

DNA sequences can be considered as texts write in a 4-letters alphabet. A technique inspired from textual data analysis characterizes these sequences by short oligonucleotide (or word) frequencies. The whole word frequencies is called “genomic signature” (the “signature” term is justified because this set is species-specificity). Since the genomic signature can be observed in DNA segments as short as 1Kb, it appears to result from a “writing style” that characterizes the organization of DNA all over each genome. Moreover, proximities between species from the genomic signature point of view often correspond to proximities from the taxonomic point of view. However, the genomic signatures analysis is quickly confronted with limitations due to the curse of dimension. Indeed, the high dimensional data (the genomic signature generally has 256 dimensions) show unusual properties. For example, the concentration of Euclidean distances phenomenon is well known.From these observations, we set up procedures to evaluate metrics in order to emphasize biological information extractable from genomic signatures. A associated non-linear method for vicinities' representation frees from the curse of dimension and allows to visualize space occupied by data. The analysis of relations between signatures poses the problem of the contribution of each variable (the words) to the distance between signatures. An original Z-score based on the variation of word frequencies along genomes make it possible to quantify these contributions. The comparison between “local signatures” permit to extract original regions. Besides, the precise segmentation of original regions is computed thanks to a method based on signal analysis.From this set of methods, we can propose diverse biological results. In particular, we highlight an organization in the genomic signatures space coherent with species taxonomy. Moreover, we note the presence of a “DNA syntax” : there are “syntactic words” and “semantic words”. The signature is especially based on syntactic words. Lastly, the analysis of signatures along genome allows detection and precise segmentation of RNA and probable horizontal transfers. The convergence of the horizontal transfer styles towards host signature can besides be observed.Diverse kind of results was obtained by signature analysis. Thus, ease of use and speed of the genomic signature analysis make it a powerful tool to extract biological information from genomes., Les séquences d'ADN peuvent être considérées comme des textes écrits dans un alphabet de 4 lettres. Des techniques inspirées de l'analyse textuelle permettent donc de les caractériser, entre autres à partir de fréquences d'apparition de courtes suites de caractères (les oligonucléotides ou mots). L'ensemble des fréquences des mots d'une longueur donnée est appelé « signature génomique » (cet ensemble est spécifique de l'espèce, ce qui justifie le terme de « signature »). La signature d'espèce est observable sur la plupart des courts fragments d'ADN, ce qui donne à penser qu'elle résulte d'un « style d'écriture ». De plus, la proximité entre espèces du point de vue de la signature génomique correspond bien souvent à une proximité en terme taxonomique. Pourtant, l'analyse des signatures génomiques se confronte rapidement à des limitations dues à la malédiction de la dimension. En effet, les données de grande dimension (la signature génomique a généralement 256 dimensions) montrent des propriétés qui mettent en défaut l'intuition. Par exemple, le phénomène de concentration des distances euclidiennes est bien connu.Partant de ces constatations, nous avons mis en place des procédures d'évaluation des distances entre signatures de façon à rendre plus manifeste les informations biologiques sur lesquelles s'appuient nos analyses. Une méthode de projection non-linéaire des voisinages y est associée ce qui permet de s'affranchir des problèmes de grande dimension et de visualiser l'espace occupé par les données. L'analyse des relations entre les signatures pose le problème de la contribution de chaque variable (les mots) à la distance entre les signatures. Un Z-score original basé sur la variation de la fréquence des mots le long des génomes a permis de quantifier ces contributions. L'étude des variations de l'ensemble des fréquences le long d'un génomes permet d'extraire des segments originaux. Une méthode basée sur l'analyse du signal permet d'ailleurs de segmenter précisément ces zones originales.Grâce à cet ensemble de méthodes, nous proposons des résultats biologiques. En particulier, nous mettons en évidence une organisation de l'espace des signatures génomiques cohérente avec la taxonomie des espèces. De plus, nous constatons la présence d'une syntaxe de l'ADN : il existe des « mots à caractère syntaxique » et des « mots à caractère sémantique », la signature s'appuyant surtout sur les mots à caractère syntaxique. Enfin, l'analyse des signatures le long du génome permet une détection et une segmentation précise des ARN et de probables transferts horizontaux. Une convergence du style des transferts horizontaux vers la signature de l'hôte a d'ailleurs pu être observée.Des résultats variés ont été obtenus par analyse des signatures. Ainsi, la simplicité d'utilisation et la rapidité de l'analyse des séquences par signatures en font un outil puissant pour extraire de l'information biologique à partir des génomes.

DNA sequences can be considered as texts write in a 4-letters alphabet. A technique inspired from textual data analysis characterizes these sequences by short oligonucleotide (or word) frequencies. The whole word frequencies is called “genomic signature” (the “signature” term is justified because this set is species-specificity). Since the genomic signature can be observed in DNA segments as short as 1Kb, it appears to result from a “writing style” that characterizes the organization of DNA all over each genome. Moreover, proximities between species from the genomic signature point of view often correspond to proximities from the taxonomic point of view. However, the genomic signatures analysis is quickly confronted with limitations due to the curse of dimension. Indeed, the high dimensional data (the genomic signature generally has 256 dimensions) show unusual properties. For example, the concentration of Euclidean distances phenomenon is well known.From these observations, we set up procedures to evaluate metrics in order to emphasize biological information extractable from genomic signatures. A associated non-linear method for vicinities' representation frees from the curse of dimension and allows to visualize space occupied by data. The analysis of relations between signatures poses the problem of the contribution of each variable (the words) to the distance between signatures. An original Z-score based on the variation of word frequencies along genomes make it possible to quantify these contributions. The comparison between “local signatures” permit to extract original regions. Besides, the precise segmentation of original regions is computed thanks to a method based on signal analysis.From this set of methods, we can propose diverse biological results. In particular, we highlight an organization in the genomic signatures space coherent with species taxonomy. Moreover, we note the presence of a “DNA syntax” : there are “syntactic words” and “semantic words”. The signature is especially based on syntactic words. Lastly, the analysis of signatures along genome allows detection and precise segmentation of RNA and probable horizontal transfers. The convergence of the horizontal transfer styles towards host signature can besides be observed.Diverse kind of results was obtained by signature analysis. Thus, ease of use and speed of the genomic signature analysis make it a powerful tool to extract biological information from genomes., Les séquences d'ADN peuvent être considérées comme des textes écrits dans un alphabet de 4 lettres. Des techniques inspirées de l'analyse textuelle permettent donc de les caractériser, entre autres à partir de fréquences d'apparition de courtes suites de caractères (les oligonucléotides ou mots). L'ensemble des fréquences des mots d'une longueur donnée est appelé « signature génomique » (cet ensemble est spécifique de l'espèce, ce qui justifie le terme de « signature »). La signature d'espèce est observable sur la plupart des courts fragments d'ADN, ce qui donne à penser qu'elle résulte d'un « style d'écriture ». De plus, la proximité entre espèces du point de vue de la signature génomique correspond bien souvent à une proximité en terme taxonomique. Pourtant, l'analyse des signatures génomiques se confronte rapidement à des limitations dues à la malédiction de la dimension. En effet, les données de grande dimension (la signature génomique a généralement 256 dimensions) montrent des propriétés qui mettent en défaut l'intuition. Par exemple, le phénomène de concentration des distances euclidiennes est bien connu.Partant de ces constatations, nous avons mis en place des procédures d'évaluation des distances entre signatures de façon à rendre plus manifeste les informations biologiques sur lesquelles s'appuient nos analyses. Une méthode de projection non-linéaire des voisinages y est associée ce qui permet de s'affranchir des problèmes de grande dimension et de visualiser l'espace occupé par les données. L'analyse des relations entre les signatures pose le problème de la contribution de chaque variable (les mots) à la distance entre les signatures. Un Z-score original basé sur la variation de la fréquence des mots le long des génomes a permis de quantifier ces contributions. L'étude des variations de l'ensemble des fréquences le long d'un génomes permet d'extraire des segments originaux. Une méthode basée sur l'analyse du signal permet d'ailleurs de segmenter précisément ces zones originales.Grâce à cet ensemble de méthodes, nous proposons des résultats biologiques. En particulier, nous mettons en évidence une organisation de l'espace des signatures génomiques cohérente avec la taxonomie des espèces. De plus, nous constatons la présence d'une syntaxe de l'ADN : il existe des « mots à caractère syntaxique » et des « mots à caractère sémantique », la signature s'appuyant surtout sur les mots à caractère syntaxique. Enfin, l'analyse des signatures le long du génome permet une détection et une segmentation précise des ARN et de probables transferts horizontaux. Une convergence du style des transferts horizontaux vers la signature de l'hôte a d'ailleurs pu être observée.Des résultats variés ont été obtenus par analyse des signatures. Ainsi, la simplicité d'utilisation et la rapidité de l'analyse des séquences par signatures en font un outil puissant pour extraire de l'information biologique à partir des génomes.

This thesis is concerned with the justification of membrane models as zero-thickness limits of three dimensional nonlinear "elastic behavior" (the quotes refer to the absence of the usual requirement that the energy should blow up as the Jacobian of the transformation tends to zero). The dimensional reduction is viewed as a $\Gamma$-convergence problem for the elastic energy. We first consider macroscopic heterogeneities, also taking into account the case where the external loads induce a density of bending moment that produces a Cosserat vector. Then, we study periodic microscopic heterogeneities, which introduces two competing features : dimensional reduction and reiterated homogenization. Thin films with complex degenerate microstructure due to the presence of voids on the mid-surface are investigated when the thickness is much smaller than the period of distribution of the perforations. Finally, brittle thin films and their quasistatic crack evolution are presented for a Griffith type surface energy density., Cette thèse traite de la justification de modèles de membranes comme limites de "comportements élastiques" non linéaires tridimensionnels (les guillemets ont trait à l'absence de l'hypothèse classique d'explosion de l'énergie lorsque le Jacobien de la transformation tend vers zéro). La réduction dimensionnelle est vue comme un problème de $\Gamma$-convergence sur l'énergie élastique, lorsque l'\épaisseur tend vers zéro. Dans un premier temps, nous décrirons des hétérogénéités macroscopiques où les forces de surface peuvent engendrer une densité de moment fléchissant, produisant un vecteur de Cosserat. Puis nous considérerons des hétérogénéités microscopiques réparties périodiquement, donnant lieu à prendre en compte deux types de problèmes simultanés: la réduction de dimension et l'homogénéisation réitérée. Ensuite, des films minces possédant une microstructure dégénérée due à la présence de vide sur la surface moyenne seront étudiés dans le cas où l'épaisseur est beaucoup plus petite que la période de distribution des perforations. Enfin, nous envisagerons la possibilité de rupture et analyserons l'évolution quasistatique des fissures pour une énergie de surface de type Griffith.

We propose a new method for discriminant analysis, called High Dimensional Discriminant Analysis (HHDA). Our approach is based on the assumption that high dimensional data live in different subspaces with low dimensionality. Thus, HDDA reduces the dimension for each class independently and regularizes class conditional covariance matrices in order to adapt the Gaussian framework to high dimensional data. This regularization is achieved by assuming that classes are spherical in their eigenspace. HDDA is applied to recognize objects in natural images and its performances are compared to classical classification methods.; Nous proposons une nouvelle méthode d'Analyse Discriminante, nommée Analyse Discriminante de Haute Dimension (HDDA), adaptée aux données de grande dimension. Notre approche est basée sur l'hypothèse que les données de grande dimension vivent dans des sous-espaces dont la dimension intrinsèque est inférieure à la dimension de l'espace. Pour ce faire, nous réduisons tour à tour la dimension des données de chaque classe et nous régularisons la matrice de covariance de la classe afin d'adapter le modèle gaussien de l'analyse discriminante à ce type de données. Cette stratégie conduit à une nouvelle règle de décision qui comporte un certain nombre de cas particuliers ayant une interprétation géométrique. Nous présentons les résultats de la mise en oeuvre de cette méthode de classification multi-classes sur des données artificielles et réelles. En particulier, nous appliquons notre méthode à la reconnaissance de classe d'objets dans des images naturelles.

This thesis takes place within the framework of statisticallearning. It brings contributions to the machine learning community usingmodern statistical techniques based on progress in the study of empiricalprocesses. The first part investigates the statistical properties of KernelPrincipal Component Analysis (KPCA). The behavior of the reconstruction error isstudied with a non-asymptotic point of view and concentration inequalities ofthe eigenvalues of the kernel matrix are provided. All these results correspond to fast convergence rates. Non-asymptotic results concerning theeigenspaces of KPCA themselves are also provided. A new algorithm ofclassification has been designed in the second part: the Kernel ProjectionMachine (KPM). It is inspired by the Support Vector Machines (SVM). Besides, it highlights that the selection of a vector space by a dimensionalityreduction method such as KPCA regularizes suitably. The choice of the vectorspace involved in the KPM is guided by statistical studies of model selectionusing the penalized minimization of the empirical loss. This regularization procedure is intimately connected with the finitedimensional projections studied in the statistical work of Birgé andMassart. The performances of KPM and SVM are then compared on some datasets. Each topic tackled in this thesis raises new questions., La thèse se place dans le cadre de l'apprentissage statistique. Elle apportedes contributions à la communauté du machine learning en utilisant destechniques de statistiques modernes basées sur des avancées dans l'étudedes processus empiriques. Dans une première partie, les propriétés statistiques del'analyse en composantes principales à noyau (KPCA) sont explorées. Lecomportement de l'erreur de reconstruction est étudié avec un point de vuenon-asymptotique et des inégalités de concentration des valeurs propres de la matrice deGram sont données. Tous ces résultats impliquent des vitesses deconvergence rapides. Des propriétés non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont égalementproposées. Dans une deuxième partie, un nouvel algorithme de classification a étéconçu : la Kernel Projection Machine (KPM). Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode deréduction de la dimension telle que la KPCA régularise convenablement. Le choix de l'espace vectoriel utilisé par la KPM est guidé par des études statistiques de sélection de modéle par minimisation pénalisée de la perte empirique. Ceprincipe de régularisation est étroitement relié à la projection fini-dimensionnelle étudiée dans les travaux statistiques de Birgé et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème abordé dans cette thèse soulève de nouvelles questions d'ordre théorique et pratique.

This PhD thesis is dedicated to the mathematical modelling of nonlinearly elastic thin plates. Namely, nonlinear two-dimensional models of plates are derived from three-dimensional elasticity via two methods: the formal asymptotic expansions and Gamma-convergence. Two classes of realistic hyperelastic materials with singular stored energy function are considered. For the first class of materials, the energy tends to infinity as the determinant of the deformation gradient tends to zero hence preventing the annihilation of volumes. Here, using the first method, we draw a new nonlinear membrane model that precludes the formation of \textit(folds) and that approximates the classical model for small deformations. The classical nonlinear inextensional model is also retrieved. Then incompressible materials are considered i.e. stored energy functions are infinite whenever the determinant of the deformation gradient is different from one. A nonlinear membrane model is produced using the second method. Finally, we show the non-existence of minimizers for membranes under compression and make some general remarks on the topic., Ma thèse a été consacrée à la modélisation mathématique des plaques minces en élasticité non linéaire. Plus précisément, il s'agit d'obtenir des modèles non linéaires bidimensionnels de plaques à partir de l'élasticité non linéaire tridimensionnelle en employant essentiellement deux méthodes: le développement asymptotique formel et la Gamma-convergence. Deux classes de matériaux hyperélastiques réalistes à densités d'énergie singulières sont étudiées. Pour la première classe, l'énergie tend vers l'infini lorsque le déterminant du gradient de la déformation tend vers zéro i.e. l'on ne peut comprimer un volume en un point. Pour ce type de plaques, on obtient, en employant la première méthode, un nouveau modèle membranaire non linéaire qui empêche la formation de plis et qui approche le modèle classique pour les petites déformations. On retrouve aussi le modèle inextensionnel non linéaire classique. Ensuite, on considère les matériaux incompressibles i.e. la densité d'énergie est infinie pour les déformations dont le déterminant du gradient est différent de un. On produit grâce à la deuxième méthode un modèle membranaire non linéaire. Enfin, on montre un résultat de non existence de minimiseurs pour le modèle membranaire non linéaire classique comprimé et quelques remarques générales sont faites à ce sujet.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

In this thesis we are interested in two semiparametric regression models which allow to get rid with the so-called curse of dimensionality problem linked with the nonparametrical approach. The first part of this work deals with the study of the regression model called partialy-linear ; the goal is the identification of the regressor that appear nonparametricaly in the regression function and we also estimate the parameters defining the model. Then we define a linearity measure and we derive a test of the number of non-linear components based on this measure. The second part is devoted to the study of the so-called single index model and its aim is to estimate the axis using geometrical properties and to construct a test of the whole model consistent under the null hypothesis and powerfull under a sequence of local alternatives., Cette thèse s'intéresse à deux modèles de régression semi-paramétrique permettant de contourner le problème classique du "fléau de la dimension" inhérent aux approches non-paramétriques usuelles. La première partie du travail concerne l'étude d'un modèle de régression dit partiellement linéaire ; le but est d'identifier les régresseurs qui composent la partie non-linéaire de la fonction de régression ainsi que d'estimer tous les paramètres du modèle. Pour ce faire nous définissons des quantités caractéristiques du modèle qui mesurent la linéarité des régresseurs puis nous développons un test du nombre de composantes non-linéaires basé sur cette mesure. La seconde partie porte sur l'étude d'un modèle dit à direction révélatrice unique et consiste à estimer, via des propriétés géométriques, l'axe du modèle et d'en déduire un test convergent et puissant sous une suite d'alternatives locales.

In this thesis, we discuss and propose several methods for functional MRI -magnetic resonance imaging- data analysis. Functional MRI is a recent modality for the study of brain function: it produces image sequences that reflect local brain metabolic activity, which in turn reflects neural activity. We first deal with the modeling of each voxel-based temporal pattern, using linear prediction techniques and estimating the information contained in the temporal processes. We then study different multivariate generalizations of this model. After recalling and discussing several classical methods (independent components analysis, clustering), we first propose a linear approach based on state-space modeling, and then a non-linear approach based on kernel decompositions. The common objective of these methods -that are nevertheless complementary- is to propose decompositions that preserve optimally the data dynamics. We then introduce a novel point of view based on dimension reduction of the dataset, which allows for a more structured representation and helps for visualization. We show its effectiveness with respect to classical linear decomposition techniques. Finally, we describe a methodology of analysis that synthesizes different parts of this work, and relies on soft hypotheses. Our results give a global description of the dynamical processes embedded in the data produced by functional MRI., Dans cette thèse, nous discutons et proposons un certains nombre de méthodes pour l'analyse de données d'IRM -imagerie par résonance magnétique- fonctionnelle. L'IRM fonctionnelle est une modalité récente de l'exploration du cerveau: elle produit des séquences d'images reflétant l'activité métabolique locale, celle-ci reflétant l'activité neuronale. Nous nous intéressons tout d'abord à la modélisation des séries temporelles obtenues pour chaque voxel séparément, en faisant appel aux techniques de prédiction linéaire et au calcul de l'information des processus modélisés. Nous étudions ensuite différentes généralisations multivariées de ce modèle. Après avoir rappelé et discuté certaines techniques classiques (analyse en composantes indépendantes, regroupement), nous proposons successivement une approche linéaire fondée sur la théorie des systèmes à état et une approche non-linéaire fondée sur les décompositions à noyau. Le but commun de ces méthodes -qui peuvent se compléter- est de proposer des décompositions qui préservent au mieux la dynamique des données. Nous introduisons ensuite une approche nouvelle par réduction de la dimension des données; cette approche offre une représentation plus structurée et relativement agréable à visualiser. Nous montrons ses avantages par rapport aux techniques linéaires classiques. Enfin, nous décrivons une méthodologie d'analyse qui synthétise une grande partie de ce travail, et repose sur des hypothèses très souples. Nos résultats offrent ainsi une description globale des processus dynamiques qui sont mis en image lors des expériences d'IRM fonctionnelle.

Factorial analysis permits the treatment of data presented as two-entry-tables. For the past twenty years, several techniques (PARAFAC, TUCKER...) have been suggested in the literature for the study of three-entry-tables and more. The proposed thesis shows that tensorial algebra is a tool that allows one to compare, complete and enrich different methods, particularly those related to the introduction of remarks and constraints., L'analyse factorielle (ACP, AFC,...), permet de traiter les données présentées sous forme de tableaux à deux entrées. Depuis une vingtaine d'années, plusieurs techniques (PARAFAC, TUCKER...) ont été proposées dans la littérature pour étudier les tableaux à trois entrées et plus. La thèse proposée démontre que l'algèbre tensorielle est un outil qui permet de comparer, complèter, enrichir les différentes méthodes, notamment pour l'indroduction de remarques et de contraintes.