Search

These notes are an overview of some classical linear methods in Multivariate Data Analysis. This is a good old domain, well established since the 60's, and refreshed timely as a key step in statistical learning. It can be presented as part of statistical learning, or as dimensionality reduction with a geometric flavor. Both approaches are tightly linked: it is easier to learn patterns from data in low dimensional spaces than in high-dimensional spaces. It is shown how a diversity of methods and tools boil down to a single core methods, PCA with SVD, such that the efforts to optimize codes for analyzing massive data sets like distributed memory and task-based programming or to improve the efficiency of the algorithms like Randomised SVD can focus on this shared core method, and benefit to all methods.; Ce document brosse un panorama des méthodes linéaires de l'Analyse de données multivariées. Il s'agit d'un domaine ancien et classique, bien établi depuis les années 60, et redevenu d'actualité en tant qu'étape clé dans l'apprentissage statistique. On peut considérer ces méthodes comme faisant partie d'une approche algébrique de l'apprentissage statistique ou bien comme une réduction de dimension avec une tonalité plus géométrique. Ces deux approches sont étroitement liées : il est plus facile d'apprendre des patterns des données dans des espaces à faible dimension que dans des espaces à grande dimension. Nous montrons comment une apparente diversité de méthodes et outils se réduit en fait pour un tableau à une seule méthode : l'Analyse en Composantes Principales, avec la SVD (Singular Value Decomposition), de telle sorte que les efforts d'optimisation des codes pour l'analyse de jeux de données massives pourraient eut se focaliser sur cette méthode centrale partagée, au bénéfice de toutes les méthodes. Une extension à l'étude de plusieurs tableaux est présentée (Analyse canonique).

Cette thèse, divisée en trois chapitres, contribue à la vaste et récente littérature sur l'évaluation des actifs et la finance climatique. Le premier chapitre contribue à la littérature sur la finance climatique tandis que les deux derniers contribuent à la littérature sur l'évalutaion des actifs. Le premier chapitre analyse comment les politiques environnementales visant à réduire les émissions de carbone affectent les prix des actifs et la consommation des ménages. En utilisant de nouvelles données, je propose une mesure des émissions de carbone du point de vue du consommateur et une mesure du risque de croissance de la consommation de carbone. Les mesures sont basées sur des informations sur la consommation totale et l'empreinte carbone de chaque bien et service. Pour analyser les effets des politiques environnementales, un modèle de risques de long terme est développé dans lequel la croissance de la consommation comprend deux composantes: le taux de croissance de la consommation de carbone et le taux de croissance de la part de la consommation de carbone dans la consommation totale. Ce chapitre soutient que le risque de long terme de la croissance de la consommation provient principalement de la croissance de la consommation de carbone découlant des politiques et des actions visant à réduire les émissions, telles que l'Accord de Paris et la Conférence des Nations Unies sur le changement climatique (COP26). Mon modèle aide à détecter le risque de long terme dans la consommation des politiques climatiques tout en résolvant simultanément les énigmes de la prime de risque et de la volatilité, et en expliquant la coupe transversale des actifs. La décomposition de la consommation pourrait conduire à identifier les postes de consommation les plus polluants et à construire une stratégie d'investissement minimisant ou maximisant un critère environnemental de long terme. Le deuxième chapitre (co-écrit avec René Garcia et Caio Almeida) étudie le rôle des facteurs non linéaires indépendants dans la valorisation des actifs. Alors que la majorité des facteurs d'actualisation stochastique (SDF) les plus utilisés qui expliquent la coupe transversale des rendements boursiers sont obtenus à partir des composantes principales linéaires, nous montrons dans ce deuxième chapitre que le fait de permettre la substitution de certaines composantes principales linéaires par des facteurs non linéaires indépendants améliore systématiquement la capacité des facteurs d'actualisation stochastique de valoriser la coupe transversale des actifs. Nous utilisons les 25 portefeuilles de Fama-French, cinquante portefeuilles d'anomalies et cinquante anomalies plus les termes d'interaction basés sur les caractéristiques pour tester l'efficacité des facteurs dynamiques non linéaires. Le SDF estimé à l'aide d'un mélange de facteurs non linéaires et linéaires surpasse ceux qui utilisent uniquement des facteurs linéaires ou des rendements caractéristiques bruts en termes de performance mesurée par le R-carré hors échantillon. De plus, le modèle hybride - utilisant à la fois des composantes principales non linéaires et linéaires - nécessite moins de facteurs de risque pour atteindre les performances hors échantillon les plus élevées par rapport à un modèle utilisant uniquement des facteurs linéaires. Le dernier chapitre étudie la prévisibilité du rendement des anomalies à travers les déciles à l'aide d'un ensemble de quarante-huit variables d'anomalie construites à partir des caractéristiques de titres individuels. Après avoir construit les portefeuilles déciles, cet article étudie leur prévisibilité en utilisant leurs propres informations passées et d'autres prédicteurs bien connus. Les analyses révèlent que les rendements des portefeuilles déciles sont persistants et prévisibles par le ratio de la valeur comptable sur la valeur de marché de l'entreprise, la variance des actions, le rendement des dividendes, le ratio des prix sur les dividendes, le taux de rendement à long terme, le rendement des obligations d'entreprise, le TED Spread et l'indice VIX. De plus, une stratégie consistant à prendre une position longue sur le décile avec le rendement attendu le plus élevé et à prendre une position courte sur le décile avec le rendement attendu le plus bas chaque mois donne des rendements moyens et un rendement par risque bien meilleurs que la stratégie traditionnelle fondée sur les déciles extrêmes pour quarante-cinq des quarante-huit anomalies., This thesis, divided into three chapters, contributes to the vast and recent literature on asset pricing, and climate finance. The first chapter contributes to the climate finance literature while the last two contribute to the asset pricing literature. The first chapter analyzes how environmental policies that aim to reduce carbon emissions affect asset prices and household consumption. Using novel data, I propose a measure of carbon emissions from a consumer point of view and a carbon consumption growth risk measure. The measures are based on information on aggregate consumption and the carbon footprint for each good and service. To analyze the effects of environmental policies, a long-run risks model is developed where consumption growth is decomposed into two components: the growth rate of carbon consumption and the growth rate of the share of carbon consumption out of total consumption. This paper argues that the long-run risk in consumption growth comes mainly from the carbon consumption growth arising from policies and actions to curb emissions, such as the Paris Agreement and the U.N. Climate Change Conference (COP26). My model helps to detect long-run risk in consumption from climate policies while simultaneously solving the equity premium and volatility puzzles, and explaining the cross-section of assets. The decomposition of consumption could lead to identifying the most polluting consumption items and to constructing an investment strategy that minimizes or maximizes a long-term environmental criterion. The second chapter (co-authored with René Garcia, and Caio Almeida) studies the role of truly independent nonlinear factors in asset pricing. While the most successful stochastic discount factor (SDF) models that price well the cross-section of stock returns are obtained from regularized linear principal components of characteristic-based returns we show that allowing for substitution of some linear principal components by independent nonlinear factors consistently improves the SDF's ability to price this cross-section. We use the Fama-French 25 ME/BM-sorted portfolios, fifty anomaly portfolios, and fifty anomalies plus characteristic-based interaction terms to test the effectiveness of the nonlinear dynamic factors. The SDF estimated using a mixture of nonlinear and linear factors outperforms the ones using solely linear factors or raw characteristic returns in terms of out-of-sample R-squared pricing performance. Moreover, the hybrid model --using both nonlinear and linear principal components-- requires fewer risk factors to achieve the highest out-of-sample performance compared to a model using only linear factors. The last chapter studies anomaly return predictability across deciles using a set of forty-eight anomaly variables built using individual stock characteristics. After constructing the decile portfolios, this paper studies their predictability using their own past information, and other well-known predictors. The analyses reveal that decile portfolio returns are persistent and predictable by book-to-market, stock variance, dividend yield, dividend price ratio, long-term rate of return, corporate bond return, TED Spread, and VIX index. Moreover, a strategy consisting of going long on the decile with the highest expected return and going short on the decile with the lowest expected return each month gives better mean returns and Sharpe ratios than the traditional strategy based on extreme deciles for forty-five out of forty-eight anomalies.

The increasing pace of data generation from tumor profiles profiles during the last decade has enable the development of statistical learning algorithms to explore and analyze the landscape of tumor types, subtypes and patient survival from a biomolecular point of view. Tumor data is mainly described by trasncriptomic features and the level of expression of a given gene-transcript in the tumor cell, therefore these features can be used to learn statistical rules that improves the understanding about the state and type of a cancer cell. Nevertheless transcriptomic tumor data is high dimensional and each tumor can be described by thousands of gene features making it difficult to perform a machine learning task and to understand the underlying biological mechanisms. This thesis studies how to reduce dimensionality and to gain interpretability about which genes encode signals of the data distribution by proposing dimension reduction methods based on Feature Selection and Feature Extraction pipelines. The proposed methods are based on Latent Variable Models and Kernel Methods with the idea to explore the connection between pair-wise similarity functions of tumor samples and low dimensional latent spaces that captures the inner structure of the training data. Proposed methods have shown improvements in supervised and unsupervised feature selection tasks when compared with benchmark methods to classify and learn subgroups of tumors respectively.; Le rythme croissant de génération de données à partir de profils tumoraux au cours de la dernière décennie a permis le développement d'algorithmes d'apprentissage statistique pour explorer et analyser le paysage des types et sous-types de tumeurs et la survie des patients d'un point de vue biomoléculaire. Les données tumorales sont principalement décrites par des caractéristiques transcriptomiques et le niveau d'expression d'un transcrit génique donné dans la cellule tumorale. Par conséquent, ces caractéristiques peuvent être utilisées pour apprendre des règles statistiques qui améliorent la compréhension de l'état et du type d'une cellule cancéreuse. Néanmoins, les données tumorales transcriptomiques sont de grande dimension et chaque tumeur peut être décrite par des milliers de caractéristiques génétiques, ce qui rend difficile la réalisation d'une tâche d'apprentissage automatique et la compréhension des mécanismes biologiques sous-jacents. Cette thèse étudie comment réduire la dimensionnalité et gagner en interprétabilité pour savoir quels gènes codent le signal de la distribution des données en proposant des méthodes de réduction de dimension basées sur un modèle qui envisage la structure globale des données à l'aide d'un espace de représentation latente. Les méthodes proposées ont montré des améliorations dans les tâches de sélection de caractéristiques supervisées et non supervisées par rapport aux méthodes de référence pour classer et apprendre des sous-groupes de tumeurs respectivement.

Supervised learning models are usually trained on data with limited constraints. Unfortunately, data are generally scarce, incomplete and biased in real-world use cases, which hampers efficient model design. Such data can and should still be leveraged to discover relevant patterns, glean insight and develop meaningful conclusions. In this thesis, we investigate an unsupervised learning approach to isolate minority samples encompassed within a larger population. Our review includes two different use cases: Amyotrophic Lateral Sclerosis prognosis and identification of potential innovation funding recipients. Despite differences in their purpose, these contexts face similar issues: poor data availability of partial and unrepresentative samples. In both cases, the aim is to detect samples from a minority population: patients with a poorer 1-year prognosis and companies that are more likely to be successful funding applicants. Data are projected into a lower-dimensional space using Uniform Manifold Approximation and Projection (UMAP), a nonlinear dimension reduction technique. Differences in data distributions are harnessed and used to isolate the target minority population, using Density Based Clustering of Applications with Noise (DBSCAN) and alpha shapes. Correlations between input and target variables become visible within the projection space and minority samples are isolated from the remaining data. As a result, in spite of poor data quality, we provide additional insight with regard to recently diagnosed patients and potential funding applicants.; Les modèles d'apprentissage supervisé sont généralement entraînés sur des données aux contraintes limitées. Malheureusement, les données sont souvent rares, incomplètes et biaisées dans de nombreux cas d’applications, et cela entrave la conception de modèles efficaces. De telles données peuvent et doivent néanmoins être exploitées, car elles demeurent des sources précieuses d’information. Elles permettent de découvrir des corrélations pertinentes et de parvenir à des conclusions significatives. Dans cette thèse, nous étudions une approche d'apprentissage non supervisé pour isoler des échantillons minoritaires compris à l’intérieur d’une population plus large. Notre étude intègre deux contextes applicatifs: le pronostic de la Sclérose Latérale Amyotrophique (SLA) et la recommandation aux entreprises de dispositifs publics de financement de l’innovation. Malgré des différences dans leur objectif, ces contextes sont confrontés à des problèmes similaires: une faible disponibilité des données associée à des échantillons non représentatifs et incomplets. Dans les deux cas, l'objectif est de détecter des échantillons d'une population minoritaire: les patients dont le pronostic à un an est défavorable et les sociétés qui ont plus de chances d'obtenir des financements. Les données sont projetées dans un espace bidimensionnel à l'aide de la méthode d’approximation et de projection de variété uniforme (UMAP), une technique de réduction de dimension non linéaire. Les différences de distribution des données sont exploitées de manière à isoler la population minoritaire cible, à l'aide du partitionnement spatial par densité (DBSCAN) et des formes alpha. Les corrélations entre les caractéristiques d'entrée et d’intérêt, que sont la survie à 1 an et l’obtention de financements, deviennent visibles dans l'espace de projection et les échantillons minoritaires sont isolés du reste des données. En dépit des contraintes sur les données, notre approche se révèle pertinente et informative au regard de patients récemment diagnostiqués avec la SLA et d'entreprises qui postulent pour un financement.

Ces transparents ont pour but de présenter de façon la plus complète possible l'existant du Dictionnaire Electronique de Synomynes (DES), outil du laboratoire CRISCO qui génère de 150.000 à 200.000 requêtes par jour.Les points abordés sont : l'historique du projet, les statistiques d'accès, la gestion de la maintenance, les éléments composants le DES et l'espace sémantique ( calcul des premiers synonymes, les cliques, la réduction de dimension, la féminisation, les liaisons litigieuses, le calcul des liens probables ...).

With the increase in the number of visitors in mountain ranges and the multiplication of accidents on skilifts attributed to human behavior, safety has become a major issue for resort managers.To fight this phenomenon, the start-up from Grenoble Bluecime developed a computer vision system, named SIVAO, which is able to detect a hazardous situation at the boarding of a skilift. The operation of the system breaks down into three steps. First, the chair (or vehicle) is detected in the image. Then, the presence of passengers is confirmed or invalidated. Finally, the position of the security railing is determined. If passengers are present on the vehicle and if the security railing is not down, then the situation is considered as hazardous. In that case, an alarm is triggered, in order to inform the skiers or the operator who can slow down the skilift to secure the vehicle.Despite convincing results, numerous difficulties have to be overcome by SIVAO: various variabilities (vehicle size, boarding orientation, meteorological conditions, number of passengers), camera vibration, complex configuration in the context of a new plant, etc.The MIVAO project, in partnership with the Hubert Curien laboratory, the Bluecime start-up and the Sofival company, was born in order to overcome the previous challenges. The goal is to build an artificial intelligence able to detect, even anticipate, a hazardous situation on vehicles of a skilift, in order to guarantee the security of passengers. Within this project, the general goal of the Gipsa-lab is the automatic annotation, in the least supervised way possible, of chairlift videos.Firstly, we present a classification method whose aim is to confirm or invalidate the presence of passengers on each vehicle. In fact, this preliminary information is critical for the analysis of a potential danger. The proposed technique is based on hand-made features which have a physical interpretation. We show that, by including a priori knowledge, the obtained results are comptetitive against those from complex neural networks, allowing real-time functioning as well.Then, we detail a process for passenger counting on each vehicle in the most unsupervised way possible. This pipeline consists in a dimensionality reduction step followed by a data clustering stage. The latter aims, in the context of our project, at gathering tracks whose vehicles carry the same number of passengers. One can then deduce, from a small number of labels obtained by hand, the number of people present during each track. In particular, we detail two algorithms developed during this thesis. The first one proposes a generalisation of the density-based clustering method DBSCAN, via the introduction of the concept of ellipsoidal neighborhood. The second conciliates Gaussian mixture and spectral clusterings so as to discover non-convex data groups.Finally, we address the problem of automatic extraction of vehicles from camera images, as well as the modeling of their trajectory. To do this, we propose a first method which consists in removing the noise from the optical flow by means of the optical strain. We also present a technique for automatically determining the duration of a vehicle track via frequency analysis.Moreover, we detail an annotation work whose objective is to define clipping paths, pixel by pixel, over the passengers and vehicles in sequences of fourty consecutive images., Devant l'augmentation de la fréquentation des domaines skiables et la multiplication des accidents sur les remontées mécaniques imputés au comportement humain, la sécurité est devenue un enjeu majeur des gérants de stations.Pour lutter contre ce phénomène, la start-up grenobloise Bluecime a développé un système de vision par ordinateur, baptisé SIVAO, capable de détecter une situation dangereuse lors de l'embarquement d'une remontée mécanique. Le fonctionnement du système se décompose en trois étapes. D'abord, le siège (ou véhicule) est détecté dans l'image. Par la suite, la présence de skieurs sur ce dernier est confirmée ou infirmée. Enfin, la position du garde-corps est déterminée. Si des passagers sont présents sur le véhicule et si le garde-corps n'est pas abaissé, alors la situation est considérée comme dangereuse. Dans ce cas, une alarme est déclenchée afin d'alerter les skieurs ou l'opérateur qui peut alors ralentir le télésiège pour sécuriser le véhicule.Malgré des résultats convaincants, de nombreuses difficultés s'opposent à SIVAO : variabilités diverses (taille du véhicule, orientation de l’embarquement, conditions météorologiques, nombre de passagers), vibrations de la caméra, configuration complexe dans le cadre d'une nouvelle installation, etc.Le projet MIVAO, en partenariat avec le laboratoire Hubert Curien, l'entreprise Bluecime et le groupe Sofival, a donc vu le jour dans le but de pallier les difficultés précédentes. L'objectif est de construire une intelligence artificielle capable de détecter, voire d'anticiper, une situation dangereuse à bord de véhicules d'un télésiège, dans le but d'assurer la sécurité des passagers. Au sein de ce projet, l'objectif général du Gipsa-lab est l'annotation automatique, de la manière la moins supervisée possible, de vidéos de rémontées mécaniques.Premièrement, nous présentons une méthode de classification visant à confirmer ou infirmer la présence de passagers sur chaque véhicule. Cette information préliminaire est en effet cruciale dans l'analyse d'un danger potentiel. La technique proposée repose sur des caractéristiques fabriquées à la main et interprétables physiquement. Nous montrons qu'en incluant des connaissances a priori, les résultats obtenus concurrencent ceux issus de réseaux de neurones complexes, tout en permettant un fonctionnement en temps-réel.Ensuite, nous détaillons un processus pour le comptage des passagers de chaque véhicule de la manière la plus non-supervisée possible. Ce processus consiste en une première étape de réduction de dimension, suivie d'une procédure de partitionnement de données. Cette dernière vise dans le cadre de notre projet à regrouper les passages dont les véhicules transportent le même nombre de passagers. Par la suite, nous pouvons déduire, à partir d'un nombre réduit d'étiquettes fournies manuellement, le nombre de personnes présentes lors de chaque passage. On détaille notamment deux algorithmes développés durant cette thèse. Le premier algorithme propose une généralisation de la méthode de clustering par densité DBSCAN via l'introduction du concept de voisinage ellipsoïdal. Le deuxième concilie les clusterings par mélange Gaussien et spectral dans le but de découvrir des groupes de données non-convexes.Dans un dernier temps, nous abordons le problème de l'extraction automatique des véhicules dans les images issues de la caméra, ainsi que de la modélisation de leur trajectoire. Pour ce faire, nous proposons une première méthode qui consiste à supprimer le bruit du flux optique grâce à l'utilisation de la déformation optique. On présente également une technique permettant de déterminer automatiquement la durée d'un passage de véhicule via une analyse fréquentielle.De plus, nous détaillons un effort d'annotations, travail visant à détourer, au niveau pixel, les passagers et véhicules de séquences de quarante images consécutives.

Determinantal point processes are probabilistic models of repulsion.These models were studied in various fields: random matrices, quantum optics, spatial statistics, image processing, machine learning and recently numerical integration.In this thesis, we study subspace sampling using determinantal point processes. This problem takes place within the intersection of three sub-domains of approximation theory: subset selection, kernel quadrature and kernel interpolation. We study these classical topics, through a new interpretation of these probabilistic models: a determinantal point process is a natural way to define a random subspace. Beside giving a unified analysis to numerical integration and interpolation under determinantal point processes, this new perspective allows to work out the theoretical guarantees of several approximation algorithms, and to prove their optimality in some settings.; Les processus ponctuels déterminantaux sont des modèles probabilistes de répulsion. Ces modèles ont été étudié dans différents domaines: les matrices aléatoires, l’optique quantique, les statistiques spatiales, le traitement d’images, l’apprentissage automatique et récemment les quadratures.Dans cette thèse, on étudie l’échantillonnage des sous-espaces à l’aide des processus ponctuels déterminantaux. Ce problème se trouve à l’intersection de trois branches de la théorie d’approximation: la sous sélection dans les ensembles discrets, la quadrature à noyau et l’interpolation à noyau. On étudie ces questions classiques à travers une nouvelle interprétation de ces modèles aléatoires: un processus ponctuel déterminantal est une façon naturelle de définir un sous-espace aléatoire. En plus de donner une analyse unifiée de l’intégration et l’interpolation numériques sous les DPPs, cette nouvelle approche permet de développer les garanties théoriques de plusieurs algorithmes à base de DPPs, et même de prouver leur optimalité pour certains problèmes.

Machine Learning has received a lot of attention during the last two decades both from industry for data-driven decision problems and from the scientific community in general. This recent attention is certainly due to its ability to efficiently solve a wide class of high-dimensional problems with fast and easy- to-implement algorithms. What is the type of problems machine learning tackles ? Generally speaking, answering this question requires to divide it into two distinct topics: supervised and unsupervised learning. The first one aims to infer relationships between a phenomenon one seeks to predict and “explanatory” variables leveraging supervised information. On the contrary, the second one does not need any supervision and aims at extracting some structure, information or significant features of the variables.These two main directions find an echo in this thesis. On the one hand, the supervised learning part theoretically studies the cornerstone of all optimization techniques for these problems: stochastic gradient methods. For their versatility, they are the workhorses of the recent success of ML. However, despite their simplicity, their efficiency is not yet fully understood. Establishing some properties of this algorithm is one of the two important questions of this thesis. On the other hand, the part concerned with unsupervised learning is more problem-specific: we design an algorithm to find reduced order models in physically-based dynamics addressing an crucial question in computational statistical physics (also called molecular dynamics).; L’apprentissage automatique a reçu beaucoup d’attention au cours des deux dernières décennies, à la fois de la part de l’industrie pour des problèmes de décision basés sur des données et de la communauté scientifique en général. Cette attention récente est certainement due à sa capacité à résoudre efficacement une large classe de problèmes en grande dimension grâce à des algorithmes rapides et faciles à mettre en oeuvre. Plus spécifiquement, quel est le type de problèmes abordés par l’apprentissage automatique ? D’une manière générale, répondre à cette question nécessite de le diviser en deux thèmes distincts: l’apprentissage supervisé et l’apprentissage non supervisé. Le premier vise à déduire des relations entre un phénomène que l’on cherche à prédire et des variables “explicatives” exploitant des informations qui ont fait l’objet d’une supervision. Au contraire, la seconde ne nécessite aucune supervision et son but principal est de parvenir à extraire une structure, des informations ou des caractéristiques importantes relative aux données.Ces deux axes principaux trouvent un écho dans cette thèse. Dans un premier temps, la partie concernant l’apprentissage supervisé étudie théoriquement la pierre angulaire de toutes les techniques d’optimisation liées à ces problèmes: les méthodes de gradient stochastique. Grâce à leur polyvalence, elles participent largement au récent succès de l’apprentissage. Cependant, malgré leur simplicité, leur efficacité n’est pas encore pleinement comprise. L’étude de certaines propriétés de cet algorithme est l’une des deux questions importantes de cette thèse. Dand un second temps, la partie consacrée à l’apprentissage non supervisé est liée à un problème plus spécifique : nous concevons dans cette étude un algorithme pour trouver des modèles réduits pour des dynamiques empruntées à la physique. Cette partie aborde une question cruciale en physique statistique computationnelle (également appelée dynamique moléculaire).Même si les deux problèmes sont de nature différente, ces deux directions partagent une caractéristique commune : elles tirent parti de l’utilisation d’espaces à noyau reproduisant, qui possèdent deux propriétés essentielles : (i) ils s’adaptent naturellement au cadre stochastique tout en préservant une certaine efficacité numérique, (ii) ils montrent une grande expressivité en tant que classe de fonctions de test.

Kernel methods are known to be effective to analyse complex objects by implicitly embedding them into some feature space. To interpret and analyse the obtained results, it is often required to restore in the input space the results obtained in the feature space by using pre-image estimation methods. This work proposes a pre-image estimation method for time series kernel analytics that consists of two steps. In the first step, a time warp function, driven by distance constraints in the feature space, is defined to embed time series in a metric space where analytics can be performed conveniently. In the second step, the time series pre-image estimation is cast as learning a linear (or a nonlinear) transformation that ensures a local isometry between the time series embedding space and the feature space. The proposed method is compared to state of the art through three major tasks that require pre-image estimation: 1) time series averaging, 2) time series reconstruction and denoising, and 3) time series representation learning. The extensive experiments conducted son 33 publicly-available datasets show the benefits of the pre-image estimation for time series kernel analytics.; Les méthodes à noyaux sont connues pour être efficaces pour l’analyse d’objets complexes en les plongeant implicitement dans un espace de caractéristiques (feature-space). Pour interpréter et analyser les résultats obtenus, il est souvent nécessaire de restaurer dans l’espace d’entrée les résultats obtenus dans l’espace des caractéristiques à l’aide de méthodes d’estimation de la pré-image. Ce travail propose une méthode d’estimation de la pré-image pour rendre interprétable les méthodes d’analyse de séries temporelles à base de noyaux. Dans la première étape, une fonction de déformation temporelle, supervisée par des contraintes de distances, est définie pour plonger les séries dans un espace métrique où des analyses pratiques peuvent être menées. Dans la deuxième étape, l’estimation de la pré-image des séries temporelles est obtenue par l’apprentissage d’une transformation linéaire (ou non linéaire) assurant une isométrie locale entre le nouvel espace métrique des séries et l’espace des caractéristiques. La méthode proposée est comparée aux méthodes de l’état de l’art au travers de trois tâches principales requérant l’estimation de la pré-image: 1) le centrage des séries temporelles, 2) la reconstruction et le débruitage des séries temporelles et 3) l’apprentissage de représentations pour des séries temporelles.

Kernel methods are known to be effective to analyse complex objects by implicitly embedding them into some feature space. To interpret and analyse the obtained results, it is often required to restore in the input space the results obtained in the feature space by using pre-image estimation methods. This work proposes a pre-image estimation method for time series kernel analytics that consists of two steps. In the first step, a time warp function, driven by distance constraints in the feature space, is defined to embed time series in a metric space where analytics can be performed conveniently. In the second step, the time series pre-image estimation is cast as learning a linear (or a nonlinear) transformation that ensures a local isometry between the time series embedding space and the feature space. The proposed method is compared to state of the art through three major tasks that require pre-image estimation: 1) time series averaging, 2) time series reconstruction and denoising, and 3) time series representation learning. The extensive experiments conducted son 33 publicly-available datasets show the benefits of the pre-image estimation for time series kernel analytics.; Les méthodes à noyaux sont connues pour être efficaces pour l’analyse d’objets complexes en les plongeant implicitement dans un espace de caractéristiques (feature-space). Pour interpréter et analyser les résultats obtenus, il est souvent nécessaire de restaurer dans l’espace d’entrée les résultats obtenus dans l’espace des caractéristiques à l’aide de méthodes d’estimation de la pré-image. Ce travail propose une méthode d’estimation de la pré-image pour rendre interprétable les méthodes d’analyse de séries temporelles à base de noyaux. Dans la première étape, une fonction de déformation temporelle, supervisée par des contraintes de distances, est définie pour plonger les séries dans un espace métrique où des analyses pratiques peuvent être menées. Dans la deuxième étape, l’estimation de la pré-image des séries temporelles est obtenue par l’apprentissage d’une transformation linéaire (ou non linéaire) assurant une isométrie locale entre le nouvel espace métrique des séries et l’espace des caractéristiques. La méthode proposée est comparée aux méthodes de l’état de l’art au travers de trois tâches principales requérant l’estimation de la pré-image: 1) le centrage des séries temporelles, 2) la reconstruction et le débruitage des séries temporelles et 3) l’apprentissage de représentations pour des séries temporelles.

This thesis treats the optimization under constraints of high-dimensional black-box problems. Common in industrial applications, they frequently have an expensive associated cost which make most of the off-the-shelf techniques impractical. In order to come back to a tractable setup, the dimension of the problem is often reduced using different techniques such as sensitivity analysis. A novel sensitivity index is proposed in this work to distinct influential and negligible subsets of inputs in order to obtain a more tractable problem by solely working with the primer. Our index, relying on the Hilbert Schmidt independence criterion, provides an insight on the impact of a variable on the performance of the output or constraints satisfaction, key information in our study setting. Besides assessing which inputs are influential, several strategies are proposed to deal with negligible parameters. Furthermore, expensive industrial applications are often replaced by cheap surrogate models and optimized in a sequential manner. In order to circumvent the limitations due to the high number of parameters, also known as the curse of dimensionality, we introduce in this thesis an extension of the surrogated-based optimization. Thanks to the aforementioned new sensitivity indices, parameters are detected at each iteration and the optimization is conducted in a reduced space.; Cette thèse s'intéresse à l'optimisation sous contraintes de problèmes type « boite-noire » en grande dimension. Répandus dans les applications industrielles, elles ont généralement un coût élevé ce qui empêche d'utiliser la plupart des méthodes d'optimisation classiques. Afin de résoudre ces problèmes, la dimension de celui-ci est souvent réduite via différentes techniques telle que l'analyse de sensibilité. Un nouvel indice de sensibilité est proposé dans ces travaux afin de distinguer quelles sont les entrées du problèmes influentes et celles négligeables et d'obtenir un problème simplifié n’incluant que les premières. Notre indice, reposant sur le critère d'indépendance d'Hilbert Schmidt, fournit une connaissance de l'impact d'une variable sur la performance de la sortie ou le respect des contraintes, des aspects primordiaux dans notre cadre d'étude. Outre la caractérisation des variables influentes, plusieurs stratégies sont proposées pour traiter les paramètres négligeables. De plus, les applications industrielles coûteuses sont généralement remplacées par des modèles proxys moins coûteux qui sont optimisés de manière séquentielle. Afin de contourner les limitations dues au nombre élevé de paramètres, aussi connu sous le nom de fléau de la dimension, une extension de l'optimisation basée sur des métamodèles est proposée dans cette thèse. Grâce aux nouveaux indices de sensibilités susmentionnés, les paramètres influents sont détectés à chaque itération et l'optimisation est effectuée dans un espace de dimension inférieure.

This thesis treats the optimization under constraints of high-dimensional black-box problems. Common in industrial applications, they frequently have an expensive associated cost which make most of the off-the-shelf techniques impractical. In order to come back to a tractable setup, the dimension of the problem is often reduced using different techniques such as sensitivity analysis. A novel sensitivity index is proposed in this work to distinct influential and negligible subsets of inputs in order to obtain a more tractable problem by solely working with the primer. Our index, relying on the Hilbert Schmidt independence criterion, provides an insight on the impact of a variable on the performance of the output or constraints satisfaction, key information in our study setting. Besides assessing which inputs are influential, several strategies are proposed to deal with negligible parameters. Furthermore, expensive industrial applications are often replaced by cheap surrogate models and optimized in a sequential manner. In order to circumvent the limitations due to the high number of parameters, also known as the curse of dimensionality, we introduce in this thesis an extension of the surrogated-based optimization. Thanks to the aforementioned new sensitivity indices, parameters are detected at each iteration and the optimization is conducted in a reduced space., Cette thèse s'intéresse à l'optimisation sous contraintes de problèmes type « boite-noire » en grande dimension. Répandus dans les applications industrielles, elles ont généralement un coût élevé ce qui empêche d'utiliser la plupart des méthodes d'optimisation classiques. Afin de résoudre ces problèmes, la dimension de celui-ci est souvent réduite via différentes techniques telle que l'analyse de sensibilité. Un nouvel indice de sensibilité est proposé dans ces travaux afin de distinguer quelles sont les entrées du problèmes influentes et celles négligeables et d'obtenir un problème simplifié n’incluant que les premières. Notre indice, reposant sur le critère d'indépendance d'Hilbert Schmidt, fournit une connaissance de l'impact d'une variable sur la performance de la sortie ou le respect des contraintes, des aspects primordiaux dans notre cadre d'étude. Outre la caractérisation des variables influentes, plusieurs stratégies sont proposées pour traiter les paramètres négligeables. De plus, les applications industrielles coûteuses sont généralement remplacées par des modèles proxys moins coûteux qui sont optimisés de manière séquentielle. Afin de contourner les limitations dues au nombre élevé de paramètres, aussi connu sous le nom de fléau de la dimension, une extension de l'optimisation basée sur des métamodèles est proposée dans cette thèse. Grâce aux nouveaux indices de sensibilités susmentionnés, les paramètres influents sont détectés à chaque itération et l'optimisation est effectuée dans un espace de dimension inférieure.

With the evolution of technology, the use of smart Internet-of-Things (IoT) devices, sensors, and social networks result in an overwhelming volume of IoT data streams, generated daily from several applications, that can be transformed into valuable information through machine learning tasks. In practice, multiple critical issues arise in order to extract useful knowledge from these evolving data streams, mainly that the stream needs to be efficiently handled and processed. In this context, this thesis aims to improve the performance (in terms of memory and time) of existing data mining algorithms on streams. We focus on the classification task in the streaming framework. The task is challenging on streams, principally due to the high -- and increasing -- data dimensionality, in addition to the potentially infinite amount of data. The two aspects make the classification task harder.The first part of the thesis surveys the current state-of-the-art of the classification and dimensionality reduction techniques as applied to the stream setting, by providing an updated view of the most recent works in this vibrant area.In the second part, we detail our contributions to the field of classification in streams, by developing novel approaches based on summarization techniques aiming to reduce the computational resource of existing classifiers with no -- or minor -- loss of classification accuracy. To address high-dimensional data streams and make classifiers efficient, we incorporate an internal preprocessing step that consists in reducing the dimensionality of input data incrementally before feeding them to the learning stage. We present several approaches applied to several classifications tasks: Naive Bayes which is enhanced with sketches and hashing trick, k-NN by using compressed sensing and UMAP, and also integrate them in ensemble methods.; Face à cette évolution technologique vertigineuse, l’utilisation des dispositifs de l'Internet des Objets (IdO), les capteurs, et les réseaux sociaux, d'énormes flux de données IdO sont générées quotidiennement de différentes applications pourront être transformées en connaissances à travers l’apprentissage automatique. En pratique, de multiples problèmes se posent afin d’extraire des connaissances utiles de ces flux qui doivent être gérés et traités efficacement. Dans ce contexte, cette thèse vise à améliorer les performances (en termes de mémoire et de temps) des algorithmes de l'apprentissage supervisé, principalement la classification à partir de flux de données en évolution. En plus de leur nature infinie, la dimensionnalité élevée et croissante de ces flux données dans certains domaines rendent la tâche de classification plus difficile. La première partie de la thèse étudie l’état de l’art des techniques de classification et de réduction de dimension pour les flux de données, tout en présentant les travaux les plus récents dans ce cadre.La deuxième partie de la thèse détaille nos contributions en classification pour les flux de données. Il s’agit de nouvelles approches basées sur les techniques de réduction de données visant à réduire les ressources de calcul des classificateurs actuels, presque sans perte en précision. Pour traiter les flux de données de haute dimension efficacement, nous incorporons une étape de prétraitement qui consiste à réduire la dimension de chaque donnée (dès son arrivée) de manière incrémentale avant de passer à l’apprentissage. Dans ce contexte, nous présentons plusieurs approches basées sur: Bayesien naïf amélioré par les résumés minimalistes et hashing trick, k-NN qui utilise compressed sensing et UMAP, et l’utilisation d’ensembles d’apprentissage également.

Machine Learning has received a lot of attention during the last two decades, both from industry for data-driven decision problems and from the scientific community in general. This recent attention is certainly due to its ability to efficiently solve a wide class of high-dimensional problems with fast and easy- to-implement algorithms. What is the type of problems machine learning tackles ? Generally speaking, answering this question requires to divide it into two distinct topics: supervised and unsupervised learning. The first one aims to infer relationships between a phenomenon one seeks to predict and "explanatory" variables leveraging supervised information. On the contrary, the second one does not need any supervision and aims at extracting some structure, information or significant features of the variables. These two main directions find an echo in this thesis. On the one hand, the supervised learning part theoretically studies the cornerstone of all optimization techniques for these problems: stochastic gradient methods. For their versatility, they are the workhorses of the recent success of ML. However, despite their simplicity, their efficiency is not yet fully understood. Establishing some properties of this algorithm is one of the two important questions of this thesis. On the other hand, the part concerned with unsupervised learning is more problem-specific: we design an algorithm to find reduced order models in physically-based dynamics addressing a crucial question in computational statistical physics (also called molecular dynamics)., L'apprentissage automatique a reçu beaucoup d'attention au cours des deux dernières décennies, à la fois de la part de l'industrie pour des problèmes de décision basés sur des données et de la communauté scientifique en général. Cette attention récente est certainement due à sa capacité à résoudre efficacement une large classe de problèmes en grande dimension grâce à des algorithmes rapides et faciles à mettre en œuvre. Plus spécifiquement, quel est le type de problèmes abordés par l'apprentissage automatique ? D'une manière générale, répondre à cette question nécessite de le diviser en deux thèmes distincts : l'apprentissage supervisé et l'apprentissage non supervisé. Le premier vise à déduire des relations entre un phénomène que l'on cherche à prédire et des variables "explicatives" exploitant des informations qui ont fait l'objet d'une supervision. Au contraire, la seconde ne nécessite aucune supervision et son but principal est de parvenir à extraire une structure, des informations ou des caractéristiques importantes relative aux données. Ces deux axes principaux trouvent un écho dans cette thèse. Dans un premier temps, la partie concernant l'apprentissage supervisé étudie théoriquement la pierre angulaire de toutes les techniques d'optimisation liées à ces problèmes : les méthodes de gradient stochastique. Grâce à leur polyvalence, elles participent largement au récent succès de l'apprentissage. Cependant, malgré leur simplicité, leur efficacité n'est pas encore pleinement comprise. L'étude de certaines propriétés de cet algorithme est l'une des deux questions importantes de cette thèse. Dans un second temps, la partie consacrée à l'apprentissage non supervisé est liée à un problème plus spécifique : nous concevons dans cette étude un algorithme pour trouver des modèles réduits pour des dynamiques empruntées à la physique. Cette partie aborde une question cruciale en physique statistique computationnelle (également appelée dynamique moléculaire).

With the evolution of technology, the use of smart Internet-of-Things (IoT) devices, sensors, and social networks result in an overwhelming volume of IoT data streams, generated daily from several applications, that can be transformed into valuable information through machine learning tasks. In practice, multiple critical issues arise in order to extract useful knowledge from these evolving data streams, mainly that the stream needs to be efficiently handled and processed. In this context, this thesis aims to improve the performance (in terms of memory and time) of existing data mining algorithms on streams. We focus on the classification task in the streaming framework. The task is challenging on streams, principally due to the high -- and increasing -- data dimensionality, in addition to the potentially infinite amount of data. The two aspects make the classification task harder.The first part of the thesis surveys the current state-of-the-art of the classification and dimensionality reduction techniques as applied to the stream setting, by providing an updated view of the most recent works in this vibrant area.In the second part, we detail our contributions to the field of classification in streams, by developing novel approaches based on summarization techniques aiming to reduce the computational resource of existing classifiers with no -- or minor -- loss of classification accuracy. To address high-dimensional data streams and make classifiers efficient, we incorporate an internal preprocessing step that consists in reducing the dimensionality of input data incrementally before feeding them to the learning stage. We present several approaches applied to several classifications tasks: Naive Bayes which is enhanced with sketches and hashing trick, k-NN by using compressed sensing and UMAP, and also integrate them in ensemble methods., Face à cette évolution technologique vertigineuse, l’utilisation des dispositifs de l'Internet des Objets (IdO), les capteurs, et les réseaux sociaux, d'énormes flux de données IdO sont générées quotidiennement de différentes applications pourront être transformées en connaissances à travers l’apprentissage automatique. En pratique, de multiples problèmes se posent afin d’extraire des connaissances utiles de ces flux qui doivent être gérés et traités efficacement. Dans ce contexte, cette thèse vise à améliorer les performances (en termes de mémoire et de temps) des algorithmes de l'apprentissage supervisé, principalement la classification à partir de flux de données en évolution. En plus de leur nature infinie, la dimensionnalité élevée et croissante de ces flux données dans certains domaines rendent la tâche de classification plus difficile. La première partie de la thèse étudie l’état de l’art des techniques de classification et de réduction de dimension pour les flux de données, tout en présentant les travaux les plus récents dans ce cadre.La deuxième partie de la thèse détaille nos contributions en classification pour les flux de données. Il s’agit de nouvelles approches basées sur les techniques de réduction de données visant à réduire les ressources de calcul des classificateurs actuels, presque sans perte en précision. Pour traiter les flux de données de haute dimension efficacement, nous incorporons une étape de prétraitement qui consiste à réduire la dimension de chaque donnée (dès son arrivée) de manière incrémentale avant de passer à l’apprentissage. Dans ce contexte, nous présentons plusieurs approches basées sur: Bayesien naïf amélioré par les résumés minimalistes et hashing trick, k-NN qui utilise compressed sensing et UMAP, et l’utilisation d’ensembles d’apprentissage également.

With the advent of Big Data, databases whose size far exceed the human scale are becoming increasingly common. The resulting overabundance of monitored variables (friends on a social network, movies watched, nucleotides coding the DNA, monetary transactions...) has motivated the development of Dimensionality Reduction (DR) techniques. A DR algorithm such as Principal Component Analysis (PCA) or an AutoEncoder typically combines the original variables into new features fewer in number, such that most of the information in the dataset is conveyed by the extracted feature set.A particular subcategory of DR is formed by Feature Selection (FS) methods, which directly retain the most important initial variables. How to select the best candidates is a hot topic at the crossroad of statistics and Machine Learning. Feature importance is usually inferred in a supervised context, where variables are ranked according to their usefulness for predicting a specific target feature.The present thesis focuses on the unsupervised context in FS, i.e. the challenging situation where no prediction goal is available to help assess feature relevance. Instead, unsupervised FS algorithms usually build an artificial classification goal and rank features based on their helpfulness for predicting this new target, thus falling back on the supervised context. Additionally, the efficiency of unsupervised FS approaches is typically also assessed in a supervised setting.In this work, we propose an alternate model combining unsupervised FS with data compression. Our Agnostic Feature Selection (AgnoS) algorithm does not rely on creating an artificial target and aims to retain a feature subset sufficient to recover the whole original dataset, rather than a specific variable. As a result, AgnoS does not suffer from the selection bias inherent to clustering-based techniques.The second contribution of this work (Agnostic Feature Selection, G. Doquet and M. Sebag, ECML PKDD 2019) is to establish both the brittleness of the standard supervised evaluation of unsupervised FS, and the stability of the new proposed AgnoS., Les bases de données dont la taille dépasse largement l'échelle humaine sont de plus en plus courantes. La surabondance de variables considérées qui en résulte (amis sur un réseau social, films regardés, nucléotides codant l'ADN, transactions monétaires...) a motivé le développement des techniques de réduction de dimensionalité (DR). Une sous-catégorie particulière de DR est formée par les méthodes de sélection d'attributs (SA), qui conservent directement les variables initiales les plus importantes. La manière de sélectionner les meilleurs candidats est un sujet d'actualité à la croisée des chemins entre statistiques et apprentissage automatique. L'importance des attributs est généralement déduite dans un contexte supervisé, où les variables sont classées en fonction de leur utilité pour prédire une variable cible spécifique. Cette thèse porte sur le contexte non supervisé de la SA, c'est-à-dire la situation épineuse où aucun objectif de prédiction n'est disponible pour évaluer la pertinence des attributs. Au lieu de cela, les algorithmes de SA non supervisés construisent généralement un objectif de classification artificiel et notent les attributs en fonction de leur utilité pour prédire cette nouvelle cible, se rabattant ainsi sur le contexte supervisé. Dans ce travail, nous proposons un autre modèle combinant SA non supervisée et compression de données. Notre algorithme AgnoS (Agnostic Feature Selection) ne repose pas sur la création d'une cible artificielle, et vise à conserver un sous-ensemble d'attributs suffisant pour reconstruire l'intégralité des données d'origine, plutôt qu'une variable cible en particulier. Par conséquent, AgnoS ne souffre pas du biais de sélection inhérent aux techniques basées sur le clustering.La seconde contribution de ce travail (Agnostic Feature Selection, G. Doquet and M. Sebag, ECML PKDD 2019) est d'établir à la fois la fragilité du processus supervisé standard d'évaluation de la SA non supervisée ainsi que la stabilité du nouvel algorithme proposé AgnoS.

We consider the detection of abnormal patterns in neuroimaging data, in the context of comparing a single subject to a normal control group. Standard approaches for anomaly detection are related to the one-class classification problem, in which one tries to detect outliers (corresponding here to “abnormal” subjects) with respect to a learned distribution of normal controls. These approaches will make a global statement about the subject class (i.e. pathological or not) but do not provide a spatial localization of abnormal patterns within the subject’s image data. On the other hand, the approaches developed for localizing subject-specific abnormalities generally resort to univariate voxel-wise or ROI-based statistical tests and rely on Gaussian distribution assumption. In this thesis we present and compare different standard and novel methods for the detection and localization of subject-specific abnormal patterns within the framework of subject-versus group comparison. The proposed methods rely on a global (multivariate) non-linear modelisation of normal images data, which enable the representation of complex spatial patterns with non Gaussian distributions. The manifold of normal image patterns is learned from a control group with the help of non-linear dimension reduction techniques. Identifying abnormalities is mathematically associated with finding the projection of a subject over the manifold in which the control group lies. The detection itself involves a statistical test of the residual between the projection and the original image. Different types of synthetic datasets have been created in the purpose of comparing the different approaches. Experiments on synthetic data underline the benefit of using multivariate representations, compared to standard univariate approaches. Conclusions regarding the comparisons of linear and non linear multivariate approaches can broadly differ depending on the kind of dataset being analysed. All methods are also illustrated on the detection of abnormal spatial patterns in neuroimage data of dementia afflicted patients., On considère le problème de détecter des motifs anormaux au sein d’images neurologiques. Les approches classiques de détection d’anomalie sont le plus souvent des problèmes de classification à une classe, dans lesquels on souhaite détecter les sujets aberrants par rapport à la distribution (apprise préalablement) des sujets contrôles. Ces approches donnent une appréciation globale de la classe du sujet considéré (pathologique ou non), mais ne permettent pas d’obtenir une localisation spatiale des anomalies au sein de l’image du sujet elle-même. D’un autre côté, les approches développées pour localiser des anomalies au sein des sujets recourent généralement à des tests statistiques univariés sur des régions d’intérêt faisant l’hypothèse d’une distribution gaussienne. Dans cette thèse, nous présentons et comparons différentes méthodes (nouvelles ou de l’état de l’art) pour la détection et la localisation de motifs anormaux spécifiques aux sujets, dans le contexte d’un sujet unique confronté à un groupe témoin. Les méthodes proposées s’appuient sur une modélisation globale (multivariée), non linéaire d’images témoin, qui permet une représentation de motifs spatiaux complexes par des distributions non gaussiennes. La variété des motifs d’images témoin est apprise sur un groupe contrôle à l’aide de techniques de réduction de dimension non linéaires. On associe mathématiquement la tâche consistant à identifier les anomalies avec celle cherchant à trouver une projection de notre sujet sur la variété dans laquelle les sujets contrôles reposent. La phase de détection implique d’effectuer un test statistique sur le résidu entre notre projection et l’image d’origine. Différents types de jeux de données synthétiques ont été constitués dans le but de comparer ces différentes approches. Les expériences sur les données synthétiques montrent l’intérêt d’utiliser des représentations multivariées par rapport aux approches univariées standard. Les conclusions à propos de la comparaison entre méthodes univariées et multivariées diffèrent selon le jeu de données utilisé. Toutes les méthodes sont appliquées à la détection de motifs anormaux chez des sujets atteints de la maladie d’Alzheimer.

Satellite observation offers the unique opportunity for global coverage and continuous temporalmonitoring in meteorology and climatology. However, there are many difficulties in theirexploitation, which requires the use of optimization techniques at the different steps of theirprocessing. This thesis will deal with two questions: (1) the processing of satellite data before therestitution, and (2) the integration of the multiple satellite products available. A new approach forchannel compression/selection (Bottlenecks Channels) is proposed to reduce the dimension ofhyperspectral data (in the infrared with the IASI instrument and in microwaves for a new sounderconcept). A new scheme is also developed to integrate multiple satellite products for the study of thewater cycle (surface, ocean and atmosphere). This integration approach makes the components ofthe water cycle more coherent to each other. It is presented here in the context of the Mediterraneanwater cycle.; L'observation satellite offre l'opportunité unique d'une couverture globale et d'un suivi temporelcontinu en météorologie et climatologie. On rencontre toutefois de nombreuses difficultés dans leurexploitation, ce qui requiert l'utilisation de techniques d'optimisation dans les diverses étapes de leurtraitement. On traitera dans cette thèse deux questions : (1) au niveau du traitement des donnéessatellite, en amont de la chaîne de restitution, et (2) en aval, pour l'intégration des multiples produitssatellites disponibles. On propose ainsi une nouvelle approche de compression/sélection de canaux(les « Bottlenecks Channels ») pour réduire la dimension des données hyper-spectrales (dansl'infrarouge avec l'instrument IASI et dans les microondes pour un nouveau concept de sondeur).On développe également un nouveau schéma d'intégration de multiples produits satellites pourl'étude du cycle de l'eau (surface, océan et atmosphère). Cette approche d'intégration permet derendre plus cohérentes les composantes du cycle de l'eau. Elle est présentée ici dans le contexte ducycle de l'eau méditerranéen.

This thesis focuses on the simultaneous optimization of expensive-to-evaluate functions that depend on a high number of parameters. This situation is frequently encountered in fields such as design engineering through numerical simulation. Bayesian optimization relying on surrogate models (Gaussian Processes) is particularly adapted to this context.The first part of this thesis is devoted to the development of new surrogate-assisted multi-objective optimization methods. To improve the attainment of Pareto optimal solutions, an infill criterion is tailored to direct the search towards a user-desired region of the objective space or, in its absence, towards the Pareto front center introduced in our work. Besides targeting a well-chosen part of the Pareto front, the method also considers the optimization budget in order to provide an as wide as possible range of optimal solutions in the limit of the available resources.Next, inspired by shape optimization problems, an optimization method with dimension reduction is proposed to tackle the curse of dimensionality. The approach hinges on the construction of hierarchized problem-related auxiliary variables that can describe all candidates globally, through a principal component analysis of potential solutions. Few of these variables suffice to approach any solution, and the most influential ones are selected and prioritized inside an additive Gaussian Process. This variable categorization is then further exploited in the Bayesian optimization algorithm which operates in reduced dimension., Dans cette thèse, nous nous intéressons à l'optimisation simultanée de fonctions coûteuses à évaluer et dépendant d'un grand nombre de paramètres. Cette situation est rencontrée dans de nombreux domaines tels que la conception de systèmes en ingénierie au moyen de simulations numériques. L'optimisation bayésienne, reposant sur des méta-modèles (processus gaussiens) est particulièrement adaptée à ce contexte.La première partie de cette thèse est consacrée au développement de nouvelles méthodes d'optimisation multi-objectif assistées par méta-modèles. Afin d'améliorer le temps d'atteinte de solutions Pareto optimales, un critère d'acquisition est adapté pour diriger l'algorithme vers une région de l'espace des objectifs plébiscitée par l'utilisateur ou, en son absence, le centre du front de Pareto introduit dans nos travaux. Outre le ciblage, la méthode prend en compte le budget d'optimisation, afin de restituer un éventail de solutions optimales aussi large que possible, dans la limite des ressources disponibles.Dans un second temps, inspirée par l'optimisation de forme, une approche d'optimisation avec réduction de dimension est proposée pour contrer le fléau de la dimension. Elle repose sur la construction, par analyse en composantes principales de solutions candidates, de variables auxiliaires adaptées au problème, hiérarchisées et plus à même de décrire les candidats globalement. Peu d'entre elles suffisent à approcher les solutions, et les plus influentes sont sélectionnées et priorisées au sein d'un processus gaussien additif. Cette structuration des variables est ensuite exploitée dans l'algorithme d'optimisation bayésienne qui opère en dimension réduite.

Purpose: Hepatic fibrosis assessment is a challenge for chronic liver disease medical care. The goal of this study was to investigate the performance of a dimensionality reduction model to assess significant hepatic fibrosis, based on radiomics extracted from ultrasonographic (US) images of liver surface. Methods: ln this retrospective study, 114 patients with a liver biopsy for liver disease or disorder, or a clinically diagnosed cirrhosis, had an US examination of the liver surface. After liver edge segmentation and radiomics extraction, images were analyzed using dimensionality reduction algorithm UMAP (Uniform Manifold Approximation and Projection) to distinguish non-significant (group G0 = F0-1) from significant fibrosis (G1 = F2-4), with probability density maps. Using area under receiver operating characteristic curve (AUROC) estimation, results were compared to the expert radiologist subjective reading, to transient elastography (Fibroscan®) and to a home software for automated surface irregularities assessment. Results: 109 patients (G0: n0=56; G1: n1=53) were analyzed using UMAP. Using 3 dimensions reduction, global precision of unsupervised learning classification was 67% (G0: 69%; G1: 64%). AUROC was 0.76, better than the expert interpretation (0.67, p=0.02), but not different from Fibroscan® (0.8, p=0.483) or from the software (0.8, p=0.17). Conclusion: Dimensionality reduction classification allows performances that are not different from the state-of-the-art classification techniques. UMAP density maps establish an atlas to which non-radiologic data can be added, in order to develop a predictive tool of hepatic fibrosis evolution.; L'évaluation de la fibrose hépatique est un enjeu pour la prise en charge des hépatopathies chroniques. Le but était d'étudier la performance d'un modèle de réduction de dimension pour caractériser la fibrose hépatique significative, à partir de radiomiques extraits des contours du foie en échographie. Dans cette étude rétrospective, 114 patients avec une biopsie hépatique pour hépatopathie ou une cirrhose cliniquement avérée, ont eu une échographie étudiant la surface du foie. Après segmentation du contour et extraction des radiomiques, les images ont été analysées par algorithme de réduction de dimension UMAP (Uniform Manifold Approximation and Projection) pour différencier fibrose non significative (groupe GO=F0-1) et significative (G1=F2-4) avec des cartes de densité de probabilité. Les résultats ont été comparés à l'analyse subjective d'un radiologue expert, à l'élastométrie Fibroscan® et à un logiciel d'analyse automatisée des contours, en estimant l’aire sous la courbe ROC (AUROC). Résultats : 109 patients (G0: n0=56 ; G1 : n1=53) ont été analysés avec UMAP. La précision de classification en apprentissage non supervisé avec réduction en 3 dimensions était de 67% (G0: 69%; G1: 64%). l'AUROC était de 0,76. supérieure à l'interprétation de l'expert (0,67, p=0,02), non différente du Fibroscan® (0,8, p=0,483) et du logiciel (0,8, p=0,17). La classification par réduction de dimension a des performances diagnostiques non différentes de l'état de l'art, proposant une approche basée atlas pouvant être augmentée de données non radiologiques, en vue de créer un outil prédictif de l'évolution de la fibrose hépatique.

This thesis deals with the inversion problem under uncertainty of expensive-to-evaluate functions in the context of the tuning of the control unit of a vehicule depollution system. The effect of these uncertainties is taken into account through the expectation of the quantity of interest. The problem lies in the fact that the uncertainty is partly due to a functional variable only known through a given sample. We propose two approaches to solve the inversion problem, both methods are based on Gaussian Process modelling for expensive-to-evaluate functions and a dimension reduction of the functional variable by the Karhunen-Loève expansion. The first methodology consists in applying a Stepwise Uncertainty Reduction (SUR) method on the expectation of the quantity of interest. At each evaluation point in the control space, the expectation is estimated by a greedy functional quantification method that provides a discrete representation of the functional variable and an effective sequential estimate from the given sample. The second approach consists in applying the SUR method directly to the quantity of interest in the joint space. Devoted to inversion under functional uncertainties, a strategy for enriching the experimental design exploiting the properties of Gaussian processes is proposed. These two approaches are compared on toy analytical examples and are applied to an industrial application for an exhaust gas post-treatment system of a vehicle. The objective is to identify the set of control parameters that leads to meet the pollutant emission norms under uncertainties on the driving cycle., L'objectif de cette thèse est de résoudre un problème d'inversion sous incertitudes de fonctions coûteuses à évaluer dans le cadre du paramétrage du contrôle d'un système de dépollution de véhicules. L'effet de ces incertitudes est pris en compte au travers de l'espérance de la grandeur d'intérêt. Une difficulté réside dans le fait que l'incertitude est en partie due à une entrée fonctionnelle connue à travers d'un échantillon donné. Nous proposons deux approches basées sur une approximation du code coûteux par processus gaussiens et une réduction de dimension de la variable fonctionnelle par une méthode de Karhunen-Loève. La première approche consiste à appliquer une méthode d'inversion de type SUR (Stepwise Uncertainty Reduction) sur l'espérance de la grandeur d'intérêt. En chaque point d'évaluation dans l'espace de contrôle, l'espérance est estimée par une méthode de quantification fonctionnelle gloutonne qui fournit une représentation discrète de la variable fonctionnelle et une estimation séquentielle efficace à partir de l'échantillon donné de la variable fonctionnelle. La deuxième approche consiste à appliquer la méthode SUR directement sur la grandeur d'intérêt dans l'espace joint des variables de contrôle et des variables incertaines. Une stratégie d'enrichissement du plan d'expériences dédiée à l'inversion sous incertitudes fonctionnelles et exploitant les propriétés des processus gaussiens est proposée. Ces deux approches sont comparées sur des fonctions jouets et sont appliquées à un cas industriel de post-traitement des gaz d'échappement d'un véhicule. La problématique est de déterminer les réglages du contrôle du système permettant le respect des normes de dépollution en présence d'incertitudes, sur le cycle de conduite.

Nowadays, data management and processing systems are supposed to store and process large time series. As the number of observed and related variables increases, their prediction becomes more and more complicated, and the use of all variables poses problems for conventional prediction models.In the field of massive time series prediction, one of the main problems in real applications is how to determine the most relevant set of predictive variables, which will be used in a multivariate prediction model, to predict a target time series.Prediction models without external factors were the first data prediction mod- els. In order to improve the accuracy of prediction, the use of multiple variables has become common. So, models that take external factors into account, or mul- tivariate models, appear, and become more and more used because they take into account more information than univariate models.With the increase in interrelated data, the application of multivariate models is also becoming questionable. Because the use of all existing information does not necessarily lead to the best predictions. Therefore, the challenge in this situation is to find the most relevant factors among the available data set, in order to predict a given time series.In this work, we study this problem by presenting a detailed analysis of the pro- posed approaches in the literature. We note that what is interesting in this issue is the temporal aspect when analyzing the dependencies between the variables, and this is absent in many well-known methods. We propose a new approach to tacle this problem based on the selection of the variables by using the causal- ity graphs, with techniques of exploration of these graphs in order to detect the "Hubs" variables which transfer the information relative to other predictors and variables to predict. Finally, we present an implementation of a complete pro- cess for the prediction of large time series, and as perspectives, we present a first proposition to distribute this prediction system.; De nos jours, les systèmes de gestion et de traitement des données sont censés stocker et traiter de grandes séries temporelles. Comme le nombre de variables observées et liées augmente, leur prédiction est devenue de plus en plus compli- quée, et l’utilisation de toutes les variables pose des problèmes pour les modèles de prédiction classiques.Dans le domaine de la prédiction de séries temporelles massives, l’un des prin- cipaux problèmes qui se posent dans les applications réelles, est comment dé- terminer l’ensemble de variables prédictives les plus pertinentes, qui vont être utilisées dans un modèle de prédiction multi-varié en vue de prédire une série temporelle cible.Les modèles de prédiction sans facteurs externes étaient les premières modèles de prédiction des données. En vue d’améliorer la precision des prédictions de ces modèles, l’utilisation de multiples variables est devenue commune. Ainsi, les modèles qui tiennent en compte des facteurs externes, ou bien les modèles multi- variés, apparaissent et deviennent de plus en plus utilisés car ils prennent en compte plus d’informations que les modèles uni-variés.Avec l’augmentation des données liées entre eux, l’application des modèles multi-variés devient aussi discutable. Parce que l’utilisation de toutes les infor- mations existantes n’amène pas forcément aux meilleures prédictions. Par consé- quent, le challenge dans cette situation est de trouver les facteurs les plus perti- nents à partir de l’ensemble des données originales.Dans ce travail, nous étudions ce problème en présentant une analyse détaillée des approches proposées dans la littérature. Nous remarquons que ce qui intéres- sant dans cette problématique est l’aspect temporel lors de l’analyse des dépen- dances entre les variables, et cela est absent dans beaucoup de méthodes bien connues. Nous proposons donc une nouvelle démarche pour approcher ce pro- blème basée sur la sélection des variables en utilisant les graphes de causalité, avec des techniques d’exploration de ces graphes en vue de détecter les variables« Hubs » qui transfèrent l’information par rapports aux autres variables prédic- tives et aux variables à prédire. Finalement, nous présentons une implémenta- tion d’un processus complet pour la prédiction des séries temporelles larges, et comme perspectives, nous présentons une première proposition pour distribuer ce système de prédiction.

Nowadays, data management and processing systems are supposed to store and process large time series. As the number of observed and related variables increases, their prediction becomes more and more complicated, and the use of all variables poses problems for conventional prediction models.In the field of massive time series prediction, one of the main problems in real applications is how to determine the most relevant set of predictive variables, which will be used in a multivariate prediction model, to predict a target time series.Prediction models without external factors were the first data prediction mod- els. In order to improve the accuracy of prediction, the use of multiple variables has become common. So, models that take external factors into account, or mul- tivariate models, appear, and become more and more used because they take into account more information than univariate models.With the increase in interrelated data, the application of multivariate models is also becoming questionable. Because the use of all existing information does not necessarily lead to the best predictions. Therefore, the challenge in this situation is to find the most relevant factors among the available data set, in order to predict a given time series.In this work, we study this problem by presenting a detailed analysis of the pro- posed approaches in the literature. We note that what is interesting in this issue is the temporal aspect when analyzing the dependencies between the variables, and this is absent in many well-known methods. We propose a new approach to tacle this problem based on the selection of the variables by using the causal- ity graphs, with techniques of exploration of these graphs in order to detect the "Hubs" variables which transfer the information relative to other predictors and variables to predict. Finally, we present an implementation of a complete pro- cess for the prediction of large time series, and as perspectives, we present a first proposition to distribute this prediction system.; De nos jours, les systèmes de gestion et de traitement des données sont censés stocker et traiter de grandes séries temporelles. Comme le nombre de variables observées et liées augmente, leur prédiction est devenue de plus en plus compli- quée, et l’utilisation de toutes les variables pose des problèmes pour les modèles de prédiction classiques.Dans le domaine de la prédiction de séries temporelles massives, l’un des prin- cipaux problèmes qui se posent dans les applications réelles, est comment dé- terminer l’ensemble de variables prédictives les plus pertinentes, qui vont être utilisées dans un modèle de prédiction multi-varié en vue de prédire une série temporelle cible.Les modèles de prédiction sans facteurs externes étaient les premières modèles de prédiction des données. En vue d’améliorer la precision des prédictions de ces modèles, l’utilisation de multiples variables est devenue commune. Ainsi, les modèles qui tiennent en compte des facteurs externes, ou bien les modèles multi- variés, apparaissent et deviennent de plus en plus utilisés car ils prennent en compte plus d’informations que les modèles uni-variés.Avec l’augmentation des données liées entre eux, l’application des modèles multi-variés devient aussi discutable. Parce que l’utilisation de toutes les infor- mations existantes n’amène pas forcément aux meilleures prédictions. Par consé- quent, le challenge dans cette situation est de trouver les facteurs les plus perti- nents à partir de l’ensemble des données originales.Dans ce travail, nous étudions ce problème en présentant une analyse détaillée des approches proposées dans la littérature. Nous remarquons que ce qui intéres- sant dans cette problématique est l’aspect temporel lors de l’analyse des dépen- dances entre les variables, et cela est absent dans beaucoup de méthodes bien connues. Nous proposons donc une nouvelle démarche pour approcher ce pro- blème basée sur la sélection des variables en utilisant les graphes de causalité, avec des techniques d’exploration de ces graphes en vue de détecter les variables« Hubs » qui transfèrent l’information par rapports aux autres variables prédic- tives et aux variables à prédire. Finalement, nous présentons une implémenta- tion d’un processus complet pour la prédiction des séries temporelles larges, et comme perspectives, nous présentons une première proposition pour distribuer ce système de prédiction.

Since the publication in 1999 of the seminal paper of Paul C. Kocher, Joshua Jaffe and Benjamin Jun, entitled "Differential Power Analysis", the side-channel attacks have been proved to be efficient ways to attack cryptographic algorithms. Indeed, it has been revealed that the usage of information extracted from the side-channels such as the execution time, the power consumption or the electromagnetic emanations could be used to recover secret keys. In this context, we propose first, to treat the problem of dimensionality reduction. Indeed, since twenty years, the complexity and the size of the data extracted from the side-channels do not stop to grow. That is why the reduction of these data decreases the time and increases the efficiency of these attacks. The dimension reduction is proposed for complex leakage models and any dimension. Second, a software leakage assessment methodology is proposed ; it is based on the analysis of all the manipulated data during the execution of the software. The proposed methodology provides features that speed-up and increase the efficiency of the analysis, especially in the case of white box cryptography.; Depuis la publication en 1999 du papier fondateur de Paul C. Kocher, Joshua Jaffe et Benjamin Jun, intitulé "Differential Power Analysis", les attaques par canaux auxiliaires se sont révélées être un moyen d’attaque performant contre les algorithmes cryptographiques. En effet, il s’est avéré que l’utilisation d’information extraite de canaux auxiliaires comme le temps d’exécution, la consommation de courant ou les émanations électromagnétiques, pouvait être utilisée pour retrouver des clés secrètes. C’est dans ce contexte que cette thèse propose, dans un premier temps, de traiter le problème de la réduction de dimension. En effet, en vingt ans, la complexité ainsi que la taille des données extraites des canaux auxiliaires n’a cessé de croître. C’est pourquoi la réduction de dimension de ces données permet de réduire le temps et d’augmenter l’efficacité des attaques. Les méthodes de réduction de dimension proposées le sont pour des modèles de fuites complexe et de dimension quelconques. Dans un second temps, une méthode d’évaluation d’algorithmes logiciels est proposée. Celle-ci repose sur l’analyse de l’ensemble des données manipulées lors de l’exécution du logiciel évalué. La méthode proposée est composée de plusieurs fonctionnalités permettant d’accélérer et d’augmenter l’efficacité de l’analyse, notamment dans le contexte d’évaluation d’implémentation de cryptographie en boîte blanche.

Cryptographic integrated circuits may be vulnerable to attacks based on the observation of information leakages conducted during the cryptographic algorithms' executions, the so-called Side-Channel Attacks. Nowadays the presence of several countermeasures may lead to the acquisition of signals which are at the same time highly noisy, forcing an attacker or a security evaluator to exploit statistical models, and highly multi-dimensional, letting hard the estimation of such models. In this thesis we study preprocessing techniques aiming at reducing the dimension of the measured data, and the more general issue of information extraction from highly multi-dimensional signals. The first works concern the application of classical linear feature extractors, such as Principal Component Analysis and Linear Discriminant Analysis. Then we analyse a non-linear generalisation of the latter extractor, obtained through the application of a « Kernel Trick », in order to let such preprocessing effective in presence of masking countermeasures. Finally, further generalising the extraction models, we explore the deep learning methodology, in order to reduce signal preprocessing and automatically extract sensitive information from rough signal. In particular, the application of the Convolutional Neural Network allows us to perform some attacks that remain effective in presence of signal desynchronisation.; La cryptographie embarquée sur les composants sécurisés peut être vulnérable à des attaques par canaux auxiliaires basées sur l’observation de fuites d’information issues de signaux acquis durant l’exécution de l’algorithme. Aujourd’hui, la présence de nombreuses contremesures peut conduire à l’acquisition de signaux à la fois très bruités, ce qui oblige un attaquant, ou un évaluateur sécuritaire, à utiliser des modèles statistiques, et très larges, ce qui rend difficile l’estimation de tels modèles. Dans cette thèse nous étudions les techniques de réduction de dimension en tant que prétraitement, et plus généralement le problème de l’extraction d’information dans le cas des signaux de grandes dimensions. Les premiers travaux concernent l’application des extracteurs de caractéristiques linéaires classiques en statistiques appliquées, comme l'analyse en composantes principales et l’analyse discriminante linéaire. Nous analysons ensuite une généralisation non linéaire de ce deuxième extracteur qui permet de définir une méthode de prétraitement qui reste efficace en présence de contremesures de masquage. Finalement, en généralisant davantage les modèles d’extractions, nous explorons certaines méthodes d’apprentissage profond pour réduire les prétraitements du signal et extraire de façon automatique l’information du signal brut. En particulier, l’application des réseaux de neurones convolutifs nous permet de mener des attaques qui restent efficaces en présence de désynchronisation.

Cryptographic integrated circuits may be vulnerable to attacks based on the observation of information leakages conducted during the cryptographic algorithms' executions, the so-called Side-Channel Attacks. Nowadays the presence of several countermeasures may lead to the acquisition of signals which are at the same time highly noisy, forcing an attacker or a security evaluator to exploit statistical models, and highly multi-dimensional, letting hard the estimation of such models. In this thesis we study preprocessing techniques aiming at reducing the dimension of the measured data, and the more general issue of information extraction from highly multi-dimensional signals. The first works concern the application of classical linear feature extractors, such as Principal Component Analysis and Linear Discriminant Analysis. Then we analyse a non-linear generalisation of the latter extractor, obtained through the application of a « Kernel Trick », in order to let such preprocessing effective in presence of masking countermeasures. Finally, further generalising the extraction models, we explore the deep learning methodology, in order to reduce signal preprocessing and automatically extract sensitive information from rough signal. In particular, the application of the Convolutional Neural Network allows us to perform some attacks that remain effective in presence of signal desynchronisation.; La cryptographie embarquée sur les composants sécurisés peut être vulnérable à des attaques par canaux auxiliaires basées sur l’observation de fuites d’information issues de signaux acquis durant l’exécution de l’algorithme. Aujourd’hui, la présence de nombreuses contremesures peut conduire à l’acquisition de signaux à la fois très bruités, ce qui oblige un attaquant, ou un évaluateur sécuritaire, à utiliser des modèles statistiques, et très larges, ce qui rend difficile l’estimation de tels modèles. Dans cette thèse nous étudions les techniques de réduction de dimension en tant que prétraitement, et plus généralement le problème de l’extraction d’information dans le cas des signaux de grandes dimensions. Les premiers travaux concernent l’application des extracteurs de caractéristiques linéaires classiques en statistiques appliquées, comme l'analyse en composantes principales et l’analyse discriminante linéaire. Nous analysons ensuite une généralisation non linéaire de ce deuxième extracteur qui permet de définir une méthode de prétraitement qui reste efficace en présence de contremesures de masquage. Finalement, en généralisant davantage les modèles d’extractions, nous explorons certaines méthodes d’apprentissage profond pour réduire les prétraitements du signal et extraire de façon automatique l’information du signal brut. En particulier, l’application des réseaux de neurones convolutifs nous permet de mener des attaques qui restent efficaces en présence de désynchronisation.

Stimulated by many applications such as documents or images annotation, multi- label learning have gained a strong interest during the last decade. But, standard algorithms cannot cope with the volumes of the recent extreme multi-label data (XML) where the number of labels can reach millions. This thesis explores three directions to address the complexity in time and memory of the problem: multi-label dimension reduction, optimization and implementation tricks, and tree-based methods. It proposes to unify the reduction approaches through a typology and two generic formulations and to identify the most efficient ones with an original meta-analysis of the results of the literature. A new approach is developed to analyze the interest of coupling the reduction problem and the classification problem. To reduce the memory complexity of a classical one-vs-rest regression model while maintaining its predictive performances, we also propose an algorithm for estimating the largest useful parameters that follows a strategy inspired by data stream analysis. Finally, we present a new algorithm called CRAFTML that learns an ensemble of diversified decision trees. Each tree performs a joint random reduction of the feature and the label spaces and implements a very fast recursive partitioning strategy. CRAFTML performs better than other XML tree-based methods and is competitive with the most accurate methods that require supercomputers. The contributions of the thesis are completed by the presentation of a software called VIPE that is developed with Orange Labs for multi- label opinion analysis.; Stimulé par des applications comme l’annotation de documents ou d’images, l’apprentissage multi-label a connu un fort développement cette dernière décennie. Mais les algorithmes classiques se heurtent aux nouveaux volumes des données multi-label extrême (XML) où le nombre de labels peut atteindre le million. Cette thèse explore trois directions pour aborder la complexité en temps et en mémoire du problème : la réduction de dimension multi-label, les astuces d’optimisation et d’implémentation et le découpage arborescent. Elle propose d’unifier les approches de réduction à travers une typologie et deux formulations génériques et d’identifier des plus performantes avec une méta-analyse originale des résultats de la littérature. Une nouvelle approche est développée pour analyser l’apport du couplage entre le problème de réduction et celui de classification. Pour réduire la complexité mémoire en maintenant les capacités prédictives, nous proposons également un algorithme d’estimation des plus grands paramètres utiles d’un modèle classique de régression one-vs-rest qui suit une stratégie inspirée de l’analyse de données en flux. Enfin, nous présentons un nouvel algorithme CRAFTML qui apprend un ensemble d’arbres de décision diversifiés. Chaque arbre effectue une réduction aléatoire conjointe des espaces d’attributs et de labels et implémente un partitionnement récursif très rapide. CRAFTML est plus performant que les autres méthodes arborescentes XML et compétitif avec les meilleures méthodes qui nécessitent des supercalculateurs. Les apports de la thèse sont complétés par la présentation d’un outil logiciel VIPE développé avec Orange Labs pour l’analyse d’opinions multi-label.

Stimulated by many applications such as documents or images annotation, multi- label learning have gained a strong interest during the last decade. But, standard algorithms cannot cope with the volumes of the recent extreme multi-label data (XML) where the number of labels can reach millions. This thesis explores three directions to address the complexity in time and memory of the problem: multi-label dimension reduction, optimization and implementation tricks, and tree-based methods. It proposes to unify the reduction approaches through a typology and two generic formulations and to identify the most efficient ones with an original meta-analysis of the results of the literature. A new approach is developed to analyze the interest of coupling the reduction problem and the classification problem. To reduce the memory complexity of a classical one-vs-rest regression model while maintaining its predictive performances, we also propose an algorithm for estimating the largest useful parameters that follows a strategy inspired by data stream analysis. Finally, we present a new algorithm called CRAFTML that learns an ensemble of diversified decision trees. Each tree performs a joint random reduction of the feature and the label spaces and implements a very fast recursive partitioning strategy. CRAFTML performs better than other XML tree-based methods and is competitive with the most accurate methods that require supercomputers. The contributions of the thesis are completed by the presentation of a software called VIPE that is developed with Orange Labs for multi- label opinion analysis.; Stimulé par des applications comme l’annotation de documents ou d’images, l’apprentissage multi-label a connu un fort développement cette dernière décennie. Mais les algorithmes classiques se heurtent aux nouveaux volumes des données multi-label extrême (XML) où le nombre de labels peut atteindre le million. Cette thèse explore trois directions pour aborder la complexité en temps et en mémoire du problème : la réduction de dimension multi-label, les astuces d’optimisation et d’implémentation et le découpage arborescent. Elle propose d’unifier les approches de réduction à travers une typologie et deux formulations génériques et d’identifier des plus performantes avec une méta-analyse originale des résultats de la littérature. Une nouvelle approche est développée pour analyser l’apport du couplage entre le problème de réduction et celui de classification. Pour réduire la complexité mémoire en maintenant les capacités prédictives, nous proposons également un algorithme d’estimation des plus grands paramètres utiles d’un modèle classique de régression one-vs-rest qui suit une stratégie inspirée de l’analyse de données en flux. Enfin, nous présentons un nouvel algorithme CRAFTML qui apprend un ensemble d’arbres de décision diversifiés. Chaque arbre effectue une réduction aléatoire conjointe des espaces d’attributs et de labels et implémente un partitionnement récursif très rapide. CRAFTML est plus performant que les autres méthodes arborescentes XML et compétitif avec les meilleures méthodes qui nécessitent des supercalculateurs. Les apports de la thèse sont complétés par la présentation d’un outil logiciel VIPE développé avec Orange Labs pour l’analyse d’opinions multi-label.

International audience; In aircraft industry, market needs evolve quickly in a high competitiveness context. This requires adapting a given aircraft model in minimum time considering for example an increase of range or the number of passengers (cf A330 NEO family). The computation of loads and stress to resize the airframe is on the critical path of this aircraft variant definition: this is a consuming and costly process, one of the reason being the high dimen-sionality and the large amount of data. This is why Airbus has invested since a couple of years in Big Data approaches (statistic methods up to machine learning) to improve the speed, the data value extraction and the responsiveness of this process. This paper presents recent advances in this work made in cooperation between Airbus, ENAC and Institut de Mathé-matiques de Toulouse in the framework of a proof of value sprint project. It compares the influence of three dimensional reduction techniques (PCA, polynomial fitting, combined) on the extrapolation capabilities of Regression Trees based algorithms for loads prediction. It shows that AdaBoost with Random Forest offers promising results in average in terms of accuracy and computational time to estimate loads on which a PCA is applied only on the outputs.

This thesis focuses on how to perform efficiently unsupervised machine learning such as the fundamentally linked nearest neighbor search and clustering task, under time and space constraints for high-dimensional datasets. First, a new theoretical framework reduces the space cost and increases the rate of flow of data-independent Cross-polytope LSH for the approximative nearest neighbor search with almost no loss of accuracy.Second, a novel streaming data-dependent method is designed to learn compact binary codes from high-dimensional data points in only one pass. Besides some theoretical guarantees, the quality of the obtained embeddings are accessed on the approximate nearest neighbors search task.Finally, a space-efficient parameter-free clustering algorithm is conceived, based on the recovery of an approximate Minimum Spanning Tree of the sketched data dissimilarity graph on which suitable cuts are performed.; Cette thèse étudie deux tâches fondamentales d'apprentissage non supervisé: la recherche des plus proches voisins et le clustering de données massives en grande dimension pour respecter d'importantes contraintes de temps et d'espace.Tout d'abord, un nouveau cadre théorique permet de réduire le coût spatial et d'augmenter le débit de traitement du Cross-polytope LSH pour la recherche du plus proche voisin presque sans aucune perte de précision.Ensuite, une méthode est conçue pour apprendre en une seule passe sur des données en grande dimension des codes compacts binaires. En plus de garanties théoriques, la qualité des sketches obtenus est mesurée dans le cadre de la recherche approximative des plus proches voisins. Puis, un algorithme de clustering sans paramètre et efficace en terme de coût de stockage est développé en s'appuyant sur l'extraction d'un arbre couvrant minimum approché du graphe de dissimilarité compressé auquel des coupes bien choisies sont effectuées.

This thesis focuses on how to perform efficiently unsupervised machine learning such as the fundamentally linked nearest neighbor search and clustering task, under time and space constraints for high-dimensional datasets. First, a new theoretical framework reduces the space cost and increases the rate of flow of data-independent Cross-polytope LSH for the approximative nearest neighbor search with almost no loss of accuracy.Second, a novel streaming data-dependent method is designed to learn compact binary codes from high-dimensional data points in only one pass. Besides some theoretical guarantees, the quality of the obtained embeddings are accessed on the approximate nearest neighbors search task.Finally, a space-efficient parameter-free clustering algorithm is conceived, based on the recovery of an approximate Minimum Spanning Tree of the sketched data dissimilarity graph on which suitable cuts are performed.; Cette thèse étudie deux tâches fondamentales d'apprentissage non supervisé: la recherche des plus proches voisins et le clustering de données massives en grande dimension pour respecter d'importantes contraintes de temps et d'espace.Tout d'abord, un nouveau cadre théorique permet de réduire le coût spatial et d'augmenter le débit de traitement du Cross-polytope LSH pour la recherche du plus proche voisin presque sans aucune perte de précision.Ensuite, une méthode est conçue pour apprendre en une seule passe sur des données en grande dimension des codes compacts binaires. En plus de garanties théoriques, la qualité des sketches obtenus est mesurée dans le cadre de la recherche approximative des plus proches voisins. Puis, un algorithme de clustering sans paramètre et efficace en terme de coût de stockage est développé en s'appuyant sur l'extraction d'un arbre couvrant minimum approché du graphe de dissimilarité compressé auquel des coupes bien choisies sont effectuées.

Satellite observation offers the unique opportunity for global coverage and continuous temporal monitoring in meteorology and climatology. However, there are many difficulties in their exploitation, which requires the use of optimization techniques at the different steps of their processing. This thesis will deal with two questions: (1) the processing of satellite data before the restitution, and (2) the integration of the multiple satellite products available. A new approach for channel compression/selection (Bottlenecks Channels) is proposed to reduce the dimension of hyperspectral data (in the infrared with the IASI instrument and in microwaves for a new sounder concept). A new scheme is also developed to integrate multiple satellite products for the study of the water cycle (surface, ocean and atmosphere). This integration approach makes the components of the water cycle more coherent to each other. It is presented here in the context of the Mediterranean water cycle.; L'observation satellite offre l'opportunité unique d'une couverture globale et d'un suivi temporel continu en météorologie et climatologie. On rencontre toutefois de nombreuses difficultés dans leur exploitation, ce qui requiert l'utilisation de techniques d'optimisation dans les diverses étapes de leur traitement. On traitera dans cette thèse deux questions : (1) au niveau du traitement des données satellite, en amont de la chaîne de restitution, et (2) en aval, pour l'intégration des multiples produits satellites disponibles. On propose ainsi une nouvelle approche de compression/sélection de canaux (les « Bottlenecks Channels ») pour réduire la dimension des données hyper-spectrales (dans l'infrarouge avec l'instrument IASI et dans les microondes pour un nouveau concept de sondeur). On développe également un nouveau schéma d'intégration de multiples produits satellites pour l'étude du cycle de l'eau (surface, océan et atmosphère). Cette approche d'intégration permet de rendre plus cohérentes les composantes du cycle de l'eau. Elle est présentée ici dans le contexte du cycle de l'eau méditerranéen.

We present and study unsupervised learning methods of multivariate extreme phenomena in high-dimension. Considering a random vector on which each marginal is heavy-tailed, the study of its behavior in extreme regions is no longer possible via usual methods that involve finite means and variances. Multivariate extreme value theory provides an adapted framework to this study. In particular it gives theoretical basis to dimension reduction through the angular measure. The thesis is divided in two main part: - Reduce the dimension by finding a simplified dependence structure in extreme regions. This step aim at recover subgroups of features that are likely to exceed large thresholds simultaneously. - Model the angular measure with a mixture distribution that follows a predefined dependence structure. These steps allow to develop new clustering methods for extreme points in high dimension., Nous présentons et étudions des méthodes d’apprentissage non-supervisé de phénomènes extrêmes multivariés en grande dimension. Dans le cas où chacune des distributions marginales d’un vecteur aléatoire est à queue lourde, l’étude de son comportement dans les régions extrêmes (i.e. loin de l’origine) ne peut plus se faire via les méthodes usuelles qui supposent une moyenne et une variance finies. La théorie des valeurs extrêmes offre alors un cadre adapté à cette étude, en donnant notamment une base théorique à la réduction de dimension à travers la mesure angulaire. La thèse s’articule autour de deux grandes étapes : - Réduire la dimension du problème en trouvant un résumé de la structure de dépendance dans les régions extrêmes. Cette étape vise en particulier à trouver les sous-groupes de composantes étant susceptible de dépasser un seuil élevé de façon simultané. - Modéliser la mesure angulaire par une densité de mélange qui suit une structure de dépendance déterminée à l’avance. Ces deux étapes permettent notamment de développer des méthodes de classification non-supervisée à travers la construction d’une matrice de similarité pour les points extrêmes.

We present and study unsupervised learning methods of multivariate extreme phenomena in high-dimension. Considering a random vector on which each marginal is heavy-tailed, the study of its behavior in extreme regions is no longer possible via usual methods that involve finite means and variances. Multivariate extreme value theory provides an adapted framework to this study. In particular it gives theoretical basis to dimension reduction through the angular measure. The thesis is divided in two main part: - Reduce the dimension by finding a simplified dependence structure in extreme regions. This step aim at recover subgroups of features that are likely to exceed large thresholds simultaneously. - Model the angular measure with a mixture distribution that follows a predefined dependence structure. These steps allow to develop new clustering methods for extreme points in high dimension.; Nous présentons et étudions des méthodes d’apprentissage non-supervisé de phénomènes extrêmes multivariés en grande dimension. Dans le cas où chacune des distributions marginales d’un vecteur aléatoire est à queue lourde, l’étude de son comportement dans les régions extrêmes (i.e. loin de l’origine) ne peut plus se faire via les méthodes usuelles qui supposent une moyenne et une variance finies. La théorie des valeurs extrêmes offre alors un cadre adapté à cette étude, en donnant notamment une base théorique à la réduction de dimension à travers la mesure angulaire. La thèse s’articule autour de deux grandes étapes : - Réduire la dimension du problème en trouvant un résumé de la structure de dépendance dans les régions extrêmes. Cette étape vise en particulier à trouver les sous-groupes de composantes étant susceptible de dépasser un seuil élevé de façon simultané. - Modéliser la mesure angulaire par une densité de mélange qui suit une structure de dépendance déterminée à l’avance. Ces deux étapes permettent notamment de développer des méthodes de classification non-supervisée à travers la construction d’une matrice de similarité pour les points extrêmes.

The Life Cycle Assessment framework (LCA) is a multi-criteria approach aiming to assess all the potential environmental impacts of any human activities. Within a standardized framework, a human activity is described throughout its values chain: from raw material extraction, through materials processing, distribution, use stages, to waste management. Then, all emission flows to the environment as well as all resource consumption flows, all defined as elementary flows, are quantified in a Life Cycle Inventory result (LCI). Translation of LCI results into a reduced number of scores that each has an environmental meaning is carried out at the Life Cycle Impact Assessment (LCIA) phase using LCIA methods. However, the holistic nature of LCA, which has induced the development of many different LCIA methods with quite a few environmental impact categories each, can make the LCIA method and impact categories selection challenging for LCA practitioners. By benefiting from a huge compilation of LCI results within cumulated LCI database, the present work develops the Representativeness Index (RI) that assesses, from a geometrical point of view, the appropriateness of LCIA methods and their impact categories for any LCI result. This innovating approach relies on the contextualization of LCI results and impact categories regarding a database and on an angular measurement within a vector space. The relevance of the RI results is tested by analysing RI trends from an entire database and by applying it to a biofuel study case.; Le cadre d'Analyse du Cycle de Vie (ACV) est une approche multicritères visant à évaluer tous les impacts environnementaux potentiels de toute activité humaine. Dans un cadre normalisé, une activité humaine est alors décrite sur toute sa chaîne de valeurs (de l'extraction des matières premières, en passant par le traitement des matières premières, la distribution, les étapes d'utilisation et la gestion des déchets) et toutes les émissions vers l'environnement ainsi que toutes les consommations de ressources, aussi nommées flux élémentaires, sont quantifiées et regroupées dans un Inventaire du Cycle de Vie (ICV). La traduction des flux élémentaires en un nombre réduit de scores ayant chacun une signification environnementale est effectuée lors de la phase d'Evaluation de l'Impact sur le Cycle de Vie (EICV) à l'aide des méthodes d’EICV. Cependant, la nature holistique de l'ACV, qui a entrainé le développement de nombreuses méthodes d’ECVI avec chacune un certain nombre de catégories d'impact environnemental, peut rendre non évidente la sélection d’une méthode d’EICV et des catégories d'impact pour le praticien ACV. En bénéficiant de regroupement d'ICVs au sein de base de données, ce travail de thèse a permis de développer un Indice de Représentativité (IR) qui évalue, d'un point de vue géométrique, l'adéquation des méthodes d’ECVI et de leurs catégories d'impact pour un ICV donné. Cette approche innovante repose sur la contextualisation des ICVs et des catégories d'impact par rapport à une base de données d’ICVs et sur une mesure angulaire au sein d’un espace vectoriel. La pertinence des résultats de l'IR est testée en analysant leurs tendances au sein d'une base de données et en l'appliquant à un cas d'étude sur la production d’un agro-carburant à partir de macro-algue.

Le cadre d'Analyse du Cycle de Vie (ACV) est une approche multicritères visant à évaluer tous les impacts environnementaux potentiels de toute activité humaine. Dans un cadre normalisé, une activité humaine est alors décrite sur toute sa chaîne de valeurs (de l'extraction des matières premières, en passant par le traitement des matières premières, la distribution, les étapes d'utilisation et la gestion des déchets) et toutes les émissions vers l'environnement ainsi que toutes les consommations de ressources, aussi nommées flux élémentaires, sont quantifiées et regroupées dans un Inventaire du Cycle de Vie (ICV). La traduction des flux élémentaires en un nombre réduit de scores ayant chacun une signification environnementale est effectuée lors de la phase d'Evaluation de l'Impact sur le Cycle de Vie (EICV) à l'aide des méthodes d’EICV. Cependant, la nature holistique de l'ACV, qui a entrainé le développement de nombreuses méthodes d’ECVI avec chacune un certain nombre de catégories d'impact environnemental, peut rendre non évidente la sélection d’une méthode d’EICV et des catégories d'impact pour le praticien ACV. En bénéficiant de regroupement d'ICVs au sein de base de données, ce travail de thèse a permis de développer un Indice de Représentativité (IR) qui évalue, d'un point de vue géométrique, l'adéquation des méthodes d’ECVI et de leurs catégories d'impact pour un ICV donné. Cette approche innovante repose sur la contextualisation des ICVs et des catégories d'impact par rapport à une base de données d’ICVs et sur une mesure angulaire au sein d’un espace vectoriel. La pertinence des résultats de l'IR est testée en analysant leurs tendances au sein d'une base de données et en l'appliquant à un cas d'étude sur la production d’un agro-carburant à partir de macro-algue., The Life Cycle Assessment framework (LCA) is a multi-criteria approach aiming to assess all the potential environmental impacts of any human activities. Within a standardized framework, a human activity is described throughout its values chain: from raw material extraction, through materials processing, distribution, use stages, to waste management. Then, all emission flows to the environment as well as all resource consumption flows, all defined as elementary flows, are quantified in a Life Cycle Inventory result (LCI). Translation of LCI results into a reduced number of scores that each has an environmental meaning is carried out at the Life Cycle Impact Assessment (LCIA) phase using LCIA methods. However, the holistic nature of LCA, which has induced the development of many different LCIA methods with quite a few environmental impact categories each, can make the LCIA method and impact categories selection challenging for LCA practitioners. By benefiting from a huge compilation of LCI results within cumulated LCI database, the present work develops the Representativeness Index (RI) that assesses, from a geometrical point of view, the appropriateness of LCIA methods and their impact categories for any LCI result. This innovating approach relies on the contextualization of LCI results and impact categories regarding a database and on an angular measurement within a vector space. The relevance of the RI results is tested by analysing RI trends from an entire database and by applying it to a biofuel study case.

Since the publication in 1999 of the seminal paper of Paul C. Kocher, Joshua Jaffe and Benjamin Jun, entitled "Differential Power Analysis", the side-channel attacks have been proved to be efficient ways to attack cryptographic algorithms. Indeed, it has been revealed that the usage of information extracted from the side-channels such as the execution time, the power consumption or the electromagnetic emanations could be used to recover secret keys. In this context, we propose first, to treat the problem of dimensionality reduction. Indeed, since twenty years, the complexity and the size of the data extracted from the side-channels do not stop to grow. That is why the reduction of these data decreases the time and increases the efficiency of these attacks. The dimension reduction is proposed for complex leakage models and any dimension. Second, a software leakage assessment methodology is proposed ; it is based on the analysis of all the manipulated data during the execution of the software. The proposed methodology provides features that speed-up and increase the efficiency of the analysis, especially in the case of white box cryptography., Depuis la publication en 1999 du papier fondateur de Paul C. Kocher, Joshua Jaffe et Benjamin Jun, intitulé "Differential Power Analysis", les attaques par canaux auxiliaires se sont révélées être un moyen d’attaque performant contre les algorithmes cryptographiques. En effet, il s’est avéré que l’utilisation d’information extraite de canaux auxiliaires comme le temps d’exécution, la consommation de courant ou les émanations électromagnétiques, pouvait être utilisée pour retrouver des clés secrètes. C’est dans ce contexte que cette thèse propose, dans un premier temps, de traiter le problème de la réduction de dimension. En effet, en vingt ans, la complexité ainsi que la taille des données extraites des canaux auxiliaires n’a cessé de croître. C’est pourquoi la réduction de dimension de ces données permet de réduire le temps et d’augmenter l’efficacité des attaques. Les méthodes de réduction de dimension proposées le sont pour des modèles de fuites complexe et de dimension quelconques. Dans un second temps, une méthode d’évaluation d’algorithmes logiciels est proposée. Celle-ci repose sur l’analyse de l’ensemble des données manipulées lors de l’exécution du logiciel évalué. La méthode proposée est composée de plusieurs fonctionnalités permettant d’accélérer et d’augmenter l’efficacité de l’analyse, notamment dans le contexte d’évaluation d’implémentation de cryptographie en boîte blanche.

This manuscript summarizes a three years work addressing the use of machine learning for the automatic analysis of natural signals. The main goal of this PhD is to produce efficient and operative frameworks for the analysis of environmental signals, in order to gather knowledge and better understand the considered environment. Particularly, we focus on the automatic tasks of detection and classification of natural events.This thesis proposes two tools based on supervised machine learning (Support Vector Machine, Random Forest) for (i) the automatic classification of events and (ii) the automatic detection and classification of events. The success of the proposed approaches lies in the feature space used to represent the signals. This relies on a detailed description of the raw acquisitions in various domains: temporal, spectral and cepstral. A comparison with features extracted using convolutional neural networks (deep learning) is also made, and favours the physical features to the use of deep learning methods to represent transient signals.The proposed tools are tested and validated on real world acquisitions from different environments: (i) underwater and (ii) volcanic areas. The first application considered in this thesis is devoted to the monitoring of coastal underwater areas using acoustic signals: continuous recordings are analysed to automatically detect and classify fish sounds. A day to day pattern in the fish behaviour is revealed. The second application targets volcanoes monitoring: the proposed system classifies seismic events into categories, which can be associated to different phases of the internal activity of volcanoes. The study is conducted on six years of volcano-seismic data recorded on Ubinas volcano (Peru). In particular, the outcomes of the proposed automatic classification system helped in the discovery of misclassifications in the manual annotation of the recordings. In addition, the proposed automatic classification framework of volcano-seismic signals has been deployed and tested in Indonesia for the monitoring of Mount Merapi. The software implementation of the framework developed in this thesis has been collected in the Automatic Analysis Architecture (AAA) package and is freely available., Ce manuscrit de thèse résume trois ans de travaux sur l’utilisation des méthodes d’apprentissage statistique pour l’analyse automatique de signaux naturels. L’objectif principal est de présenter des outils efficaces et opérationnels pour l’analyse de signaux environnementaux, en vue de mieux connaitre et comprendre l’environnement considéré. On se concentre en particulier sur les tâches de détection et de classification automatique d’événements naturels.Dans cette thèse, deux outils basés sur l’apprentissage supervisé (Support Vector Machine et Random Forest) sont présentés pour (i) la classification automatique d’événements, et (ii) pour la détection et classification automatique d’événements. La robustesse des approches proposées résulte de l’espace des descripteurs dans lequel sont représentés les signaux. Les enregistrements y sont en effet décrits dans plusieurs espaces: temporel, fréquentiel et quéfrentiel. Une comparaison avec des descripteurs issus de réseaux de neurones convolutionnels (Deep Learning) est également proposée, et favorise les descripteurs issus de la physique au détriment des approches basées sur l’apprentissage profond.Les outils proposés au cours de cette thèse sont testés et validés sur des enregistrements in situ de deux environnements différents : (i) milieux marins et (ii) zones volcaniques. La première application s’intéresse aux signaux acoustiques pour la surveillance des zones sous-marines côtières : les enregistrements continus sont automatiquement analysés pour détecter et classifier les différents sons de poissons. Une périodicité quotidienne est mise en évidence. La seconde application vise la surveillance volcanique : l’architecture proposée classifie automatiquement les événements sismiques en plusieurs catégories, associées à diverses activités du volcan. L’étude est menée sur 6 ans de données volcano-sismiques enregistrées sur le volcan Ubinas (Pérou). L’analyse automatique a en particulier permis d’identifier des erreurs de classification faites dans l’analyse manuelle originale. L’architecture pour la classification automatique d’événements volcano-sismiques a également été déployée et testée en observatoire en Indonésie pour la surveillance du volcan Mérapi. Les outils développés au cours de cette thèse sont rassemblés dans le module Architecture d’Analyse Automatique (AAA), disponible en libre accès.

Hyperspectral imagery allows to acquire a rich spectral information of a scene in several hundred or even thousands of narrow and contiguous spectral bands. However, with the high number of spectral bands, the strong inter-bands spectral correlation and the redundancy of spectro-spatial information, the interpretation of these massive hyperspectral data is one of the major challenges for the remote sensing scientific community. In this context, the major challenge is to reduce the number of unnecessary spectral bands, that is, to reduce the redundancy and high correlation of spectral bands while preserving the relevant information. Therefore, projection approaches aim to transform the hyperspectral data into a reduced subspace by combining all original spectral bands. In addition, band selection approaches attempt to find a subset of relevant spectral bands. In this thesis, firstly we focus on hyperspectral images classification attempting to integrate the spectro-spatial information into dimension reduction in order to improve the classification performance and to overcome the loss of spatial information in projection approaches.Therefore, we propose a hybrid model to preserve the spectro-spatial information exploiting the tensor model in the locality preserving projection approach (TLPP) and to use the constraint band selection (CBS) as unsupervised approach to select the discriminant spectral bands. To model the uncertainty and imperfection of these reduction approaches and classifiers, we propose an evidential approach based on the Dempster-Shafer Theory (DST). In the second step, we try to extend the hybrid model by exploiting the semantic knowledge extracted through the features obtained by the previously proposed approach TLPP to enrich the CBS technique. Indeed, the proposed approach makes it possible to select a relevant spectral bands which are at the same time informative, discriminant, distinctive and not very redundant. In fact, this approach selects the discriminant and distinctive spectral bands using the CBS technique injecting the extracted rules obtained with knowledge extraction techniques to automatically and adaptively select the optimal subset of relevant spectral bands. The performance of our approach is evaluated using several real hyperspectral data.; L'imagerie hyperspectrale permet d'acquérir des informations spectrales riches d'une scène dans plusieurs centaines, voire milliers de bandes spectrales étroites et contiguës. Cependant, avec le nombre élevé de bandes spectrales, la forte corrélation inter-bandes spectrales et la redondance de l'information spectro-spatiale, l'interprétation de ces données hyperspectrales massives est l'un des défis majeurs pour la communauté scientifique de la télédétection. Dans ce contexte, le grand défi posé est la réduction du nombre de bandes spectrales inutiles, c'est-à-dire de réduire la redondance et la forte corrélation de bandes spectrales tout en préservant l'information pertinente. Par conséquent, des approches de projection visent à transformer les données hyperspectrales dans un sous-espace réduit en combinant toutes les bandes spectrales originales. En outre, des approches de sélection de bandes tentent à chercher un sous-ensemble de bandes spectrales pertinentes. Dans cette thèse, nous nous intéressons d'abord à la classification d'imagerie hyperspectrale en essayant d'intégrer l'information spectro-spatiale dans la réduction de dimensions pour améliorer la performance de la classification et s'affranchir de la perte de l'information spatiale dans les approches de projection. De ce fait, nous proposons un modèle hybride permettant de préserver l'information spectro-spatiale en exploitant les tenseurs dans l'approche de projection préservant la localité (TLPP) et d'utiliser l'approche de sélection non supervisée de bandes spectrales discriminantes à base de contraintes (CBS). Pour modéliser l'incertitude et l'imperfection entachant ces approches de réduction et les classifieurs, nous proposons une approche évidentielle basée sur la théorie de Dempster-Shafer (DST). Dans un second temps, nous essayons d'étendre le modèle hybride en exploitant des connaissances sémantiques extraites à travers les caractéristiques obtenues par l'approche proposée auparavant TLPP pour enrichir la sélection non supervisée CBS. En effet, l'approche proposée permet de sélectionner des bandes spectrales pertinentes qui sont à la fois informatives, discriminantes, distinctives et peu redondantes. En outre, cette approche sélectionne les bandes discriminantes et distinctives en utilisant la technique de CBS en injectant la sémantique extraite par les techniques d'extraction de connaissances afin de sélectionner d'une manière automatique et adaptative le sous-ensemble optimal de bandes spectrales pertinentes. La performance de notre approche est évaluée en utilisant plusieurs jeux des données hyperspectrales réelles.

National audience; – Le traitement de données en grande dimension requiert généralement une étape de réduction de dimension afin de travailler dans la dimension intrinsèque des données. Lorsque les données sont bruitées, les méthodes de réduction de dimension non linéaires peuvent être induites en erreur par l'apparition de courts-circuits dans le graphe de voisinage. La méthode proposée a pour but de supprimer ces courts-circuits à l'aide d'un graphe parcimonieux qui approxime la structure des données, dont la construction est basée sur la densité estimée des données. Abstract – Processing high dimensional datasets often makes use of a dimension reduction step. Indeed, high dimension data generally rely on a low dimension underlying structure. When the data are noisy, dimension reduction may fail because of shortcuts appearing on the graph catching the underlying structure. Our paper presents a method to suppress shortcuts in the underlying structure graph, based on a sparse graph that approximates the data structure and that is built using a data probability density estimation.

In several scientific fields such as statistics, computer vision and machine learning, redundant and/or irrelevant information reduction in the data description (dimension reduction) is an important step. This process contains two different categories : feature extraction and feature selection, of which feature selection in unsupervised learning is hitherto an open question. In this manuscript, we discussed about feature selection on image datasets using the Formal Concept Analysis (FCA), with focus on lattice structure and lattice theory. The images in a dataset were described as a set of visual words by the bag of visual words model. Two algorithms were proposed in this thesis to select relevant features and they can be used in both unsupervised learning and supervised learning. The first algorithm was the RedAttSansPerte, which based on lattice structure and lattice theory, to ensure its ability to remove redundant features using the precedence graph. The formal definition of precedence graph was given in this thesis. We also demonstrated their properties and the relationship between this graph and the AC-poset. Results from experiments indicated that the RedAttsSansPerte algorithm reduced the size of feature set while maintaining their performance against the evaluation by classification. Secondly, the RedAttsFloue algorithm, an extension of the RedAttsSansPerte algorithm, was also proposed. This extension used the fuzzy precedence graph. The formal definition and the properties of this graph were demonstrated in this manuscript. The RedAttsFloue algorithm removed redundant and irrelevant features while retaining relevant information according to the flexibility threshold of the fuzzy precedence graph. The quality of relevant information was evaluated by the classification. The RedAttsFloue algorithm is suggested to be more robust than the RedAttsSansPerte algorithm in terms of reduction.; La réduction des informations redondantes et/ou non-pertinentes dans la description de données est une étape importante dans plusieurs domaines scientifiques comme les statistiques, la vision par ordinateur, la fouille de données ou l’apprentissage automatique. Dans ce manuscrit, nous abordons la réduction de la taille des signatures des images par une méthode issue de l’Analyse Formelle de Concepts (AFC), qui repose sur la structure du treillis des concepts et la théorie des treillis. Les modèles de sac de mots visuels consistent à décrire une image sous forme d’un ensemble de mots visuels obtenus par clustering. La réduction de la taille des signatures des images consiste donc à sélectionner certains de ces mots visuels. Dans cette thèse, nous proposons deux algorithmes de sélection d’attributs (mots visuels) qui sont utilisables pour l’apprentissage supervisé ou non. Le premier algorithme, RedAttSansPerte, ne retient que les attributs qui correspondent aux irréductibles du treillis. En effet, le théorème fondamental de la théorie des treillis garantit que la structure du treillis des concepts est maintenue en ne conservant que les irréductibles. Notre algorithme utilise un graphe d’attributs, le graphe de précédence, où deux attributs sont en relation lorsque les ensembles d’objets à qui ils appartiennent sont inclus l’un dans l’autre. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsSansPerte permet de diminuer le nombre d’attributs tout en conservant de bonnes performances de classification. Le deuxième algorithme, RedAttsFloue, est une extension de l’algorithme RedAttsSansPerte. Il repose sur une version approximative du graphe de précédence. Il s’agit de supprimer les attributs selon le même principe que l’algorithme précédent, mais en utilisant ce graphe flou. Un seuil de flexibilité élevé du graphe flou entraîne mécaniquement une perte d’information et de ce fait une baisse de performance de la classification. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsFloue permet de diminuer davantage l’ensemble des attributs sans diminuer de manière significative les performances de classification.

In medical imaging, collaborative worldwide initiatives have begun theacquisition of hundreds of Terabytes of data that are made available to thescientific community. In particular, functional Magnetic Resonance Imaging --fMRI-- data. However, this signal requires extensive fitting and noise reduction steps to extract useful information. The complexity of these analysis pipelines yields results that are highly dependent on the chosen parameters.The computation cost of this data deluge is worse than linear: as datasetsno longer fit in cache, standard computational architectures cannot beefficiently used.To speed-up the computation time, we considered dimensionality reduction byfeature grouping. We use clustering methods to perform this task. We introduce a linear-time agglomerative clustering scheme, Recursive Nearest Agglomeration (ReNA). Unlike existing fast agglomerative schemes, it avoids the creation of giant clusters. We then show empirically how this clustering algorithm yields very fast and accurate models, enabling to process large datasets on budget.In neuroimaging, machine learning can be used to understand the cognitiveorganization of the brain. The idea is to build predictive models that are used to identify the brain regions involved in the cognitive processing of an external stimulus. However, training such estimators is a high-dimensional problem, and one needs to impose some prior to find a suitable model.To handle large datasets and increase stability of results, we propose to useensembles of models in combination with clustering. We study the empirical performance of this pipeline on a large number of brain imaging datasets. This method is highly parallelizable, it has lower computation time than the state-of-the-art methods and we show that, it requires less data samples to achieve better prediction accuracy. Finally, we show that ensembles of models improve the stability of the weight maps and reduce the variance of prediction accuracy.; En imagerie médicale, des collaborations internationales ont lançé l'acquisition de centaines de Terabytes de données - et en particulierde données d'Imagerie par Résonance Magnétique fonctionelle (IRMf) -pour les mettre à disposition de la communauté scientifique.Extraire de l'information utile de ces données nécessite d'importants prétraitements et des étapes de réduction de bruit. La complexité de ces analyses rend les résultats très sensibles aux paramètres choisis. Le temps de calcul requis augmente plus vite que linéairement: les jeux de données sont si importants qu'il ne tiennent plus dans le cache, et les architectures de calcul classiques deviennent inefficaces.Pour réduire les temps de calcul, nous avons étudié le feature-grouping commetechnique de réduction de dimension. Pour ce faire, nous utilisons des méthodes de clustering. Nous proposons un algorithme de clustering agglomératif en temps linéaire: Recursive Nearest Agglomeration (ReNA). ReNA prévient la création de clusters énormes, qui constitue un défaut des méthodes agglomératives rapidesexistantes. Nous démontrons empiriquement que cet algorithme de clustering engendre des modèles très précis et rapides, et permet d'analyser de grands jeux de données avec des ressources limitées.En neuroimagerie, l'apprentissage statistique peut servir à étudierl'organisation cognitive du cerveau. Des modèles prédictifs permettent d'identifier les régions du cerveau impliquées dans le traitement cognitif d'un stimulus externe. L'entraînement de ces modèles est un problème de très grande dimension, et il est nécéssaire d'introduire un a priori pour obtenir un modèle satisfaisant.Afin de pouvoir traiter de grands jeux de données et d'améliorer lastabilité des résultats, nous proposons de combiner le clustering etl'utilisation d'ensembles de modèles. Nous évaluons la performance empirique de ce procédé à travers de nombreux jeux de données de neuroimagerie. Cette méthode est hautement parallélisable et moins coûteuse que l'état del'art en temps de calcul. Elle permet, avec moins de données d'entraînement,d'obtenir de meilleures prédictions. Enfin, nous montrons que l'utilisation d'ensembles de modèles améliore la stabilité des cartes de poids résultantes et réduit la variance du score de prédiction.

National audience; Nous nous int´eressons `a la probl´ematique de la mise en relation entre deux ensembles de variables en grande dimension : Y (`a expliquer) et X (explicatif) `a valeurs respectivement dans les espaces s´eparables, X et Y `a partir n observations de Z = (X, Y ). G´en´eralement, l’exploitation de ce type de donn´ees est fragmentaire. L’approche que nous proposons permet de visualiser directement l’influence des sous-ensembles X sur ceux de Y dans un contexte de r´egression PLS (Partial Least Squares). Plusieurs applications seront abord´ees au cours de cet expos´e. Nous illustrerons notre approche notamment dans des situations o`u X et Y sont de grandes dimensions (voire fonctionnelles) et montrerons comment elle permet de r´epondre `a des questions telles que : quel(s) groupe(s) de micro-ARN influence(nt) quel(s) groupe(s) d’ARN messagers.

In several scientific fields such as statistics, computer vision and machine learning, redundant and/or irrelevant information reduction in the data description (dimension reduction) is an important step. This process contains two different categories : feature extraction and feature selection, of which feature selection in unsupervised learning is hitherto an open question. In this manuscript, we discussed about feature selection on image datasets using the Formal Concept Analysis (FCA), with focus on lattice structure and lattice theory. The images in a dataset were described as a set of visual words by the bag of visual words model. Two algorithms were proposed in this thesis to select relevant features and they can be used in both unsupervised learning and supervised learning. The first algorithm was the RedAttSansPerte, which based on lattice structure and lattice theory, to ensure its ability to remove redundant features using the precedence graph. The formal definition of precedence graph was given in this thesis. We also demonstrated their properties and the relationship between this graph and the AC-poset. Results from experiments indicated that the RedAttsSansPerte algorithm reduced the size of feature set while maintaining their performance against the evaluation by classification. Secondly, the RedAttsFloue algorithm, an extension of the RedAttsSansPerte algorithm, was also proposed. This extension used the fuzzy precedence graph. The formal definition and the properties of this graph were demonstrated in this manuscript. The RedAttsFloue algorithm removed redundant and irrelevant features while retaining relevant information according to the flexibility threshold of the fuzzy precedence graph. The quality of relevant information was evaluated by the classification. The RedAttsFloue algorithm is suggested to be more robust than the RedAttsSansPerte algorithm in terms of reduction., La réduction des informations redondantes et/ou non-pertinentes dans la description de données est une étape importante dans plusieurs domaines scientifiques comme les statistiques, la vision par ordinateur, la fouille de données ou l’apprentissage automatique. Dans ce manuscrit, nous abordons la réduction de la taille des signatures des images par une méthode issue de l’Analyse Formelle de Concepts (AFC), qui repose sur la structure du treillis des concepts et la théorie des treillis. Les modèles de sac de mots visuels consistent à décrire une image sous forme d’un ensemble de mots visuels obtenus par clustering. La réduction de la taille des signatures des images consiste donc à sélectionner certains de ces mots visuels. Dans cette thèse, nous proposons deux algorithmes de sélection d’attributs (mots visuels) qui sont utilisables pour l’apprentissage supervisé ou non. Le premier algorithme, RedAttSansPerte, ne retient que les attributs qui correspondent aux irréductibles du treillis. En effet, le théorème fondamental de la théorie des treillis garantit que la structure du treillis des concepts est maintenue en ne conservant que les irréductibles. Notre algorithme utilise un graphe d’attributs, le graphe de précédence, où deux attributs sont en relation lorsque les ensembles d’objets à qui ils appartiennent sont inclus l’un dans l’autre. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsSansPerte permet de diminuer le nombre d’attributs tout en conservant de bonnes performances de classification. Le deuxième algorithme, RedAttsFloue, est une extension de l’algorithme RedAttsSansPerte. Il repose sur une version approximative du graphe de précédence. Il s’agit de supprimer les attributs selon le même principe que l’algorithme précédent, mais en utilisant ce graphe flou. Un seuil de flexibilité élevé du graphe flou entraîne mécaniquement une perte d’information et de ce fait une baisse de performance de la classification. Nous montrons par des expérimentations que la réduction par l’algorithme RedAttsFloue permet de diminuer davantage l’ensemble des attributs sans diminuer de manière significative les performances de classification.

The statistical analysis of Next-Generation Sequencing data raises many computational challenges regarding modeling and inference, especially because of the high dimensionality of genomic data. The research work in this manuscript concerns hybrid dimension reduction methods that rely on both compression (representation of the data into a lower dimensional space) and variable selection. Developments are made concerning: the sparse Partial Least Squares (PLS) regression framework for supervised classification, and the sparse matrix factorization framework for unsupervised exploration. In both situations, our main purpose will be to focus on the reconstruction and visualization of the data. First, we will present a new sparse PLS approach, based on an adaptive sparsity-inducing penalty, that is suitable for logistic regression to predict the label of a discrete outcome. For instance, such a method will be used for prediction (fate of patients or specific type of unidentified single cells) based on gene expression profiles. The main issue in such framework is to account for the response to discard irrelevant variables. We will highlight the direct link between the derivation of the algorithms and the reliability of the results. Then, motivated by questions regarding single-cell data analysis, we propose a flexible model-based approach for the factorization of count matrices, that accounts for over-dispersion as well as zero-inflation (both characteristic of single-cell data), for which we derive an estimation procedure based on variational inference. In this scheme, we consider probabilistic variable selection based on a spike-and-slab model suitable for count data. The interest of our procedure for data reconstruction, visualization and clustering will be illustrated by simulation experiments and by preliminary results on single-cell data analysis. All proposed methods were implemented into two R-packages "plsgenomics" and "CMF" based on high performance computing; L'analyse statistique de données de séquençage à haut débit (NGS) pose des questions computationnelles concernant la modélisation et l'inférence, en particulier à cause de la grande dimension des données. Le travail de recherche dans ce manuscrit porte sur des méthodes de réductions de dimension hybrides, basées sur des approches de compression (représentation dans un espace de faible dimension) et de sélection de variables. Des développements sont menés concernant la régression "Partial Least Squares" parcimonieuse (supervisée) et les méthodes de factorisation parcimonieuse de matrices (non supervisée). Dans les deux cas, notre objectif sera la reconstruction et la visualisation des données. Nous présenterons une nouvelle approche de type PLS parcimonieuse, basée sur une pénalité adaptative, pour la régression logistique. Cette approche sera utilisée pour des problèmes de prédiction (devenir de patients ou type cellulaire) à partir de l'expression des gènes. La principale problématique sera de prendre en compte la réponse pour écarter les variables non pertinentes. Nous mettrons en avant le lien entre la construction des algorithmes et la fiabilité des résultats.Dans une seconde partie, motivés par des questions relatives à l'analyse de données "single-cell", nous proposons une approche probabiliste pour la factorisation de matrices de comptage, laquelle prend en compte la sur-dispersion et l'amplification des zéros (caractéristiques des données single-cell). Nous développerons une procédure d'estimation basée sur l'inférence variationnelle. Nous introduirons également une procédure de sélection de variables probabiliste basée sur un modèle "spike-and-slab". L'intérêt de notre méthode pour la reconstruction, la visualisation et le clustering de données sera illustré par des simulations et par des résultats préliminaires concernant une analyse de données "single-cell". Toutes les méthodes proposées sont implémentées dans deux packages R: plsgenomics et CMF

The aim of this PhD dissertation is to propose a new approach to improve and accelerate preliminary design studies for turbofan engine components. This approach consists in a comprehensive methodology for robust design under constraints, following three stages : dimension reduction and metamodeling, robust design under constraints and finally inverse problem solving under constraints. These are the three main subjects of this PhD dissertation. Dimension reduction is an essential pre-processing for any study. Its aim is to keep only inputs with large effects on a selected output. This selection reduces the size of the domain on which is performed the study which reduces its computational cost and eases the (qualitative) understanding of the system of interest. Metamodeling also contributes to these two objectives by replacing the time-consuming computer code by a faster metamodel which approximates adequately the relationship between system inputs and the studied output. Robust design under constraints is a bi-objectives optimization where different uncertainty sources are included. First, uncertainties must be collected and modeled. Then a propagation method of uncertainties in the computation code must be chosen in order to estimate moments (mean and standard deviation) of output distribution. Optimization of these moments are the two robust design objectives. Finally, a multi-objectives optimization method has to be chosen to find a robust optimum under constraints. The development of methods to solve ill-posed inverse problems is the innovative part of this PhD dissertation. These problems can have infinitely many solutions constituting non convex or even disjoint sets. Inversion is considered here as a complement to robust design in the case where the obtained optimum doesn't satisfy one of the constraints. Inverse methods then enable to solve this problem by finding several input datasets which satisfy all the constraints and a condition of proximity to the optimum. The aim is to reach a target value of the unsatisfied constraint while respecting other system constraints and the optimum proximity condition. Applied to preliminary design of high pressure compressor, this methodology contributes to the improvement and acceleration of studies currently characterized by a numerous of loopbacks which are expensive in terms of cpu-time and human resources., L'objectif de ce travail est de proposer une nouvelle démarche pour améliorer et accélérer les études de dimensionnement des pièces de turboréacteurs en avant-projets. Il s'agit de fournir une méthodologie complète pour la conception robuste sous contraintes. Cette méthodologie consiste en trois étapes : la réduction de la dimension et la méta-modélisation, la conception robuste sous contraintes puis la résolution de problèmes inverses sous contraintes. Ce sont les trois principaux sujets abordés dans cette thèse. La réduction de la dimension est un pré-traitement indispensable à toute étude. Son but est de ne conserver, pour une sortie choisie du système, que les entrées influentes. Ceci permet de réduire la taille du domaine d'étude afin de faciliter la compréhension du système et diminuer les temps de calculs des études. Les méthodes de méta-modélisations contribuent également à ces deux objectifs. L'idée est de remplacer le code de calculs coûteux par un modèle rapide à évaluer et qui représente bien la relation entre la sortie étudiée et les entrées du système. La conception robuste sous contraintes est une optimisation bi-objectifs où les différentes sources d'incertitudes du système sont prises en compte. Il s'agit, dans un premier temps, de recenser et modéliser les incertitudes puis de choisir une méthode de propagation de ces incertitudes dans le code de calculs. Ceci permet d'estimer les moments (moyenne et écart-type) de la loi de la sortie d'intérêt. L'optimisation de ces moments constitue les deux objectifs de la conception robuste. En dernier lieu, il s'agit de choisir la méthode d'optimisation multi-objectifs qui sera utilisée pour obtenir l'optimum robuste sous contraintes. La partie innovante de cette thèse porte sur le développement de méthodes pour la résolution de problèmes inverses mal posés. Ce sont des problèmes pour lesquels il peut y avoir une infinité de solutions constituant des ensembles non convexes et même disjoints. L'inversion a été considérée ici comme un complément à l'optimisation robuste dans laquelle l'optimum obtenu ne satisfaisait pas une des contraintes. Les méthodes d'inversion permettent alors de résoudre ce problème en trouvant plusieurs combinaisons des entrées qui satisfont la contrainte sous la condition de rester proche de l'optimum robuste. Le but est d'atteindre une valeur cible de la contrainte non satisfaite tout en respectant les autres contraintes du système auxquelles on ajoute la condition de proximité à l'optimum. Appliquée au dimensionnement d'un compresseur HP en avants-projets, cette méthodologie s'inscrit dans l'amélioration et l'accélération des études marquées par de nombreux rebouclages chronophages en termes de ressources informatiques et humaines.

This thesis proposes three extensions of Sliced Inverse Regression namely: Collaborative SIR, Student SIR and Knockoff SIR.One of the weak points of SIR is the impossibility to check if the Linearity Design Condition (LDC) holds. It is known that if X follows an elliptic distribution thecondition holds true, in case of a mixture of elliptic distributions there are no guaranties that the condition is satisfied globally, but locally holds. Starting from this consideration an extension is proposed. Given the predictor variable X, Collaborative SIR performs initially a clustering. In each cluster, SIR is applied independently. The result from each component collaborates to give the final solution.Our second contribution, Student SIR, comes from the need to robustify SIR. Since SIR is based on the estimation of the covariance, and contains a PCA step, it is indeed sensitive to noise. To extend SIR, an approach based on a inverse formulation of SIR proposed by R.D. Cook has been used.Finally Knockoff SIR is an extension of SIR to perform variable selection and give sparse solution that has its foundations in a recently published paper by R. F. Barber and E. J. Candès that focuses on the false discovery rate in the regression framework. The underlying idea of this paper is to construct copies of the original variables that have some properties. It is shown that SIR is robust to this copies and a strategy is proposed to use this result for variable selection and to generate sparse solutions.; Cette thèse propose trois extensions de la Régression linéaire par tranches (Sliced Inverse Regression, SIR), notamment Collaborative SIR, Student SIR et Knockoff SIR.Une des faiblesses de la méthode SIR est l’impossibilité de vérifier si la Linearity Design Condition (LDC) est respectée. Il est établi que, si x suit une distribution elliptique, la condition est vraie ; dans le cas d’une composition de distributions elliptiques il n y a aucune garantie que la condition soit vérifiée globalement, pourtant, elle est respectée localement.On va donc proposer une extension sur la base de cette considération. Étant donné une variable explicative x, Collaborative SIR réalise d’abord un clustering. Pour chaque cluster, la méthode SIR est appliquée de manière indépendante.Le résultat de chaque composant contribue à créer la solution finale.Le deuxième papier, Student SIR, dérive de la nécessité de robustifier la méthode SIR.Vu que cette dernière repose sur l’estimation de la covariance et contient une étape APC, alors elle est sensible au bruit.Afin d’étendre la méthode SIR on a utilisé une stratégie fondée sur une formulation inverse du SIR, proposée par R.D. Cook.Finalement, Knockoff SIR est une extension de la méthode SIR pour la sélection des variables et la recherche d’une solution sparse, ayant son fondement dans le papier publié par R.F. Barber et E.J. Candès qui met l’accent sur le false discovery rate dans le cadre de la régression. L’idée sous-jacente à notre papier est de créer des copies de variables d’origine ayant certaines proprietés.On va montrer que la méthode SIR est robuste par rapport aux copies et on va proposer une stratégie pour utiliser les résultats dans la sélection des variables et pour générer des solutions sparse

This manuscript was written for the Habilitation à Diriger des Recherches and it describes my research activities. The first part of this manuscript is named "A missing values tour with principal components methods". It first focuses on performing exploratory principal components (PCA based) methods despite missing values i.e. estimating parameters scores and loadings to get biplot representations from an incomplete data set. Then, it presents the use of principal components methods as single and multiple imputation for both continuous and categorical data. The second part concerns "New practices in visualization with principal components methods." It presents regularized versions of the principal components methods in the complete case and their potential impacts on the biplot graphical outputs.The contributions are part of the more general framework of low rank matrix estimation methods. Then, it discusses notions of variability of the parameters with confidence areas for fixed effect PCA either using bootstrap and Bayesian approaches.