Search

The National Research Council of Canada (NRC) is committed to supporting the scale ai cluster's goals through its Artificial Intelligence for Logistics program, which includes convener support in supply chain and logistics. The program also provides R&D expertise focused on next-generation technology issues to ensure Canadian excellence in logistics for the longer term. Using its national reach, the NRC program is creating linkages between stakeholders, and enabling the advancement of the technologies and firms that will make supply chain and logistics excellence a competitive advantage for Canada., Le Conseil national de recherches du Canada (CNRC) s'est engagé à appuyer les objectifs de la grappe scale ai par l'entremise de son programme Intelligence artificielle au service de la logistique, reliant des organisations dans les domaines de la chaine d'approvisionnement et de la logistique. Le programme tire parti d'une expertise en R-D axée sur les enjeux technologiques de la prochaine génération afin d'assurer l'excellence de la logistique canadienne à long terme. Fort de sa portée nationale, le programme crée des liens entre les intervenants et permet l'avancement des technologies et des entreprises qui fera de l'excellence dans la gestion de la chaîne d'approvisionnement et de la logistique un avantage concurrentiel pour le Canada.

International audience; Thanks to recent advances in artificial intelligence, new automatic methods for decision support are being made available to the public (such as image recognition). In the science of recruitment, automatic solutions have also been developed and are sold by start-ups. However, because of industrial secrecy, these start-ups are evasive about the technicality of the proposed algorithms. The goal of the IAB@R project, from which this work stems, is to raise awareness about the potential misuse of automatic methods. In this presentation, we focus on the influence of the use of a database biased by classical algorithms on the prediction quality of recruitment algorithms.; Grâce aux récentes avancées de l'intelligence artificielle, de nouvelles méthodes automatiques pour l'aide à la décision sont mises au service du public (comme la reconnaissance d'images par exemple). Dans la science du recrutement, des solutions automatiques ont également été développées et sont vendues par des start-up. Or, à cause du secret industriel, ces dernières sont évasives sur la technicité des algorithmes proposés. Le but du projet IAB@R, dont est issu ce travail, est de sensibiliser sur la potentielle mauvaise utilisation des méthodes automatiques. Dans cet exposé, nous nous intéressons à l'influence de l'utilisation d'une base biaisée par des algorithmes classiques sur la qualité de prédiction des algorithmes de recrutement.

These notes are an overview of some classical linear methods in Multivariate Data Analysis. This is a good old domain, well established since the 60's, and refreshed timely as a key step in statistical learning. It can be presented as part of statistical learning, or as dimensionality reduction with a geometric flavor. Both approaches are tightly linked: it is easier to learn patterns from data in low dimensional spaces than in high-dimensional spaces. It is shown how a diversity of methods and tools boil down to a single core methods, PCA with SVD, such that the efforts to optimize codes for analyzing massive data sets like distributed memory and task-based programming or to improve the efficiency of the algorithms like Randomised SVD can focus on this shared core method, and benefit to all methods.; Ce document brosse un panorama des méthodes linéaires de l'Analyse de données multivariées. Il s'agit d'un domaine ancien et classique, bien établi depuis les années 60, et redevenu d'actualité en tant qu'étape clé dans l'apprentissage statistique. On peut considérer ces méthodes comme faisant partie d'une approche algébrique de l'apprentissage statistique ou bien comme une réduction de dimension avec une tonalité plus géométrique. Ces deux approches sont étroitement liées : il est plus facile d'apprendre des patterns des données dans des espaces à faible dimension que dans des espaces à grande dimension. Nous montrons comment une apparente diversité de méthodes et outils se réduit en fait pour un tableau à une seule méthode : l'Analyse en Composantes Principales, avec la SVD (Singular Value Decomposition), de telle sorte que les efforts d'optimisation des codes pour l'analyse de jeux de données massives pourraient eut se focaliser sur cette méthode centrale partagée, au bénéfice de toutes les méthodes. Une extension à l'étude de plusieurs tableaux est présentée (Analyse canonique).

Recent deep language models -- like GPT-3 and ChatGPT -- are capable to produce text that closely resembles that of humans. Such similarity raises questions about how the brain and deep models process language, the mechanisms they use, and the internal representations they construct. In this thesis, I compare the internal representations of the brain and deep language models, with the goal of identifying their similarities and differences. To this aim, I analyze functional resonance imaging (fMRI) and magnetoencephalography (MEG) recordings of participants listening to and reading sentences, and compare them to the activations of thousands of language algorithms corresponding to these same sentences.Our results first highlight high-level similarities between the internal representations of the brain and deep language models. We find that deep nets' activations significantly predict brain activity across subjects for different cohorts (>500 participants), recording modalities (MEG and fMRI), stimulus types (isolated words, sentences, and natural stories), stimulus modalities (auditory and visual presentation), languages (Dutch, English and French), and deep language models. This alignment is maximal in brain regions repeatedly associated with language, for the best-performing algorithms and for participants who best understand the stories. Critically, we evidence a similar processing hierarchy between the two systems. The first layers of the algorithms align with low-level processing regions in the brain, such as auditory areas and the temporal lobe, while the deep layers align with regions associated with higher-level processing, such fronto-parietal areas.We then show how such similarities can be leveraged to build better predictive models of brain activity and better decompose several linguistic processes in the brain, such as syntax and semantics. Finally, we explore the differences between deep language models and the brain's activations. We find that the brain predicts distant and hierarchical representations, unlike current language models that are mostly trained to make short-term and word-level predictions. Overall, modern algorithms are still far from processing language in the same way that humans do. However, the direct links between their inner workings and that of the brain provide an promising platform for better understanding both systems, and pave the way for building better algorithms inspired by the human brain.; Algorithmes et cerveau, bien que de nature extrêmement différentes, sont deux systèmes capables d'effectuer des tâches de langage complexes. En particulier, de récentes avancées en intelligence artificielle ont permis l'émergence d'algorithmes produisant des textes de qualité remarquablement similaire à ceux des humains (ChatGPT, GPT-3). De telles similarités interrogent sur la façon dont le cerveau et ces algorithmes traitent le langage, les mécanismes qu'ils utilisent et les représentations internes qu'ils construisent. Ma thèse consiste à comparer les représentations internes de ces deux systèmes, d'identifier leurs similitudes et leurs différences.Pour ce faire, nous analysons les enregistrements par imagerie fonctionnelle (fMRI) et magnéto-encéphalographie (MEG) de participants écoutant et lisant des histoires, et les comparons aux activations de milliers d'algorithmes de langage correspondant à ces mêmes histoires.Nos résultats mettent d'abord en évidence des similarités de haut niveau entre les représentations internes du cerveau et des modèles de langage. Dans une première partie, nous montrons que les activations des réseaux profonds prédisent linéairement l'activité cérébrale de sujets chez différents groupes (>500 participants), pour différentes modalités d'enregistrement (MEG et fMRI), modalités de stimulus (présentation auditive et visuelle), types de stimulus (mots isolés, phrases et histoires naturelles), langues (néerlandais et anglais) et modèles de langage. Cette correspondance est maximale dans les régions cérébrales souvent associées au langage, pour les algorithmes les plus performants et pour les participants qui comprennent le mieux les histoires. De plus, nous mettons en évidence une hiérarchie de traitement similaire entre les deux systèmes. Les premières couches des algorithmes sont alignées sur les régions de traitement de bas niveau dans le cerveau, telles que les zones auditives et le lobe temporal, tandis que les couches profondes sont alignées sur des régions associées à un traitement de plus haut niveau, notamment les zones fronto-pariétales.Nous montrons ensuite, dans une seconde partie, comment de telles similarités peuvent aider à construire de meilleurs modèles prédictifs de l'activité cérébrale, et à décomposer plus finement dans le cerveau différents processus linguistiques tels que la syntaxe et la sémantique.Enfin, dans une troisième partie, nous explorons les différences entre cerveau et algorithmes. Nous montrons que le cerveau prédit des représentations distantes et hiérarchiques, contrairement aux modèles de langage actuels qui sont principalement entraînés à faire des prédictions à court terme et au niveau du mot. Dans l'ensemble, les algorithmes modernes sont encore loin de traiter le langage de la même manière que les humains le font. Cependant, les liens directs entre leur fonctionnement interne et celui du cerveau fournissent une plateforme prometteuse pour mieux comprendre les deux systèmes, et ouvre la voie à la construction d'algorithmes plus similaires au cerveau.

A key challenge in Machine Learning (ML) is to design models able to learn efficiently from graphs, characterized by nodes with attributes and a prescribed structure encoding their relationships. Graph Representation Learning (GRL) aims to encode these two sources of heterogeneity into a vectorial graph embedding easing downstream tasks. In this field, Optimal Transport (OT) has been successful in providing meaningful comparison between graphs seen as discrete probability distributions. This thesis focuses on GRL through the lens of OT, with both concepts introduced in dedicated chapters.Modern supervised GRL mostly relies on Graph Neural Networks (GNN) which implicitly encode the graph topology via two main elements: node features embedding through message passing, and aggregation with a specialized form of pooling. We introduce in this thesis a novel point of view, which places distances to some learnable graph templates at the core of the graph representation. This distance embedding is constructed by means of an OT distance: the Fused Gromov-Wasserstein (FGW) distance, which simultaneously handles feature and structure dissimilarities by solving a soft graph-matching problem. We postulate that the vector of FGW distances to a set of template graphs, has a strong discriminative power, which is then fed to a non-linear classifier for final predictions. This distance embedding acts as a new pooling layer called TFGW, and can leverage on existing message passing techniques to promote sensible feature representations, learned in an end-to-end fashion. We empirically validate our claim on several graph classification tasks, where our method outperforms both kernels and GNN approaches in terms of expressivity and generalization abilities.Another contribution of this thesis aims at making amenable Dictionary Learning (DL) to graphs dataset analysis, a key tool for unsupervised representation learning. DL explains vector data as a linear combination of a few basic elements, accessing the quality of learned representations via dissimilarities associated with a single ambient space. Since graphs depict their own spaces, we propose the first linear approach adapted to Graph Dictionary Learning (GDL), using (F)GW as the data fitting term. In our work, graphs are modeled as convex combination of graph atoms, estimated via an online stochastic algorithm. GDL is completed by a novel upper-bound that can be used as a fast approximation of FGW in the embedding space. We empirically show the interest of our approach for graphs clustering, classification, completion and for online graph subspace estimation and tracking.Finally, the mass conservation at the core of OT, imposing a coupling between all the nodes from the two compared graphs, has specific implications in GRL. Learning structure and feature representations via FGW is considerably sensitive to the nodes relative importance induced by modeling graphs as probability distributions. Managing this extra degree of freedom, as we made possible, improves (F)GW-based models by adding minimal computational cost in TFGW but significant model complexity for GDL. Thus we propose to address the limits of mass conservation constraints in (F)GW, by introducing a novel OT-based discrepancy, called the semi-relaxed (Fused) Gromov-Wasserstein divergence (sr(F)GW). srFGW provides correspondences between two graphs, while searching for a reweighed subgraph in the target graph at a minimum (F)GW distance from the input. The latter can be estimated more efficiently than (F)GW and competes with methods dedicated to graph partitioning while being more generic. Moreover, estimating a srFGW "barycenter" induces a novel DL, where graphs are embedded as reweighed subgraphs of a single graph atom. srFGW DL competes favorably with other DL-based competitors on various unsupervised tasks, while being considerably faster to compute.; Un défi majeur de l'apprentissage machine est de concevoir des modèles capables d'apprendre efficacement à partir de graphes, constitués de noeuds dotés d'attributs et d'une structure décrivant leurs relations. L'apprentissage de représentation de graphe (ARG) vise à synthétiser ces deux sources d'hétérogénéité dans un vecteur, afin de simplifier son traitement à postériori. Dans ce domaine, le Transport Optimal (TO) fournit des comparaisons pertinentes entre graphes, vus comme des distributions discrètes de probabilité. Cette thèse se concentre sur l'ARG à travers le prisme du TO, tous deux détaillés dans des chapitres dédiés. L'ARG supervisé s'appuie essentiellement sur les réseaux de neurones graphiques (RNG), qui encodent implicitement la topologie du graphe par le raffinement des attributs nodaux via l'information issue de leur voisinage, et l'agrégation de cette information à l'échelle du graphe. Nous introduisons dans cette thèse un nouveau concept, qui considère comme représentation du graphe, des distances à certains graphes templates apprenables. A cette fin, nous exploitons la distance de Fused Gromov-Wasserstein (FGW) issue du TO, qui traite simultanément les dissimilarités entre noeuds et structures, en résolvant un problème de correspondance de noeuds entre les graphes. Ce vecteur de distances possède un fort pouvoir discriminant, qui est ensuite transmis à un classifieur gérant les prédictions finales. Ce vecteur agit telle une couche de RNG, appelée TFGW, et peut se superposer à leurs techniques de raffinement d'attributs nodaux, le tout étant appris simultanément. Nous validons empiriquement notre postulat sur de multiples tâches de classification de graphes, où TFGW surpasse les méthodes à RNG et à noyaux en termes d'expressivité et de capacité de généralisation.Le chapitre suivant étend l'apprentissage de dictionnaire (AD), un outil clé pour l'apprentissage non supervisé de représentation, à l'analyse de graphes. l'AD représente les données vectorielles par des combinaisons linéaires de quelques éléments de base, accédant à la qualité de ces dernières via des dissimilarités associées à un espace ambiant unique. Ainsi, nous proposons la première approche linéaire adaptée à l'AD de graphes (ADG), en utilisant (F)GW comme mesure de qualité. Nous modélisons les graphes tels des combinaisons convexes d'atomes de graphes, estimés grâce à un algorithme stochastique. L'ADG est complété par une nouvelle approximation, facilement calculable, de FGW dans l'espace des représentations. Nous montrons empiriquement l'intérêt de notre approche pour le clustering, la classification, la complétion de graphes, ainsi que le suivi en ligne de sous-espaces de graphes.Enfin, la conservation de la masse au cœur du TO, imposant un couplage entre tous les nœuds des deux graphes comparés, a des implications en ARG. L'apprentissage de structures et d'attributs nodaux via FGW est sensible à l'importance relative des nœuds induite par la modélisation des graphes tels des distributions de probabilité. La gestion de ces pondérations, comme nous l'avons rendu possible, améliore les modèles susmentionnés basés sur (F)GW à des coûts de calcul supplémentaires variables. Ainsi, nous modulons ce principe de conservation, via l'introduction de la divergence de (Fused) Gromov-Wasserstein semi-relachée (sr(F)GW). srFGW fournit des correspondances entre deux graphes, tout en recherchant un sous-graphe repondéré dans le graphe cible à une distance (F)GW minimale de l'entrée. Cette dernière rivalise, en autre, avec les méthodes dédiées au partitionnement de graphes tout en étant plus générique. De plus, l'estimation d'un "barycentre" de srFGW induit un nouvel AD, où les graphes sont intégrés comme des sous-graphes repondérés d'un unique atome de graphe. L'AD srFGW rivalise favorablement avec d'autres concurrents basés sur l'AD dans diverses tâches non supervisées, tout en étant considérablement plus rapide à calculer.

Diffuse Intrinsic Pontine Glioma (DIPG) is a rare brain tumour located in the pons, mainly seen in children aged 5 to 7 years. It is considered one of the most aggressive paediatric tumours, with a survival rate of less than 10% beyond two years after diagnosis and a median overall survival of less than one year. DIPG is classified as a diffuse midline glioma (DMG), mainly characterized by a K27M mutation of the genes encoding the histone H3 protein and/or a loss of H3K27 trimethylation by overexpression of the EZHIP protein. The location of the tumour and its corresponding genomic alterations makes DIPG a completely different type of tumour than other high-grade gliomas. This work proposes the integration of imaging data with genetic data in order to find biomarkers. First, we are interested in the extraction of the regions of interest of the images necessary for a radiomic study. Then, we propose a procedure for the integration of multi-source data, which takes into account the complex graphs of interaction between genes. Finally, we apply our procedure to the available data in order to compare its performance with other existing models and to study the contribution of imagery and the graph to genetic data. Radiomic analysis requires predefined regions of interest on available images. For our DIPG cohort, manual tumour segmentation was not feasible. Moreover, no database was created to train classical machine learning algorithms to automatically delineate tumor regions. This study focused on obtaining binary segmentations for DIPG using only FLAIR and T2w modalities, using models trained on glioblastomas. Our proposition combines different simple detection and segmentation models to obtain satisfactory segmentation results. In parallel, our work aims to build a multi-block integration model taking into account the intra-block correlation structure described in established complex graphs of gene-gene interactions (e.g. PathwayCommons). Moreover, our objective is to understand how the interaction graph influences the selection of variables. We propose netSGCCA, a model combining the Sparse Generalized Canonical Correlation Analysis (SGCCA) with the GraphNet penalty. We applied our model to the TGCA-LGG dataset. Unlike Elastic-Net alone, the GraphNet penalty was able to select a reasonable set of genes and gives an informative biological interpretation using biological pathway enrichment analysis. The example on the TCGA-LGG dataset shows the stability and reliability of netSGCCA for selecting variables of interest. Finally, we used netSGCCA to integrate radiomics and genetic data and applied it to the survival prediction task. Due to the unavailability of survival data on our DIPG cohort, we used the TCGA-LGG dataset to conduct the study. We compared the results obtained with netSGCCA with other multi-block survival approaches and models built in mono-blocks. The netSGCCA has proven to be a robust model capable of selecting variables already linked to the pathology studied and interacting in relevant biological pathways. The addition of imageing did not improve the predictive ability of netSGCCA. However, the baseline results show that the radiomic features extracted from the T2 modality can be strong predictors.; Le gliome infiltrant du tronc cérébral (Diffuse Intrinsic Pontine Glioma (DIPG)) est une tumeur cérébrale rare située dans le pons, principalement observé chez les enfants âgés de 5 à 7 ans. Elle est considérée comme l'une des tumeurs pédiatriques les plus agressives, avec un taux de survie inférieur à 10 % au-delà des deux ans après le diagnostic et une médiane de survie globale inférieure à un an. Le DIPG est classé comme un gliome diffus de la ligne médiane (DMG), principalement caractérisé par une mutation K27M des gènes codant pour la protéine histone H3 et/ou une perte de la triméthylation H3K27 par surexpression de la protéine EZHIP. L'emplacement de la tumeur et ses altérations génomiques correspondantes fait du DIPG un type de tumeur complètement différent des autres tumeurs de haut grade. Ce travail propose l'intégration des données d'imagerie avec les données génétiques afin de trouver des biomarqueurs. Dans un premier temps, nous nous intéressons à l'extraction des régions d'intérêt des images nécessaires pour une étude radiomique. Ensuite, nous proposons une procédure d'intégration des données multi-sources, qui prend en compte les graphes complexes d'interaction entre les gènes. Finalement, nous appliquons notre procédure sur les données disponibles afin de comparer ses performances avec d'autres modèles de la littérature et étudier l'apport de l'imagerie et du graphe aux données génétiques. L'analyse radiomique nécessite des régions d'intérêt prédéfinies sur les images disponibles. Pour notre cohorte DIPG, la segmentation manuelle de la tumeur n'était pas disponible car elle ne fait pas partie de la routine clinique. De plus, aucune base de données spécifique n'a été créée pour entraîner des algorithmes d'apprentissage automatique classiques afin de délimiter automatiquement les régions tumorales. Cette étude s'est concentrée sur l'obtention de segmentations binaires pour le DIPG en utilisant uniquement les modalités FLAIR et T2w, à partir de modèles entraînés sur le glioblastome. Nous proposons de combiner différents modèles simples de détection et de segmentation pour obtenir des résultats de segmentation satisfaisants. En parallèle, un modèle d'intégration multi-blocs prenant en compte des graphes complexes connus d'interactions entre les gènes a été développé et l'influence du graphe choisi sur la sélection des variables par le modèle a été étudiée. Nous proposons netSGCCA, un modèle combinant la Sparse Generalized Canonical Correlation Analysis (SGCCA) et la pénalité GraphNet. Nous avons appliqué notre modèle à l'ensemble de données multi-omiques TGCA-LGG (The Cancer Genome Atlas - Low Grade Glioma). Contrairement à Elastic-Net seul, la pénalité GraphNet est capable de sélectionner un ensemble raisonnable de gènes tout en offrant une interprétation biologique au niveau des voies biologiques et donc informative sur de potentielles cibles thérapeutiques. L'exemple sur l'ensemble de données TCGA-LGG montre la stabilité et la fiabilité de netSGCCA pour la sélection des variables d'intérêt.Enfin, nous avons utilisé netSGCCA pour intégrer la radiomique et les données génétiques et l'avons appliqué à la tâche de prédiction de la survie. En raison de l'indisponibilité des données de survie sur notre cohorte DIPG, nous avons utilisé l'ensemble de données TCGA-LGG pour mener l'étude. Nous avons comparé netSGCCA avec d'autres approches de survie multi-blocs et des modèles construits en mono-blocs. La netSGCCA s'est révélée être un modèle robuste capable de sélectionner des gènes connus dans le gliome de bas-grade et d'autres interagissants dans des voies biologiques pertinentes. Le bloc radiomique n'a pas fourni d'information supplémentaire au modèle. Cependant, les caractéristiques radiomiques extraites de la modalité T2, en mono-bloc sont des prédicteurs performants, ce qui représenterait un espoir pour les patients avec DIPG qui n'ont pas de biopsie.

In many scenarios, the interpretability of machine learning models is a highly required but difficult task. To explain the individual predictions of such models, local model-agnostic approaches have been proposed. However, the process generating the explanations can be, for a user, as mysterious as the prediction to be explained. Furthermore, interpretability methods frequently lack theoretical guarantees, and their behavior on simple models is frequently unknown. While it is difficult, if not impossible, to ensure that an explainer behaves as expected on a cutting-edge model, we can at least ensure that everything works on simple, already interpretable models. In this paper, we present a theoretical analysis of Anchors (Ribeiro et al., 2018): a popular rule-based interpretability method that highlights a small set of words to explain a text classifier's decision. After formalizing its algorithm and providing useful insights, we demonstrate mathematically that Anchors produces meaningful results when used with linear text classifiers on top of a TF-IDF vectorization. We believe that our analysis framework can aid in the development of new explainability methods based on solid theoretical foundations., arXiv admin note: substantial text overlap with arXiv:2205.13789

Les remarquables performances des réseaux de neurones profonds dans de nombreux domaines de l'apprentissage automatique au cours de la dernière décennie soulèvent un certain nombre de questions théoriques. Par exemple, quels mecanismes permettent à ces reseaux, qui ont largement la capacité de mémoriser entièrement les exemples d'entrainement, de généraliser correctement à de nouvelles données, même en l'absence de régularisation explicite ? De telles questions ont fait l'objet d'intenses efforts de recherche ces dernières années, combinant analyses de systèmes simplifiés et études empiriques de propriétés qui semblent être corrélées à la performance de généralisation. Les deux premiers articles présentés dans cette thèse contribuent à cette ligne de recherche. Leur but est de mettre en évidence et d'etudier des mécanismes de biais implicites permettant à de larges modèles de prioriser l'apprentissage de fonctions "simples" et d'adapter leur capacité à la complexité du problème. Le troisième article aborde le problème de l'estimation de information mutuelle en haute, en mettant à profit l'expressivité et la scalabilité des reseaux de neurones profonds. Il introduit et étudie une nouvelle classe d'estimateurs, dont il présente plusieurs applications en apprentissage non supervisé, notamment à l'amélioration des modèles neuronaux génératifs., The striking empirical success of deep neural networks in machine learning raises a number of theoretical puzzles. For example, why can they generalize to unseen data despite their capacity to fully memorize the training examples? Such puzzles have been the subject of intense research efforts in the past few years, which combine rigorous analysis of simplified systems with empirical studies of phenomenological properties shown to correlate with generalization. The first two articles presented in these thesis contribute to this line of work. They highlight and discuss mechanisms that allow large models to prioritize learning `simple' functions during training and to adapt their capacity to the complexity of the problem. The third article of this thesis addresses the long standing problem of estimating mutual information in high dimension, by leveraging the scalability of neural networks. It introduces and studies a new class of estimators and present several applications in unsupervised learning, especially on enhancing generative models.

The emergence of complex XVA frameworks and time-consuming pricing models has encouraged researchers and finance practitioners to look at statistical learning methods to accelerate their calculations. The present thesis aims to contribute new approaches based on neural networks. First, wepropose a consistent XVA framework along with a practical implementation using neural networks least-squares and quantile/expected shortfall regressions and GPU computing. Our implementation avoids Nested Monte Carlo simulations and does not need the usual approximations used by practitioners. Then, we address the issue of learning conditional expectations or risk measures in the presence of default events in a general framework. For this, wepropose a new simulation scheme and provide a statistical convergence analysis and numerical experiments demonstrating its effectiveness.We also study the statistical convergence of a two-step quantile and expected shortfall learning approach and provide learning schemes based on neural networks for the single and multiple quantile learning cases. We address the quantile crossing issue as well. Motivated by the fact that the fungibility of the risk capital with variation margin in XVA calculations gives rise to anticipated backwardstochastic differential equations, we devise an explicit learning scheme for such equations. Finally, we provide a projection approach to approximate the price of vanilla options in the context of model calibration to accelerate the latter. Our method, based on complex-step differentiation, augmentsthe learning by seeking to project stochasticdirectional derivatives.; L'émergence de cadres XVA complexes et de modèles d'évaluation coûteux en temps de calcul a encouragé les chercheurs et les praticiens de la finance à se pencher sur les méthodes d'apprentissage statistique pour accélérer leurs calculs. Cette thèse vise à proposer de nouvelles approches basées sur les réseaux de neurones. Tout d'abord, nous proposons un cadre XVA cohérent et une implémentation pratique utilisant des régressions par moindres carrés et des régressions quantiles/expected shortfall avec des réseaux de neurones et le calcul sur GPU. Notre implémentation évite les simulations Nested Monte Carlo et n'a pas besoin des approximations habituelles utilisées par les praticiens. Ensuite, nous abordons la question de l'apprentissage des espérances ou des mesures de risque conditionnelles en présence d'événements de défaut dans un cadre général. Nous proposons pour cela un nouveau schéma de simulation et fournissons une analyse de convergence statistique et des expériences numériques démontrant son efficacité. Nous étudions également la convergence statistique d'une approche d'apprentissage de quantile et expected shortfall en deux étapes et nous proposons des schémas d'apprentissage basés sur des réseaux de neurones pour les cas à un et plusieurs quantiles. Nous abordons aussi la question du croisement des quantiles. Motivés par le fait que la fongibilité du capital à risque avec la marge de variation dans les calculs XVA donne lieu à des équations différentielles stochastiques rétrogrades anticipées, nous proposons un schéma d'apprentissage explicite pour de telles équations. Enfin, nous proposons une approche de projection pour approximer le prix des options vanilles dans un contexte de calibration de modèles pour accélérer cette dernière. Notre méthode, basée sur la différenciation à pas complexe, enrichit l'apprentissage en cherchant à projeter des dérivées directionnelles stochastiques.

In this thesis at the boundary between statistical learning, optimization and modelling, we study different non-parametric models for functions based on reproducing kernel Hilbert spaces. We first study the expected risk minimization problem through the solving of the regularized empirical risk minimization problem on a reproducing kernel Hilbert space. We extend the precise bias-variance trade offs known for least squares regression to a broader class of functions by controlling the evolution of their Hessians. This class of functions, called generalized self-concordant functions, includes the logistic loss, which is widely used for classification. We also extend the fast rates and fast algorithms known for least squares to this class of functions, characterizing the difficulty of a problem through interpretable quantities. We then introduce a model for non-negative functions, which is linearly parametrized by a symmetric operator and which enforces non-negativity through a positive semidefinite constraint on this operator. We study the properties of this model and show that it has good approximation properties, preserves the convexity of machine learning loss functions, and is integrable in closed form in certain cases. In particular, this last property allows us to use this model to approximate probability densities, and we develop a sampling algorithm based on these models to sample from an arbitrary probability density known via function evaluations. Finally, we apply this model for non-negative functions in order to approximate the global minimum of a function with certain regularity properties. In the same spirit as moment-SOS hierarchies for polynomial optimization, we look for the global minimum as the maximum lower bound of the function, and refine our approximation guarantees from the previous paragraph in order to obtain a near optimal algorithm to solve global optimization given a fixed number of function evaluations. We also pave the way to generalize this approach to functions defined on manifolds, by introducing a second order sufficient condition for a non-negative regular function to be decomposable as sums of squares of regular functions.; Cette thèse se situe à l'interaction entre les domaines de l'apprentissage statistique, de l'optimisation, et de la modélisation. Nous étudions différents modèles de fonctions, fondés sur les espaces de Hilbert à noyau reproduisant. Nous commençons par étudier les propriétés statistiques et algorithmiques de l'estimateur de minimisation du risque empirique régularisé, dans le cadre de la minimisation du risque (en espérance) sur des espaces à noyau reproduisant. Nous généralisons la décomposition biais-variance très précise bien connue dans le cadre de la régression linéaire à une plus grande classe de fonctions en contrôlant précisément l'évolution locale de leurs Hessiennes. Cette classe de fonctions appelées fonctions auto-concordante généralisées contient la perte logistique, qui est très utilisée en classification. Nous étendons également les taux de convergence rapides ainsi que les algorithmes rapides établis dans le cadre de la régression linéaire à cette classe de fonctions, caractérisant au passage la difficulté du problème statistique sous-jacent à l'aide de deux quantités caractérisant la régularité de la solution, ainsi que celle de l'espace à noyau reproduisant utilisé. Dans un deuxième temps, nous introduisons un modèle pour les fonctions positives, qui est linéairement paramétré par un opérateur symétrique sur un espace à noyau reproduisant, et où la contrainte de positivité est garantie au moyen d'une contrainte de positivité semi-définie sur cet opérateur. Nous étudions les propriétés de ce modèle, et montrons qu'il a de bonnes propriétés d'approximation, qu'il préserve la convexité des fonctions de perte standard en apprentissage statistique, et qu'il est intégrable et différentiable en forme close lorsqu'il est défini avec des noyaux particuliers. En outre, cette dernière propriété nous permet d'utiliser ce modèle pour estimer des densités de probabilité, et nous développons un algorithme d'échantillonnage d'une densité de probabilité quelconque, accessible à partir de ses valeurs en certains points. Enfin, nous appliquons ce modèle de fonctions positives afin d'approcher le minimum global d'une fonction régulière. Dans le même esprit que les hiérarchies de Lasserre pour l'optimisation polynomiale, nous cherchons le minimum global d'une fonction comme sa plus grande borne inférieure, et affinons les garanties d'approximation du paragraphe précédent afin d'obtenir un algorithme quasi-optimal pour trouver le minimum global d'une fonction \`a partir de ses valeurs en un nombre donné de points. Nous établissons également des résultats théoriques permettant de généraliser cette approche à des fonctions définies sur des variétés.

Applied mathematics and machine computations have raised a lot of hope since the recent success of supervised learning. Many practitioners in industries have been trying to switch from their old paradigms to machine learning. Interestingly, those data scientists spend more time scrapping, annotating and cleaning data than fine-tuning models. This thesis is motivated by the following question: can we derive a more generic framework than the one of supervised learning in order to learn from clutter data? This question is approached through the lens of weakly supervised learning, assuming that the bottleneck of data collection lies in annotation. We model weak supervision as giving, rather than a unique target, a set of target candidates. We argue that one should look for an “optimistic” function that matches most of the observations. This allows us to derive a principle to disambiguate partial labels. We also discuss the advantage to incorporate unsupervised learning techniques into our framework, in particular manifold regularization approached through diffusion techniques, for which we derived a new algorithm that scales better with input dimension then the baseline method. Finally, we switch from passive to active weakly supervised learning, introducing the “active labeling” framework, in which a practitioner can query weak information about chosen data. Among others, we leverage the fact that one does not need full information to access stochastic gradients and perform stochastic gradient descent.; Les mathématiques appliquées et le calcul nourrissent beaucoup d’espoirs à la suite des succès récents de l’apprentissage supervisé. Dans l’industrie, beaucoup d’ingénieurs cherchent à remplacer leurs anciens paradigmes de pensée par l’apprentissage machine. Étonnamment, ces ingénieurs passent plus de temps à collecter, annoter et nettoyer des données qu’à raffiner des modèles. Ce phénomène motive la problématique de cette thèse: peut-on définir un cadre théorique plus général que l’apprentissage supervisé pour apprendre grâce à des données hétérogènes? Cette question est abordée via le concept de supervision faible, faisant l’hypothèse que le problème que posent les données est leur annotation. On modélise la supervision faible comme l’accès, pour une entrée donnée, non pas d’une sortie claire, mais d’un ensemble de sorties potentielles. On plaide pour l’adoption d’une perspective « optimiste » et l’apprentissage d’une fonction qui vérifie la plupart des observations. Cette perspective nous permet de définir un principe pour lever l’ambiguïté des informations faibles. On discute également de l’importance d’incorporer des techniques sans supervision d’appréhension des données d’entrée dans notre théorie, en particulier de compréhension de la variété sous-jacente via des techniques de diffusion, pour lesquelles on propose un algorithme réaliste afin d’éviter le fléau de la dimension, à l’inverse de ce qui existait jusqu’alors. Enfin, nous nous attaquons à la question de collecte active d’informations faibles, définissant le problème de « catalogage en ligne », où un intendant doit acquérir une maximum d’informations fiables sur ses données sous une contrainte de budget. Entre autres, nous tirons parti du fait que pour obtenir un gradient stochastique et effectuer une descente de gradient, il n’y a pas besoin de supervision totale.

This thesis focuses on two topics, namely statistical learning and the prediction of key performance indicators in the performance evaluation of a storage engine. The part on statistical learning presents a novel algorithm adjusting the sampling size for the Monte Carlo approximation of the function to be minimized, allowing a reduction of the true function at a given probability and this, at a lower numerical cost. The sampling strategy is embedded in a trust-region algorithm, using the Fisher Information matrix, also called BHHH approximation, to approximate the Hessian matrix. The sampling strategy is tested on a logit model generated from synthetic data. Numerical results exhibit a significant reduction in the time required to optimize the model when an adequate smoothing is applied to the function. The key performance indicator prediction part describes a novel strategy to select better settings for RocksDB that optimize its throughput, using the log files to analyze and identify suboptimal parameters, opening the possibility to greatly accelerate modern storage engine tuning., Ce mémoire s’intéresse à deux sujets, un relié à l’apprentisage statistique et le second à la prédiction d’indicateurs de performance dans un système de stockage de type clé-valeur. La partie sur l’apprentissage statistique développe un algorithme ajustant la taille d’échantillonnage pour l’approximation Monte Carlo de la fonction à minimiser, permettant une réduction de la véritable fonction avec une probabilité donnée, et ce à un coût numérique moindre. La stratégie d’échantillonnage est développée dans un contexte de région de confiance en utilisant la matrice d’information de Fisher, aussi appelée approximation BHHH de la matrice hessienne. La stratégie d’échantillonnage est testée sur un modèle logit généré à partir de données synthétiques suivant le même modèle. Les résultats numériques montrent une réduction siginificative du temps requis pour optimiser le modèle lorsqu’un lissage adéquat est appliqué. La partie de prédiction d’indicateurs de performance décrit une nouvelle approche pour optimiser la vitesse maximale d’insertion de paire clé-valeur dans le système de stockage RocksDB. Les fichiers journaux sont utilisés pour identifier les paramètres sous-optimaux du système et accélérer la recherche de paramètres optimaux.

Mathematical modeling of biological processes aims at providing formal repre-sentations of complex systems to enable their study, both in a qualitative and quan-titative fashion. The need for explainability suggests the recourse to mechanisticmodels, which explicitly describe molecular interactions. Nevertheless, such mod-els currently rely on the existence of prior knowledge on the underlying reactionnetwork structure. Moreover, their conception remains an art which necessitatescreativity combined to multiple interactions with analysis and data fitting tools.This rules out numerous applications conceivable in personalized medicine, andcalls for methodological advances towards machine learning of patient-tailoredmodels. This thesis intends to devise algorithms to learn models of dynamicalinteractions from temporal data, with an emphasis on explainability for the humanmodeler. Its applications are in the context of personalized chronotherapies, thatconsist in optimizing drug administration with respect to the patient’s biologicalrhythms over the 24-hour span. Three main themes are explored: mechanisticmodeling, network inference and treatment personalization. The first chapter de-scribes the development of the first quantitative mechanistic model of the cellularcircadian clock integrating transcriptomic, proteomic and sub-cellular localizationdata. This model has been successfully connected to a model of cellular pharmacol-ogy of an anticancerous drug, irinotecan, achieving personalization of its optimaladministration timing. The second chapter introduces a novel protocol for inferringwhole-body systemic controls enforced on peripheral clocks. On the long run, thisapproach will make it possible to integrate individual data collected from wearablesfor personalized chronotherapies. The third chapter presents a general algorithmto infer reactions with chemical kinetics from time series data.; La modélisation mathématique des processus biologiques vise à fournir desreprésentations formelles de systèmes complexes afin d’en permettre des étudesqualitative et quantitative. Le besoin d’explicabilité suggère le recours à des mod-èles mécanistes qui décrivent explicitement les interactions moléculaires. Cepen-dant, l’utilisation de ces derniers est conditionnée à l’existence de connaissances apriori sur la structure du réseau de réactions sous-jacent. En outre, leur conceptiondemeure un art qui nécessite créativité et de multiples interactions avec les outilsd’analyse et de calibration aux données expérimentales. Cela écarte de nombreusesapplications imaginables en médecine de précision personnalisée, et appelle àdes développements méthodologiques pour l’automatisation de l’apprentissagede modèles adaptés aux données du patient. Cette thèse participe d’un effort deconception d’algorithmes d’apprentissage de modèles d’interactions dynamiquesà partir de données temporelles, avec le souci de l’explicabilité à un modélisateurhumain. Elle a pour champ d’application la chronothérapie personnalisée qui viseà administrer les médicaments aux horaires optimaux en fonction des rythmesbiologiques du patient sur 24h. Ainsi, trois grands thèmes sont abordés : modélisa-tion mécaniste, inférence de réseaux et personnalisation des traitements. Le premierchapitre décrit le développement du premier modèle mécaniste de l’horloge circadi-enne cellulaire complètement quantitatif, intégrant des données de transcriptome,proteome et localisation sub-cellulaire. Ce modèle a été connecté avec succès à unmodèle de la pharmacologie cellulaire d’un anticancéreux, l’irinotecan, afin d’enpersonnaliser l’horaire optimal d’administration. Le deuxième chapitre présenteun protocole original d’inférence des contrôles systémiques qu’exerce le corps en-tier sur les horloges des tissus périphériques. Cette approche permettra, à terme,d’intégrer des données individuelles issues d’objets connectés pour la personnali-sation des chronothérapies. Le troisième chapitre présente un algorithme générald’inférence de réactions avec cinétiques chimiques à partir de séries temporelles.

This dissertation presents a class of representations of spatial point processes. Inspired from the success of wavelet methods in signal processing, these descriptors rely on the convolution of a point process with a family of wavelet filters. From these convolutions are built sets of statistical descriptors of stationary point process, by applying non-linear operators, followed by a spatial averaging. Much like classical summary characteristics for point processes, these statistics are designed to extract information about the process with a relatively small number of numerical values, by describing its geometry. Their goal is to describe whether the atoms of the process tend to repel each other, or cluster together, and by doing so, form possibly complex geometric shapes. By construction, these descriptors enjoy several properties that make them suitable for statistical analysis and learning tasks. To illustrate the quality of these representations as statistical descriptors, we study several problems involving statistical analysis of point processes. In a first experiment, we seek to estimate an unknown function that takes as input a point pattern, and returns a marked version of this pattern, where a numerical value is associated to each atom of the pattern. We use a wavelet-based representation of point patterns to estimate the relation between their non-marked and marked version. We then study, in a second experiment, the ability of such representations to model the distribution of a point process, by defining a maximum entropy model defined by a set of wavelet-based statistics, computed on a single observation. For these two problems, we observe that our representations lead to better performance than summary statistics commonly used in the literature on point processes. Finally, to study to what extent such representations can capture geometric structures of texture images, we define a maximum entropy model relying on similar wavelet statistics, yielding syntheses of similar visual quality to state-of-the-art models based on deep convolutional neural networks representations., Cette dissertation présente une classe de représentations de processus ponctuels. Inspirés par le succès des méthodes d’ondelettes en traitement du signal, ces descripteurs sont basés sur la convolution d’un processus ponctuel avec un famille d’ondelettes. À partir de ces convolutions sont construits des ensembles de descripteurs statistiques de processus ponctuels stationnaires, en appliquant des opérateurs non linéaires, suivis d’un moyennage spatial. Tout comme les caractéristiques classiques pour les processus ponctuels, ces statistiques sont conçues pour extraire les informations contenues dans le processus en un nombre relativement faible de valeurs numériques, en décrivant sa géométrie. Leur but est de décrire la façon dont les atomes du processus ont tendance à se repousser, ou bien se regrouper, et de la sorte former des formes géométriques complexes. De par leur construction, ces descripteurs bénéficient de plusieurs propriétés qui les rendent adaptés à des tâches d’apprentissage et d’analyse statistique. Afin d’illustrer la qualité de ces représentations en tant que descripteurs statistiques, nous étudions plusieurs problèmes impliquant l’analyse statistique de processus ponctuels. Dans un première expérience, nous cherchons à estimer une fonction inconnue qui prend en argument une configuration de points, et renvoie une version marquée de cette configuration, c’est-à-dire pour laquelle une valeur numérique est associée à chaque atome de la configuration. Nous utilisons une représentation en ondelettes de ces configurations pour estimer la relation entre leur versions non marquées et marquées. Dans un second temps, nous étudions la capacité de ces descripteurs à modéliser certaines distributions de processus ponctuels, en définissant un modèle de maximum d’entropie défini par des statistiques d’ondelettes, calculées sur une unique observation. Pour ces deux problèmes, nous observons que les représentations que l’on propose amènent de meilleures performances que les statistiques classiques couramment utilisées dans la littérature sur les processus ponctuels. Enfin, pour étudier à quel point de telles représentations peuvent capturer les structures géométriques présentes dans les textures, nous définissons un model de maximum d’entropie qui s’appuie sur des statistiques d’ondelettes similaires, produisant des synthèses de qualité comparable à celles de l’état de l’art, dont les modèles sont basés sur des representations à partir de réseaux convolutionels profonds.

The wide adoption of Electronic Health Records in hospitals’ information systems has led to the definition of large databases grouping various types of data such as textual notes, longitudinal medical events, and tabular patient information. However, the records are only filled during consultations or hospital stays that depend on the patient’s state, and local habits. A system that can leverage the different types of data collected at different time scales is critical for reconstructing the patient’s health trajectory, analyzing his history, and consequently delivering more adapted care.This thesis work addresses two main challenges of medical data processing: learning to represent the sequence of medical observations with irregular elapsed time between consecutive visits and optimizing the extraction of medical events from clinical notes. Our main goal is to design a multimodal representation of the patient’s health trajectory to solve clinical prediction problems. Our first work built a framework for modeling irregular medical time series to evaluate the importance of considering the time gaps between medical episodes when representing a patient’s health trajectory. To that end, we conducted a comparative study of sequential neural networks and irregular time representation techniques. The clinical objective was to predict retinopathy complications for type 1 diabetes patients in the French database CaRéDIAB (Champagne Ardenne Réseau Diabetes) using their history of HbA1c measurements. The study results showed that the attention-based model combined with the soft one-hot representation of time gaps led to AUROC score of 88.65% (specificity of 85.56%, sensitivity of 83.33%), an improvement of 4.3% when compared to the LSTM-based model. Motivated by these results, we extended our framework to shorter multivariate time series and predicted in-hospital mortality for critical care patients of the MIMIC-III dataset. The proposed architecture, HiTT, improved the AUC score by 5% over the Transformer baseline. In the second step, we focused on extracting relevant medical information from clinical notes to enrich the patient’s health trajectories. Particularly, Transformer-based architectures showed encouraging results in medical information extraction tasks. However, these complex models require a large, annotated corpus. This requirement is hard to achieve in the medical field as it necessitates access to private patient data and high expert annotators. To reduce annotation cost, we explored active learning strategies that have been shown to be effective in tasks such as text classification, information extraction, and speech recognition. In addition to existing methods, we defined a Hybrid Weighted Uncertainty Sampling active learning strategy that takes advantage of the contextual embeddings learned by the Transformer-based approach to measuring the representativeness of samples. A simulated study using the i2b2-2010 challenge dataset showed that our proposed metric reduces the annotation cost by 70% to achieve the same score as passive learning. Lastly, we combined multivariate medical time series and medical concepts extracted from clinical notes of the MIMIC-III database to train a multimodal transformer-based architecture. The test results of the in-hospital mortality task showed an improvement of 5.3% when considering additional text data. This thesis contributes to patient health trajectory representation by alleviating the burden of episodic medical records and the manual annotation of free-text notes., L'adoption des dossiers médicaux électroniques dans les systèmes d'information des hôpitaux a conduit à la définition de bases de données regroupant divers types de données telles que des notes cliniques textuelles, des événements médicaux longitudinaux et des informations statiques sur les patients. Toutefois, les données ne sont renseignées que lors des consultations médicales ou des séjours hospitaliers. La fréquence de ces visites varie selon l’état de santé du patient. Ainsi, un système capable d'exploiter les différents types de données collectées à différentes échelles de temps est essentiel pour reconstruire la trajectoire de soin du patient, analyser son historique et délivrer des soins adaptés. Ce travail de thèse aborde deux défis principaux du traitement des données médicales : Représenter la séquence des observations médicales à échantillonnage irrégulier et optimiser l'extraction des événements médicaux à partir des textes de notes cliniques. Notre objectif principal est de concevoir une représentation multimodale de la trajectoire de soin du patient afin de résoudre les problèmes de prédiction clinique. Notre premier travail porte sur la modélisation des séries temporelles médicales irrégulières afin d'évaluer l'importance de considérer les écarts de temps entre les visites médicales dans la représentation de la trajectoire de soin d'un patient donné. À cette fin, nous avons mené une étude comparative entre les réseaux de neurones récurrents, les modèles basés sur l’architecture « Transformer » et les techniques de représentation du temps. De plus, l'objectif clinique était de prédire les complications de la rétinopathie chez les patients diabétiques de type 1 de la base de données française CaRéDIAB (Champagne Ardenne Réseau Diabète) en utilisant leur historique de mesures HbA1c. Les résultats de l'étude ont montré que le modèle « Transformer », combiné à la représentation `Soft-One-Hot` des écarts temporels a conduit à un score AUC de 88,65% (spécificité de 85,56%, sensibilité de 83,33%), soit une amélioration de 4,3% par rapport au modèle « LSTM ». Motivés par ces résultats, nous avons étendu notre étude à des séries temporelles multivariées plus courtes et avons prédit le risque de mortalité à l'hôpital pour les patients présents dans la base de données MIMIC-III. L'architecture proposée, HiTT, a amélioré le score AUC de 5 % par rapport à l’architecture « Transformer ». Dans la deuxième étape, nous nous sommes intéressés à l'extraction d'informations médicales à partir des comptes rendus médicaux afin d'enrichir la trajectoire de soin du patient. En particulier, les réseaux de neurones basés sur le module « Transformer » ont montré des résultats encourageants dans d'extraction d'informations médicales. Cependant, ces modèles complexes nécessitent souvent un grand corpus annoté. Cette exigence est difficile à atteindre dans le domaine médical car elle nécessite l'accès à des données privées de patients et des annotateurs experts. Pour réduire les coûts d'annotation, nous avons exploré les stratégies d'apprentissage actif qui se sont avérées efficaces dans de nombreuses tâches, notamment la classification de textes, l’analyse d’image et la reconnaissance vocale. En plus des méthodes existantes, nous avons défini une stratégie d'apprentissage actif, Hybrid Weighted Uncertainty Sampling, qui utilise la représentation cachée du texte donnée par le modèle pour mesurer la représentativité des échantillons. Une simulation utilisant les données du challenge i2b2-2010 a montré que la métrique proposée réduit le coût d'annotation de 70% pour atteindre le même score de performance que l'apprentissage passif. Enfin, nous avons combiné des séries temporelles médicales multivariées et des concepts médicaux extraits des notes cliniques de la base de données MIMIC-III pour entraîner une architecture multimodale. Les résultats du test ont montré une amélioration de 5,3% en considérant les informations textuelles.

In the context of increasing costs of insured damages due to climatic events, at a level already high, insurers have to contribute to the improvement of natural risk knowledge and reduction. In this thesis, we present applications of statistical learning methods for the evaluation of the cost of insured damages due to natural hazards in France.In the first place, we will begin with a study of the damage distribution at the scale of the building. For this purpose, we analyze the textual data of the expert's reports. Then, we will present work on the estimation of the cost of drought in France. Finally, we propose a method for estimating the cost of flood events, quickly after their occurrence. We will introduce a method combining regression trees and extreme value theory. We will add an application of credibility theory to this estimation., Dans un contexte d'augmentation du coût des dommages assurés lié aux événements climatiques, d'un niveau déjà élevé, les assureurs ont vocation à participer à l'amélioration de la connaissance et de la prévention. Dans cette thèse, nous présentons des applications de méthodes d'apprentissage statistique pour l'évaluation de la nature et du coût des dommages assurés dû aux risques naturels en France. Nous commençons par étudier la sinistralité à l'échelle fine du bâti. Pour cela, nous analysons les données textuelles des rapports d'expertise. Ensuite, nous présentons des travaux portant sur l'estimation du coût de la sécheresse en France. Enfin, nous proposons une méthode estimation du coût des événements inondations, rapidement après leurs occurrences. Nous introduisons une méthode combinant des arbres de régression et la théorie des valeurs extrêmes. Nous ajoutons une application de la théorie de la crédibilité pour compléter cette estimation.

Variability is the blessing and the curse of today software development. On one hand, it allows for fast and cheap development, while offering efficient customization to precisely meet the needs of a user. On the other hand, the increase in complexity of the systems due to the sheer amount of possible configurations makes it hard or even impossible for users to correctly utilize them, for developers to properly test them, or for experts to precisely grasp their functioning.Machine Learning is a research domain that grew in accessibility and variety of usages over the last decades. It attracted interest from researchers from the Software Engineering domain for its ability to handle the complexity of Software Product Lines on problems they were tackling such as performance prediction or optimization. However, all studies presenting learning-based solutions in the SPL domain failed to explore the scalability of their techniques on systems with colossal configuration space (>1000 options).In this thesis, we focus on the Linux Kernel. With more than 15.000 options, it is very representative of the complexity of systems with colossal configuration spaces. We first apply various learning techniques to predict the kernel binary size, and report that most of the techniques fail to produce accurate results. In particular, performance-influence model, a learning technique tailored for SPL problem, does not even work on such large dataset. Among the tested techniques, only Tree-based algorithms and Neural Networks are able to produce an accurate model in an acceptable time.To mitigate the problems created by colossal configuration spaces on learning techniques, we propose a feature selection technique leveraging Random Forest, enhanced toward better stability. We show that by using the feature selection, the training time can be greatly reduced, and the accuracy can be improved. This Tree-based feature selection technique is also completely automated and does not rely on prior knowledge on the system.Performance specialization is a technique that constrains the configuration space of a software system to meet a given performance criterion. It is possible to automate the specialization process by leveraging Decision Trees. While only Decision Tree Classifier has been used for this task, we explore the usage of Decision Tree Regressor, as well as a novel hybrid approach. We test and compare the different approaches on a wide range of systems, as well as on Linux to ensure the scalability on colossal configuration spaces. In most cases, including Linux, we report at least 90\% accuracy, and each approach having their own particular strength compared to the others. At last, we also leverage the Tree-based feature selection, whose most notorious effect is the reduction of the training time of Decision Trees on Linux, downing from one minute to a second or less.The last contribution explores the sustainability of a performance model across versions of a configurable system. We reused the model trained on the 4.13 version of Linux from our first contribution, and measured its accuracy on six later versions up to 5.8, spanning over three years. We show that a model is quickly outdated and unusable as is. To preserve the accuracy of the model over versions, we use transfer learning with the help of Tree-based algorithms to maintain it at a reduced cost. We tackle the problem of heterogeneity of the configuration space, that is evolving with each version. We show that the transfer approach allows for an acceptable accuracy at low cost, and vastly outperforms a learning from scratch approach using the same budget.Overall, this thesis focuses on the problems of systems with colossal configuration spaces such as Linux, and show that Tree-based algorithms are a valid solution, versatile enough to answer a wide range of problem, and accurate enough to be considered.; Presque tous les systèmes logiciels d'aujourd'hui sont configurables. A l'aide d'options, il est possible de modifier le comportement de ces systèmes, d'ajouter ou d'enlever certaines capacités pour améliorer leurs performances ou les adapter à différentes situations. Chacune de ces options est liée à certains parties de code, et s'assurer du bon fonctionnement de ces parties entre elles, ou de les empêcher d'être utilisées ensemble, est un des défis durant le développement et l'utilisation de ces logiciels, connus sous le nom de Lignes de Produits Logiciel (ou SPL pour Software Product Lines). Si cela peut sembler relativement simple avec quelques options, certains logiciels assemblent des milliers d'options réparties sur des millions de lignes de code, ce qui rend la tâche autrement plus complexe.Durant la dernière décennie, les chercheurs ont commencé a utiliser des techniques d'apprentissage automatique afin de répondre aux problématiques des Lignes de Produits Logiciels. Un des problèmes clés est la prédiction des différentes propriétés de ces logiciels, comme la vitesse d'exécution d'une tâche, qui peut fortement varier selon la configuration du logiciel utilisé. Mesurer les propriétés pour chaque configuration peut être coûteux et complexe, voire impossible dans les cas les plus extrêmes. La création d'un modèle permttant de prédire les propriétés du logiciel, en s'aidant des mesures sur seulement d'une faible partie des configurations possible est une tâche dans laquelle l'apprentissage automatique excelle. Différentes solutions ont été developées, mais elles n'ont été validées que dans des cas où le nombre d'options est assez faible. Or, une part importante des SPL sont dotés de plusieurs centaines voire plusieurs milliers d'options. Sans tester les solutions d'apprentissage automatique sur des logiciels avec autant d'options, il est impossible de savoir si ces solutions sont adaptées pour de tels cas.La première contribution de cette thèse est l'application d'algorithmes d'apprentissage automatique sur une ligne de produits logiciels à une échelle jamais atteinte auparavant. Le noyau Linux, avec ses 15.000 options, dépasse complètement toutes les études de cas sur les Lignes de Produits Logiciels présentes dans la littérature, qui n'ont utilisé que des cas d'au mieux 60 options. En évaluant la précision de plusieurs algorithmes de l'état de l'art pour prédire la taille binaire du noyau Linux, nous avons pu déterminer les limites de certaines techniques. Sans surprise, les algorithmes linéaires donnent de mauvais résultats en termes de précision, car ils ne peuvent pas appréhender la complexité causée par les interactions entre les options. Le modèle de performance-influence, bien que développé spécifiquement pour les SPL, ne peut pas gérer autant d'options malgré les mesures prises pour réduire l'explosion combinatoire. En fin de compte, nous avons constaté que les algorithmes basés sur les arbres, ainsi que les réseaux de neurones, étaient capables de fournir un modèle assez précis avec des ressources raisonnables en termes de temps et de mémoire.La deuxième contribution est la Feature Ranking List, une liste des options classées par importance envers leur impact sur une propriété cible d'un logiciel, générée par une amélioration de la sélection des caractéristiques basée sur les arbres de décisions. Nous avons évalué ses effets sur les modèles de prédiction de la taille des binaires du noyau Linux dans les mêmes conditions que pour la première contribution. L'effet souhaité et le plus connu de la sélection de caractéristiques en général est une accélération majeure du temps d'apprentissage, le divisant par 5 pour les Gradient Boosting Trees et de 20 pour les Random Forests. De manière plus inattendue, nous constatons également une amélioration notable de la précision pour la plupart des algorithmes précédemment considérés. La Feature Ranking List est lisible par l'homme, et lorsqu'elle a été présentée à des experts, elle a été jugée assez juste. Cependant, il y a une grande divergence lorsqu'on la confronte à la documentation, principalement en raison du très faible nombre d'options explicitement documentées comme ayant un impact sur la taille du noyau Linux.La troisième contribution est l'amélioration de la spécialisation automatisée des performances et son évaluation sur différents SPL dont Linux. La spécialisation des performances est un processus qui consiste à ajouter des contraintes sur un SPL afin de répondre à un certain seuil de performance défini par l'utilisateur, pour l'aider lors de la configuration du logiciel. Il est possible d'automatiser ce processus en utilisant l'apprentissage automatique, et plus précisément des arbres de décisions classifieurs qui prédisent si une configuration est acceptable ou non par rapport au seuil de performance, à partir desquels nous pouvons extraire des règles, ensuite appliquées comme contraintes sur la SPL cible. Les améliorations portent sur deux aspects. Le premier est l'application de la sélection des options basée sur la Feature Ranking List, qui a permis d'améliorer à la fois la précision et le temps d'apprentissage, même sur des SPL avec seulement quelques options. La seconde est la prise en compte des arbres de décisions régresseurs, qui produisent un modèle similaire pour l'extraction de règles, mais avec l'avantage d'être conscient de la performance, alors que cette dimension est réduite à un simple booléen dans un processus de classification. Nous avons développé une nouvelle technique, basée sur les arbres de décisions régresseurs, où nous simulons un écart dans la distribution de la performance pour rendre l'algorithme conscient du seuil en ce qui concerne la fonction de perte. En fin de compte, les trois techniques ont leurs propres forces et faiblesses, avec leurs propres cas d'utilisation, et doivent être considérées comme complémentaires.La dernière contribution ouvre la porte à une utilisation plus durable de l'apprentissage automatique pour les lignes de produits logiciels. Dans ce domaine, peu voire aucune attention n'a été accordée à la précision des modèles sur différentes versions d'un SPL. Nous avons donc pris un modèle très précis issu des travaux de notre deuxième contribution, l'avons évalué sur des versions ultérieures et avons observé deux problèmes majeurs. Le premier est la différence d'options, car entre deux versions, certaines options apparaissent et d'autres disparaissent, créant un décalage dans l'espace de configuration. Le second est la baisse de précision lorsque le modèle est utilisé sur une autre version que celle sur laquelle il a été entraîné. Le coût pour entraîner le premier modèle était très important, en termes de mesures de configuration et d'efforts d'entraînement, et une telle dépense n'est pas raisonnable lorsque l'on considère une nouvelle version tous les deux ou trois mois. Pour résoudre ces deux problèmes, nous avons créé Evolution-Aware Model Shifting, une technique d'apprentissage par transfert adaptée à l'échelle et au rythme d'évolution du noyau Linux. Elle exploite le modèle original mais déprécié et, pour une fraction du coût initial, l'adapte aux nouvelles versions. Nos résultats montrent une très bonne précision sur trois ans d'évolution, et une meilleure précision que l'apprentissage à partir de zéro sur le même ensemble de données.

Neurodegenerative diseases are among the top causes of worldwide mortality. Unfortunately, early diagnosis is challenging as it requires a frequently too late indication of biomedical exam and dedicated laboratory equipments. It also often relies on research-based predictive measures suffering from selection bias. This thesis investigates a promising solution to tackle these problems : a robust method to build predictive biological markers from M/EEG brain signals, directly usable in the clinic, and validated against neurocognitive disorders following general anaesthesia. In a first (theoretical) contribution, we benchmarked M/EEG regression models that could learn from between-channels covariance matrices as a compact summary of spatial distribution of power of high-dimensional brain M/EEG signal. Mathematical analysis identified different models supporting perfect prediction under ideal circumstances when the outcome is either linear or log-linear in the source power. These models are based on the mathematically principled approaches of supervised spatial filtering and projection with Riemannian geometry, and enjoy optimal prediction guarantees without the need of costly source localization. Our simulation-based findings were consistent with the mathematical analysis and suggested that these regression algorithms were robust across data generating scenarios and model violations. This study suggested that the Riemannian methods have the potential to support automated large-scale analysis of M/EEG data in the absence of MRI scans, which is one condition to be practically used in the clinic for biomarker development. In a second (empirical) contribution, we validated our predictive modeling framework with several publicly available neuroimaging datasets and showed it can be used to learn the surrogate biomarker of brain age from research-grade M/EEG signals, without source localization and with minimal pre-processing. Our results demonstrate that our Riemannian data-driven method does not fall far behind the gold-standard source localization methods with biophysical priors, that depend on manual data processing, the costly availability of anatomical MRI images and specialized knowledge in M/EEG source modeling. Subsequent large-scale empirical analysis provided evidence that brain age derived from MEG captures unique information related to neuronal activity that was not explained by anatomical MRI. They also suggested that, consistent with simulations, Riemannian methods are generally a good bet across a wide range of settings with considerable robustness to different choices of preprocessing including minimalistic preprocessing. The goodperformance obtained on MEG was also reached with research-grade clinical EEG. In a third (clinical) contribution, we validated the concept of M/EEG-derived brain age directly in the operating rooms of Lariboisiere hospital in Paris, from monitoring-grade clinical EEG during the particular period of general anaesthesia. We validated our EEG-based brain age measure against intra-operative complications and brain health in anaesthesia population with a potential link to postoperative cognitive dysfunctions, unveiling it as a promising clinical biomarker of neurocognitive disorders. We also showed that the drug critically impacts brain age prediction and demonstrated the robustness applicability of our approach across different types of drugs. By combining concepts previously investigated separately, our contribution demonstrates the clinical relevance of EEG-brain-age in revealing pathologies of brain function and obtaining brain health assessments in situations where MRI scans cannot be conducted. It also provides early evidence that GA-based modeling has the potential to help biomarker discovery and eventually revolutionize preventive medicine.; Les maladies neurodégénératives figurent parmi les principales causes de mortalité dans le monde. Malheureusement, leur diagnostic précoce nécessite un examen médical prescrit souvent trop tardivement et des équipements de laboratoire dédiés. Il repose aussi fréquemment sur des mesures prédictives souffrant d'un biais de sélection. Cette thèse présente une solution prometteuse à ces problèmes: une méthode robuste, directement utilisable en clinique, pour construire des biomarqueurs prédictifs à partir des signaux cérébraux M/EEG, validés contre les troubles neurocognitifs apparaissant après une anesthésie générale. Dans une première contribution (théorique), nous avons évalué des modèles de régression capables d'apprendre des biomarqueurs à partir des matrices de covariance de signaux M/EEG. Notre analyse mathématique a identifié différents modèles garantissant une prédiction parfaite dans des circonstances idéales, lorsque la cible est une fonction (log-)linéaire en la puissance des sources cérébrales. Ces modèles, basés sur les approches mathématiques de filtrage spatial supervisé et de géométrie riemannienne, permettent une prédiction optimale sans nécessiter une coûteuse localisation des sources. Nos simulations confirment cette analyse mathématique et suggèrent que ces algorithmes de régression sont robustes à travers les mécanismes de génération de données et les violations de modèles. Cette étude suggère que les méthodes riemanniennes sont des méthodes de choix pour l'analyse automatisée à grande échelle des données M/EEG en l'absence d'IRM, condition importante pour pouvoir développer des biomarqueurs cliniques. Dans une deuxième contribution (empirique), nous avons validé nos modèles prédictifs sur plusieurs ensembles de données de neuro-imagerie et avons montré qu'ils peuvent être utilisé pour apprendre l'âge du cerveau à partir de signaux cérébraux M/EEG, sans localisation de sources, et avec un prétraitement minimal des données. De plus, la performance de notre méthode riemannienne est proche de celle des méthodes de référence nécessitant une localisation de sources et donc un traitement manuel des données, la disponibilité d'images IRM anatomiques et une expertise en modélisation de sources M/EEG. Une analyse empirique à grande échelle a ensuite permis de démontrer que l'âge du cerveau dérivé de la MEG capture des informations uniques liées à l'activité neuronale et non expliquées par l'IRM anatomique. Conformément aux simulations, ces résultats suggèrent également que l'approche riemannienne est une méthode pouvant s'appliquer dans un large éventail de situations, avec une robustesse considérable aux différents choix de prétraitement, y compris minimaliste. Les bonnes performances obtenues avec la MEG ont ensuite été répliquées avec des EEGs de qualité recherche. Dans une troisième contribution (clinique), nous avons validé le concept d'âge cérébral directement au bloc opératoire de l'hôpital Lariboisière à Paris, à partir d'EEG de qualité clinique recueillis pendant la période de l'anesthésie générale. Nous avons évalué notre mesure de l'âge cérébral comme prédicteur de complications peropératoires liées aux dysfonctions cognitives post opération, validant ainsi l'âge du cerveau comme un biomarqueur clinique prometteur des troubles neurocognitifs. Nous avons également montré que le sédatif utilisé a un impact important sur la prédiction de l'âge du cerveau et avons démontré la robustesse de notre approche à différents types de médicaments. Combinant des concepts précédemment étudiés séparément, notre contribution démontre la pertinence clinique de la notion d'âge du cerveau prédit à partir de l'EEG pour révéler les pathologies des fonctions cérébrales dans des situations où l'IRM ne peut pas être réalisée. Ces résultats fournissent également une première preuve que l'anesthésie générale est une période propice à la découverte de biomarqueurs cérébraux, avec un impact potentiel profond sur la médecine préventive.

In this thesis, we study the problem of sequential optimization under stochastic environments. At each round, we can query a data point from the environment, and receive a noisy reward. We first focus on the case where the environment is abstracted as a finite search space, then we investigate also on a more general setting where the environment is composed of an infinite number of points or even continuous. In both cases, the cost of a single query would be high, and we thus aim at identify the (near)-optimum as efficiently as possible. The whole study is motivated by numerous real scenarios including, but not limited to, clinical trial, A/B testing, advertisement placement optimization. We therefore conclude by some particular focus on one of its most important contributions for the machine learning community, i.e. hyper-parameter optimization.; Dans cette thèse, nous étudions le problème d’optimisation séquentielle dans des environnements stochastiques. A chaque instant, nous pouvons interroger un point de l’environnement, et recevoir une récompense bruitée. Nous nous concentrons d’abord sur le cas où l’environnement est représenté par un nombre fini de points, et ensuite sur le cas plus général où l’environnement est composé d’un nombre infini dénombrable de points, voire continu. Dans les deux cas, le coût d’une requête pouvant être élevée, nous envisageons ainsi à repérer au plus vite le point (quasi)-optimal. Cette étude est motivée par de nombreux scénarios réels comme, entre autres, les essais cliniques, les tests A/B, ou l’optimisation des placements publicitaires. Ainsi pour terminer, nous nous intéressons en particulier à l’une de ces applications plus importantes pour la communauté d’apprentissage statistique, c’est-à-dire l’optimisation des hyper-paramètres.

Dans cette thèse, nous étudions le problème d’optimisation séquentielle dans des environnements stochastiques. A chaque instant, nous pouvons interroger un point de l’environnement, et recevoir une récompense bruitée. Nous nous concentrons d’abord sur le cas où l’environnement est représenté par un nombre fini de points, et ensuite sur le cas plus général où l’environnement est composé d’un nombre infini dénombrable de points, voire continu. Dans les deux cas, le coût d’une requête pouvant être élevée, nous envisageons ainsi à repérer au plus vite le point (quasi)-optimal. Cette étude est motivée par de nombreux scénarios réels comme, entre autres, les essais cliniques, les tests A/B, ou l’optimisation des placements publicitaires. Ainsi pour terminer, nous nous intéressons en particulier à l’une de ces applications plus importantes pour la communauté d’apprentissage statistique, c’est-à-dire l’optimisation des hyper-paramètres. In this thesis, we study the problem of sequential optimization under stochastic environments. At each round, we can query a data point from the environment, and receive a noisy reward. We first focus on the case where the environment is abstracted as a finite search space, then we investigate also on a more general setting where the environment is composed of an infinite number of points or even continuous. In both cases, the cost of a single query would be high, and we thus aim at identify the (near)-optimum as efficiently as possible. The whole study is motivated by numerous real scenarios including, but not limited to, clinical trial, A/B testing, advertisement placement optimization. We therefore conclude by some particular focus on one of its most important contributions for the machine learning community, i.e. hyper-parameter optimization.

The pervasiveness of personal radio devices and the high penetration rate of these technologies in vehicles have, in recent years, made a strong case for the development of new traffic measurement techniques based on the analysis of the radio access network activity levels. In this thesis, we explore the use of sensor data gathered through Bluetooth (BT) passive scanning. Bluetooth sensors provide a cost-effective, low-impact and easy to deploy alternative to conventional techniques. They are adapted for mass deployment in urban areas at relatively low investment and maintenance costs. However, the BT indirect detection process may introduce bias and uncertainties that hinder the accuracy of the derived vehicular traffic metrics. In this context, we investigate the capacity to use Bluetooth sensors as a reliable sole data source for intelligent traffic systems in urban areas. Our work focuses on improving the accuracy of the obtained estimations of the traffic flow and the travel speed. The first part of this work concerns the task of vehicular traffic flow quantification from Bluetooth sensor data. We adopted a data-driven approach relying on statistical and machine learning models. We first considered traffic flow estimation in one sensing pose. Then, we proposed a model for network-scale flow estimation. In this contribution, we also introduced the transfer learning problem required to limit the need to acquire labelled training data for each new deployment. In the second part, we focus on the task of estimating the average travel speed. We propose an algorithm that uses the collected data about the quality of the received signal to improve the matching process and weigh individual vehicle speed contributions in calculating the average speed. During this work, we also developed a simulation framework of BT scanning for vehicular traffic monitoring. The simulator allows us to study and identify the factors impacting the probability, for one sensor, of detecting an active BT connection in its detection range and generate synthetic training datasets to handle data scarcity.; L’essor rapide des véhicules connectés dans le marché de l’industrie automobile a suscité l’intérêt de la communauté scientifique pour étudier de plus près la possibilité d’exploiter les traces de communication pour améliorer les systèmes de gestion de trafic. Dans le cadre de cette thèse, nous nous intéressons à l’utilisation des données issues de capteurs Bluetooth à balayage passif. Ces capteurs représentent une alternative à faible coût et à faible impact pour la collecte de mesures concernant le trafic véhiculaire et sont adaptés à un déploiement dense à large échelle à savoir dans un milieu urbain. En revanche, le processus de détection des capteurs Bluetooth est susceptible d'introduire du biais et des incertitudes dans le calcul des indicateurs relatifs au trafic véhiculaire. Dans cette thèse, nous nous sommes intéressés à l’amélioration de la précision des mesures de trafic dérivées: le flux de trafic et la vitesse de déplacement. La première partie de notre thèse porte sur la quantification de flux de trafic véhiculaire à partir des données Bluetooth. Nous adoptons une approche orientée données en se basant sur les modèles d’apprentissage statistiques. D'abord, nous considérons le problème d'estimation du flux de trafic au niveau d'un seul capteur puis à l'échelle d'un réseau de capteurs. Nous introduisons également le problème de transfert d'apprentissage nécessaire pour limiter le besoin d’acquisition de données d’apprentissage labellisées à chaque déploiement. Dans une deuxième partie, nous nous concentrons sur le problème de l’estimation de vitesse moyenne de déplacement. Nous proposons un algorithme qui explore les données collectées sur la qualité de signal reçu pour améliorer le processus d’appariement et pondérer les contributions des vitesses des véhicules dans le calcul de la vitesse moyenne. Une autre partie des travaux de thèse a été dédiée à la définition et l’implémentation d’un framework de simulation de balayage Bluetooth pour des applications véhiculaires. Le simulateur est utilisé pour analyser et identifier les facteurs impactant la capacité des capteurs de détecter les appareils Bluetooth actifs dans son voisinage mais aussi pour complémenter les données des expérimentations par la génération de datasets d’apprentissage synthétiques.

Over the past few years, optimal transport has gained popularity in machine learning as a way to compare probability distributions. Unlike more classical dissimilarities for probability measures, such as the Kullback-Leibler divergence, optimal transport distances (or Wasserstein distances) can deal with distributions of disjoint supports by taking into account the geometry of the underlying ground space. This strength is, however, hampered by the fact that these distances are usually computed by solving a linear program, resulting, when this ground space is high-dimensional, in well documented statistical challenges, usually referred to as the ``curse'' of dimensionality. Finding new methodologies that can mitigate this issue is therefore crucial if one wants optimal transport-based algorithms to perform well on real data.Beyond this purely metric aspect, another appealing feature of optimal transport theory is that it provides mathematical tools to study maps that are able to morph (or push-forward) a measure into another. Such maps are playing an increasingly important role in various areas of science (biology, neuroimaging) or subdomains in machine learning (generative models, domain adaptation), to name a few. Estimating such morphings, or maps, that are both optimal and able to generalize outside the data, is an open problem.In this thesis, we propose a new estimation framework to compute proxies to the Wasserstein distance. That framework aims at handling high-dimensionality by taking advantage of the low-dimensional structures hidden in the distributions. This can be achieved by projecting the measures onto a subspace chosen so as to maximize the Wasserstein distance between their projections. In addition to this novel methodology, we show that this framework falls into a broader connection between regularization when computing Wasserstein distances and adversarial robustness.In the next contribution, we start from the same problem, estimation of optimal transport in high dimensions, but adopt a different perspective: rather than changing the ground cost, we go back to the more fundamental Monge perspective on optimal transport and use the Brenier theorem and Caffarelli's regularity theory to propose a new estimation procedure to characterize maps that are Lipschitz and gradients of strongly convex functions.; Au cours des dernières années, le transport optimal a gagné en popularité en apprentissage automatique comme moyen de comparer des mesures de probabilité. Contrairement aux dissimilarités plus classiques pour les distributions de probabilité, telles que la divergence de Kullback-Leibler, les distances de transport optimal (ou distances de Wasserstein) permettent de comparer des distributions dont les supports sont disjoints en prenant en compte la géométrie de l'espace sous-jacent. Cet avantage est cependant entravé par le fait que ces distances sont généralement calculées en résolvant un programme linéaire, ce qui pose, lorsque l'espace sous-jacent est de grande dimension, des défis statistiques bien documentés et auxquels on se réfère communément sous le nom de ``fléau'' de la dimension. Trouver de nouvelles méthodologies qui puissent atténuer ce problème est donc un enjeu crucial si l'on veut que les algorithmes fondés sur le transport optimal puissent fonctionner en pratique.Au-delà de cet aspect purement métrique, un autre intérêt de la théorie du transport optimal réside en ce qu'elle fournit des outils mathématiques pour étudier des cartes qui peuvent transformer, ou transporter, une mesure en une autre. De telles cartes jouent un rôle de plus en plus important dans divers domaines des sciences (biologie, imagerie cérébrale) ou sous-domaines de l'apprentissage automatique (modèles génératifs, adaptation de domaine), entre autres. Estimer de telles transformations qui soient à la fois optimales et qui puissent être généralisées en dehors des simples données, est un problème ouvert.Dans cette thèse, nous proposons un nouveau cadre d'estimation pour calculer des variantes des distances de Wasserstein. Le but est d'amoindrir les effets de la haute dimension en tirant partie des structures de faible dimension cachées dans les distributions. Cela peut se faire en projetant les mesures sur un sous-espace choisi de telle sorte à maximiser la distance de Wasserstein entre leurs projections. Outre cette nouvelle méthodologie, nous montrons que ce cadre d'étude s'inscrit plus largement dans un lien entre la régularisation des distances de Wasserstein et la robustesse.Dans la contribution suivante, nous partons du même problème d'estimation du transport optimal en grande dimension, mais adoptons une perspective différente : plutôt que de modifier la fonction de coût, nous revenons au point de vue plus fondamental de Monge et proposons d'utiliser le théorème de Brenier et la théorie de la régularité de Caffarelli pour définir une nouvelle procédure d'estimation des cartes de transport lipschitziennes qui soient le gradient d'une fonction fortement convexe.

With the massive use of digital photography, large databases of images have been built during the last decades, both for industry and medicine. However, the images were generally captured with different lighting conditions, poses of the camera and types of camera. This causes difficulties when comparing images of the same scene. I have proposed methods to analyse these large databases which address these issues. They have been applied to the field of tyres for the control of their visual aspect and the study of their performances as well as to the field of healthcare for the diagnosis and the follow-up of diabetic retinopathy. These methods fall into the framework of Mathematical Morphology and Logarithmic Image processing (LIP). In particular, thanks to partnerships with academia, I have developed approaches of morphological segmentation and classification by machine learning. They have been used for the analysis of images of tyre surfaces (which can be textured or in three dimensions) in order to look for defaults. They have also served for the automatic analysis of eye fundus images from patients with diabetes. Due to the large amount of data to analyse, I have speeded up algorithms with regards to their complexity as well as their efficient programming. The program can be run in parallel over several processor cores or written in a vector way (i.e., several numbers processed at the same time in place of a single one). Thanks to the LIP model, I have proposed methods to improve colour contrast in retinal images. I have studied the properties of these functional metrics which have been defined either with the LIP-additive law, or with the LIP-multiplicative law. The first metric, which is LIP-additive, is robust to lighting variations caused by a change in the exposure time of the camera or in the source intensity. The second one, which is LIP-multiplicative, is robust to lighting variations due to changes of opacity of the captured object. These metrics are useful for pattern matching, thanks to distance maps between a reference function and an image. I have established the link between these maps of Asplund distances and Mathematical Morphology. Then, I have created the new framework of Logarithmic Mathematical Morphology which is based on the fundamental operations of erosion and dilation with the LIP-additive law. This gives them the interesting property of being adaptive to lighting variations caused by a change of camera exposure-time. Other operators, robust to these variations, have been defined in this novel framework. The latter and the LIP model have allowed the introduction of segmentation methods robust to lighting variations. Percolation techniques have also been studied with logarithmic colour contrasts. In addition, I have conceived and made a three-dimensional and multimodal acquisition system by stereovision, in the domain of the visible light and in the one of X-rays for tyre imaging. The complete chain has been studied and validated, including stereoscopic acquisition, calibration of the acquisition system and 3D reconstruction. In addition, in order to compare images of radial cuts of tyres with their 2D plan, a deformable registration method based on cubic B-splines has been successfully tested. For the longitudinal (i.e., temporal) analysis of eye fundus images, I have introduced a superimposition model made of an affine homography (i.e., a rotation, a translation and an anisotropic scaling) and one or two corrections of radial distortions depending on the number of cameras used for the acquisition. Compared to other state-of-the-art methods, in series of image pairs from public health databases captured with an interval of a year, the proposed approach gives better results. These research works form my contribution to the analysis of large image databases in industry or in medicine., Avec l’utilisation de plus en plus massive de la photographie numérique, de grandes banques de données d’images ont été constituées durant ces dernières décennies tant dans l’industrie que pour la médecine. Cependant, les images ont généralement été acquises avec différentes conditions d’éclairement, poses de l’appareil photographique et types d’appareil. Ceci cause des difficultés de comparaison entre les images d’une même scène. J’ai proposé des méthodes pour l’analyse de ces grandes banques de données qui répondent à cette problématique. Elles ont été appliquées dans le domaine des pneumatiques pour le contrôle de leur aspect visuel et l’étude de leur performancesainsi que dans celui de la santé pour le diagnostic et le suivi de la rétinopathie diabétique. Ces méthodes appartiennent aux cadres de travail de la Morphologie Mathématique et du Logarithmic Image Processing (LIP). Grâce à des collaborations académiques, j’ai développé des approches de segmentation morphologiques et de classification par apprentissage statistique. Elles ont été utilisées pour l’analyse d’images texturées et tridimensionnelles de la surface des pneumatiques, à des fins de recherche de défauts. Elles ont aussi servi à l’analyse automatique des images du fond d’œil chez les patients atteints de diabète. Du fait de la grande quantité de données à analyser, j’ai amélioré des algorithmes tant au niveau de leur complexité qu’au niveau de leur programmation efficace. Le programme peut être exécuté en parallèle sur plusieurs cœurs de processeurs et écritde manière vectorielle (i.e. plusieurs nombres traités à la fois au lieu d’un seul). Grâce au modèle LIP, j’ai proposé des méthodes d’amélioration des contrastes couleur des images rétiniennes. J’ai étudié les propriétés des métriques fonctionnelles d’Asplund définies soit avec la loi LIP-additive, soit avec la loi LIP-multiplicative. La première métrique, qui est LIP-additive, est robuste aux variations d’éclairement causées par un changement du temps d’exposition de la caméra ou de l’intensité de la source. La seconde, qui est LIP-multiplicative, est robuste aux variations d’éclairement dues à un changement d’opacité de l’objet capturé. Ces métriques sont utiles à la reconnaissance des formes, grâce aux cartes de distances entre une fonction de référence et une image.J’ai établi le lien entre ces cartes de distances d’Asplund et la Morphologie Mathématique. Puis, j’ai créé le nouveau cadre de la Morphologie Mathématique Logarithmique qui consiste à définir les opérations fondamentales d’érosion et de dilatation avec la loi LIP-additive. Ceci leur donne la propriété intéressante d’être adaptatives aux variations d’éclairement causées par un changementdu temps d’exposition de la caméra. D’autres opérateurs, robustes à ces variations, ont été définis dans ce nouveau cadre de travail. Celui-ci et le modèle LIP ont permis l’introduction de méthodes de segmentation robustes aux variations d’éclairement. Des techniques de percolations ont aussi été étudiées avec des contrastes logarithmiques couleur. En outre, j’ai conçu et réalisé un système d’acquisitions tridimensionnelles et multimodales par stéréovision dans le domaine de la lumière visible et dans celui des rayons X pour l’imagerie des pneumatiques. La chaîne complète comprenant l’acquisition stéréoscopique, le calibrage des systèmes d’acquisition et la reconstruction 3D a été étudiée et validée. De plus, afin de comparer les images de coupes radiales de pneumatiques avec leurs épures (i.e. leurs plans 2D), une méthode de recalage déformable à partir de B-splines cubiques a été testée avec succès. Pour l’analyse longitudinale (i.e. temporelle) des images du fond d’œil, j’ai introduit un nouveau modèle de superposition composé d’une homographie affine (i.e. une rotation, une translation et une mise à l’échelle anisotrope) et d’une ou deux corrections de distorsions radiales selon le nombre de caméras employées lors de l’acquisition. Comparée à plusieurs méthodes de l’état de l’art, sur des séries de paires d’images provenant de banques dedonnées de santé publique acquises avec une année d’intervalle, l’approche proposée donne de meilleurs résultats. Ces travaux de recherche constituent ma contribution à l’analyse des grandes banques d’images dans l’industrie ou en médecine.

International audience; The Ca index is a time-integrated geomagnetic index that correlates well with the dynamics of high-energy electron fluxes in the outer radiation belts. Therefore it can be used as an indicator for the state of filling of the radiation belts for those electrons, with the advantage of being a groundbased measurement with extensive historical records. In this work we propose a data-driven model to forecast Ca up to 24 hours in advance from near-Earth solar wind parameters. Our model relies mainly on a recurrent neural network called Long Short Term Memory network that has shown good performances in forecasting other geomagnetic indices in previous papers. Most implementation choices in this study have been arbitrated from the point of view of a space system operator, including the data selection and split, the definition of a binary classification threshold and the evaluation methodology. We evaluate our model (against a linear baseline) using both classic and novel (in the space weather field) measures. In particular, we use the Temporal Distortion Mix (TDM) to assess the propensity of two time series to exhibit time lags. We also evaluate the ability of our model to detect storm onsets during calm periods. It is shown that our model has a high overall accuracy, with evaluation measures deteriorating in an almost linear trend over time. However, using the TDM and the metrics for evaluating the binary classification forecast, it is shown that after a time horizon of approximately 6 hours the forecasts lose some of their usefulness in an operational context. This behaviour was not observable when evaluating the model only with metrics such as the root-mean-square error or the Pearson linear correlation. Considering the physics of the problem, this result is not surprising and suggests that the use of more spatially remote data (such as solar imaging) could improve space weather forecasts.; L'indice Ca est un indice géomagnétique intégré dans le temps qui présente une bonne corrélation avec la dynamique des flux d'électrons de haute énergie dans les ceintures de radiation extérieures. Il peut donc être utilisé comme un indicateur de l'état de remplissage des ceintures de radiation pour ces électrons, avec les avantages d'être une mesure faite au sol et qui possède un historique important. Dans ce travail, nous proposons un modèle basé sur les données pour prévoir Ca jusqu'à 24 heures à l'avance à partir des paramètres du vent solaire proches de la Terre. Notre modèle s'appuie principalement sur un réseau de neurones récurrent appelé réseau de mémoire à long et à court terme (LSTM) qui a montré de bonnes performances dans la prévision d'autres indices géomagnétiques dans des articles précédents. La plupart des choix d'implémentation dans cette étude ont été arbitrés du point de vue d'un opérateur de système spatial, y compris la sélection et la division des données, la définition d'un seuil de classification binaire et la méthodologie d'évaluation. Nous évaluons notre modèle (par rapport à un modèle de base linéaire) en utilisant des métriques classiques et des métriques nouvelles (dans le domaine de la météorologie spatiale). En particulier, nous utilisons le Temporal Distortion Mix (TDM) pour évaluer la propension de deux séries temporelles à présenter des décalages temporels. Nous évaluons également la capacité de notre modèle à détecter les débuts de tempêtes pendant les périodes calmes. Nous montrons que notre modèle a une précision globale élevée, les mesures d'évaluation se détériorant selon une tendance presque linéaire dans le temps. Cependant, en utilisant le TDM et les mesures d'évaluation de la prévision par classification binaire, il est montré qu'après un horizon temporel d'environ 6 heures, les prévisions perdent une partie de leur utilité dans un contexte opérationnel. Ce comportement n'était pas observable lorsque le modèle était évalué uniquement avec des mesures telles que l'erreur quadratique moyenne ou la corrélation linéaire. Compte tenu de la physique du problème, ce résultat n'est pas surprenant et suggère que l'utilisation de données plus éloignées dans l'espace (comme l'imagerie solaire) pourrait améliorer les prévisions relevant de la météorologie de l'espace.

Catheter ablation is increasingly used to treat atrial fibrillation (AF), the most common sustained cardiac arrhythmia encountered in clinical practice. A recent patient-tailored AF ablation therapy, giving 95% of procedural success rate, is based on the use of a multipolar mapping catheter called PentaRay. It targets areas of spatiotemporal dispersion (STD) in the atria as potential AF drivers. STD stands for a delay of the cardiac activation observed in intracardiac electrograms (EGMs) across contiguous leads.In practice, interventional cardiologists localize STD sites visually using the PentaRay multipolar mapping catheter. This thesis aims to automatically characterize and identify ablation sites in STD-based ablation of persistent AF using machine learning (ML) including deep learning (DL) techniques. In the first part, EGM recordings are classified into STD vs. non-STD groups. However, highly imbalanced dataset ratio hampers the classification performance. We tackle this issue by using adapted data augmentation techniques that help achieve good classification. The overall performance is high with values of accuracy and AUC around 90%. First, two approaches are benchmarked, feature engineering and automatic feature extraction from a time series, called maximal voltage absolute values at any of the bipoles (VAVp). Statistical features are extracted and fed to ML classifiers but no important dissimilarity is obtained between STD and non-STD categories. Results show that the supervised classification of raw VAVp time series itself into the same categories is promising with values of accuracy, AUC, sensi-tivity and specificity around 90%. Second, the classification of raw multichannel EGM recordings is performed. Shallow convolutional arithmetic circuits are investigated for their promising theoretical interest but experimental results on synthetic data are unsuccessful. Then, we move forward to more conventional supervised ML tools. We design a selection of data representations adapted to different ML and DL models, and benchmark their performance in terms of classification and computational cost. Transfer learning is also assessed. The best performance is achieved with a convolutional neural network (CNN) model for classifying raw EGM matrices. The average performance over cross-validation reaches 94% of accuracy and AUC added to an F1-score of 60%. In the second part, EGM recordings acquired during mapping are labeled ablated vs. non-ablated according to their proximity to the ablation sites then classified into the same categories. STD labels, previously defined by interventional cardiologists at the ablation procedure, are also aggregated as a prior probability in the classification task.Classification results on the test set show that a shallow CNN gives the best performance with an F1-score of 76%. Aggregating STD label does not help improve the model’s performance. Overall, this work is among the first attempts at the application of statistical analysis and ML tools to automatically identify successful ablation areas in STD-based ablation. By providing interventional cardiologists with a real-time objective measure of STD, the proposed solution offers the potential to improve the efficiency and effectiveness of this fully patient-tailored catheter ablation approach for treating persistent AF.; La fibrillation atriale (FA) est l’arythmie cardiaque soutenue la plus fréquemment rencontrée dans la pratique clinique. Pour la traiter, l’ablation par cathéter de zones cardiaques jugées responsables de soutenir l’arythmie est devenue la thérapie la plus utilisée. Un nouveau protocole d’ablation se base sur l’identification des zones atriales où les électrogrammes (EGM) enregistrés à l’aide d’un cathéter à électrodes multiples, appelé PentaRay, manifestent des décalages spatiotemporels significatifs sur plusieurs voies adjacentes. Ce phénomène est appelé dispersion spatio-temporelle (DST). L’intervention devient ainsi plus adaptée aux spécificités de chaque patient et elle atteint un taux de succès procédural de 95%. Cependant, à l’heure actuelle les zones de DST sont identifiées de manière visuelle par le spécialiste pratiquant l’ablation. Cette thèse vise à identifier automatiquement les sites potentiels d’ablation basée sur la DST à l’aide de techniques d’apprentissage statistique et notamment d’apprentissage profond adaptées. Dans la première partie, les enregistrements EGM sont classés par catégorie en DST vs. non-DST. Cependant, le rapport très déséquilibré entre les données issues des deux classes dégrade les résultats de classification. Nous abordons ce problème en utilisant des techniques d’augmentation de données adaptées à la problématique médicale et qui permettent d’obtenir de bons taux de classification. La performance globale s’élève ainsi atteignant des valeurs de précision et d’aire sous la courbe ROC autour de 90%. Deux approches sont ensuite comparées, l’ingénierie des caractéristiques et l’extraction automatique de ces caractéristiques par apprentissage statistique à partir d’une série temporelle, appelée valeur absolue de tension maximale aux branches du PentRay (VAVp). Les résultats montrent que la classification supervisée de VAVp est prometteuse avec des valeurs de précision, sensibilité et spécificité autour de 90%. Ensuite, la classification des enregistrements EGM bruts est effectuée à l’aide de plusieurs outils d’apprentissage statistique. Une première approche consiste à étudier les circuits arithmétiques à convolution pour leur intérêt théorique prometteur, mais les expériences sur des données synthétiques sont infructueuses. Enfin, nous investiguons des outils d’apprentissage supervisé plus conventionnels comme les réseaux de neurones convolutifs (RNC). Nous concevons une sélection de représentation des données adaptées à différents algorithmes de classification. Ces modèles sont ensuite évalués en termes de performance et coût de calcul. L’apprentissage profond par transfert est aussi étudié. La meilleure performance est obtenue avec un RNC peu profond pour la classification des matrices EGM brutes, atteignant 94% de précision et d’aire sous la courbe ROC en plus d’un score F1 de 60%. Dans la deuxième partie, les enregistrements EGM acquis pendant la cartographie sont étiquetés ablatés vs. non-ablatés en fonction de leur proximité par rapport aux sites d’ablation, puis classés dans les mêmes catégories. Les annotations de dispersion sont aussi prises en compte comme une probabilité à priori dans la classification. La meilleure performance représente un score F1 de 76%. L’agrégation de l’étiquette DST ne permet pas d’améliorer les performances du modèle. Globalement, ce travail fait partie des premières tentatives d’application de l’analyse statistique et d’outils d’apprentissage pour l’identification automatique et réussie des zones d’ablation en se basant sur la DST. En fournissant aux cardiologues interventionnels un outil intelligent, objectif et déployé en temps réel qui permet la caractérisation de la dispersion spatiotemporelle, notre solution permet d’améliorer potentiellement l’efficacité de la thérapie personnalisée d’ablation par cathéter de la FA persistante.

This thesis contributions belong to the general framework of data-based and physically-based data-driven modelling. An efficient approach for Machine Learning (ML), as well as a speed-up technique for Data Assimilation (DA), have been developed. For this purpose, Dimensionality Reduction (DR) and stochastic spectral modelling were used. In particular, a coupling between Proper Orthogonal Decomposition (POD) and Polynomial Chaos Expansion (PCE) is at the center of this thesis contributions. POD and PCE have widely proved their worth in their respective frameworks, and the idea was to combine them for optimal field measurement based forecasting, and ensemble-based acceleration technique for variational DA. For this purpose, (i) a physically interpretable POD-PCE ML for non-linear multidimensional fields was developed in the Neural Networks (NN) paradigm and (ii) a hybrid ensemble-variational DA approach for parametric calibration was proposed with adapted calculations of POD-PCE metamodelling error covariance matrix. The proposed techniques were assessed in the context of an industrial application, for the study of sedimentation in a coastal power plant's water intake. Water intakes ensure plant cooling via a pumping system. They can be subject to sediment accumulation, which represents a clogging risk and requires costly dredging operations. For monitoring and safety reasons, the power plant stakeholders asked for a predictive tool that could be run in operational conditions. Data collected during many years of monitoring in the study area were provided. The objective was then to achieve comprehensive analysis of the flow and sediment dynamics, as well as to develop an optimal model in terms of forecasting accuracy, physical meaning, and required computational time. Uncertainty reduction and computational efficiency were therefore starting points for all proposed contributions. In addition to the previously proposed methods, Uncertainty Quantificiation (UQ) studies were undertaken. Specifically, (i) uncertainties related to tidal hydrodynamic modelling, resulting from common modelling choices (domain size, empirical closures) were investigated. POD patterns resulting from measurements and numerical scenarios were compared; (ii) UQ study of the sediment transport modelling in the intake, in a highdimensional framework, was achieved. Investigations were based on appropriate DR. Infact, POD patterns of Boundary Conditions (BC) and Initial Conditions (IC), resulting from hydrodynamic simulations outputs and from bathymetry measurements respectively, were used. A perspective of this work would be to implement a hybrid POD-PCE model, using both measured and numerically emulated data, to better understand and predict complex physical processes. This approach would offer a complete, fast and efficient tool for operational predictions., Les contributions de cette thèse figurent dans le cadre général de la modélisation à base de données et des approches physiques guidées par des données. Une méthode d'apprentissage statistique, ainsi qu'une technique d'accélération pour l'Assimilation de Données (AD), ont été développées. Pour cela, la Réduction de Dimension et la modélisation stochastique spectrale sont utilisées. En particulier, un couplage entre Décomposition en modes Propres Orthogonaux (POD) et Expansion par Polynômes du Chaos (PCE), est au centre des différentes contributions. Les techniques POD et PCE sont toutes deux largement reconnues. L'idée ici estde les combiner pour mettre en place une prédiction optimale à base de données de mesures, et accélérer les techniques d'Assimilation de Données variationnelle sur la base d'une approche d'ensemble. Pour cela, (i) un modèle de Machine Learning POD-PCE, interprétable physiquement, et adapté aux champs multidimensionnels non-linéaires, a été développé dans un paradigme de Réseaux de Neurones et (ii) une approche ensembliste variationnelle hybride d'AD, pour la calibration paramétrique a été proposée, avec un calcul adapté de la matrice de covariance d'erreur du métamodèle POD-PCE. Les approches proposées ont été motivées par une problématique industrielle, avec une question physique complexe : la sédimentation dans un chenal d'amenée bord-de-merd'une centrale électrique. Les chenaux d'amenée assurent le refroidissement des centrales à travers un système de pompage. Ils peuvent être sujets à une accumulation de sédiments, ce qui représente un risque de colmatage et requiert des opérations de dragage coûteuses. Pour des raisons de gestion et de sécurité, l'industriel opérant la centrale d'intérêt demande un outil prédictif pour des conditions opérationnelles. Les données collectées durant plusieurs années de gestion ont été fournies. L'objectif est d'analyser la dynamique observée, ainsi que de développer un modèle optimal, à la fois prédictif, physiquement interprétable, et à coût de calcul limité. La réduction de l'incertitude et la diminution du temps de simulation ont donc été un point de départ pour toutes les contributions proposées. En supplément des méthodes citées précédemment, des études de Quantification d'Incertitudes (UQ) ont été menées. Plus précisément, (i) les incertitudes liées à la modélisation hydrodynamique de la marée, résultant de choix de modélisation communs (taille de domaine, lois empiriques), ont été investiguées. Les motifs POD des mesures et des scénarios numériques ont été comparés ; (ii) l'étude UQ de la modélisation du transport sédimentaire dans le chenal, dans un cadre à haute-dimension, a été réalisée. Les investigations se sont basées sur une Réduction de Dimension appropriée. En effet, les motifs POD des Conditions aux Limites, et ceux des Conditions Initiales, résultant de simulations hydrodynamiques et de mesures bathymétriques respectivement, ont été utilisées. Une perspective de ce travail serait d'implémenter un modèle POD-PCE hybride, utilisant à la fois des données de mesures et des données simulées numériquement, pourmieux comprendre et prédire des processus physiques complexes. Cette approche offrirait un outil complet, rapide et efficace pour des prédictions opérationnelles.

The main objective of this thesis is to study methods for robust statistical learning. Traditionally, in statistics we use models or simplifying assumptions that allow us to represent the real world. However, some deviations from the hypotheses can strongly disrupt the statistical analysis of a database. By robust statistics, we mean methods that can handle on the one hand so-called abnormal data (sensor error, human error) but also data of a highly variable nature. We apply robust techniques to statistical learning, giving theoretical efficiency results of the proposed methods as well as illustrations on simulated and real data.; Le principal objectif de cette thèse est d'étudier des méthodes d'apprentissage statistique robuste. Traditionnellement, en statistique nous utilisons des modèles ou des hypothèses simplificatrices qui nous permettent de représenter le monde réel tout en sachant l'analyser convenablement. Cependant, certaines déviations des hypothèses peuvent fortement perturber l'analyse statistique d'une base de données. Par statistiques robuste, nous entendons ici des méthodes pouvant gérer d'une part des données dites anormales (erreur de capteur, erreur humaine) mais aussi des données de nature très variables. Nous appliquons ce genre de technique à l'apprentissage statistique, donnant ainsi des assurances théoriques d'efficacité des méthodes proposées ainsi que des illustrations sur des données simulées et réelles.

The main objective of this thesis is to study methods for robust statistical learning. Traditionally, in statistics we use models or simplifying assumptions that allow us to represent the real world. However, some deviations from the hypotheses can strongly disrupt the statistical analysis of a database. By robust statistics, we mean methods that can handle on the one hand so-called abnormal data (sensor error, human error) but also data of a highly variable nature. We apply robust techniques to statistical learning, giving theoretical efficiency results of the proposed methods as well as illustrations on simulated and real data.; Le principal objectif de cette thèse est d'étudier des méthodes d'apprentissage statistique robuste. Traditionnellement, en statistique nous utilisons des modèles ou des hypothèses simplificatrices qui nous permettent de représenter le monde réel tout en sachant l'analyser convenablement. Cependant, certaines déviations des hypothèses peuvent fortement perturber l'analyse statistique d'une base de données. Par statistiques robuste, nous entendons ici des méthodes pouvant gérer d'une part des données dites anormales (erreur de capteur, erreur humaine) mais aussi des données de nature très variables. Nous appliquons ce genre de technique à l'apprentissage statistique, donnant ainsi des assurances théoriques d'efficacité des méthodes proposées ainsi que des illustrations sur des données simulées et réelles.

This thesis deals with optimization under uncertainty, which has a long history in operations research and mathematical optimization. This field is currently challenged by applications in artificial intelligence and data science, where risk management has become a crucial issue. In this thesis, we consider nonsmooth optimization problems involving risk measures and coming from statistical learning applications. We pay a special attention to the risk measure called the superquantile (also known as the "Conditional Value at Risk") and we show how, in various contexts, it may enforce robustness for decision-making under uncertainty. First, we consider convex risk measures admitting a representation in terms of superquantiles. We derive first-order oracles with optimal computational complexity. These approximate oracles involve different smoothing techniques for which we propose a unified analysis. We also propose an efficient implementation of these oracles, coupled with a series of classical optimization methods, in an open-source software in python. We show empirically, on classification and regression tasks, that the predictions obtained are robust to data shifts.We then consider chance-constrained optimization problems. We propose a reformulation of these problems in the form of bilevel programs that involve the superquantile. We propose a (sem exact penalization for this reformulation, which we treat with a bundle method. We implement our bilevel approach in an open-source python software, which we illustrate on non-convex problems.Finally, we investigate the use of the superquantile for federated learning. We consider the case of users with heterogeneous data distributions and we show how the superquantile allows for better performances on non-conforming users. We propose an algorithm adapted to the constraints of federated learning, in terms of communications and data privacy. We prove its theoretical convergence in the convex case by controlling the drift induced by the local stochastic gradient method and the dynamic reweighting induced by superquantiles. We also propose an in-depth numerical study of our algorithm and compare its performance with several established baselines, including FedAvg, FedProx and Tilted-ERM and Agnostic Federated Learning., Cette thèse s’inscrit dans le cadre de l’optimisation sous incertitude, qui a une longue tradition en recherche opérationnelle et en optimisation mathématique.Ce domaine trouve aujourd’hui de nouvelles applications en intelligence artificielle et science des données, où la prise en compte du risque est devenu une question cruciale. Dans cette thèse, nous considérons des problèmes d’optimisation, issus d’applications en apprentissage statistique, mettant enjeu des mesures de risque. Nous accordons une attention particulière à la mesure de risque appelée superquantile (également connue sous le nom de "Conditional Value at Risk") et montrons comment, dans divers contextes, elle permet d’obtenir de la robustesse dans la prise de décision.Dans un premier temps, nous nous intéressons aux mesures de risque convexes admettant une représentation en termes de superquantiles. Nous dérivons des oracles du premier ordre avec une complexité de calcul optimale. Ces oracles approchés font intervenir différentes techniques de lissage pour lesquelles nous proposons une analyse unifiée. Nous proposons aussi une implémentation efficace de ces oracles, couplée à une série de méthodes classiques d’optimisation,dans un logiciel open-source en python. Nous montrons empiriquement, sur des problèmes de classifications et de régression, que les prédictions obtenues sont robustes aux perturbations des données.Nous nous penchons ensuite sur les problèmes d’optimisation avec contraintes en probabilités. Nous proposons une reformulation de ces problèmes sous la forme de problèmes bi-niveaux qui font apparaître le superquantile. Nous proposons une pénalisation (semi-)exacte pour cette reformulation, que nous traitons avec une méthode de faisceaux. Nous implémentons notre approche bi-niveau, dans un logiciel open-source, que nous illustrons sur des problèmes non-convexes.Enfin, nous nous penchons sur l’utilisation du superquantile dans le cadre de l’apprentissage fédéré. Nous considérons le cas d’utilisateurs aux distributions de données hétérogènes et montrons comment le superquantile permet d’obtenir de meilleurs performances sur les utilisateurs les moins privilégiés. Notre algorithme est adapté aux contraintes réelles, en terme de communications et de protection des données. Nous en démontrons la convergence théorique dans le cas convexe en contrôlant simultanément la dérive des modèles locaux induite par la méthode de descente du gradient stochastique locale, ainsi que la redistribution de poids induite par le superquantile. Nous proposons aussi une étude numérique approfondie de notre algorithme en le comparant à un ensemble d’algorithmes constituant l’état de l’art en apprentissage fédéré,incluant notamment FedAvg, FedProx, Tilted-ERM et Agnostic Federated Learning.

This thesis tackles the subject of spatio-temporal forecasting with deep learning.The motivating application at Electricity de France (EDF) is short-term solar energy forecastingwith fisheye images. We explore two main research directions for improving deep forecastingmethods by injecting external physical knowledge. The first direction concerns the role of thetraining loss function. We show that differentiable shape and temporal criteria can be leveragedto improve the performances of existing models. We address both the deterministic contextwith the proposed DILATE loss function and the probabilistic context with the STRIPEmodel. Our second direction is to augment incomplete physical models with deep data-drivennetworks for accurate forecasting. For video prediction, we introduce the PhyDNet modelthat disentangles physical dynamics from residual information necessary for prediction, suchas texture or details. We further propose a learning framework (APHYNITY) that ensures aprincipled and unique linear decomposition between physical and data-driven components undermild assumptions, leading to better forecasting performances and parameter identification., Cette thèse aborde le problème de la prédiction spatio-temporelle par apprentissageprofond, motivée par la prévision à court-terme de la production photovoltaïque à Electricitéde France (EDF). Nous explorons dans cette thèse deux principales directions de recherche. Lapremière concerne le choix de la fonction de perte pour entraîner les modèles: nous proposonsd’utiliser des critères de forme et de décalage temporel sur les trajectoires prédites. Nousintroduisons la fonction de perte DILATE pour la prévision déterministe et le modèle STRIPEpour la prévision probabiliste. Notre seconde direction de recherche est d’augmenter desmodèles physiques incomplets avec des réseaux de neurones profonds. Pour la prédiction devidéo, nous introduisons le modèle PhyDNet qui sépare une partie de dynamique physique,d’une partie résiduelle qui capture l’information complémentaire, comme la texture et lesdétails, nécessaire à la bonne prédiction. Nous proposons aussi un schéma d’apprentissage,appelé APHYNITY, qui assure une décomposition bien posée et unique entre des modèlesphysiques incomplets et des réseaux de neurones profonds, sous de faibles hypothèses.

This thesis addresses different problems around the analysis and the modeling of graph signals i.e. vector data that are observed over graphs. In particular, we are interested in two tasks. The rst one is the problem of event detection, i.e. anomaly or changepoint detection, in a set of graph vectors. The second task concerns the inference of the graph structure underlying the observed graph vectors contained in a data set. At first, our work takes an application oriented aspect in which we propose a method for detecting antenna failures or breakdowns in a telecommunication network. The proposed approach is designed to be eective for communication networks in a broad sense and it implicitly takes into account the underlying graph structure of the data. In a second time, a new method for graph structure inference within the framework of Graph Signal Processing is investigated. In this problem, notions of both local and globalsmoothness, with respect to the underlying graph, are imposed to the vectors.Finally, we propose to combine the graph learning task with the change-point detection problem. This time, a probabilistic framework is considered to model the vectors, assumed to be distributed from a specifc Markov Random Field. In the considered modeling, the graph underlying the data is allowed to evolve in time and a change-point is actually detected whenever this graph changes significantly, Cette thèse aborde différents problèmes autour de l'analyse et la modélisation de signaux sur graphes, autrement dit des données vectorielles observées sur des graphes. Nous nous intéressons en particulier à deux tâches spécifique. La première est le problème de détection d'événements, c'est-à-dire la détection d'anomalies ou de ruptures, dans un ensemble de vecteurs sur graphes. La seconde tâche consiste en l'inférence de la structure de graphe sous-jacente aux vecteurs contenus dans un ensemble de données. Dans un premier temps notre travail est orienté vers l'application. Nous proposons une méthode pour détecter des pannes ou des défaillances d'antenne dans un réseau de télécommunication.La méthodologie proposée est conçue pour être efficace pour des réseaux de communication au sens large et tient implicitement compte de la structure sous-jacente des données. Dans un deuxième temps, une nouvelle méthode d'inférence de graphes dans le cadre du Graph Signal Processing est étudiée. Dans ce problème, des notions de régularité local et global, par rapport au graphe sous-jacent, sont imposées aux vecteurs. Enfin, nous proposons de combiner la tâche d'apprentissage des graphes avec le problème de détection de ruptures. Cette fois, un cadre probabiliste est considéré pour modéliser les vecteurs, supposés ainsi être distribués selon un certain champ aléatoire de Markov. Dans notre modélisation, le graphe sous-jacent aux données peut changer dans le temps et un point de rupture est détecté chaque fois qu'il change de manière significative.

Introduced by Leo Breiman in 2001, random forests are a statistical learning method that is widely used in many fields of scientific research both for its ability to describe complex relationships between explanatory variables and a response variable as well as for its ability to handle high dimensional data. In many health applications, repeated measurements over time are available. These are referred to as longitudinal data. The correlations induced by the measurements of the same individual at different times must be taken into account, which is not the case in the classical random forests method. The aim of this thesis is to adapt this method to the analysis of longitudinal data in a high dimensional context. To do so, two approaches are proposed. The first one is based on a semi-parametric mixed-effects model which allows the intra-individual covariance structure to be taken into account in the construction of the random forest. This method was applied to an HIV vaccine trial and enabled to select 21 gene transcripts for which the association with the HIV viral load was in line with the results observed during the primary infection.The second method takes place in the more general framework of regression on metric spaces. In this context, repeated data are treated as curves. We then introduce the concept of Fréchet random forests, which allows to learn relationships between heterogeneous variables, such as curves, images or shapes, in unordered metric spaces. We describe a new way of splitting the nodes of the trees composing the Fréchet random forest and then we detail the prediction procedure for a non-Euclidean output variable. The classical notions of OOB error as well as the variable importance are adapted to the Fréchet random forest. A consistency theorem for Fréchet regressogram predictor using data-dependent partitions is stated and then applied to Fréchet purely uniformly random trees. A simulation study is then carried out to study the behaviour of this new method within the framework of regression on curves, images and scalars. Finally, Fréchet random forest is applied to the analysis of two high dimensional HIV vaccine trials., Introduites par Leo Breiman en 2001, les forêts aléatoires sont une méthode d’apprentissage statistique largement utilisée dans de nombreux domaines de recherche scientifiques tant pour sa capacité à décrire des relations complexes entre des variables explicatives et une variable réponse que pour sa faculté à traiter des données de grande dimension. Dans de nombreuses applications en santé, on dispose de mesures répétées au cours du temps. On parle alors de données longitudinales. Les corrélations induites entre les mesures d'un même individu à différents temps doivent être prises en compte, ce qui n'est pas le cas dans la méthode classique des forêts aléatoires. L'objectif de cette thèse est d'adapter cette méthode à l'analyse des données longitudinales dans un contexte de grande dimension. Pour ce faire, deux approches sont proposées. La première s'appuie sur l'utilisation d'un modèle semi-paramétrique à effets mixtes qui permet de prendre en compte la structure de covariance intra-individuelle dans la construction de la forêt aléatoire. Cette méthode a été appliquée à un essai vaccinal contre le VIH et a permis de sélectionner 21 transcrits de gènes pour lesquels l'association avec la charge virale du VIH était en adéquation avec les résultats observés lors de l'infection primaire.La seconde se place dans le cadre plus général de la régression sur des espaces métriques. Dans ce contexte, les données répétées sont traitées comme des courbes. Nous introduisons alors le concept de forêts aléatoires de Fréchet qui permet d’apprendre des relations entre des variables de natures diverses, comme des courbes, des images ou des formes, dans des espaces métriques non ordonnés. Nous décrivons une nouvelle manière de découper les noeuds des arbres constituant la forêt de Fréchet puis nous détaillons la procédure de prédiction pour une variable de sortie à valeurs dans un espace non euclidien. Les notions classiques d'erreur OOB ainsi que d'importance des variables sont adaptées aux forêts aléatoires de Fréchet. Un théorème de consistance pour les régressogrammes de Fréchet utilisant des partitions données-dépendantes est énoncé puis appliqué aux arbres de Fréchet purement uniformément aléatoires. Une étude de simulations est ensuite menée pour étudier le comportement de cette nouvelle méthode dans le cadre de la régression sur courbes, images et scalaires. Enfin, la méthode des forêts aléatoires de Fréchet est appliquée à l'analyse de deux essais vaccinaux de grande dimension sur le VIH.

Parmi tous les jeux de société joués par les humains au cours de l’histoire, le jeu de go était considéré comme l’un des plus difficiles à maîtriser par un programme informatique [Van Den Herik et al., 2002]; Jusqu’à ce que ce ne soit plus le cas [Silveret al., 2016]. Cette percée révolutionnaire [Müller, 2002, Van Den Herik et al., 2002] fût le fruit d’une combinaison sophistiquée de Recherche arborescente Monte-Carlo et de techniques d’apprentissage automatique pour évaluer les positions du jeu, mettant en lumière le grand potentiel de l’apprentissage automatique pour résoudre des jeux. L’apprentissage antagoniste, un cas particulier de l’optimisation multiobjective, est un outil de plus en plus utile dans l’apprentissage automatique. Par exemple, les jeux à deux joueurs et à somme nulle sont importants dans le domain des réseaux génératifs antagonistes [Goodfellow et al., 2014] ainsi que pour maîtriser des jeux comme le Go ou le Poker en s’entraînant contre lui-même [Silver et al., 2017, Brown andSandholm, 2017]. Un résultat classique de la théorie des jeux indique que les jeux convexes-concaves ont toujours un équilibre [Neumann, 1928]. Étonnamment, les praticiens en apprentissage automatique entrainent avec succès une seule paire de réseaux de neurones dont l’objectif est un problème de minimax non-convexe et non-concave alors que pour une telle fonction de gain, l’existence d’un équilibre de Nash n’est pas garantie en général. Ce travail est une tentative d'établir une solide base théorique pour l’apprentissage dans les jeux. La première contribution explore le théorème minimax pour une classe particulière de jeux non-convexes et non-concaves qui englobe les réseaux génératifs antagonistes. Cette classe correspond à un ensemble de jeux à deux joueurs et a somme nulle joués avec des réseaux de neurones. Les deuxième et troisième contributions étudient l’optimisation des problèmes minimax, et plus généralement, les inégalités variationnelles dans le cadre de l’apprentissage automatique. Bien que la méthode standard de descente de gradient ne parvienne pas à converger vers l’équilibre de Nash de jeux convexes-concaves simples, il existe des moyens d’utiliser des gradients pour obtenir des méthodes qui convergent. Nous étudierons plusieurs techniques telles que l’extrapolation, la moyenne et la quantité de mouvement à paramètre négatif. La quatrième contribution fournit une étude empirique du comportement pratique des réseaux génératifs antagonistes. Dans les deuxième et troisième contributions, nous diagnostiquons que la méthode du gradient échoue lorsque le champ de vecteur du jeu est fortement rotatif. Cependant, une telle situation peut décrire un pire des cas qui ne se produit pas dans la pratique. Nous fournissons de nouveaux outils de visualisation afin d’évaluer si nous pouvons détecter des rotations dans comportement pratique des réseaux génératifs antagonistes., Among all the historical board games played by humans, the game of go was considered one of the most difficult to master by a computer program [Van Den Heriket al., 2002]; Until it was not [Silver et al., 2016]. This odds-breaking break-through [Müller, 2002, Van Den Herik et al., 2002] came from a sophisticated combination of Monte Carlo tree search and machine learning techniques to evaluate positions, shedding light upon the high potential of machine learning to solve games. Adversarial training, a special case of multiobjective optimization, is an increasingly useful tool in machine learning. For example, two-player zero-sum games are important for generative modeling (GANs) [Goodfellow et al., 2014] and mastering games like Go or Poker via self-play [Silver et al., 2017, Brown and Sandholm,2017]. A classic result in Game Theory states that convex-concave games always have an equilibrium [Neumann, 1928]. Surprisingly, machine learning practitioners successfully train a single pair of neural networks whose objective is a nonconvex-nonconcave minimax problem while for such a payoff function, the existence of a Nash equilibrium is not guaranteed in general. This work is an attempt to put learning in games on a firm theoretical foundation. The first contribution explores minimax theorems for a particular class of nonconvex-nonconcave games that encompasses generative adversarial networks. The proposed result is an approximate minimax theorem for two-player zero-sum games played with neural networks, including WGAN, StarCrat II, and Blotto game. Our findings rely on the fact that despite being nonconcave-nonconvex with respect to the neural networks parameters, the payoff of these games are concave-convex with respect to the actual functions (or distributions) parametrized by these neural networks. The second and third contributions study the optimization of minimax problems, and more generally, variational inequalities in the context of machine learning. While the standard gradient descent-ascent method fails to converge to the Nash equilibrium of simple convex-concave games, there exist ways to use gradients to obtain methods that converge. We investigate several techniques such as extrapolation, averaging and negative momentum. We explore these techniques experimentally by proposing a state-of-the-art (at the time of publication) optimizer for GANs called ExtraAdam. We also prove new convergence results for Extrapolation from the past, originally proposed by Popov [1980], as well as for gradient method with negative momentum. The fourth contribution provides an empirical study of the practical landscape of GANs. In the second and third contributions, we diagnose that the gradient method breaks when the game’s vector field is highly rotational. However, such a situation may describe a worst-case that does not occur in practice. We provide new visualization tools in order to exhibit rotations in practical GAN landscapes. In this contribution, we show empirically that the training of GANs exhibits significant rotations around Local Stable Stationary Points (LSSP), and we provide empirical evidence that GAN training converges to a stable stationary point, which is a saddle point for the generator loss, not a minimum, while still achieving excellent performance.

Spécialité : Informatique; Nowadays, many of us are surrounded by smart devices that seamlessly operate interactively and autonomously together with multiple services to make our lives more comfortable. These smart devices are part of larger ecosystems, in which various companies collaborate to ease the distribution of applications between developers and users. However malicious attackers take advantage of them illegitimately to infect users' smart devices with malicious applications. Despite all the efforts made to defend these ecosystems, the rate of devices infected with malware is still increasing in 2020. In this thesis, we explore three research axes with the aim of globally improving malware detection in the Android ecosystem. We demonstrate that the accuracy of machine learning-based detection systems can be improved by automating their evaluation and by reusing the concept of AutoML to fine-tune learning algorithms parameters. We propose an approach to automatically create malware variants from combinations of complex evasion techniques to diversify experimental malware datasets in order to challenge existing detection systems. Finally, we propose methods to globally increase the quality of experimental datasets used to train and test detection systems.; De nos jours, nous sommes entourés de périphériques intelligents autonomes qui interagissent avec de nombreux services dans le but d'améliorer notre niveau de vie. Ces périphériques font partie d'écosystèmes plus larges, dans lesquels de nombreuses entreprises collaborent pour faciliter la distribution d'applications entre les développeurs et les utilisateurs. Cependant, des personnes malveillantes en profitent illégalement pour infecter les appareils des utilisateurs avec des application malveillantes. Malgré tous les efforts mis en œuvre pour défendre ces écosystèmes, le taux de périphériques infectés par des malware est toujours en augmentation en 2020.Dans cette thèse, nous explorons trois axes de recherche dans le but d'améliorer globalement la détection de malwares dans l'écosystème Android. Nous démontrons d'abord que la précision des systèmes de détection basés sur le machine learning peuvent être améliorés en automatisant leur évaluation et en ré-utilisant le concept d'AutoML pour affiner les paramètres des algorithmes d'apprentissage. Nous proposons une approche pour créer automatiquement des variantes de malwares à partir de combinaisons de techniques d'évasion complexes pour diversifier les datasets de malwares expérimentaux dans le but de mettre à l'épreuve les systèmes de détection. Enfin, nous proposons des méthodes pour améliorer la qualité des datasets expérimentaux utilisés pour entrainer et tester les systèmes de détection.

Images are nowadays a standard and mature medium of communication.They appear in our day to day life and therefore they are subject to concernsabout security. In this work, we study different methods to assess theintegrity of images. Because of a context of high volume and versatilityof tampering techniques and image sources, our work is driven by the necessity to developflexible methods to adapt the diversity of images.We first focus on manipulations detection through statistical modeling ofthe images. Manipulations are elementary operations such as blurring,noise addition, or compression. In this context, we are more preciselyinterested in the effects of pre-processing. Because of storagelimitation or other reasons, images can be resized or compressed justafter their capture. Addition of a manipulation would then be applied on analready pre-processed image. We show that a pre-resizing of test datainduces a drop of performance for detectors trained on full-sized images.Based on these observations, we introduce two methods to counterbalancethis performance loss for a pipeline of classification based onGaussian Mixture Models. This pipeline models the local statistics, onpatches, of natural images. It allows us to propose adaptation of themodels driven by the changes in local statistics. Our first method ofadaptation is fully unsupervised while the second one, only requiring a fewlabels, is weakly supervised. Thus, our methods are flexible to adaptversatility of source of images.Then we move to falsification detection and more precisely to copy-moveidentification. Copy-move is one of the most common image tampering technique. Asource area is copied into a target area within the same image. The vastmajority of existing detectors identify indifferently the two zones(source and target). In an operational scenario, only the target arearepresents a tampering area and is thus an area of interest. Accordingly, wepropose a method to disentangle the two zones. Our method takesadvantage of local modeling of statistics in natural images withGaussian Mixture Model. The procedure is specific for each image toavoid the necessity of using a large training dataset and to increase flexibility.Results for all the techniques described above are illustrated on publicbenchmarks and compared to state of the art methods. We show that theclassical pipeline for manipulations detection with Gaussian MixtureModel and adaptation procedure can surpass results of fine-tuned andrecent deep-learning methods. Our method for source/target disentanglingin copy-move also matches or even surpasses performances of the latestdeep-learning methods. We explain the good results of these classicalmethods against deep-learning by their additional flexibility andadaptation abilities.Finally, this thesis has occurred in the special context of a contestjointly organized by the French National Research Agency and theGeneral Directorate of Armament. We describe in the Appendix thedifferent stages of the contest and the methods we have developed, as well asthe lessons we have learned from this experience to move the image forensics domain into the wild., Les images numériques sont devenues un moyen de communication standard et universel. Elles prennent place dans notre vie de tous les jours, ce qui entraîne directement des inquiétudes quant à leur intégrité. Nos travaux de recherche étudient différentes méthodes pour examiner l’authenticité d’une image numérique. Nous nous plaçons dans un contexte réaliste où les images sont en grandes quantités et avec une large diversité de manipulations et falsifications ainsi que de sources. Cela nous a poussé à développer des méthodes flexibles et adaptative face à cette diversité.Nous nous sommes en premier lieu intéressés à la détection de manipulations à l’aide de la modélisation statistiques des images. Les manipulations sont des opérations élémentaires telles qu’un flou, l’ajout de bruit ou une compression. Dans ce cadre, nous nous sommes plus particulièrement focalisés sur les effets d’un pré-traitement. A cause de limitations de stockage et autres, une image peut être re-dimensionnée ou re-compressée juste après sa capture. L’ajout d’une manipulation se fait donc ensuite sur une image déjà pré-traitée. Nous montrons qu’un pré-redimensionnement pour les images de test induit une chute de performance pour des détecteurs entraînés avec des images en pleine taille. Partant de ce constat, nous introduisons deux nouvelles méthodes pour mitiger cette chute de performance pour des détecteurs basés sur l’utilisation de mixtures de gaussiennes. Ces détecteurs modélisent les statistiques locales, sur des tuiles (patches), d’images naturelles. Cela nous permet de proposer une adaptation de modèle guidée par les changements dans les statistiques locales de l’image. Notre première méthode est une adaptation entièrement non-supervisée, alors que la seconde requière l’accès à quelques labels, faiblement supervisé, pour les images pré-resizées.Ensuite, nous nous sommes tournés vers la détection de falsifications et plus spécifiquement l’identification de copier-coller. Le copier-coller est l’une des falsification les plus populaires. Une zone source est copiée vers une zone cible de la même image. La grande majorité des détecteurs existants identifient indifféremment les deux zones (source et cible). Dans un scénario opérationnel, seulement la zone cible est intéressante car uniquement elle représente une zone de falsification. Ainsi, nous proposons une méthode pour discerner les deux zones. Notre méthode utilise également la modélisation locale des statistiques de l’image à l’aide de mixtures de gaussiennes. La procédure est spécifique à chaque image et ainsi évite la nécessité d’avoir recours à de larges bases d’entraînement et permet une plus grande flexibilité.Des résultats expérimentaux pour toutes les méthodes précédemment décrites sont présentés sur des benchmarks classiques de la littérature et comparés aux méthodes de l’état de l’art. Nous montrons que le détecteur classique de détection de manipulations basé sur les mixtures de gaussiennes, associé à nos nouvelles méthodes d’adaptation de modèle peut surpasser les résultats de récentes méthodes deep-learning. Notre méthode de discernement entre source/cible pour copier-coller égale ou même surpasse les performances des dernières méthodes d’apprentissage profond. Nous expliquons ces bons résultats des méthodes classiques face aux méthodes d’apprentissage profond par la flexibilité et l’adaptabilité supplémentaire dont elles font preuve.Pour finir, cette thèse s’est déroulée dans le contexte très spécial d’un concours organisé conjointement par l’Agence National de la Recherche et la Direction Général de l’Armement. Nous décrivons dans un appendice, les différents tours de ce concours et les méthodes que nous avons développé. Nous dressons également un bilan des enseignements de cette expérience qui avait pour but de passer de benchmarks publics à une détection de falsifications d’images très réalistes.

Images are nowadays a standard and mature medium of communication. They appear in our day to day life and therefore they are subject to concernsabout security. In this work, we study different methods to assess the integrity of images. Because of a context of high volume and versatility of tampering techniques and image sources, our work is driven by the necessity to develop flexible methods to adapt the diversity of images.We first focus on manipulations detection through statistical modeling of the images. Manipulations are elementary operations such as blurring,noise addition, or compression. In this context, we are more precisely interested in the effects of pre-processing. Because of storagelimitation or other reasons, images can be resized or compressed just after their capture. Addition of a manipulation would then be applied on analready pre-processed image. We show that a pre-resizing of test data induces a drop of performance for detectors trained on full-sized images.Based on these observations, we introduce two methods to counterbalance this performance loss for a pipeline of classification based onGaussian Mixture Models. This pipeline models the local statistics, on patches, of natural images. It allows us to propose adaptation of themodels driven by the changes in local statistics. Our first method of adaptation is fully unsupervised while the second one, only requiring a fewlabels, is weakly supervised. Thus, our methods are flexible to adapt versatility of source of images.Then we move to falsification detection and more precisely to copy-move identification. Copy-move is one of the most common image tampering technique. A source area is copied into a target area within the same image. The vast majority of existing detectors identify indifferently the two zones(source and target). In an operational scenario, only the target area represents a tampering area and is thus an area of interest. Accordingly, wepropose a method to disentangle the two zones. Our method takes advantage of local modeling of statistics in natural images withGaussian Mixture Model. The procedure is specific for each image to avoid the necessity of using a large training dataset and to increase flexibility.Results for all the techniques described above are illustrated on public benchmarks and compared to state of the art methods. We show that theclassical pipeline for manipulations detection with Gaussian Mixture Model and adaptation procedure can surpass results of fine-tuned andrecent deep-learning methods. Our method for source/target disentangling in copy-move also matches or even surpasses performances of the latestdeep-learning methods. We explain the good results of these classical methods against deep-learning by their additional flexibility andadaptation abilities.Finally, this thesis has occurred in the special context of a contest jointly organized by the French National Research Agency and theGeneral Directorate of Armament. We describe in the Appendix the different stages of the contest and the methods we have developed, as well asthe lessons we have learned from this experience to move the image forensics domain into the wild.; Les images numériques sont devenues un moyen de communication standard et universel. Elles prennent place dans notre vie de tous les jours, ce qui entraîne directement des inquiétudes quant à leur intégrité. Nos travaux de recherche étudient différentes méthodes pour examiner l’authenticité d’une image numérique. Nous nous plaçons dans un contexte réaliste où les images sont en grandes quantités et avec une large diversité de manipulations et falsifications ainsi que de sources. Cela nous a poussé à développer des méthodes flexibles et adaptative face à cette diversité.Nous nous sommes en premier lieu intéressés à la détection de manipulations à l’aide de la modélisation statistiques des images. Les manipulations sont des opérations élémentaires telles qu’un flou, l’ajout de bruit ou une compression. Dans ce cadre, nous nous sommes plus particulièrement focalisés sur les effets d’un pré-traitement. A cause de limitations de stockage et autres, une image peut être re-dimensionnée ou re-compressée juste après sa capture. L’ajout d’une manipulation se fait donc ensuite sur une image déjà pré-traitée. Nous montrons qu’un pré-redimensionnement pour les images de test induit une chute de performance pour des détecteurs entraînés avec des images en pleine taille. Partant de ce constat, nous introduisons deux nouvelles méthodes pour mitiger cette chute de performance pour des détecteurs basés sur l’utilisation de mixtures de gaussiennes. Ces détecteurs modélisent les statistiques locales, sur des tuiles (patches), d’images naturelles. Cela nous permet de proposer une adaptation de modèle guidée par les changements dans les statistiques locales de l’image. Notre première méthode est une adaptation entièrement non-supervisée, alors que la seconde requière l’accès à quelques labels, faiblement supervisé, pour les images pré-resizées.Ensuite, nous nous sommes tournés vers la détection de falsifications et plus spécifiquement l’identification de copier-coller. Le copier-coller est l’une des falsification les plus populaires. Une zone source est copiée vers une zone cible de la même image. La grande majorité des détecteurs existants identifient indifféremment les deux zones (source et cible). Dans un scénario opérationnel, seulement la zone cible est intéressante car uniquement elle représente une zone de falsification. Ainsi, nous proposons une méthode pour discerner les deux zones. Notre méthode utilise également la modélisation locale des statistiques de l’image à l’aide de mixtures de gaussiennes. La procédure est spécifique à chaque image et ainsi évite la nécessité d’avoir recours à de larges bases d’entraînement et permet une plus grande flexibilité.Des résultats expérimentaux pour toutes les méthodes précédemment décrites sont présentés sur des benchmarks classiques de la littérature et comparés aux méthodes de l’état de l’art. Nous montrons que le détecteur classique de détection de manipulations basé sur les mixtures de gaussiennes, associé à nos nouvelles méthodes d’adaptation de modèle peut surpasser les résultats de récentes méthodes deep-learning. Notre méthode de discernement entre source/cible pour copier-coller égale ou même surpasse les performances des dernières méthodes d’apprentissage profond. Nous expliquons ces bons résultats des méthodes classiques face aux méthodes d’apprentissage profond par la flexibilité et l’adaptabilité supplémentaire dont elles font preuve.Pour finir, cette thèse s’est déroulée dans le contexte très spécial d’un concours organisé conjointement par l’Agence National de la Recherche et la Direction Général de l’Armement. Nous décrivons dans un appendice, les différents tours de ce concours et les méthodes que nous avons développé. Nous dressons également un bilan des enseignements de cette expérience qui avait pour but de passer de benchmarks publics à une détection de falsifications d’images très réalistes.

This thesis focuses on the evaluation of banking prudential regulation efficiency. It also proposes public policy recommendations to improve existing prudential requirements. In the first chapter, we question the macroeconomic objective of Basel III: ensure financial stability. To this end, we propose a method for calculating a financial stability indicator. We then assess the effect of capital and liquidity ratios on this indicator. Our results highlight the need to consider the existence of non-linearities in the link between prudential ratios and financial stability. We also stress that an aggregated and consensual measure of financial stability isessential for assessing the effectiveness of regulation. In our second chapter, we look at the impact of capital, leverage and liquidity ratios from a microeconomic perspective. Specifically, we assess their predictive power and marginal impact on banks' probability of default, through the implementation of classical and machine learning classification methods. On the one hand, we show that capital regulation is more efficient than liquidity regulation. On the other hand, the effects of leverage and capital ratios are equivalent, which leads us to argue in favor of stronger leverage regulation. Indeed, this would make it possible to greatly reduce the complexity of regulation, while making it less specific than it is today. To verify this hypothesis, we assess the possible "collateral damage" of regulation in the third chapter. Using Lasso models and random forests, we calculate the impact of capital, leverage and liquidity ratios on bank profitability. It appears that the leverage ratio is more determinant in the constitution of banks' performance as measured by the return on assets. Return on equity, on the other hand, is negatively impacted. Our recommendation for stricter banking regulations on leverage therefore remains valid since it carries a private cost borne by shareholders, and not a social cost, borne by the banking activity., Cette thèse s’intéresse à l’évaluation de l’efficacité de la règlementation prudentielle bancaire. Elle propose également des recommandations en termes de politiques publiques pour améliorer les exigences prudentielles en vigueur. Dans le premier chapitre, nous questionnons l’objectif macroéconomique de Bâle III : assurer la stabilité financière. Nous proposons pour cela, une méthode de calcul d’un indicateur de stabilité financière. Puis nous évaluons l’effet des ratios de capital et de liquidité sur cet indicateur. Nos résultats mettent en exergue la nécessité de prendre en compte l’existence de non-linéarités dans le lien entre les ratios prudentiels et la stabilité financière. Nous soulignons également que la constitution d’une mesure agrégée et consensuelle de stabilité financière est essentielle pour pouvoir évaluer l’efficacité de la règlementation. Dans notre deuxième chapitre, nous nous intéressons à l’impact des ratios de capital, de levier et de liquidité du point de vue microéconomique. Précisément, nous évaluons leur pouvoir prédictif et impact marginaux sur la probabilité de défaut des banques, via la mise en place de méthodes de classification classiques et de machine learning. D’une part, nous montrons que la règlementation en capital est plus efficace que celle en liquidité. D’autre part, les effets des ratios de levier et de capital sont équivalents, ce qui nous pousse à arguer en faveur d’une règlementation plus forte en levier. En effet, cela permettrait de réduire fortement la complexité de la règlementation, tout en lui donnant un caractère moins spécifique qu’aujourd’hui. Pour vérifier cette hypothèse, nous conduisons dans le troisième chapitre, une évaluation des « dommages collatéraux » éventuels de la règlementation. En particulier, à l’aide de modèles Lasso et de forêts aléatoires, nous calculons l’impact des ratios de capital, levier et liquidité sur la rentabilité des banques. Il apparait que le ratio de levier est plus déterminant dans la constitution de la performance des banques mesurée par le rendement des actifs. Le rendement des fonds propres est en revanche négativement impacté. Notre préconisation d’une règlementation bancaire plus sévère en levier reste donc valide puisqu’elle porte un coût privé supporté par les actionnaires, et non un coût social, supporté par l’activité bancaire.

AI nowadays relies largely on using large data and enhanced machine learning methods which consist in developing classification and inference algorithms leveraging large datasets of large sizes. These large dimensions induce many counter-intuitive phenomena, leading generally to a misunderstanding of the behavior of many machine learning algorithms often designed with small data dimension intuitions. By taking advantage of (rather than suffering from) the multidimensional setting, random matrix theory (RMT) is able to predict the performance of many non-linear algorithms as complex as some random neural networks as well as many kernel methods such as Support Vector Machines, semi-supervised classification, principal component analysis or spectral clustering. To characterize the performance of these algorithms theoretically, the underlying data model is often a Gaussian mixture model (GMM) which seems to be a strong assumption given the complex structure of real data (e.g., images). Furthermore, the performance of machine learning algorithms depends on the choice of data representation (or features) on which they are applied. Once again, considering data representations as Gaussian vectors seems to be quite a restrictive assumption. Relying on random matrix theory, this thesis aims at going beyond the simple GMM hypothesis, by studying classical machine learning tools under the hypothesis of Lipschitz-ally transformed Gaussian vectors also called concentrated random vectors, and which are more generic than Gaussian vectors. This hypothesis is particularly motivated by the observation that one can use generative models (e.g., GANs) to design complex and realistic data structures such as images, through Lipschitz-ally transformed Gaussian vectors. This notably suggests that making the aforementioned concentration assumption on data is a suitable model for real data and which is just as mathematically accessible as GMM models. Moreover, in terms of data representation, the concentration framework is compatible with one of the most widely used data representations in practice, namely deep neural nets (DNNs) representations, since they consist of a Lipschitz transformation of the input data (e.g., images). Therefore, we demonstrate through this thesis, leveraging on GANs, the interest in considering the framework of concentrated vectors as a model for real data. In particular, we study the behavior of random Gram matrices which appear at the core of various linear models, kernel matrices that appear in kernel methods, and also classification methods that rely on an implicit solution (e.g., Softmax layer in neural networks), with concentrated random inputs. Indeed, these methods are at the heart of many classifications, regression, and clustering machine learning algorithms. In particular, understanding the behavior of these matrices/methods, for concentrated data, allows us to characterize the performances (on real data if we assimilate them to concentrated vectors) of many machine learning algorithms, such as spectral clustering, SVMs, principal component analysis, and transfer learning. Analyzing these methods for concentrated data yields the surprising result that they have asymptotically the same behavior as for GMM data (with the same first and second-order statistics). This result strongly suggests the universality aspect of large machine learning classifiers w.r.t. the underlying data distribution., De nos jours, l'IA repose en grande partie sur l'utilisation de données de grande taille et sur des méthodes d'apprentissage machine améliorées qui consistent à développer des algorithmes de classification et d'inférence en tirant parti de grands ensembles de données de grande taille. Ces grandes dimensions induisent de nombreux phénomènes contre-intuitifs, conduisant généralement à une mauvaise compréhension du comportement de nombreux algorithmes d'apprentissage machine souvent conçus avec des intuitions de petites dimensions de données. En tirant parti du cadre multidimensionnel (plutôt que d'en souffrir), la théorie des matrices aléatoires (RMT) est capable de prédire les performances de nombreux algorithmes non linéaires aussi complexes que certains réseaux de neurones aléatoires, ainsi que de nombreuses méthodes du noyau telles que les SVM, la classification semi-supervisée, l'analyse en composantes principales ou le regroupement spectral. Pour caractériser théoriquement les performances de ces algorithmes, le modèle de données sous-jacent est souvent un modèle de mélange gaussien (MMG) qui semble être une hypothèse forte étant donné la structure complexe des données réelles (par exemple, des images). En outre, la performance des algorithmes d'apprentissage automatique dépend du choix de la représentation des données (ou des caractéristiques) sur lesquelles ils sont appliqués. Encore une fois, considérer les représentations de données comme des vecteurs gaussiens semble être une hypothèse assez restrictive. S'appuyant sur la théorie des matrices aléatoires, cette thèse vise à aller au-delà de la simple hypothèse du MMG, en étudiant les outils classiques d'apprentissage machine sous l'hypothèse de vecteurs aléatoires concentrés qui généralisent les vecteurs Gaussiens. Cette hypothèse est particulièrement motivée par l'observation que l'on peut utiliser des modèles génératifs (par exemple, les GAN) pour concevoir des structures de données complexes et réalistes telles que des images, grâce à des transformations Lipschitzienne de vecteurs gaussiens. Cela suggère notamment que l'hypothèse de concentration sur les données mentionnée ci-dessus est un modèle approprié pour les données réelles et qui est tout aussi mathématiquement accessible que les MMG. Par conséquent, nous démontrons à travers cette thèse, en nous appuyant sur les GANs, l'intérêt de considérer le cadre des vecteurs concentrés comme un modèle pour les données réelles. En particulier, nous étudions le comportement des matrices de Gram aléatoires qui apparaissent au cœur de divers modèles linéaires, des matrices à noyau qui apparaissent dans les méthodes à noyau et également des méthodes de classification qui reposent sur une solution implicite (par exemple, la couche de Softmax dans les réseaux de neurones), avec des données aléatoires supposées concentrées. En particulier, la compréhension du comportement de ces matrices/méthodes, pour des données concentrées, nous permet de caractériser les performances (sur des données réelles si nous les assimilons à des vecteurs concentrés) de nombreux algorithmes d'apprentissage machine, tels que le clustering spectral, les SVM, l'analyse en composantes principales et l'apprentissage par transfert. L'analyse de ces méthodes pour des données concentrées donne le résultat surprenant qu'elles ont asymptotiquement le même comportement que pour les données de MMG. Ce résultat suggère fortement l'aspect d'universalité des grands classificateurs d'apprentissage machine par rapport à la distribution sous-jacente des données.

My thesis work is part of a multi-modal and multi-scale integration approach which has led to the emergence of cognitive and population neuroimaging. More specifically, fMRI provides two types of three-dimensional functional brain maps: activation maps allowing for visualizing brain regions directly involved in a cognitive process, and intrinsic connectivity maps measuring the synchronization between spatially distant but functionally connected regions. I have applied new statistical methodologies to these two types of maps, allowing me to deal with both the individual and the spatial dimensions. In the first part, I designed atlases of brain regions dedicated to specific cognitive functions, based on their hemispheric lateralization and targeting a population selected for its low variability. I present here the first two language atlases. Indeed, although there are many approaches to map language areas in patients, there was no atlas of networks supporting language functions in healthy individuals so far. I first identified left activated and left asymmetrical regions, both during sentence production, listening and reading, in 137 healthy right-handed individuals. Analysis of the intrinsic connectivity between the 32 identified regions reveals that they are part of 3 distinct functional networks, which constitute the SENSAAS (SENtence Supramodal Areas AtlaS) brain atlas. Among these networks, one with 18 regions contains the essential language areas (SENT_CORE), i.e. the brain areas whose lesion leads to an impairment in the integration of the meaning of speech. Specifically, SENT_CORE contains 3 hubs supporting the information integration and dissemination, localized in the Broca and Wernicke area. I then applied this methodology to the elaboration of an atlas of word processing networks. I identified 21 brain regions organized into 2 distinct networks, one of which is a phonological network including the audio-motor loop. For the first time, a strong intrinsic connectivity between the left audio-motor loop and the prosodic processing, located in the upper temporal sulcus of the right hemisphere, is evidenced. Finally, I developed a new method for studying the variability of three-dimensional data. This new method includes two different mathematical tools based on hierarchical agglomerative clustering algorithms. The first one makes it possible to identify variables leading to partition instability, the second one allows for extracting stable sub-populations from a starting population. The applications of all of this work are numerous: for example, I used the SENT_CORE network to study the inter-individual variability of hemispheric lateralization of the sentence supramodal areas. I have thus identified two groups of typical asymmetric left language individuals, with high left intra-hemispheric intrinsic connectivity and low inter-hemispheric connectivity, and a group of atypical individuals: rightward asymmetrical for language, with high intrinsic connectivity of language networks in both hemispheres and high inter-hemispheric connectivity. SENSAAS has also been used to study the genetic support of language atypicality, as well as for the topological characterization of the memory and language networks of individuals with mesial temporal lobe epilepsy. The new method for assessing inter-individual variability was used to evaluate the stability of the intrinsic networks of a new functional atlas adapted for late adulthood.; Mon travail de thèse s'inscrit dans une approche d'intégration multimodale et multi-échelle qui a conduit à l'émergence de la neuroimagerie cognitive et de population. Il repose sur deux modalités de cartes fonctionnelles tridimensionnelles cérébrales obtenues en IRMf : les cartes d'activation permettant de visualiser les régions dont l’activité est évoquée par un processus cognitif et les cartes de connectivité intrinsèque mesurant la synchronisation entre des régions spatialement distantes, mais connectées fonctionnellement. J'ai appliqué à ces deux types de cartes de nouvelles méthodologies statistiques permettant de traiter à la fois les dimensions individuelles et spatiales. Dans une première partie, j'ai conçu des atlas de régions cérébrales dédiées à des fonctions cognitives spécifiques, basés sur leur latéralisation hémisphérique et ciblant une population sélectionnée pour sa faible variabilité. Je présente ici les deux premiers atlas du langage. En effet, bien qu'il existe de nombreuses approches pour cartographier les régions du langage chez les patients, il n'existait pas d'atlas des réseaux langagiers chez les individus sains. J’ai tout d’abord identifié les régions activées dans l'hémisphère gauche et asymétriques gauche, à la fois pendant la production, l'écoute et la lecture de phrases, chez 137 individus sains droitiers. L’analyse de la connectivité intrinsèque entre les 32 régions identifiées a permis de mettre en évidence qu'elles faisaient partie de 3 réseaux fonctionnels distincts. Le tout constituant ainsi l’atlas cérébral SENSAAS (SENtence Supramodal Areas AtlaS). Parmi ces réseaux, l'un comprenant 18 régions contient les zones essentielles du langage (SENT_CORE), c'est-à-dire les aires cérébrales dont la lésion entraînerait une déficience dans l'intégration du sens de la parole. Plus particulièrement, SENT_CORE contient 3 régions clés (hubs) de l’intégration et de la diffusion de l'information situées au niveau de l’aire de Broca et de Wernicke. J'ai ensuite appliqué cette méthodologie à l’élaboration d’un atlas des réseaux du traitement du mot. J’ai ainsi identifié 21 régions cérébrales organisées en 2 réseaux distincts, dont un réseau phonologique incluant la boucle audio-motrice. Pour la première fois, une forte connectivité intrinsèque entre la boucle audio-motrice de l’hémisphère gauche et le traitement prosodique situé au niveau du sillon temporal supérieur de l’hémisphère droit a été mis en évidence. Enfin, j'ai développé une nouvelle méthode d’étude de la variabilité de données tridimensionnelles. Cette nouvelle méthode comporte deux outils mathématiques différents se basant sur un algorithme de classification ascendante hiérarchique. Le premier permet d'identifier les variables conduisant à une instabilité des partitions, le second permet d'extraire des sous-populations stables d'une population de départ. Les applications de l’ensemble de ce travail sont nombreuses : j'ai par exemple utilisé le réseau SENT_CORE pour étudier la variabilité interindividuelle de la latéralisation hémisphérique des aires supramodales de la phrase. J’ai ainsi identifié deux groupes de sujets typiques asymétriques gauche pour le langage, avec une forte connectivité intra-hémisphérique gauche et une faible connectivité inter-hémisphérique, ainsi qu’un groupe de sujets atypiques : asymétriques droit pour le langage, présentant une forte connectivité intrinsèque des réseaux du langage dans les deux hémisphères et une forte connectivité inter-hémisphérique. SENSAAS a également été utilisé afin d’étudier le support génétique de l’atypicalité du langage, ainsi que pour la caractérisation topologique des réseaux mnésiques et linguistiques des individus souffrant d'épilepsie temporale. La nouvelle méthode d’évaluation de la variabilité interindividuelle a, elle, été utilisée afin d’évaluer la stabilité des réseaux intrinsèques d’un nouvel atlas fonctionnel adapté aux individus de plus de 55 ans.

This thesis deals with uncertainty and robustness in decision problems, with the case of the train platforming problem subject to delays. A two-part methodology is proposed to address this problem. First, delay records are used to build models predicting probability distributions conditionnaly to a set of explanatory variables. A methodology to validate and evaluate these predictions is proposed to ensure their reliability for decision-making. As the train platforming problem can be seen as a weighted clique problem, these predicted distributions are used in a second part to add weights on edges to penalize risk of conflict. Local search algorithms are used and experiments show a significant decrease in conflicts., Cette thèse traite de l’incertitude et de la robustesse dans les problèmes de d´décision, avec le cas d’application des affectations de quais en gare en cas de retards. Une m´méthodologie en deux parties est proposée pour aborder ce problème. Dans un premier temps, les archives de données de retards sont utilisées pour construire des modèles de prédiction de distribution de probabilités conditionnellement aux valeurs d’un ensemble de variables explicatives. Une m´méthodologie de validation et d’évaluation de ces prédictions est mise en place afin d’assurer leur fiabilité pour de la prise de d´décision. Le problème d’affectations de quais pouvant être vu comme une recherche de clique de taille maximum, ces distributions prédites sont utilisées dans une seconde partie pour ajouter des pondérations pénalisant les risques de rupture des arêtes en cas de retard. Des algorithmes de recherche locale ont ´été utilisés et les expériences ont montré une importante baisse de conflits.