Search

International audience; Les scores retournés par les séparateurs à vaste marge sont souvent utilisés comme mesures de confiance pour la classification de nouveaux exemples. Cependant, il n'y a pas de fondement théorique à cette pratique. C'est pourquoi, lorsque l'incertitude de classification doit être estimée, il est plus sûr de recourir à des classifieurs qui estiment les pro- babilités conditionnelles des classes. Ici, nous nous concentrons sur l'ambiguïté à proximité de la frontière de décision. Nous proposons une adaptation de l'estimation par maximum de vraisemblance. Le critère proposé vise à estimer les probabilités conditionnelles, de manière précise à l'intérieur d'un intervalle défini par l'utilisateur, et moins précise ailleurs. Le modèle est aussi parcimonieux, dans le sens où peu d'exemples contribuent à la solution. Nous appliquons ce critère à la régression logistique. Ce modèle de régression logistique parcimonieuse sera ensuite validé par le jeu de données Forest Covertype de l'UCI.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Statistical Learning Theory has been growing rapidly the last ten years. The introduction of efficient classification algorithms, such as boosting and Support Vector Machines, coping with high-dimensional data, generated new questions that Vapnik-Chervonenkis (VC) theory could not answer. The Empirical Risk Minimization principle does not account for practical learning algorithms and the VC dimension is not the appropriate concept to explain the generalization ability of suchmethods. In the first chapter, we recall the interpretations of boosting algorithms as implementations of convex risk minimizationprinciples and we study their properties under this viewpoint. In particular, we show the importance of regularization in order to obtain consistent strategies. We also develop a new class of algorithms called the Mirror Averaging Algorithm and we evaluatetheir performance through simulation experiments. After presenting the fundamental ideas underlying boosting, we study, in the second chapter, more advanced issues such as oracle inequalities. Thus, we propose some fine calibration of the penalty function according to the cost function being used and present non-asymptotic resultson the performance of penalized boosting estimators, with refinements such as fast rates of convergence under Mammen-Tsybakov margin conditions. We also describe the approximation properties of boosting using decision stumps. The third chapter explores the ranking problem. In applications such as information retrieval or credit scoring, ranking the instances can be much more significant than simply classifying them. We propose a simple formulation of this problem in which ranking isequivalent to classification with pairs of observations. The difference lies in the nature of the empirical risks which take the form of U-statistics and we develop classification theory in order to fit with this framework. We also investigate the possibilities of generalizing the ranking error in order to include priors on the ranking we are aiming at, for instance, when we want to focus only on the "best" instances., Depuis une dizaine d'années, la théorie statistique de l'apprentissage a connu une forte expansion. L'avènement d'algorithmes hautement performants pour la classification de données en grande dimension, tels que le boosting ou les machines à noyaux (SVM) a engendré de nombreuses questions statistiques que la théorie de Vapnik-Chervonenkis (VC) ne permettait pas de résoudre. En effet, le principe de Minimisation du Risque Empirique ne rend pas compte des méthodes d'apprentissage concrètes et le concept de complexité combinatoire de VC dimension ne permet pas d'expliquer les capacités de généralisation d'algorithmessélectionnant un estimateur au sein d'une classe massive telle que l'enveloppe convexe d'une classe de VC. Dans le premier volet du mémoire, on rappelle les interprétations des algorithmes de boosting comme des implémentations de principes de minimisationde risques convexes et on étudie leurs propriétés sous cet angle. En particulier, on montre l'importance de larégularisation pour obtenir des stratégies consistantes. On développe également une nouvelle classe d'algorithmes de type gradient stochastique appelés algorithmes de descente miroir avec moyennisation et on évalue leur comportement à travers des simulations informatiques. Après avoir présenté les principes fondamentaux du boosting, on s'attache dans ledeuxième volet à des questions plus avancées telles quel'élaboration d'inégalités d'oracle. Ainsi, on étudie lacalibration précise des pénalités en fonction des critèresde coût utilisés. On présente des résultatsnon-asymptotiques sur la performance des estimateurs du boosting pénalisés, notamment les vitesses rapides sous les conditions de marge de type Mammen-Tsybakov et on décrit les capacités d'approximation du boosting utilisant les "rampes" (stumps) de décision. Le troisième volet du mémoire explore le problème du ranking. Un enjeu important dans des applicationstelles que la fouille de documents ou le "credit scoring" est d'ordonner les instances plutôt que de les catégoriser. On propose une formulation simple de ce problème qui permet d'interpréter le ranking comme une classification sur des paires d'observations. La différence dans ce cas vient du fait que lescritères empiriques sont des U-statistiques et on développe donc la théorie de la classification adaptée à ce contexte. On explore également la question de la généralisation de l'erreur de ranking afin de pouvoir inclure des a priori sur l'ordre des instances, comme dans le cas où on ne s'intéresse qu'aux "meilleures" instances.

We have performed an empirical study of various deterministic Bayesiannetworks structure learning algorithms.The first test step has allowed us to emphasise which learningtechnics need a specific initialisation et we have proposed a way todo this.In the second stage of this doctoral study, we have adapted somelearning technics to incomplete datasets.Then, we have proposed an efficient algorithm to learn atree-augmented naive Bayes classifier in a general way from anincomplete dataset.We have also introduced an original formalism to model incompletedataset generation processes with MCAR or MAR assumptions.Finally, various synthetic datasets and real datasets have been usedto empirically compare structure learning methods from incompletedatasets.; Durant ces travaux de thèse, une comparaison empirique de différentestechniques d'apprentissage de structure de réseaux bayésiens a étéeffectuée, car même s'il peut en exister très ponctuellement, iln'existe pas de comparaisons plus globales de ces algorithmes.De multiples phases de tests nous ont permis d'identifier quellesméthodes souffraient de difficultés d'initialisation et nous avonsproposé une technique pour les résoudre.Nous avons ensuite adapté différentes méthodes d'apprentissage destructure aux bases de données incomplètes et avons notammentintroduit une technique pour apprendre efficacement une structure arborescente.Cette méthode est ensuite adaptée à la problématique plus spécifiquede la classification et permet d'apprendre efficacement et en toutegénéralité un classifieur de Bayes Naïf augmenté.Un formalisme original permettant de générer des bases de donnéesincomplètes ayant des données manquantes vérifiant les hypothèses MCARou MAR est également introduit.De nombreuses bases synthétiques ou réelles ont alors été utiliséespour tester ces méthodes d'apprentissage de structure à partir debases incomplètes.

We have performed an empirical study of various deterministic Bayesiannetworks structure learning algorithms.The first test step has allowed us to emphasise which learningtechnics need a specific initialisation et we have proposed a way todo this.In the second stage of this doctoral study, we have adapted somelearning technics to incomplete datasets.Then, we have proposed an efficient algorithm to learn atree-augmented naive Bayes classifier in a general way from anincomplete dataset.We have also introduced an original formalism to model incompletedataset generation processes with MCAR or MAR assumptions.Finally, various synthetic datasets and real datasets have been usedto empirically compare structure learning methods from incompletedatasets., Durant ces travaux de thèse, une comparaison empirique de différentestechniques d'apprentissage de structure de réseaux bayésiens a étéeffectuée, car même s'il peut en exister très ponctuellement, iln'existe pas de comparaisons plus globales de ces algorithmes.De multiples phases de tests nous ont permis d'identifier quellesméthodes souffraient de difficultés d'initialisation et nous avonsproposé une technique pour les résoudre.Nous avons ensuite adapté différentes méthodes d'apprentissage destructure aux bases de données incomplètes et avons notammentintroduit une technique pour apprendre efficacement une structure arborescente.Cette méthode est ensuite adaptée à la problématique plus spécifiquede la classification et permet d'apprendre efficacement et en toutegénéralité un classifieur de Bayes Naïf augmenté.Un formalisme original permettant de générer des bases de donnéesincomplètes ayant des données manquantes vérifiant les hypothèses MCARou MAR est également introduit.De nombreuses bases synthétiques ou réelles ont alors été utiliséespour tester ces méthodes d'apprentissage de structure à partir debases incomplètes.

DNA sequences can be considered as texts write in a 4-letters alphabet. A technique inspired from textual data analysis characterizes these sequences by short oligonucleotide (or word) frequencies. The whole word frequencies is called “genomic signature” (the “signature” term is justified because this set is species-specificity). Since the genomic signature can be observed in DNA segments as short as 1Kb, it appears to result from a “writing style” that characterizes the organization of DNA all over each genome. Moreover, proximities between species from the genomic signature point of view often correspond to proximities from the taxonomic point of view. However, the genomic signatures analysis is quickly confronted with limitations due to the curse of dimension. Indeed, the high dimensional data (the genomic signature generally has 256 dimensions) show unusual properties. For example, the concentration of Euclidean distances phenomenon is well known.From these observations, we set up procedures to evaluate metrics in order to emphasize biological information extractable from genomic signatures. A associated non-linear method for vicinities' representation frees from the curse of dimension and allows to visualize space occupied by data. The analysis of relations between signatures poses the problem of the contribution of each variable (the words) to the distance between signatures. An original Z-score based on the variation of word frequencies along genomes make it possible to quantify these contributions. The comparison between “local signatures” permit to extract original regions. Besides, the precise segmentation of original regions is computed thanks to a method based on signal analysis.From this set of methods, we can propose diverse biological results. In particular, we highlight an organization in the genomic signatures space coherent with species taxonomy. Moreover, we note the presence of a “DNA syntax” : there are “syntactic words” and “semantic words”. The signature is especially based on syntactic words. Lastly, the analysis of signatures along genome allows detection and precise segmentation of RNA and probable horizontal transfers. The convergence of the horizontal transfer styles towards host signature can besides be observed.Diverse kind of results was obtained by signature analysis. Thus, ease of use and speed of the genomic signature analysis make it a powerful tool to extract biological information from genomes., Les séquences d'ADN peuvent être considérées comme des textes écrits dans un alphabet de 4 lettres. Des techniques inspirées de l'analyse textuelle permettent donc de les caractériser, entre autres à partir de fréquences d'apparition de courtes suites de caractères (les oligonucléotides ou mots). L'ensemble des fréquences des mots d'une longueur donnée est appelé « signature génomique » (cet ensemble est spécifique de l'espèce, ce qui justifie le terme de « signature »). La signature d'espèce est observable sur la plupart des courts fragments d'ADN, ce qui donne à penser qu'elle résulte d'un « style d'écriture ». De plus, la proximité entre espèces du point de vue de la signature génomique correspond bien souvent à une proximité en terme taxonomique. Pourtant, l'analyse des signatures génomiques se confronte rapidement à des limitations dues à la malédiction de la dimension. En effet, les données de grande dimension (la signature génomique a généralement 256 dimensions) montrent des propriétés qui mettent en défaut l'intuition. Par exemple, le phénomène de concentration des distances euclidiennes est bien connu.Partant de ces constatations, nous avons mis en place des procédures d'évaluation des distances entre signatures de façon à rendre plus manifeste les informations biologiques sur lesquelles s'appuient nos analyses. Une méthode de projection non-linéaire des voisinages y est associée ce qui permet de s'affranchir des problèmes de grande dimension et de visualiser l'espace occupé par les données. L'analyse des relations entre les signatures pose le problème de la contribution de chaque variable (les mots) à la distance entre les signatures. Un Z-score original basé sur la variation de la fréquence des mots le long des génomes a permis de quantifier ces contributions. L'étude des variations de l'ensemble des fréquences le long d'un génomes permet d'extraire des segments originaux. Une méthode basée sur l'analyse du signal permet d'ailleurs de segmenter précisément ces zones originales.Grâce à cet ensemble de méthodes, nous proposons des résultats biologiques. En particulier, nous mettons en évidence une organisation de l'espace des signatures génomiques cohérente avec la taxonomie des espèces. De plus, nous constatons la présence d'une syntaxe de l'ADN : il existe des « mots à caractère syntaxique » et des « mots à caractère sémantique », la signature s'appuyant surtout sur les mots à caractère syntaxique. Enfin, l'analyse des signatures le long du génome permet une détection et une segmentation précise des ARN et de probables transferts horizontaux. Une convergence du style des transferts horizontaux vers la signature de l'hôte a d'ailleurs pu être observée.Des résultats variés ont été obtenus par analyse des signatures. Ainsi, la simplicité d'utilisation et la rapidité de l'analyse des séquences par signatures en font un outil puissant pour extraire de l'information biologique à partir des génomes.

DNA sequences can be considered as texts write in a 4-letters alphabet. A technique inspired from textual data analysis characterizes these sequences by short oligonucleotide (or word) frequencies. The whole word frequencies is called “genomic signature” (the “signature” term is justified because this set is species-specificity). Since the genomic signature can be observed in DNA segments as short as 1Kb, it appears to result from a “writing style” that characterizes the organization of DNA all over each genome. Moreover, proximities between species from the genomic signature point of view often correspond to proximities from the taxonomic point of view. However, the genomic signatures analysis is quickly confronted with limitations due to the curse of dimension. Indeed, the high dimensional data (the genomic signature generally has 256 dimensions) show unusual properties. For example, the concentration of Euclidean distances phenomenon is well known.From these observations, we set up procedures to evaluate metrics in order to emphasize biological information extractable from genomic signatures. A associated non-linear method for vicinities' representation frees from the curse of dimension and allows to visualize space occupied by data. The analysis of relations between signatures poses the problem of the contribution of each variable (the words) to the distance between signatures. An original Z-score based on the variation of word frequencies along genomes make it possible to quantify these contributions. The comparison between “local signatures” permit to extract original regions. Besides, the precise segmentation of original regions is computed thanks to a method based on signal analysis.From this set of methods, we can propose diverse biological results. In particular, we highlight an organization in the genomic signatures space coherent with species taxonomy. Moreover, we note the presence of a “DNA syntax” : there are “syntactic words” and “semantic words”. The signature is especially based on syntactic words. Lastly, the analysis of signatures along genome allows detection and precise segmentation of RNA and probable horizontal transfers. The convergence of the horizontal transfer styles towards host signature can besides be observed.Diverse kind of results was obtained by signature analysis. Thus, ease of use and speed of the genomic signature analysis make it a powerful tool to extract biological information from genomes., Les séquences d'ADN peuvent être considérées comme des textes écrits dans un alphabet de 4 lettres. Des techniques inspirées de l'analyse textuelle permettent donc de les caractériser, entre autres à partir de fréquences d'apparition de courtes suites de caractères (les oligonucléotides ou mots). L'ensemble des fréquences des mots d'une longueur donnée est appelé « signature génomique » (cet ensemble est spécifique de l'espèce, ce qui justifie le terme de « signature »). La signature d'espèce est observable sur la plupart des courts fragments d'ADN, ce qui donne à penser qu'elle résulte d'un « style d'écriture ». De plus, la proximité entre espèces du point de vue de la signature génomique correspond bien souvent à une proximité en terme taxonomique. Pourtant, l'analyse des signatures génomiques se confronte rapidement à des limitations dues à la malédiction de la dimension. En effet, les données de grande dimension (la signature génomique a généralement 256 dimensions) montrent des propriétés qui mettent en défaut l'intuition. Par exemple, le phénomène de concentration des distances euclidiennes est bien connu.Partant de ces constatations, nous avons mis en place des procédures d'évaluation des distances entre signatures de façon à rendre plus manifeste les informations biologiques sur lesquelles s'appuient nos analyses. Une méthode de projection non-linéaire des voisinages y est associée ce qui permet de s'affranchir des problèmes de grande dimension et de visualiser l'espace occupé par les données. L'analyse des relations entre les signatures pose le problème de la contribution de chaque variable (les mots) à la distance entre les signatures. Un Z-score original basé sur la variation de la fréquence des mots le long des génomes a permis de quantifier ces contributions. L'étude des variations de l'ensemble des fréquences le long d'un génomes permet d'extraire des segments originaux. Une méthode basée sur l'analyse du signal permet d'ailleurs de segmenter précisément ces zones originales.Grâce à cet ensemble de méthodes, nous proposons des résultats biologiques. En particulier, nous mettons en évidence une organisation de l'espace des signatures génomiques cohérente avec la taxonomie des espèces. De plus, nous constatons la présence d'une syntaxe de l'ADN : il existe des « mots à caractère syntaxique » et des « mots à caractère sémantique », la signature s'appuyant surtout sur les mots à caractère syntaxique. Enfin, l'analyse des signatures le long du génome permet une détection et une segmentation précise des ARN et de probables transferts horizontaux. Une convergence du style des transferts horizontaux vers la signature de l'hôte a d'ailleurs pu être observée.Des résultats variés ont été obtenus par analyse des signatures. Ainsi, la simplicité d'utilisation et la rapidité de l'analyse des séquences par signatures en font un outil puissant pour extraire de l'information biologique à partir des génomes.

La thèse se place dans le contexte de l'apprentissage statistique. On s'intéresse au problème de la classification supervisée des données de grande dimension. Dans un premier temps, nous introduisons les principes de la théorie de Vapnik et de la sélection de modèles, et présentons les grandes familles de méthodes de sélection de variables. Dans un deuxième temps, nous nous proposons de nouveaux outils de sélection de modèles et de réduction de la dimension. Au chapitre 3, nous proposons un estimateur du biais entre le risque conditionnel et le risque empirique d'une règle de classification. Cet estimateur est ensuite utilisé pour l'élaboration d'un critère pénalisé de sélection de modèles appelé Swapping. La pénalité est alors basée sur les seuls points de l'échantillon d'entraînement pour lesquels un changement de label entraîne un changement de prédiction. Les performances pratiques du critère Swapping sont illustrées par l'application à l'algorithme kNN pour le choix du nombre de voisins. Au chapitre 4, nous présentons un critère pénalisé pour la sélection de variables en classification supervisée. La qualité du critère obtenue est garantie par une inégalité oracle. Ce résultat théorique est ensuite utilisée pour justifier la phase d'élagage de l'algorithme CART en tant que méthode intégrée de sélection de variables. Le dernier chapitre est consacré à l'agrégation de variables. Nous présentons une stratégie générale d'agrégation de variables dédiée à l'algorithme de classification choisi par l'expérimentateur. Cette méthode d'agrégation est d’écrite pour les algorithmes kNN et CART. Nous présentons une application de cette méthode de réduction de la dimension à des données fonctionnelles ainsi qu'à des données de biopuces., This thesis takes place within the framework of statistical learning. We study the supervised classification problem for large dimension data. The first part of the document presents the state of the art regarding model selection in the Vapnik theory framework and different variable selection approaches in statistical learning. The second part presents some new tools for model selection and dimension reduction. In Chapter 3, we provide an estimator of the bias between the conditional and the training error of a classification rule. This estimator is then used to derive a penalized criterion called Swapping. The penalty is based on the points for which a change of label induces a change of prediction. An application to the choice of k in the kNN algorithm is presented. In Chapter 4, we propose a penalized criterion for variable selection in supervised classi¯cation. This criterion provides a theoretical justi¯cation of the pruning step of the CART algorithm as an embedded variable selection method. The last chapter is dedicated to a general strategy to aggregate variables in view of classification. The reduction dimension method is adapted to the classification algorithm. Applications to functional and microarray data are provided.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

La recherche thérapeutique a de plus en plus recours à des techniques de modélisation, dites de criblage virtuel, visant à corréler la structure d'une molécule avec ses propriétés biologiques. En particulier, l'utilisation de modèles prédictifs quantifiant la toxicité d'une molécule ou son activité vis à vis d'une cible thérapeutique, permet de réduire de manière considérable le temps et les coûts nécessaires à la mise au point de nouveaux médicaments. Nous nous proposons d'aborder ce problème dans le cadre des méthodes à noyaux, qui permettent de construire de tels modèles de manière efficace dès lors que l'on dispose d'une fonction noyau mesurant la similarité des objets que l'on considère. Plus particulièrement, l'objet de cette thèse est de définir de telles fonctions noyaux entre structures bi- et tri-dimensionnelles de molécules. D'un point de vue méthodologique, ce problème se traduit respectivement comme celui de comparer des graphes représentant les liaisons covalentes des molécules, ou des ensembles d'atomes dans l'espace. Plusieurs approches sont envisagées sur la base de l'extraction et la comparaison de divers motifs structuraux qui permettent d'encoder les groupes fonctionnels des molécules à différents niveaux de résolution. Les validations expérimentales suggèrent que cette méthodologie est une alternative prometteuse aux approches classiques en criblage virtuel.

The aim of this work is to contribute efficient solutions to machine recognition of musical instruments both for the mono-instrumental and multi-instrumental cases. We tackle the problem following an automatic classification approach. Much effort is dedicated to obtain adequate instances of the different blocs constituting the system which we propose for instrument recognition. We adopt a hierarchical classification scheme based on computer-generated taxonomies of instruments and musical ensembles. The system utilises a novel feature selection technique producing an efficient description of audio signals which, in association with support vector machines, entails high recognition accuracy on sound excerpts translating the diversity of the musical performance and recording conditions found in the real world. Our proposal is thus able to recognise up to four instruments played concurrently in jazz music possibly involving percussion.; L'objet de cette thèse est de contribuer à améliorer l'identification automatique des instruments de musique dans des contextes réalistes, (sur des solos de musique, mais également sur des pièces multi-instrumentales). Nous abordons le problème suivant une approche de classification automatique en nous efforçant de rechercher des réalisations performantes des différents modules constituant le système que nous proposons. Nous adoptons un schéma de classification hiérarchique basé sur des taxonomies des instruments et des mélanges d'instruments. Ces taxonomies sont inférées au moyen d'un algorithme de clustering hiérarchique exploitant des distances probabilistes robustes qui sont calculées en utilisant une méthode à noyau. Le système exploite un nouvel algorithme de sélection automatique des attributs pour produire une description efficace des signaux audio qui, associée à des machines à vecteurs supports, permet d'atteindre des taux de reconnaissance élevés sur des pièces sonores reflétant la diversité de la pratique musicale et des conditions d'enregistrement rencontrées dans le monde réel. Notre architecture parvient ainsi à identifier jusqu'à quatre instruments joués simultanément, à partir d'extraits de jazz incluant des percussions.

The aim of this work is to contribute efficient solutions to machine recognition of musical instruments both for the mono-instrumental and multi-instrumental cases. We tackle the problem following an automatic classification approach. Much effort is dedicated to obtain adequate instances of the different blocs constituting the system which we propose for instrument recognition. We adopt a hierarchical classification scheme based on computer-generated taxonomies of instruments and musical ensembles. The system utilises a novel feature selection technique producing an efficient description of audio signals which, in association with support vector machines, entails high recognition accuracy on sound excerpts translating the diversity of the musical performance and recording conditions found in the real world. Our proposal is thus able to recognise up to four instruments played concurrently in jazz music possibly involving percussion., L'objet de cette thèse est de contribuer à améliorer l'identification automatique des instruments de musique dans des contextes réalistes, (sur des solos de musique, mais également sur des pièces multi-instrumentales). Nous abordons le problème suivant une approche de classification automatique en nous efforçant de rechercher des réalisations performantes des différents modules constituant le système que nous proposons. Nous adoptons un schéma de classification hiérarchique basé sur des taxonomies des instruments et des mélanges d'instruments. Ces taxonomies sont inférées au moyen d'un algorithme de clustering hiérarchique exploitant des distances probabilistes robustes qui sont calculées en utilisant une méthode à noyau. Le système exploite un nouvel algorithme de sélection automatique des attributs pour produire une description efficace des signaux audio qui, associée à des machines à vecteurs supports, permet d'atteindre des taux de reconnaissance élevés sur des pièces sonores reflétant la diversité de la pratique musicale et des conditions d'enregistrement rencontrées dans le monde réel. Notre architecture parvient ainsi à identifier jusqu'à quatre instruments joués simultanément, à partir d'extraits de jazz incluant des percussions.

The decreasing cost of stockage and availability of high quality numeric media allow today the building of huge image databases in various scopes. These databases are often under exploited, because of the lack of tools to access the information they contain. In this thesis, we propose a set of learning techniques for image category search, gathered in the RETIN 2 system. Concerning indexing, we propose a quantization method for a very large number of vectors in order to build the image indexes as histograms, and also a kernel approach of similarity. Concerning interactive search, we study several classification methods, and present active learning which aims at selecting the pictures the user should label. We propose several methods in an active learning architecture which deal with the particular characteristics of the CBIR context. At last, we study the problem of the re-use of labels users have given during retrieval sessions. We present the weakly aspect of this learning problem in our context. We propose two methods which optimize the similarity between images in the scope of kernel functions. The system is evaluated on a generalist image database of several thousands of images.; La diminution du coût de stockage et la disponibilité de techniques de numérisation de haute qualité permettent aussi aujourd'hui de constituer de très grandes bases d'images dans des domaines variés. Ces bases sont souvent immenses et généralement sous-exploitées faute d'outils pour accéder à l'information qu'elles contiennent. Dans cette thèse, nous proposons un ensemble de techniques d'apprentissage pour la recherche de catégories d'images, regroupées au sein du système RETIN 2. Du point de vue de l'indexation, nous proposons une méthode de quantification d'un très grand nombre de vecteurs pour la construction de signatures sous la forme d'histogrammes, ainsi qu'une approche de la similarité par fonction noyau. Du point de vue de la recherche interactive, nous étudions de nombreuses techniques de classification, et présentons l'apprentissage actif, qui offre un cardre formel pour la sélection des images à faire annoter par l'utilisateur. Nous proposons plusieurs méthodes au sein d'une architecture d'apprentissage actif qui permettent de faire face aux caratéristiques particulières de la recherche interactive d'images. Le dernier point important que nous avons étudié concerne la ré-utilisation des annotations que les utilisateurs fournissent lors des sessions de recherche. Nous présentons le caractère faiblement supervisé de ce problème d'apprentissage dans notre contexte. Nous proposons deux méthodes qui s'appuient sur une modification des similarités entre les images dans le cadre de l'utilisation de fonctions noyaux. Le système est évalué sur une base d'images généraliste de plusieurs milliers d'images.

The goal of this thesis is to study and develop methods for density estimation and curve classification in higher dimensions. This study is structured into three parts.The first part, entitled complements on modified histograms, is organized in two chapters and is devoted to the study of a family of nonparametric density estimates, namely modified histograms. These estimates are known to have good consistency properties according to information theoretic criteria. In the first chapter, these estimates are viewed as dynamical systems with infinite dimensional state space. The second chapter deals with the study of these estimates for dimensions greater than one.The second part of this thesis, entitled combinatorial methods in density estimation, is divided into two chapters. We are interested in nonasymptotic error bounds for density estimates selected within a family of candidates (not necessary finite). In the first chapter, we study the performance of these methods in selecting the free parameters of the modified histograms. We continue, in the second chapter, with the selection of kernel density estimates using bandwidths which vary with the location and the data.The third and last part, more applied and independent of the preceding ones, provides a new method which allows us to classify curves by expanding the sample data on a wavelet basis.; L'objectif de cette thèse consiste étudier et approfondir des techniques d'estimation de la densité et de classification dans des espaces de dimension élevée. Nous avons choisi de structurer notre travail en trois parties.La première partie, intitulée compléments sur les histogrammes modifiés, est composée de deux chapitres consacrés l'étude d'une famille d'estimateurs non paramétriques de la densité, les histogrammes modifiés, connus pour posséder de bonnes propriétés de convergence au sens des critères de la théorie de l'information. Dans le premier chapitre, ces estimateurs sont envisagés comme des systèmes dynamiques espace d'états de dimension infinie. Le second chapitre est consacré l'étude de ces estimateurs pour des dimensions suprieures un.La deuxième partie de la thèse, intituleé méthodes combinatoires en estimation de la densité, se divise en deux chapitres. Nous nous intéressons dans cette partie aux performances distance finie d'estimateurs de la densité sélectionnés à l'intérieur d'une famille d'estimateurs candidats, dont le cardinal n'est pas nécessairement fini. Dans le premier chapitre, nous étudions les performances de ces méthodes dans le cadre de la sélection des différents paramètres des histogrammes modifiés. Nous poursuivons, dans le deuxième chapitre, par la sélection d'estimateurs à noyau dont le paramètre de lissage s'adapte localement au point d'estimation et aux données.Enfin, la troisième et dernière partie, plus appliquée et indépendante des précédentes, présente une nouvelle méthode permettant de classer des courbes partir d'une décomposition des observations dans des bases d'ondelettes.

International audience; Ce papier décrit une nouvelle approche probabiliste pour la reconnaissance de textures. Une image est décrite à l'aide de descripteurs locaux, ainsi que par des relations spatiales entre ces descripteurs. On peut alors associer une image à un graphe : les noeuds sont les points d'intérêt de l'image correspondant à des régions caractéristiques et les arêtes relient des régions voisines. Ajouter une telle information de voisinage permet d'améliorer les résultats de reconnaissance. Les approches actuelles consistent à modéliser les descripteurs comme des variables indépendantes, puis à rajouter l'information spatiale par le biais de poids, sans modéliser explicitement ces dépendances. Nous proposons d'introduire un modèle statistique rendant compte directement de cette dépendance entre descripteurs, par l'utilisation de champs de Markov cachés. L'estimation des paramètres de tels modèles étant en pratique difficile, nous utilisons des procédures d'estimation récentes basées sur le principe du champ moyen de la physique statistique. Nous illustrons notre méthode sur la reconnaissance d'images uni et multitextures. Les résultats obtenus sont prometteurs.

Ce texte est un rapport de fin de recherche issu de l'ACI cognitique.; Ce projet fait collaborer des chercheurs issus de trois disciplines - Psychologie, Sciences du langage, TAL – autour d'un objet phonologique : la liaison en français. L'originalité de la démarche tient dans les points suivants. 1. L'objet « liaison » lui-même – Bien que le fonctionnement linguistique de la liaison soit avancé depuis 30 ans pour tester les modèles formels de la phonologie générative, on ne s'est jamais penché avec précision sur son acquisition et sur les difficultés de segmentation qu'elle occasionne lors de la constitution du lexique précoce. 2. Le point de vue sur l'objet - Cette contribution montre que la liaison est un objet interdisplinaire, dont l'observation apporte des arguments à un débat tranversal : l'alternative entre deux conceptions du développement et du fonctionnement du langage, perçus soit comme la résultante de contraintes linguistiques, souvent présentées comme innées, soit comme la mise en oeuvre de capacités d'apprentissage plus générales, telle la capacité à enregistrer des régularités statistiques dans l'input sensoriel. Notre conception se rattache au deuxième courant et le modèle proposé est fondé sur la théorie des exemplaires. 3. Le type de collaboration entre les équipes - A/Les spécialistes de TAL ont apporté des descriptions statistiques de l'usage adulte qui ont éclairé le rôle des probabilités dans l'input. B/Les phonologues ont garanti la validité théorique des notions phonologiques manipulées et ont participé à l'interprétation des résultats expérimentaux. C/En retour, le scénario développemental a impulsé de nouvelles propositions pour la théorie phonologique. D/Ce scénario développemental a permis également une réflexion sur l'approche de la liaison en TAL. Ce projet, structuré autour de quatre objectifs, a abouti à cinq types de résultats : 1. Mise en place de repères jalonnant l'acquisition de la liaison et l'apparition de 5 types d'erreurs (ex : un zours, le nours, des zombril, etc.), grâce à l'étude de corpus d'erreurs et de paroles enfantines enregistrées. 2. Réalisation d'expérimentations explorant la segmentation par l'enfant des séquences contenant une consonne de liaison et mise en évidence du rattachement lexical précoce (vers 3-4 ans) au mot qui suit la liaison. 3. Utilisation des connaissances sur l'acquisition de la liaison comme « données externes » contraignant les modèles de la phonologie formelle. 4. Approfondissement de la description du fonctionnement statistique de la liaison dans PDPho, un corpus électronique de 20 heures de parole adulte recueilli avec une visée TAL, puis réinvestissement des connaissances acquises sur le fonctionnement et l'acquisition de la liaison dans son traitement en TAL. 5. Proposition d'un modèle d'acquisition de la liaison et de ses relations avec la segmentation des mots lors de la constitution du lexique précoce, dans le cadre de la théorie des exemplaires.

This thesis takes place within the framework of statisticallearning. It brings contributions to the machine learning community usingmodern statistical techniques based on progress in the study of empiricalprocesses. The first part investigates the statistical properties of KernelPrincipal Component Analysis (KPCA). The behavior of the reconstruction error isstudied with a non-asymptotic point of view and concentration inequalities ofthe eigenvalues of the kernel matrix are provided. All these results correspond to fast convergence rates. Non-asymptotic results concerning theeigenspaces of KPCA themselves are also provided. A new algorithm ofclassification has been designed in the second part: the Kernel ProjectionMachine (KPM). It is inspired by the Support Vector Machines (SVM). Besides, it highlights that the selection of a vector space by a dimensionalityreduction method such as KPCA regularizes suitably. The choice of the vectorspace involved in the KPM is guided by statistical studies of model selectionusing the penalized minimization of the empirical loss. This regularization procedure is intimately connected with the finitedimensional projections studied in the statistical work of Birgé andMassart. The performances of KPM and SVM are then compared on some datasets. Each topic tackled in this thesis raises new questions., La thèse se place dans le cadre de l'apprentissage statistique. Elle apportedes contributions à la communauté du machine learning en utilisant destechniques de statistiques modernes basées sur des avancées dans l'étudedes processus empiriques. Dans une première partie, les propriétés statistiques del'analyse en composantes principales à noyau (KPCA) sont explorées. Lecomportement de l'erreur de reconstruction est étudié avec un point de vuenon-asymptotique et des inégalités de concentration des valeurs propres de la matrice deGram sont données. Tous ces résultats impliquent des vitesses deconvergence rapides. Des propriétés non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont égalementproposées. Dans une deuxième partie, un nouvel algorithme de classification a étéconçu : la Kernel Projection Machine (KPM). Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode deréduction de la dimension telle que la KPCA régularise convenablement. Le choix de l'espace vectoriel utilisé par la KPM est guidé par des études statistiques de sélection de modéle par minimisation pénalisée de la perte empirique. Ceprincipe de régularisation est étroitement relié à la projection fini-dimensionnelle étudiée dans les travaux statistiques de Birgé et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème abordé dans cette thèse soulève de nouvelles questions d'ordre théorique et pratique.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

We study the fondamental problem of selection of features describing a signal. This selection is done with respect to several signal processing task such image classification for instance.We define a probability map on features to measure importance of these variables. We wish to learn a law that minimizes an efficiency criterion. We use then an exact and stochastic gradient descent algorithm to identify this law. We apply this approach to several problems like faces recognition, handwritten numbers classification, spam detection, toys data ... Then we study another approach that permits to make the features space evolve with time. This is done using a reflected diffusion, and a reflected jump diffusion algorithm. This algorithm is much harder to implement than the former gradient descent and we give a stochastic approximation to this reflected jump diffusion process. We apply this algorithm to the problem of face recognition., Nous étudions le problème fondamental de la sélection de variables descriptives d'un signal, sélection dédiée à divers traitements comme la classification d'objets dans une image. Nous définissons dans un premier temps une loi de probabilités sur les variables descriptives du signal et utilisons un algorithme de descente de gradient, exact puis stochastique pour identifier la bonne distribution de probabilités sur ces variables. Nous donnons alors diverses applications à la classification d'objets (chiffres manuscrits, détection de visages, de spam, ...). Dans un second temps, nous implémentons un algorithme de diffusion réfléchie sur l'espace des probabilités puis de diffusion réfléchie avec sauts pour permettre plus facilement de faire évoluer l'espace des variables, ainsi que la probabilité apprise. Cette seconde approche nécessite un effort particulier au niveau des simulations stochastiques, qui sont alors étudiées le plus clairement possible.Nous concluons par quelques expériences dans les mêmes domaines que précédemment.

This work is developed in the framework of human-machine systems monitoring, in which the human operator is a decision element in the control loop. This type of systems requires a global automated real-time monitoring, including the detection of technical hitches and human faults. Assuming the technological part works "correctly" and/or that it is supervised by a diagnosis system, we are centered on the human operator part, the most critical to supervise. We present a diagnosis system and its application to driver's monitoring. The system is supported by information provided by onboard sensors. This work has been developed in the framework of the European project AWAKE and the French national project "factors of vigilance degradation and safety in transports" supported by the PREDIT program. This work proposes a real-time general strategy for monitoring the vigilance level of the driver (slow dynamics) and the monitoring of the risk level related to the current situation (instantaneous dynamics), through: * Temporal and frequential analysis of vehicle's mechanical signals (performance measures) processed by wavelets and filters, to extract dynamic, statistical and frequential characteristics of driver's performance degradation, * Characteristics learning by Support Vector Machines for which we developed adapted implementation strategies for an on-line learning and large-scale problems, * FIS fusion, in order to exploit the human expertise and to produce a diagnosis of the level of risk related to lane departure.* Validation of such an approach through EEG and EOG (physiological measurements) and self evaluations (subjective measurements). We apply this methodology to various experiments under the framework of AWAKE and PREDIT carried out in simulators or demonstrators.; Ce travail se situe dans le cadre de la surveillance de systèmes homme-machine, où l'opérateur humain est un élément de décision dans la boucle. Ce type de systèmes nécessite une surveillance automatisée globale temps-réel, incluant la détection d'incidents techniques et de défaillances humaines. Partant de l'hypothèse que la partie technologique travaille " correctement " et/ou qu'elle est surveillée par un système de diagnostic, nous nous centrons sur la partie opérateur humain, la plus critique à surveiller. Nous présentons un système de diagnostic appliqué à la surveillance du conducteur automobile à partir d'informations fournies par des capteurs embarqués dans le véhicule. Les travaux ont été développés dans le cadre du projet Européen AWAKE et le projet national " facteurs de dégradation de la vigilance et de la sécurité dans les transports " de PREDIT.Nous proposons une stratégie générale de système temps-réel pour la surveillance du niveau de vigilance du conducteur (dynamique lente) et la surveillance du niveau de risque lié à la situation actuelle de conduite (dynamique instantanée), à travers :* L'analyse temporelle et fréquentielle des signaux mécaniques (mesures de performance) par ondelettes et filtres, pour en extraire des caractéristiques dynamiques, statistiques et fréquentielles sur la dégradation de la conduite,* L'apprentissage par SVM, méthode pour laquelle nous avons développé des stratégies d'implémentation adaptées pour un apprentissage en ligne et pour des problèmes de grande taille,* La fusion par FIS, afin de profiter de l'expertise humaine et produire un diagnostic sur le niveau de risque lié à la sortie de la voie de circulation.* La validation d'une telle approche à travers des EEG et EOG (mesures physiologiques) et des autoévaluations (mesures subjectives).Nous appliquons cette méthodologie à diverses expériences des programmes AWAKE et PREDIT réalisées sur des simulateurs ou des démonstrateurs.

This work is developed in the framework of human-machine systems monitoring, in which the human operator is a decision element in the control loop. This type of systems requires a global automated real-time monitoring, including the detection of technical hitches and human faults. Assuming the technological part works "correctly" and/or that it is supervised by a diagnosis system, we are centered on the human operator part, the most critical to supervise. We present a diagnosis system and its application to driver's monitoring. The system is supported by information provided by onboard sensors. This work has been developed in the framework of the European project AWAKE and the French national project "factors of vigilance degradation and safety in transports" supported by the PREDIT program. This work proposes a real-time general strategy for monitoring the vigilance level of the driver (slow dynamics) and the monitoring of the risk level related to the current situation (instantaneous dynamics), through: * Temporal and frequential analysis of vehicle's mechanical signals (performance measures) processed by wavelets and filters, to extract dynamic, statistical and frequential characteristics of driver's performance degradation, * Characteristics learning by Support Vector Machines for which we developed adapted implementation strategies for an on-line learning and large-scale problems, * FIS fusion, in order to exploit the human expertise and to produce a diagnosis of the level of risk related to lane departure.* Validation of such an approach through EEG and EOG (physiological measurements) and self evaluations (subjective measurements). We apply this methodology to various experiments under the framework of AWAKE and PREDIT carried out in simulators or demonstrators.; Ce travail se situe dans le cadre de la surveillance de systèmes homme-machine, où l'opérateur humain est un élément de décision dans la boucle. Ce type de systèmes nécessite une surveillance automatisée globale temps-réel, incluant la détection d'incidents techniques et de défaillances humaines. Partant de l'hypothèse que la partie technologique travaille " correctement " et/ou qu'elle est surveillée par un système de diagnostic, nous nous centrons sur la partie opérateur humain, la plus critique à surveiller. Nous présentons un système de diagnostic appliqué à la surveillance du conducteur automobile à partir d'informations fournies par des capteurs embarqués dans le véhicule. Les travaux ont été développés dans le cadre du projet Européen AWAKE et le projet national " facteurs de dégradation de la vigilance et de la sécurité dans les transports " de PREDIT.Nous proposons une stratégie générale de système temps-réel pour la surveillance du niveau de vigilance du conducteur (dynamique lente) et la surveillance du niveau de risque lié à la situation actuelle de conduite (dynamique instantanée), à travers :* L'analyse temporelle et fréquentielle des signaux mécaniques (mesures de performance) par ondelettes et filtres, pour en extraire des caractéristiques dynamiques, statistiques et fréquentielles sur la dégradation de la conduite,* L'apprentissage par SVM, méthode pour laquelle nous avons développé des stratégies d'implémentation adaptées pour un apprentissage en ligne et pour des problèmes de grande taille,* La fusion par FIS, afin de profiter de l'expertise humaine et produire un diagnostic sur le niveau de risque lié à la sortie de la voie de circulation.* La validation d'une telle approche à travers des EEG et EOG (mesures physiologiques) et des autoévaluations (mesures subjectives).Nous appliquons cette méthodologie à diverses expériences des programmes AWAKE et PREDIT réalisées sur des simulateurs ou des démonstrateurs.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Document de 180 pages décrivant en détail les techniques de descente du gradient dans les réseaux de neurones récurrents.

Colloque avec actes et comité de lecture.; Nous étudions les performances en généralisation des systèmes de discrimination à catégories multiples. Nous établissons deux bornes sur ces performances, en fonction de deux mesures de capacité de la famille de fonctions calculées : la fonction de croissance et les nombres de couverture. Ces bornes sont évaluées sur un modèle de combinaison de classifieurs estimant les probabilités a posteriori des classes. Ceci permet de comparer l'adéquation des deux mesures de capacité.

Artificial neural networks allow the construction of a wide family of nonlinear models and controllers using statistical learning. The purpose of this thesis is to establish how to implement neural networks for the modeling and control of nonlinear dynamic processes, and to evaluate their contribution for these tasks. At the theoretical level, we present the neural modeling and control in a general framework, from the viewpoint of classic automatic control. Concerning modeling, the results about linear systems help us to derive the theoretical nonlinear optimal predictors associated to various hypotheses made about the type of noise that affects the process; a training methodology is proposed that provides the optimal neural predictors implementing the theoretical predictors. Then, we propose a family of neural control systems, the properties and the links to classic linear and nonlinear control systems of which are investigated; in particular, we concentrate on robustness issues, which leads us to develop neural internal model control. At the practical level, we illustrate our approach and our results with an industrial application, the real-time control of an autonomous four-wheel drive vehicle, the steering wheel, throttle and breaks of which are controlled by neural networks., Les réseaux de neurones formels permettent de construire, par apprentissage statistique, une vaste famille de modèles et de correcteurs non linéaires. L'objet de cette thèse est la définition des modalités de mise en œuvre de réseaux de neurones et l'évaluation de leur apport pour la modélisation et la commande non adaptatives de processus dynamiques non linéaires. Sur le plan théorique, nous présentons la modélisation et la commande de processus par réseaux de neurones dans un cadre aussi général que possible, en les plaçant dans la perspective de l'Automatique classique. En modélisation, les résultats concernant les systèmes linéaires nous aident à formuler les prédicteurs non linéaires optimaux théoriques correspondant à diverses hypothèses sur le bruit intervenant dans le processus à modéliser ; une méthodologie d'apprentissage associée fournit des prédicteurs neuronaux qui sont des réalisations des prédicteurs théoriques. Nous proposons ensuite une famille de systèmes de commande neuronaux, dont nous étudions les propriétés et les liens avec les systèmes de commande classique, linéaire ou non, en insistant notamment sur la robustesse ; ceci nous conduit à développer la commande avec modèle interne neuronale. Sur le plan pratique, nous illustrons notre démarche et nos résultats par une application industrielle, le pilotage d'un véhicule autonome tout-terrain, dont le volant, l'accélérateur et le frein sont commandés par des réseaux neuronaux.

Statistical learning objective is to learn from observed data in order to predict the response for a new sample. In the context of vaccination, the number of features is higher than the number of individuals. This is a degenerate case of statistical analysis which needs specific tools. The regularization algorithms can deal with those drawbacks. Different types of regularization methods can be used which depends on the data set structure but also upon the question. In this work, the main objective was to use the available information with soft-thresholded empirical covariance matrix estimations through SVD decompositions. This solution is particularly efficient in terms of variable selection and computation time. Heterogeneous typed data sets (coming from different sources and also called multiblock data) were at the core of our methodology. Since some data set generations are expensive, it is common to down sample the population acquiring some types of data. This leads to multi-block missing data patterns. The second objective of our methodology is to deal with those missing values using the response values. But the response values are not present in the test data sets and so we have designed a methodology which permits to consider both the cases of missing values in the train or in the test data sets. Thanks to soft-thresholding, our methodology can regularize and select features. This estimator needs only two parameters to be fixed which are the number of components and the maximum number of features to be selected. The corresponding tuning is performed by cross-validation. According to simulations, the proposed method shows very good results comparing to benchmark methods, especially in terms of prediction and computation time. This method has also been applied to several real data sets associated with vaccine, thomboembolic and food researches., L’apprentissage statistique consiste à apprendre à partir de données mesurées dans un échantillon d’individus et cherche à prédire la grandeur d’intérêt chez un nouvel individu. Dans le cas de la vaccination, ou dans d’autres cas dont certains présentés dans ce manuscrit, le nombre de variables mesurées dépasse le nombre d’individus observés, c’est un cas dégénéré d’analyse statistique qui nécessite l’utilisation de méthodes spécifiques. Les propriétés des algorithmes de régularisation permettent de gérer ces cas. Il en existe plusieurs types en fonction de la structure des données considérées et du problème qui sont étudiés. Dans le cas de ce travail, l’objectif principal a été d’utiliser l’information disponible à l’issue de décompositions en éléments propres des matrices de covariances transformées via un opérateur de seuillage doux. Cette solution est particulièrement peu coûteuse en termes de temps de calcul et permet la sélection des variables d’intérêt. Nous nous sommes centrés sur les données qualifiées d’hétérogènes, c’est à dire issues de jeux de données qui sont provenant de sources ou de technologies distinctes. On parle aussi de données multiblocs. Les coûts d’utilisation de certaines technologies pouvant être prohibitifs, il est souvent choisi de ne pas acquérir certaines données sur l’ensemble d’un échantillon, mais seulement sur un sous-échantillon d’étude. Dans ce cas, le jeu de données se retrouve amputé d’une partie non négligeable de l’information. La structure des données associée à ces défauts d’acquisition induit une répartition elle-même multibloc de ces données manquantes, on parle alors de données manquantes par blocs. Le second objectif de notre méthode est de gérer ces données manquantes par blocs en s’appuyant sur l’information à prédire, ceci dans le but de créer un modèle prédictif qui puisse gérer les données manquantes aussi bien pour les données d’entraînement que pour celles de test. Cette méthode emprunte au seuillage doux afin de sélectionner les variables d’intérêt et ne nécessite que deux paramètres à régler qui sont le nombre de composantes et le nombre de variables à sélectionner parmi les covariables. Ce paramétrage est classiquement réalisé par validation croisée. La méthode développée a fait l’objet de simulations la comparant aux principales méthodes existantes. Elle montre d’excellents résultats en prédiction et en termes de temps de calcul. Elle a aussi été appliquée à plusieurs jeux de données

For patients diagnosed with early-stage cancer, treatment decisions depend on the evaluation of the risk of metastatic relapse. Current prognostic tools are based on purely statistical approaches that relate predictor variables to the outcome, without integrating any available knowledge of the underlying biological processes. The purpose of this thesis is to develop predictive models of the metastatic process using an established mechanistic modelling approach and the statistical mixed-effects modelling framework.In the first part, we extend the mathematical metastatic model to describe primary tumour and metastatic dynamics in response to neoadjuvant sunitinib in clinically relevant mouse models of spontaneous metastatic breast and kidney cancers. The calibrated model is then used to test possible hypothesis for the differential effects of sunitinib on primary tumour and metastases, and machine learning algorithms are applied to assess the predictive power of biomarkers on the model parameters.In the second part of this thesis, we develop a mechanistic model for the prediction of the time to metastatic relapse and validate it on a clinical dataset of breast cancer patients. This model offers personalised predictions of the invisible metastatic burden at the time of diagnosis, as well as forward simulations of metastatic growth, and it could be used as a personalised prediction tool to assist in the routine management of breast cancer patients., Pour les patients diagnostiqués avec un cancer au stade précoce, les décisions de traitement dépendent de l’évaluation du risque de rechute métastatique. Les outils de pronostic actuels sont fondés sur des approches purement statistiques, sans intégrer les connaissances disponibles sur les processus biologiques à l’oeuvre. L’objectif de cette thèse est de développer des modèles prédictifs du processus métastatique en utilisant une approche de modélisation mécaniste et la modélisation à effets mixtes. Dans la première partie, nous étendons un modèle mathématique du processus métastatique pour décrire la croissance de la tumeur primaire et de la masse métastatique totale chez des souris traitées avec le sunitinib (un inhibiteur de tyrosine kinase ayant une action anti-angiogénique) administré comme traitement néoadjuvant (i.e. avant exérèse de la tumeur primaire). Le modèle est utilisé pour tester des hypothèses expliquant les effets différentiels du sunitinib sur la tumeur primaire et les métastases. Des algorithmes d’apprentissage statistique sont utilisés pour évaluer la valeur prédictive des biomarqueurs sur les paramètres du modèle.Dans la deuxième partie de cette thèse, nous développons un modèle mécaniste pour la prédiction du temps de rechute métastatique et le validons sur des données cliniques des patientes atteintes d’un cancer du sein localisé. Ce modèle offre des prédictions personnalisées des métastases invisibles au moment du diagnostic, ainsi que des simulations de la croissance métastatique future, et il pourrait être utilisé comme un outil de prédiction individuelle pour aider à la gestion des patientes atteintes de cancer du sein.

The continuous enhancement of computer performances during the last decades has favored a widespread application of statistical learning theory in multiple domains. Actuaries, long-standing statistical experts, notably turn more and more frequently to these new algorithms for the evaluation of risks they are facing. Thus, in this thesis, we examine how the integration of methods derived from statistical learning can contribute to the development of actuarial science and risk management through the study of three independent problematics, preliminarily presented in a general introduction. The first two chapters propose new mortality forecasting models within the longevity risk evaluation framework that insurance companies and pension funds encounter. Chapter 1 focuses on the singe population case, while Chapter 2 extends the study to the multi-population. In both situations, high-dimensionality appears to be a major concern. We tackle this issue thanks to a penalized vector autoregressive (VAR). This model is directly applied to the mortality improvement rates in the first chapter, and to the time series derived from Lee-Carter’s model fits in the second one. The elastic-net penalization preserves the large freedom in the spatio-temporal dependence structure offered by the VAR, while remaining sparse in terms of estimated parameters, thereby avoiding overfitting. In Chapter 3, we analyze lapse risk in life insurance policies through the use of supervised classification algorithms. We apply, among others, support vector machine (SVM) and extreme gradient boosting (XGBoost). In order to compare performances from one classifier to another, we adopt an economic point of view derived from the marketing literature and based on potential profits of a retention campaign. We insist on the importance of the loss function retained in the statistical learning algorithms according to the pursued objective: the use of a loss function linked to the performance measure leads to a significant enhancement in the application of the XGBoost in our study. In the last Chapter, in the financial risks’ management framework, we study agricultural commodity price dynamics throughout specific trading sessions where governmental reports, that contain valuable information for the agents, are released. We examine the potential of open data, in particular the satellite data on vegetation index made available thanks to the NASA, for market reactions forecast. We then suggest some improvements to be considered before an operational implementation of this forecasting method, L’augmentation continuelle des performances informatiques des dernières décennies a permis une application répandue de la théorie de l’apprentissage statistique dans de multiples domaines. Les actuaires, experts historiques des statistiques, se tournent en particulier de plus en plus fréquemment vers ces algorithmes novateurs pour l’évaluation des risques auxquels ils sont confrontés. Ainsi, dans cette thèse, nous examinons comment l’intégration de méthodologies issues de l’apprentissage statistique peut contribuer au développement des sciences actuarielles et de la gestion des risques au travers de l’étude de trois problématiques indépendantes, présentées au préalable dans une introduction générale. Les deux premiers chapitres proposent de nouveaux modèles de projection de mortalité dans le cadre de l’évaluation du risque de longévité porté par les compagnies d’assurances ou les fonds de pensions. Le Chapitre 1 s’attarde sur le cas où une seule population est étudiée, alors que le Chapitre 2 étend l’analyse à la multi-population. Dans les deux situations, la problématique de la grande dimension apparait centrale et nous l’abordons à l’aide d’un vecteur autorégressif (VAR) pénalisé. Ce modèle est appliqué directement sur les taux d’amélioration de mortalité dans le premier chapitre, et sur les séries temporelles issues de l’estimation d’un modèle Lee-Carter pour le second. La pénalisation elastic-net permet de garder la grande liberté de structure de dépendance spatio-temporelle qu’offre le VAR tout en restant parcimonieux dans le nombre de paramètres, et donc éviter le surapprentissage. Dans le Chapitre 3 nous analysons le risque de rachat des contrats d’assurance vie par l’utilisation d’algorithmes de classification supervisée. Nous y appliquons entre autres le séparateur à vaste marge (SVM) et l’extreme gradient boosting (XGBoost). Afin de comparer les performances des différents classificateurs nous adoptons une vision économique issue de la littérature du marketing et basée sur les profits potentiels d’une campagne de rétention. Nous insistons sur l’importance de la fonction de perte retenue dans les algorithmes d’apprentissage statistique suivant l’objectif recherché : l’utilisation d’une fonction de perte en lien avec la mesure de performance amène une amélioration significative dans l’application de l’XGBoost dans notre étude. Enfin, dans le cadre de la gestion des risques financiers, nous étudions les dynamiques des prix agricoles lors de sessions de bourse particulières où des rapports gouvernementaux, contenant des informations précieuses pour les agents, sont publiés. Nous examinons le potentiel des données en libre accès, en particulier les images satellites d’indice de végétation rendues disponibles par la NASA, pour la prédiction des réactions des marchés. Nous proposons alors des pistes d’amélioration à considérer pour une mise en œuvre pratique de cette méthodologie d’enrichissement des données dans la gestion des risques

Introduced by Leo Breiman in 2001, random forests are a statistical learning method that is widely used in many fields of scientific research both for its ability to describe complex relationships between explanatory variables and a response variable as well as for its ability to handle high dimensional data. In many health applications, repeated measurements over time are available. These are referred to as longitudinal data. The correlations induced by the measurements of the same individual at different times must be taken into account, which is not the case in the classical random forests method. The aim of this thesis is to adapt this method to the analysis of longitudinal data in a high dimensional context. To do so, two approaches are proposed. The first one is based on a semi-parametric mixed-effects model which allows the intra-individual covariance structure to be taken into account in the construction of the random forest. This method was applied to an HIV vaccine trial and enabled to select 21 gene transcripts for which the association with the HIV viral load was in line with the results observed during the primary infection. The second method takes place in the more general framework of regression on metric spaces. In this context, repeated data are treated as curves. We then introduce the concept of Fréchet random forests, which allows to learn relationships between heterogeneous variables, such as curves, images or shapes, in unordered metric spaces. We describe a new way of splitting the nodes of the trees composing the Fréchet random forest and then we detail the prediction procedure for a non-Euclidean output vari. The classical notions of OOB error as well as the variable importance are adapted to the Fréchet random forest. A consistency theorem for Fréchet regressogram predictor using data-dependent partitions is stated and then applied to Fréchet purely uniformly random trees. A simulation study is then carried out to study the behaviour of this new method within the framework of regression on curves, images and scalars. Finally, Fréchet random forest is applied to the analysis of two high dimensional HIV vaccine trials., Introduites par Leo Breiman en 2001, les forêts aléatoires sont une méthode d’apprentissage statistique largement utilisée dans de nombreux domaines de recherche scientifiques tant pour sa capacité à décrire des relations complexes entre des variables explicatives et une variable réponse que pour sa faculté à traiter des données de grande dimension. Dans de nombreuses applications en santé, on dispose de mesures répétées au cours du temps. On parle alors de données longitudinales. Les corrélations induites entre les mesures d’un même individu à différents temps doivent être prises en compte, ce qui n’est pas le cas dans la méthode classique des forêts aléatoires. L’objectif de cette thèse est d’adapter cette méthode à l’analyse des données longitudinales dans un contexte de grande dimension. Pour ce faire, deux approches sont proposées. La première s’appuie sur l’utilisation d’un modèle semi-paramétrique à effets mixtes qui permet de prendre en compte la structure de covariance intra-individuelle dans la construction de la forêt aléatoire. Cette méthode a été appliquée à un essai vaccinal contre le VIH et a permis de sélectionner 21 transcrits de gènes pour lesquels l’association avec la charge virale du VIH était en adéquation avec les résultats observés lors de l’infection primaire. La seconde se place dans le cadre plus général de la régression sur des espaces métriques. Dans ce contexte, les données répétées sont traitées comme des courbes. Nous introduisons alors le concept de forêts aléatoires de Fréchet qui permet d’apprendre des relations entre des variables de natures diverses, comme des courbes, des images ou des formes, dans des espaces métriques non ordonnés. Nous décrivons une nouvelle manière de découper les nœuds des arbres constituant la forêt de Fréchet puis nous détaillons la procédure de prédiction pour une variable de sortie à valeurs dans un espace non euclidien. Les notions classiques d’erreur OOB ainsi que d’importance des variables sont adaptées aux forêts aléatoires de Fréchet. Un théorème de consistance pour les régressogrammes de Fréchet utilisant des partitions données-dépendantes est énoncé puis appliqué aux arbres de Fréchet purement uniformément aléatoires. Une étude de simulations est ensuite menée pour étudier le comportement de cette nouvelle méthode dans le cadre de la régression sur courbes, images et scalaires. Enfin, la méthode des forêts aléatoires de Fréchet est appliquée à l’analyse de deux essais vaccinaux de grande dimension sur le VIH.

National audience

Recovering the 3D deformations of a non-rigid surface from a single viewpoint has applications in many domains such as sports, entertainment, and medical imaging. Unfortunately, without any knowledge of the possible deformations that the object of interest can undergo, it is severely under-constrained, and extremely different shapes can have very similar appearances when reprojected onto an image plane. In this thesis, we first exhibit the ambiguities of the reconstruction problem when relying on correspondences between a reference image for which we know the shape and an input image. We then propose several approaches to overcoming these ambiguities. The core idea is that some a priori knowledge about how a surface can deform must be introduced to solve them. We therefore present different ways to formulate that knowledge that range from very generic constraints to models specifically designed for a particular object or material. First, we propose generally applicable constraints formulated as motion models. Such models simply link the deformations of the surface from one image to the next in a video sequence. The obvious advantage is that they can be used independently of the physical properties of the object of interest. However, to be effective, they require the presence of texture over the whole surface, and, additionally, do not prevent error accumulation from frame to frame. To overcome these weaknesses, we propose to introduce statistical learning techniques that let us build a model from a large set of training examples, that is, in our case, known 3D deformations. The resulting model then essentially performs linear or non-linear interpolation between the training examples. Following this approach, we first propose a linear global representation that models the behavior of the whole surface. As is the case with all statistical learning techniques, the applicability of this representation is limited by the fact that acquiring training data is far from trivial. A large surface can undergo many subtle deformations, and thus a large amount of training data must be available to build an accurate model. We therefore propose an automatic way of generating such training examples in the case of inextensible surfaces. Furthermore, we show that the resulting linear global models can be incorporated into a closed-form solution to the shape recovery problem. This lets us not only track deformations from frame to frame, but also reconstruct surfaces from individual images. The major drawback of global representations is that they can only model the behavior of a specific surface, which forces us to re-train a new model for every new shape, even though it is made of a material observed before. To overcome this issue, and simultaneously reduce the amount of required training data, we propose local deformation models. Such models describe the behavior of small portions of a surface, and can be combined to form arbitrary global shapes. For this purpose, we study both linear and non-linear statistical learning methods, and show that, whereas the latter are better suited for traking deformations from frame to frame, the former can also be used for reconstruction from a single image.

Tumor shape and texture evolution may highlight internal modifications resulting from the progression of cancer. In this work, we want to study the contribution of delta-radiomics features to cancer-evolution prediction. Our goal is to provide a complete pipeline from the 3D reconstruction of the volume of interest to the prediction of its evolution, using routinely acquired data only.To this end, we first analyse a subset of MRI(-extracted) radiomics biomarquers in order to determine conditions that ensure their robustness. Then, we determine the prerequisites of features reliability and explore the impact of both reconstruction and image processing (rescaling, grey-level normalization). A first clinical study emphasizes some statistically-relevant MRI radiomics features associated with event-free survival in anal carcinoma.We then develop machine-learning models to improve our results.Radiomics and machine learning approaches were then combined in a study on high grade soft tissu sarcoma (STS). Combining Radiomics and machine-learning approaches in a study on high-grade soft tissue sarcoma, we find out that a T2-MRI delta-radiomic signature with only three features is enough to construct a classifier able to predict the STS histological response to neoadjuvant chemotherapy. Our ML pipeline is then trained and tested on a middle-size clinical dataset in order to predict early metastatic relapse of patients with breast cancer. This classification model is then compared to the relapsing time predicted by the mechanistic model.Finally we discuss the contribution of deep-learning techniques to extend our pipeline with tumor automatic segmentation or edema detection.; L'évolution de la texture ou de la forme d'une tumeur à l'imagerie médicale reflète les modifications internes dues à la progression (naturelle ou sous traitement) d'une lésion tumorale. Dans ces travaux nous avons souhaité étudier l'apport des caractéristiques delta-radiomiques pour prédire l'évolution de la maladie. Nous cherchons à fournir un pipeline complet de la reconstruction des lésions à la prédiction, en utilisant seulement les données obtenues en routine clinique.Tout d'abord, nous avons étudié un sous ensemble de marqueurs radiomiques calculés sur IRM, en cherchant à établir quelles conditions sont nécessaires pour assurer leur robustesse. Des jeux de données artificiels et cliniques nous permettent d'évaluer l'impact de la reconstruction 3D des zones d'intérêt et celui du traitement de l'image.Une première analyse d'un cas clinique met en évidence des descripteurs de texture statistiquement associés à la survie sans évènement de patients atteints d'un carcinome du canal anal dès le diagnostic.Dans un second temps, nous avons développé des modèles d'apprentissage statistique. Une seconde étude clinique révèle qu'une signature radiomique IRM en T2 à trois paramètres apprise par un modèle de forêts aléatoires donne des résultats prometteurs pour prédire la réponse histologique des sarcomes des tissus mous à la chimiothérapie néoadjuvante.Le pipeline d'apprentissage est ensuite testé sur un jeu de données de taille moyenne sans images, dans le but cette fois de prédire la rechute métastatique à court terme de patientes atteinte d'un cancer du sein. La classification des patientes est ensuite comparée à la prédiction du temps de rechute fournie par un modèle mécanistique de l'évolution des lésions.Enfin nous discutons de l'apport des techniques plus avancées de l'apprentissage statistique pour étendre l'automatisation de notre chaîne de traitement (segmentation automatique des tumeurs, analyse quantitative de l'oedème péri-tumoral).

National audience; Nous présentons dans ce papier, un système de vision, intégré dans le robot Nao pour la reconnaissance d'activités humaines réalisées par une personne dans des conditions réelles. Contrairement à une caméra fixe, le robot considéré peut filmer les activités à des endroits différents, ce qui implique qu'il doit opérer dans des conditions plus complexes, relativement aux fonds de scènes, aux conditions d'éclairage, aux angles de vues, et aux distances du robot par rapport à la personne. Le système développé est fondé sur l'extraction de trajectoires de points d'intérêt spatio-temporels uniformément et densément échantillonnés sur la scène, et l'encodage de ceux-ci par des histogrammes de gradients sur des volumes définis par leurs trajectoires. La représentation ainsi obtenue est ensuite transformée en un " sac de mots " (Bag of Words) qui est ensuite classifié par un SVM (Support Vector Machines). Ce système a été implémenté dans le robot Nao et testé dans des conditions réelles en considérant onze activités humaines. Les performances obtenues sont satisfaisantes dans l'ensemble, spécialement au regard des contraintes d'implémentation et de ressources de calcul