Search

Your search keyword '"Keribin, Christine"' showing total 72 results
Start Over Author "Keribin, Christine"
72 results on '"Keribin, Christine"'

1. Risk bounds for PU learning under Selected At Random assumption

Author

Coudray, Olivier, Keribin, Christine, Massart, Pascal, and Pamphile, Patrick

Subjects
Mathematics - Statistics Theory, Statistics - Machine Learning
Abstract

Positive-unlabeled learning (PU learning) is known as a special case of semi-supervised binary classification where only a fraction of positive examples are labeled. The challenge is then to find the correct classifier despite this lack of information. Recently, new methodologies have been introduced to address the case where the probability of being labeled may depend on the covariates. In this paper, we are interested in establishing risk bounds for PU learning under this general assumption. In addition, we quantify the impact of label noise on PU learning compared to standard classification setting. Finally, we provide a lower bound on minimax risk proving that the upper bound is almost optimal.

Published
2022

4. Consistency and Asymptotic Normality of Latent Block Model Estimators

Author

Brault, Vincent, Keribin, Christine, and Mariadassou, Mahendra

Subjects
Mathematics - Statistics Theory, 62F12
Abstract

The Latent Block Model (LBM) is a model-based method to cluster simultaneously the $d$ columns and $n$ rows of a data matrix. Parameter estimation in LBM is a difficult and multifaceted problem. Although various estimation strategies have been proposed and are now well understood empirically, theoretical guarantees about their asymptotic behavior is rather sparse and most results are limited to the binary setting. We prove here theoretical guarantees in the valued settings. We show that under some mild conditions on the parameter space, and in an asymptotic regime where $\log(d)/n$ and $\log(n)/d$ tend to $0$ when $n$ and $d$ tend to infinity, (1) the maximum-likelihood estimate of the complete model (with known labels) is consistent and (2) the log-likelihood ratios are equivalent under the complete and observed (with unknown labels) models. This equivalence allows us to transfer the asymptotic consistency, and under mild conditions, asymptotic normality, to the maximum likelihood estimate under the observed model. Moreover, the variational estimator is also consistent and, under the same conditions, asymptotically normal., Comment: 36 pages, 2 figure

Published
2017

5. A supervised clustering approach for fMRI-based inference of brain states

Author

Michel, Vincent, Gramfort, Alexandre, Varoquaux, Gaël, Eger, Evelyn, Keribin, Christine, and Thirion, Bertrand

Subjects
Computer Science - Computer Vision and Pattern Recognition
Abstract

We propose a method that combines signals from many brain regions observed in functional Magnetic Resonance Imaging (fMRI) to predict the subject's behavior during a scanning session. Such predictions suffer from the huge number of brain regions sampled on the voxel grid of standard fMRI data sets: the curse of dimensionality. Dimensionality reduction is thus needed, but it is often performed using a univariate feature selection procedure, that handles neither the spatial structure of the images, nor the multivariate nature of the signal. By introducing a hierarchical clustering of the brain volume that incorporates connectivity constraints, we reduce the span of the possible spatial configurations to a single tree of nested regions tailored to the signal. We then prune the tree in a supervised setting, hence the name supervised clustering, in order to extract a parcellation (division of the volume) such that parcel-based signal averages best predict the target information. Dimensionality reduction is thus achieved by feature agglomeration, and the constructed features now provide a multi-scale representation of the signal. Comparisons with reference methods on both simulated and real data show that our approach yields higher prediction accuracy than standard voxel-based approaches. Moreover, the method infers an explicit weighting of the regions involved in the regression or classification task.

Published
2011
Full Text
View/download PDF

6. Multi-Class Sparse Bayesian Regression for Neuroimaging Data Analysis

Author

Michel, Vincent, Eger, Evelyn, Keribin, Christine, Thirion, Bertrand, Hutchison, David, editor, Kanade, Takeo, editor, Kittler, Josef, editor, Kleinberg, Jon M., editor, Mattern, Friedemann, editor, Mitchell, John C., editor, Naor, Moni, editor, Nierstrasz, Oscar, editor, Pandu Rangan, C., editor, Steffen, Bernhard, editor, Sudan, Madhu, editor, Terzopoulos, Demetri, editor, Tygar, Doug, editor, Vardi, Moshe Y., editor, Weikum, Gerhard, editor, Wang, Fei, editor, Yan, Pingkun, editor, Suzuki, Kenji, editor, and Shen, Dinggang, editor

Published
2010
Full Text
View/download PDF

7. Convergence rates for Positive-Unlabeled learning under Selected At Random assumption: sensitivity analysis with respect to propensity

Author

Coudray, Olivier, Keribin, Christine, Pamphile, Patrick, Stellantis, Centre d’Expertise Métier et Région, Stellantis France, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
Semi-supervised classification, Label noise, PU learning, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH]
Abstract

National audience; Positive-Unlabeled learning (PU learning) is a binary classification task where only a subset of positive instances are labeled. The objective is then to find the correct classifier using positive labeled instances and unlabeled instances that contain a mixture of positive and negative data. In this paper, we illustrate some recent results about the convergence rates of PU learning under the general Selected At Random assumption, meaning that the labeled instances are not assumed to be a representative sample of the positive instances. We show that the simulations support the theoretical results highlighting the two regimes of convergence. We finally extend the simulations by relaxing some assumptions.

Published
2022

8. Convergence rates for PU learning under the SAR assumption: influence of propensity

Author

Coudray, Olivier, Keribin, Christine, Pamphile, Patrick, Stellantis France, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
[STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH]
Abstract

International audience

Published
2022

9. One-Station-Ahead Forecasting of Dwell Time, Arrival Delay and Passenger Flows on Trains Equipped with Automatic Passenger Counting (APC) Device

Author

Coulaud, Rémi, Keribin, Christine, Stoltz, Gilles, SNCF : Innovation & Recherche, SNCF, Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
[STAT]Statistics [stat], [SPI.GCIV.IT]Engineering Sciences [physics]/Civil Engineering/Infrastructures de transport, dwell time, arrival delay, passenger flow, forecasting, [MATH]Mathematics [math], bi-auto-regressive models
Abstract

International audience; We consider a suburban railway network line in the greater Paris area, with sub-branches. Trains of the line are equipped both with automatic vehicle localization (AVL) and automatic passenger counting (APC) devices, leading to a rich data set with simultaneous measurements of variables related to railway operations (arrival delay, dwell time) and passenger flows (numbers of passengers alighting and boarding, total load at departure). We aim for one-station-ahead forecasting of each of these five variables independently from each other. To do so, we build a bi-auto-regressive approach consisting of using the past values of the variable of interest along a first dimension, given by past stations along the train ride, and along a second dimension, given by past trains at the station. A building block of this approach is a train-station representation that accommodates different types of train services. We identify repeated patterns in this representation and exploit this fact. Indeed, the proposed bi-auto-regressive models are based on linear regressions whose coefficients depend on the stations and possibly only on the location of the train ride within a repeated pattern. This results in models that have a smaller complexity than extremely local models tailored to the timetables, with no significant decrease in accuracy.

Published
2022

11. Risk Bounds for Positive-Unlabeled Learning Under the Selected At Random Assumption.

Author

Coudray, Olivier, Keribin, Christine, Massart, Pascal, and Pamphile, Patrick

Subjects
*STATISTICAL learning
Abstract

Positive-Unlabeled learning (PU learning) is a special case of semi-supervised binary classification where only a fraction of positive examples is labeled. The challenge is then to find the correct classifier despite this lack of information. Recently, new methodologies have been introduced to address the case where the probability of being labeled may depend on the covariates. In this paper, we are interested in establishing risk bounds for PU learning under this general assumption. In addition, we quantify the impact of label noise on PU learning compared to the standard classification setting. Finally, we provide a lower bound on the minimax risk proving that the upper bound is almost optimal. [ABSTRACT FROM AUTHOR]

Published
2023

12. Fatigue Data-Based Design: statistical methods for the identification of critical zones

Author

Coudray, Olivier, Bristiel, Philippe, Dinis, Miguel, Keribin, Christine, Pamphile, Patrick, STELLANTIS, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), and Stellantis France

Subjects
[PHYS.MECA.MEMA]Physics [physics]/Mechanics [physics]/Mechanics of materials [physics.class-ph], [STAT.AP]Statistics [stat]/Applications [stat.AP], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Multivariate Analysis, Fatigue Design, Classification, Dang Van criterion
Abstract

National audience; The reliability of safety parts is a major issue for an automotive manufacturer. Fatigue failure is, however, a phenomenon that is difficult to analyze because it depends on the one hand on the manufacturing of the part, its geometry and the mechanical properties of the various materials used, and on the other hand on the external loads it is subjected to. In order to better design safety parts against fatigue failure, numerical simulations and tests on real size prototypes are carried out by the design office. Deterministic fatigue criteria are then used to identify the critical zones of the part. If these criteria prove to be effective on experimental test data with standardized specimens, they are less effective for bench tests with prototypes: the variability inherent to tests on prototypes is poorly addressed by deterministic criteria, not to mention the errors due to numerical simulations. We then propose to use statistical methods on the one hand to improve the deterministic criteria; on the other hand to build new fatigue criteria.

Published
2021

13. Classification non supervisée de graphes orientés : faut-il distinguer les nœuds origines des nœuds terminaux ?

Author

Keribin, Christine, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
[MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Co-clustering, Réseaux de gènes, Graphes orientés, Genes networks, Latent block Model, Modèle à blocs stochastiques, Classification non supervisée, Stochastic Block Model, [STAT.ME]Statistics [stat]/Methodology [stat.ME], Clustering, Modèle à blocs latents, Directed graphs
Abstract

International audience; When clustering the nodes of a graph, a unique partition of the nodes is usually built, either the graph is undirected or directed. While this choice is pertinent for undirected graphs, it should be discussed for directed graphs because it implies that no difference is made between the clusters of source and target nodes. We examine this question in the context of probabilistic models with latent variables and compare the use of the Stochastic Block Model (SBM) and of the Latent Block Model (LBM). We analyze and discuss this comparison through simulated and real data sets and suggest some recommendation.; Lors de la classification non supervisée des noeuds d'un graphe, une partition unique des noeuds est généralement construite, que le graphe soit orienté ou non. Bien que ce choix soit pertinent pour les graphes non orientés, il devrait être discuté pour les graphes orientés car il implique qu'aucune différence n'est faite entre les clusters de noeuds source et cible. Nous examinons cette question dans le contexte des modèles de clustering probabilistes à variables latentes et comparons l'utilisation des modèles de blocs stochastiques (SBM) et de blocs latents (LBM). Nous analysons et discutons cette comparaison à travers des jeux de données simulées et réelles.

Published
2021

14. Cluster or co-cluster the nodes of oriented graphs?

Author

Keribin, Christine, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
[MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Co-clustering, Réseaux de gènes, Graphes orientés, Genes networks, Latent block Model, Modèle à blocs stochastiques, Classification non supervisée, Stochastic Block Model, [STAT.ME]Statistics [stat]/Methodology [stat.ME], Clustering, Modèle à blocs latents, Directed graphs
Abstract

When clustering the nodes of a graph, a unique partition of the nodes is usually built, either the graph is undirected or directed. While this choice is pertinent for undirected graphs, it should be discussed for directed graphs because it implies that no difference is made between the clusters of source and target nodes. We examine this question in the context of probabilistic models with latent variables and compare the use of the Stochastic Block Model (SBM) and of the Latent Block Model (LBM). We analyze and discuss this comparison through simulated and real data sets and suggest some recommendation.; Lors de la classification non supervisée des noeuds d'un graphe, une partition unique des noeuds est généralement construite, que le graphe soit orienté ou non. Bien que ce choix soit pertinent pour les graphes non orientés, il devrait être discuté pour les graphes orientés car il implique qu'aucune différence n'est faite entre les clusters de noeuds source et cible. Nous examinons cette question dans le contexte des modèles de clustering probabilistes à variables latentes et comparons l'utilisation des modèles de blocs stochastiques (SBM) et de blocs latents (LBM). Nous analysons et discutons cette comparaison à travers des jeux de données simulées et réelles.

Published
2021

15. Some Asymptotic Properties of Model Selection Criteria in the Latent Block Model

Author

Keribin, Christine, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Keribin, Christine

Subjects
ComputingMethodologies_PATTERNRECOGNITION, [STAT.TH] Statistics [stat]/Statistics Theory [stat.TH], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Co-clustering, BIC, Latent block model, [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], Nonlinear Sciences::Cellular Automata and Lattice Gases, Model selection, [MATH.MATH-ST] Mathematics [math]/Statistics [math.ST], ICL
Abstract

International audience; Co-clustering designs in a same exercise a simultaneous clustering of the rows and the columns of a data array. The Latent Block Model (LBM) is a probabilis-tic model for co-clustering, based on a generalized mixture model. LBM parameter estimation is a difficult problem as the likelihood is numerically untractable. However , deterministic or stochastic strategies have been designed and the consistency and asymptotic normality have been recently solved when the number of blocks is known. We address model selection for LBM and propose here a class of penalized log-likelihood criteria that are consistent to select the true number of blocks for LBM.

Published
2019

16. Le modèle des blocs latents, une méthode régularisée pour la classification en grande dimension

Author

Keribin, Christine, Biernacki, Christophe, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire Paul Painlevé (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS), MOdel for Data Analysis and Learning (MODAL), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille, Sciences et Technologies-Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille), Laboratoire Paul Painlevé - UMR 8524 (LPP), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Paul Painlevé - UMR 8524 (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille)-Université de Lille, Sciences et Technologies, and Keribin, Christine

Subjects
[STAT.ME] Statistics [stat]/Methodology [stat.ME], [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Co-clustering, Latent block models, [MATH.MATH-ST] Mathematics [math]/Statistics [math.ST], High dimension, Clustering, [STAT.ME]Statistics [stat]/Methodology [stat.ME], [STAT.ML] Statistics [stat]/Machine Learning [stat.ML]
Abstract

Standard model-based clustering is known to be very efficient for low dimensional data sets, but it fails for properly addressing high dimension (HD) ones, where it suffers from both statistical and computational drawbacks. In order to counterbalance this curse of dimensionality, some proposals have been made to take into account redundancy and features utility, but related models are not suitable for too many variables. We advocate that the latent bloc model, a probabilistic model for co-clustering, is of particular interest to perform HD clustering of individuals even if it is not its primary function. Weillustrate in an empirical manner the trade-off bias-variance of the co-clustering strategy in scenarii involving HD fundaments (correlated variables, irrelevant variables) and show the ability of co-clustering to outperform simple mixture row-clustering, Les modèles de mélange sont connus pourêtre un outil efficace de classification non supervisée quand la dimension des observations est faible, maiséchouent en grande dimensionà cause d'un manque de parcimonie. Certaines tentatives pour pren-dre en compte la redondance ou la pertinence des variables se heurtentà des problèmes de complexité explosive. Nous recommandons d'utiliser le modèle des blocs latents, un modèle probabiliste de classification croisée simultanée des individus et des variables, pour classifier des individus en grande dimension. Nous illustrons de façon empirique le com-promis biais-variance de la stratégie de classification croisée dans des scénarii en grande dimension comportant des caractéristiques de redondance et de non pertinence et nous montrons son effet régularisateur sur la classification simple.

Published
2019

17. Un modèle de mélange pour caractériser les altérations génomiques tumorales

Author

Keribin, Christine, Liu, Yi, Popova, Tatiana, Rozenholc, Yves, Keribin, Christine, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Model selection in statistical learning (SELECT), Unité de génétique et biologie des cancers (U830), Université Paris Descartes - Paris 5 (UPD5)-Institut Curie [Paris]-Institut National de la Santé et de la Recherche Médicale (INSERM), Laboratoire de biomathématiques, EA 7537 [Paris] (BioSTM), Université Paris Descartes - Faculté de Pharmacie de Paris (UPD5 Pharmacie), Université Paris Descartes - Paris 5 (UPD5)-Université Paris Descartes - Paris 5 (UPD5), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)

Subjects
Mixture model, [STAT.AP]Statistics [stat]/Applications [stat.AP], [STAT.ME] Statistics [stat]/Methodology [stat.ME], [SDV.CAN]Life Sciences [q-bio]/Cancer, BIC criterion, SNP-array, GAP method, [STAT.AP] Statistics [stat]/Applications [stat.AP], [SDV.CAN] Life Sciences [q-bio]/Cancer, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], EM algorithm, [MATH.MATH-ST] Mathematics [math]/Statistics [math.ST], [STAT.ME]Statistics [stat]/Methodology [stat.ME], Slope heuristics, Cancer
Abstract

Characterizing the genomic copy number alterations (CNA) in cancer is of major importance in order to develop personalized medicine. Single nucleotide polymorphism (SNP) arrays are still in use to measure CNA profiles. Among the methods for SNP-array analysis, the Genome Alteration Print (GAP) by Popova et al, based on a preliminary segmentation of SNP-array profiles, uses a deterministic approach to infer the absolute copy numbers profile. We develop a probabilistic model for GAP and define a Gaussian mixture model where centers are constrained to belong to a frame depending on unknown parameters such as the proportion of normal tissue. The estimation is performed using an expectation-maximization (EM) algorithm to recover the parameters characterizing the genomic alterations as well as the most probable copy number change of each segment and the unknown proportion of normal tissue. We claim to deduce the tumor ploidy from penalized model selection criterion. Our model is tested on simulated and real data, La caractérisation des altérations du nombre de copies dans le génome est d'importance capitale pour développer une médecine personnalisée en cancérologie. Les puces à SNPs (Single Nucleotide Polymorphism), une variante de puce à ADN, sont toujours utilisées pour mesurer les profils d'altération du nombre de copies. Parmi les méthodes d'analyse de profil de SNPs, la méthode GAP (Genome Alteration Print) de Popova et al, basée sur une segmentation préliminaire de profils issus de puces SNPs, utilise une approche déterministe pour déterminer le profil du nombre absolu de copies. Nous développons un modèle probabiliste pour la méthode GAP et définissons un modèle de mélange gaussien dont les centres sont contraints d'appartenir à un réseau dépendant de paramètres inconnus tels que la proportion de tissu tumoral dans le prélèvement. L'estimation est effectuée à l'aide d'un algorithme EM (expectation-maximization) permettant d'accéder non seulement aux paramètres mais aussi au nombre altéré de copies le plus probable sur chaque segment ainsi que la proportion tumorale inconnue. Nous proposons de déduire la ploïdie tumorale en utilisant un critère pénalisé de choix de modèle. Notre modèle est testé sur des données simulées et appliqué à un exemple de données de cancer du côlon.

Published
2019

18. A note on BIC and the slope heuristic

Author

Keribin, Christine, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Keribin, Christine

Subjects
[STAT.ME] Statistics [stat]/Methodology [stat.ME], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [MATH.MATH-ST] Mathematics [math]/Statistics [math.ST], [STAT.ME]Statistics [stat]/Methodology [stat.ME], ComputingMilieux_MISCELLANEOUS
Abstract

International audience

Published
2019

19. Caractérisation de zones critiques pour le dimensionnement en fatigue d'une pièce mécanique

Author

Coudray, Olivier, Bristiel, Philippe, Dinis, Miguel, Keribin, Christine, Pamphile, Patrick, PSA Peugeot - Citroën (PSA), PSA Peugeot Citroën (PSA), Université Paris-Saclay, Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
[PHYS.MECA.MEMA]Physics [physics]/Mechanics [physics]/Mechanics of materials [physics.class-ph], Multivariate Analyis, [STAT.AP]Statistics [stat]/Applications [stat.AP], analyse multivariée, [SPI]Engineering Sciences [physics], Fatigue design, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Dang Van fatigue criterion, dimensionnement en fatigue, critère de Dang Van
Abstract

National audience; To design a mechanical part, engineers need to identify critical areas. They resort to numerical calculations based on finite element models and use deterministic fatigue criteria. However, tests on prototypes do not always validate numerical results. The objective of this work is to improve the identification of critical areas using statistical methods.; Pour dimensionner une pièce en fatigue, les ingénieurs ont besoin d'identifier des zones critiques. Ils ont alors recours à des calculs numériques à l'aide de modèles par éléments finis et utilisent des critères de fatigue déterministes. Cependant, les essais sur des prototypes ne valident pas toujours les résultats numériques. L'objectif de ce travail est d'améliorer l'identification des zones critiques à l'aide de méthodes statistiques.

Published
2020

20. A binned technique for scalable model-based clustering on huge datasets

Author

Antonazzo, Filippo, Biernacki, Christophe, Keribin, Christine, MOdel for Data Analysis and Learning (MODAL), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Paul Painlevé - UMR 8524 (LPP), Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille)-Université de Lille, Sciences et Technologies, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Laboratoire Paul Painlevé (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille, Sciences et Technologies-Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille), Antonazzo, Filippo, Laboratoire Paul Painlevé - UMR 8524 (LPP), and Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Université de Lille, Sciences et Technologies-Inria Lille - Nord Europe

Subjects
[STAT]Statistics [stat], green computing, big data, binned data, Clustering, [STAT] Statistics [stat]
Abstract

International audience; Clustering is impacted by the regular increase of sample sizes which provides opportunity to reveal information previously out of scope. However, the volume of data leads to some issues related to the need of many computational resources and also to high energy consumption. Resorting to binned data depending on an adaptive grid is expected to give proper answer to such green computing issues while not harming the quality of the related estimation. After a brief review of existing methods, a first application in the context of univariate model-based clustering is provided, with a numerical illustration of its advantages. Finally, an initial formalization of the multivariate extension is done, highlighting both issues and possible strategies.

Published
2020

21. Characterization of critical areas for mechanical part fatigue design

Author

Coudray, Olivier, Keribin, Christine, Pamphile, Patrick, Dinis, Miguel, Bristiel, Philippe, PSA Peugeot - Citroën (PSA), PSA Peugeot Citroën (PSA), Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
[STAT]Statistics [stat], [PHYS.MECA.MEMA]Physics [physics]/Mechanics [physics]/Mechanics of materials [physics.class-ph], Multivariate Analyis, [STAT.AP]Statistics [stat]/Applications [stat.AP], Fatigue design, Dimensionnement en fatigue, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Analyse multivariée, [SPI.MECA.MEMA]Engineering Sciences [physics]/Mechanics [physics.med-ph]/Mechanics of materials [physics.class-ph], Dang Van fatigue criterion, Fatigue, Critère de Dang Van
Abstract

National audience; To design a mechanical part, engineers need to identify critical areas. They resort to numerical calculations based on finite element models and use deterministic fatigue criteria. However, tests on prototypes do not always validate numerical results. The objective of this work is to improve the identication of critical areas using statistical methods.; Pour dimensionner une pièce en fatigue, les ingénieurs ont besoin d’identifier des zones critiques. Ils ont alors recours à des calculs numériques à l’aide de modèles par éléments finis et utilisent des critères de fatigue déterministes. Cependant, les essais sur des prototypes ne valident pas toujours les résultats numériques. L’objectif de ce travail est alors d’améliorer l’identification des zones critiques à l’aide de méthodes statistiques.

Published
2020

22. Quels modèles pour le temps de stationnement des trains en Île de France ?

Author

Coulaud, Rémi, Keribin, Christine, Stoltz, Gilles, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)

Subjects
random forests, [STAT.AP]Statistics [stat]/Applications [stat.AP], Model selection, railway data
Abstract

National audience; We model train dwell times at train stops with railway data and passengers flow data coming from connected trains of the Île-de-France line H. The timetable constrains railway exploitation, which led us to set up different models of dwell time depending on arrival compared to planed hour. We show that variables selected depends on timetable accordance and train run then we compare our models results to the litterature best models.; Nous modélisons le temps de stationnement des trains à l'arrêt à partir de données ferroviaires et de fréquentation issues des trains connectés de la ligne H. Le plan de transport structure l'exploitation ferroviaire ; nous modélisons le temps de stationnement diéremment en fonction de l'avance ou du retard du train par rapport à l'heure d'arrivée théorique. Nous montrons que les variables pertinentes dépendent de la place de l'arrêt dans le jalonnement ainsi que de l'heure d'arrivée puis nous comparons les performances de nos modèles avec ceux obtenus par d'autres modèles de la littérature. Mots-clés. Choix de modèles, données ferroviaires, étude de cas, forêts aléatoires.

Published
2020

23. Estimation of univariate Gaussian mixtures for huge raw datasets by using binned datasets

Author

Antonazzo, Filippo, Biernacki, Christophe, Keribin, Christine, MOdel for Data Analysis and Learning (MODAL), Laboratoire Paul Painlevé (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille, Sciences et Technologies-Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille), Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Paul Painlevé - UMR 8524 (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille)-Université de Lille, Sciences et Technologies, Antonazzo, Filippo, and Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS)

Subjects
[STAT]Statistics [stat], Big data, Green computing, Binned data, Unsupervised learning, [STAT] Statistics [stat]
Abstract

Due to the COVID-19 pandemic, the 52nd Journées de Statistique are postponed. They will take place from June 7th to 11th 2021 in Nice on the Valrose Campus of the Université Côte d'Azur.; International audience; Popularity of unsupervised learning is magnified by the regular increase of sample sizes. Indeed, it provides opportunity to reveal information previously out of scope. However, the volume of data leads to some issues related to prohibitive calculation times and also to high energy consumption and the need of high computational ressources. Resorting to binned data depending on an adaptive grid is expected to give proper answer to such green computing issues while not harming the related estimation issues. A first attempt is conducted in the context of univariate Gaussian mixtures, included a numerical illustration and some theoretical advances.

Published
2020

24. Estimation de modèles de mélanges gaussiens univariés à partir de données groupées dans le cas d'une grande volumétrie de données

Author

Antonazzo, Filippo, Biernacki, Christophe, Keribin, Christine, MOdel for Data Analysis and Learning (MODAL), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Paul Painlevé - UMR 8524 (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille)-Université de Lille, Sciences et Technologies, Statistique mathématique et apprentissage (CELESTE), Laboratoire de Mathématiques d'Orsay (LMO), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Inria Saclay - Ile de France, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)

Subjects
Big data, Green computing, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Données regroupées, Apprentissage non supervisé, Binned data, Unsupervised learning, [STAT.ME]Statistics [stat]/Methodology [stat.ME]
Abstract

Due to the COVID-19 pandemic, the 52nd Journées de Statistique are postponed. They will take place from June 7th to 11th 2021 in Nice on the Valrose Campus of the Université Côte d'Azur.; National audience; Popularity of unsupervised learning is magnified by the regular increase of sample sizes. Indeed, it provides opportunity to reveal information previously out of scope. However, the volume of data leads to some issues related to prohibitive calculation times and also to high energy consumption and the need of high computational ressources. Resorting to binned data depending on an adaptive grid is expected to give proper answerto such green computing issues while not harming the related estimation issues. A first attempt is conducted in the context of univariate Gaussian mixtures, included a numerical illustration and some theoretical advances.; L'intérêt de l'apprentissage non supervisé est magnifié par la croissante constante du nombre d'individus dans les échantillons. C'est en effet l'opportunité de découvrir des informations autrefois inaccessibles. Néanmoins, une importante volumétrie de données pose des difficultés relatives à des temps de calculs rapidement prohibitifs et à la grande consommation d'énergie et des ressources matérielles. L'usage de données regroupées (ou binned data) sur une grille adaptative pourrait répondre à ces questions ayant trait à ce qu'on qualifierait aujourd'hui de green computing, sans pour autant nuire à la qualité des estimations. Une 1ère approche est menée dans le cadre des mélanges gaussiens univariés, comprenant une illustration empirique et des avancées théoriques.

Published
2020

27. From clustering to co-clustering : a model based approach

Author

Keribin, Christine, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Université Paris Sud XI, and Gilles Blanchard

Subjects
Apprentissage statistique, Statistical learning/machine learning, Latent block model, Neuroimaging, Neuroimagerie fonctionnelle, Méthodes variationnelles, Clustering, Pharmacovigilance, Variational methods, Classification croisée, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Algorithmes bayésiens, Grande dimension, Modèle de mélange, Modèle de blocs latents, Model choice, Mixture model, [STAT.AP]Statistics [stat]/Applications [stat.AP], Choix de modèle, Genomic Data, Estimation algorithms, [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], High dimension, [STAT]Statistics [stat], Co-clustering, Génomique du cancer, Bayesian Algorithms, Algorithmes d'estimation, Classification non supervisée clustering, [STAT.ME]Statistics [stat]/Methodology [stat.ME]
Abstract

This habilitation thesis retraces works focusing mainly on model based clustering and the related issue of model choice. After recalling the contribution of mixture models to the unsupervised framework of clustering, the latent block model (LBM), a mixture model extended to the simultaneous clustering (co-clustering) of rows and columns of a data table, is introduced. Theoretical (identifiability, consistency and asymptotic normality of the estimators) and methodological contributions (estimation by variational EM, stochastic EM, Bayesian variational EM, Gibbs sampler,model choice with the ICL criterion) are presented. The LBM is extended to the Multiple Latent Block Model (MLBM) to process individual data in pharmacovigilance and a greedy algorithm to scan the model set is proposed. The study of functional MRI data, for which the number of individuals is much smaller than the number of variables, made it possible to explore the large dimension paradigm in two directions : use of Bayesian inference as a regularization tool (MSBR model - Multi Sparse Bayesian Regression) ; drastic dimension reduction while keeping interpretable results(clustering of spatially constrained variables supervised by the prediction of the target). Finally, some contributions in less related domains (data modeling in genomics, meteorology, phylogenetics or finance) illustrate how applications bring up interesting theoretical or methodological issues.; Ce mémoire d’habilitation retrace des travaux portant principalement sur la classification non supervisée par modélisation probabiliste et sur la question connexe du choix de modèle. Après avoir rappelé l’apport des modèles de mélange à la classification non supervisée (clustering), le modèle des blocs latents (LBM), un modèle de mélange étendu à la classification simultanée (co-clustering) des lignes et des colonnes d’un tableau de données, est introduit. Des contributions théoriques (identifiabilité, consistance et normalité asymptotique des estimateurs) et méthodologiques (estimation par EM variationnel, EM stochastique, EM variationnel bayésien, échantillonneurde Gibbs, choix de modèle via le critère ICL) sont présentés. Le LBM est étendu au modèle de blocs latents multiples (MLBM) pour traiter des données individuelles en pharmacovigilance et un algorithme glouton de parcours des modèles est proposé. L’étude de données d’IRM fonctionnelle, pour lesquelles le nombre d’individus est très inférieur au nombre de variables, a permis d’explorer le problème de la grande dimension suivant deux directions : utilisation de l’inférence bayésienne à des fins de régularisation (modèle MSBR –Multi Sparse Bayesian Regression) ; réductiondrastique de la dimension tout en gardant des résultats interprétables (clustering de variables contraintes spatialement supervisé par la prédiction de la cible). Enfin, quelques contributions dans des domaines plus éloignés de modélisation de données applicatives (génomiques, météorologiques, phylogénétiques ou financières) illustrent comment des besoins applicatifs font surgir des questions théoriques ou méthodologiques intéressantes.

Published
2019

28. De la classification à la classification croisée : une approche basée sur la modélisation

Author

Keribin, Christine, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Université Paris Sud XI, Gilles Blanchard, and Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)

Subjects
Apprentissage statistique, Statistical learning/machine learning, Latent block model, Neuroimaging, Neuroimagerie fonctionnelle, Méthodes variationnelles, Clustering, Pharmacovigilance, Variational methods, Classification croisée, [STAT.ML]Statistics [stat]/Machine Learning [stat.ML], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Algorithmes bayésiens, Grande dimension, Modèle de mélange, Modèle de blocs latents, Model choice, Mixture model, [STAT.AP]Statistics [stat]/Applications [stat.AP], Choix de modèle, Genomic Data, Estimation algorithms, [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], High dimension, [STAT]Statistics [stat], Co-clustering, Génomique du cancer, Bayesian Algorithms, Algorithmes d'estimation, Classification non supervisée clustering, [STAT.ME]Statistics [stat]/Methodology [stat.ME]
Abstract

This habilitation thesis retraces works focusing mainly on model based clustering and the related issue of model choice. After recalling the contribution of mixture models to the unsupervised framework of clustering, the latent block model (LBM), a mixture model extended to the simultaneous clustering (co-clustering) of rows and columns of a data table, is introduced. Theoretical (identifiability, consistency and asymptotic normality of the estimators) and methodological contributions (estimation by variational EM, stochastic EM, Bayesian variational EM, Gibbs sampler,model choice with the ICL criterion) are presented. The LBM is extended to the Multiple Latent Block Model (MLBM) to process individual data in pharmacovigilance and a greedy algorithm to scan the model set is proposed. The study of functional MRI data, for which the number of individuals is much smaller than the number of variables, made it possible to explore the large dimension paradigm in two directions : use of Bayesian inference as a regularization tool (MSBR model - Multi Sparse Bayesian Regression) ; drastic dimension reduction while keeping interpretable results(clustering of spatially constrained variables supervised by the prediction of the target). Finally, some contributions in less related domains (data modeling in genomics, meteorology, phylogenetics or finance) illustrate how applications bring up interesting theoretical or methodological issues.; Ce mémoire d’habilitation retrace des travaux portant principalement sur la classification non supervisée par modélisation probabiliste et sur la question connexe du choix de modèle. Après avoir rappelé l’apport des modèles de mélange à la classification non supervisée (clustering), le modèle des blocs latents (LBM), un modèle de mélange étendu à la classification simultanée (co-clustering) des lignes et des colonnes d’un tableau de données, est introduit. Des contributions théoriques (identifiabilité, consistance et normalité asymptotique des estimateurs) et méthodologiques (estimation par EM variationnel, EM stochastique, EM variationnel bayésien, échantillonneurde Gibbs, choix de modèle via le critère ICL) sont présentés. Le LBM est étendu au modèle de blocs latents multiples (MLBM) pour traiter des données individuelles en pharmacovigilance et un algorithme glouton de parcours des modèles est proposé. L’étude de données d’IRM fonctionnelle, pour lesquelles le nombre d’individus est très inférieur au nombre de variables, a permis d’explorer le problème de la grande dimension suivant deux directions : utilisation de l’inférence bayésienne à des fins de régularisation (modèle MSBR –Multi Sparse Bayesian Regression) ; réductiondrastique de la dimension tout en gardant des résultats interprétables (clustering de variables contraintes spatialement supervisé par la prédiction de la cible). Enfin, quelques contributions dans des domaines plus éloignés de modélisation de données applicatives (génomiques, météorologiques, phylogénétiques ou financières) illustrent comment des besoins applicatifs font surgir des questions théoriques ou méthodologiques intéressantes.

Published
2019

29. Co-clustering: model based or model free approaches

Author

Keribin, Christine, Biernacki, Christophe, Statistique mathématique et apprentissage (CELESTE), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), MOdel for Data Analysis and Learning (MODAL), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Paul Painlevé - UMR 8524 (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille)-Université de Lille, Sciences et Technologies, Laboratoire Paul Painlevé (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille, Sciences et Technologies-Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille), and Biernacki, Christophe

Subjects
[STAT.ME] Statistics [stat]/Methodology [stat.ME], [STAT.ME]Statistics [stat]/Methodology [stat.ME], ComputingMilieux_MISCELLANEOUS
Abstract

International audience

Published
2019

30. Co-clustering: A versatile way to perform clustering in high dimension

Author

Keribin, Christine, Biernacki, Christophe, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Model selection in statistical learning (SELECT), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), MOdel for Data Analysis and Learning (MODAL), Laboratoire Paul Painlevé (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille, Sciences et Technologies-Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille), Biernacki, Christophe, Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire Paul Painlevé - UMR 8524 (LPP), Inria Lille - Nord Europe, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Paul Painlevé - UMR 8524 (LPP), Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Evaluation des technologies de santé et des pratiques médicales - ULR 2694 (METRICS), and Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-Université de Lille-Centre Hospitalier Régional Universitaire [Lille] (CHRU Lille)-École polytechnique universitaire de Lille (Polytech Lille)-Université de Lille, Sciences et Technologies

Subjects
[STAT.ME] Statistics [stat]/Methodology [stat.ME], [STAT.ME]Statistics [stat]/Methodology [stat.ME], ComputingMilieux_MISCELLANEOUS
Abstract

International audience

Published
2018

31. The Latent Block Model: a useful model for high dimensional data

Author

Keribin, Christine, Celeux, Gilles, Robert, Valérie, Keribin, Christine, Jeunes Chercheuses et Jeunes Chercheurs - Procédures statistiques fondées sur des mélanges pour l'analyse de données de RNA-seq - - MixStatSeq2013 - ANR-13-JS01-0001 - JC - VALID, Model selection in statistical learning (SELECT), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), ANR-13-JS01-0001,MixStatSeq,Procédures statistiques fondées sur des mélanges pour l'analyse de données de RNA-seq(2013), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)

Subjects
mixture, [STAT.AP]Statistics [stat]/Applications [stat.AP], model selection, [STAT.ME] Statistics [stat]/Methodology [stat.ME], [STAT.AP] Statistics [stat]/Applications [stat.AP], [SDV.SPEE] Life Sciences [q-bio]/Santé publique et épidémiologie, pharmacovigilance, [SDV.SPEE]Life Sciences [q-bio]/Santé publique et épidémiologie, [STAT.ME]Statistics [stat]/Methodology [stat.ME], ICL, ComputingMilieux_MISCELLANEOUS
Abstract

International audience; The Latent Block Model (LBM) designs in a same exercise a clustering of the rows and the columns of a data array. Typically the LBM is expected to be useful to analyze huge data sets with many observations and many variables. But it encounters several numerical issues with big data set: maximum likelihood is jeopardized by spurious maxima and selecting a proper model is challenging since there are a lot of models are in competition. In this communication, we analyze these numerical issues. In particular, we make use of Bayesian inference to avoid spurious solutions and propose an efficient way to scan the model set. Moreover, we advocate the exact Integrated Completed Likelihood (ICL) criterion to select a proper and consistent LBM. The methods and algorithms will be ilustrated with pharmacovigilance data involving large arrays of data.

Published
2017

32. Modele des blocs latents et sélection de modèles en pharmacovigilance

Author

Robert, Valérie, Celeux, Gilles, Keribin, Christine, Tubert-Bitter, Pascale, Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Recherche en épidémiologie et biostatistique, Université Paris-Sud - Paris 11 (UP11)-Institut National de la Santé et de la Recherche Médicale (INSERM), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Keribin, Christine

Subjects
Modèles de mélange, [STAT]Statistics [stat], Pharmacovigilance, [STAT.AP]Statistics [stat]/Applications [stat.AP], [STAT.ME] Statistics [stat]/Methodology [stat.ME], [STAT.AP] Statistics [stat]/Applications [stat.AP], Classification croisée, EM, Sélection de modèles, Algorithmes bayésiens, Approximation variationnelle, [STAT.ME]Statistics [stat]/Methodology [stat.ME], [STAT] Statistics [stat]
Abstract

International audience; La pharmacovigilance consiste à détecter le plus précocement possible l’existence d’associations entre médicaments et événements indésirables. Dans cette optique, des méthodes statistiques exploratoires de la base de notifications spontanées sont développées depuis une vingtaine d’années. Ces méthodes prennent en compte des données agrégées (tableau de contingence), ce qui suppose une homogénéité des individus à l’origine des notifications. Or il est raisonnable de supposer une certaine hétérogénéité dans la population étudiée. De plus, les matrices de données individuelles étant très grandes en taille, il est nécessaire de limiter le nombre de médicaments et d’effets indésirables auxquels on s’intéresse. Nous proposons alors l’utilisation du modèle des blocs latents sur tableau de contingence qui permettra de sélectionner des sous-groupes d’effets et de médicaments en interaction. Dans cet exposé, nous expliciterons le modèle des blocs latents sur tableau de contingence ainsi que les algorithmes utilisés pour l’estimation des paramètres du modèle. Ensuite, nous proposerons des critères de sélection de ce modèle et une procédure basée sur des initialisations récursives des algorithmes pour contourner le problème des données volumineuses. Enfin, nous présenterons les résultats obtenus sur les données simulées et réelles

Published
2016

33. Consistency and asymptotic normality of latent blocks model estimators

Author

keribin, Christine, Mariadassou, Mahendra, and Brault, Vincent

Subjects
latent block model, asymptotic normality, maximum likelihood estimate, concentration inequality, Statistiques (Mathématiques)
Abstract

Latent Block Model (LBM) is a model-based method to cluster simultaneously the d columns and n rows of a data matrix. Parameter estimation in LBM is a difficult and multifaceted problem. Although various estimation strategies have been proposed and are now well understood empirically, theoretical guarantees about their asymptotic behavior is rather sparse. We show here that under some mild conditions on the parameter space, and in an asymptotic regime where log(d)/n and log(n)/d tend to 0 when n and d tend to +∞, (1) the maximum-likelihood estimate of the complete model (with known labels) is consistent and (2) the log-likelihood ratios are equivalent under the complete and observed (with unknown labels) models. This equivalence allows us to transfer the asymptotic consistency to the maximum likelihood estimate under the observed model. Moreover, the variational estimator is also consistent.

Published
2017

34. Normalité asymptotique de l’estimateur du maximum de vraisemblance dans le modèle de blocs latents

Author

Mariadassou, Mahendra, Brault, Vincent, Keribin, Christine, Mathématiques et Informatique Appliquées du Génome à l'Environnement [Jouy-En-Josas] (MaIAGE), Institut National de la Recherche Agronomique (INRA), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Saclay, and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
inégalités de concentration, maximum de vraisemblance, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], consistance, Modèle de blocs latents, asymptotique
Abstract

International audience; Le modèle de blocs latents est une méthode non supervisée de classification simultanée des n lignes et d colonnes d’une matrice basée sur un modèle probabiliste de mélange. Si les méthodes d’estimation sont maintenant bien maîtrisées, les résultats concernant l’asymptotique de l’estimateur du maximum de vraisemblance restent encore parcellaires. Sous certaines conditions de bornes sur les paramètres, et pour un régime asymptotique tel que log(d)/n et log(n)/d tendent vers 0 avec n et d, nous montrons l’équivalence asymptotique du rapport de vraisemblance observée avec celui de la vraisemblance complète. Cette équivalence permet de transférer les propriétés de normalité asymptotique de l’estimateur du maximum de vraisemblance du modèle complet à l’estimateur du maximum de vraisemblance.

Published
2016

35. Choix de modèles quand la vraisemblance est incalculable

Author

Keribin, Christine, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Latent Block Model, sélection de modèle, co-clustering, Modèle de mélange, BIC, Integrated Completed Likelihood (ICL), [STAT.ME]Statistics [stat]/Methodology [stat.ME]
Abstract

International audience; Penalised likelihood criteria such as BIC are popular methods for model selection and require to compute the maximised likelihood. Unfortunately, this maximised likelihood can be untractable, as it is the case for the latent block model (LBM). LBM is a mixture model for co-clustering, allowing to perform the simultaneous clustering of rows and columns of large data matrices. Due to the complex dependence between the row and column class membership variables conditionally to the observations, approximations are needed to perform the estimation step of the EM algorithm, leading to a lower bound of the maximised likelihood. For the same reason, the usual asymptotic approximation used to derive BIC is itself questionable. On the other hand, the integrated completed likelihood criterion (ICL) is exactly computed for LBM, but requires to investigate the influence of hyperparameters. Links between both criteria are analyzed and comparison with Bayesian inference is discussed.; Les critères pénalisés comme le critère BIC sont des méthodes fréquemment utilisées pour la sélection de modèles et qui nécessitent le calcul de la vraisemblance. Malheureusement, il peut arriver que la vraisemblance ne soit pas numériquement calculable, comme c'est le cas par exemple pour le modèle des blocs latents (LBM). LBM est un modèle de mélange pour la classification croisée (co-clustering), permettant la classification non supervisée simultanée des lignes et colonnes de grandes matrices de données. A cause de la structure de dépendance complexe entre les variables d'appartenance à une classe en ligne et en colonne conditionnellement aux observations, il est nécessaire d' opérer des approximations pour calculer l'étape d'estimation de l'algorithme EM, conduisant ainsi à un minorant de la vraisemblance maximisée. Pour la même raison, l'approximation asymptotique usuelle pour définir le critère BIC doit être remise en question. D'un autre côté, le critère de vraisemblance complète intégrée (ICL) peut être calculé de façon ex-acte pour LBM, mais nécessite d'étudier l'influence d'hyper-paramètres. Les liens entre les deux critères sont analysés et une comparaison avec l' inférence bayésienne est discutée.

Published
2015

36. Un modèle statistique pour la pharmacovigilance

Author

Robert, Valérie, Celeux, Gilles, Keribin, Christine, Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Modèles de mélange, Pharmacovigilance, [STAT.AP]Statistics [stat]/Applications [stat.AP], Classification croisée, EM, Echantillonneur de Gibbs, Algorithmes bayésiens, Approximation variationnelle
Abstract

International audience; Les effets indésirables des médicaments sont le plus souvent découverts après l'autorisation de mise sur le marché de ces médicaments. La pharmacovigilance consiste alors a détecter le plus précocement possible l'existence d'associations entre médicaments et événements indésirables. Dans cette optique, des méthodes statistiques exploratoires (IC, Bate et al., 1998 ; GPS, Dumouchel, 1999...) sont développées depuis une vingtaine d' années. Cependant, ces méthodes sont limitées par l'utilisation de données agrégées (tableau de contingence), ce qui présume d'une homogénéité des individus a l'origine des notifications. Or il est raisonnable de supposer une certaine hétérogénéité dans la population étudiée. L'objectif est donc de proposer une alternative a ces méthodes intégrant cette dimension hétérogène du problème grâce à l'étude des données individuelles peu informatives, produisant des matrices creuses. Dans ce cadre, en adaptant le modèle des blocs latents (Govaert et Nadif, 2008), nous proposons un nouveau modèle statistique qui fournit une classification simultanée des lignes et des colonnes de deux tableaux de données binaires en leur imposant le même classement en ligne. Il permet alors d'établir des classes d'individus selon leur profil médicamenteux et des sous-groupes d'effets et de médicaments en interaction. Dans cet exposé, nous présenterons le modèle et montrerons la nouveauté de cette approche en pharmacovigilance. Nous donnerons des conditions suffisantes pour obtenir son identifiabilité et nous l' expérimenterons sur des matrices simulées creuses ou non.

Published
2015

37. Implementation of the Gibbs sampler for the latent block model

Author

Brault, Vincent, Celeux, Gilles, Keribin, Christine, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), SFdS, Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Brault, Vincent

Subjects
Statistique bayésienne, Gibbs sampling, Bayesian methods, Classification croisée, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Co-clustering, Échantillonnage de Gibbs, [MATH.MATH-ST] Mathematics [math]/Statistics [math.ST], Data mining, Analyse de données et data mining
Abstract

Mixture models can be used to deal with the simultaneous clustering of a set of objects and a set of variables. The latent block model defines a distribution for each combinaison of an object cluster and a variable cluster, and the data is supposed to be independent, given the object and the variable clusters. But the factorization of the joint distribution of the labels, conditionally to the observed data, is not tractable, and the E-step of the EM algorithm cannot be performed. To solve this problem, the variational EM has been proposed by Govaert and Nadif (2008), the SEM algorithm by Keribin and al (2010) and the V-Bayes algorithm by Keribin and al (2012).In theory, the Gibbs sampler (Keribin et al (2012)) samples the exact a posteriori law while some algorithms use an approximation. In practice, the problem is to determine when the chain begins to be stationary. In this presentation, we study the Brooks-Gelman statistic (1998) as stop criterion for the latent block model and propose some improvement to decrease the convergence period., Les modèles de mélanges peuvent être utilisés pour résoudre le problème de la classification non supervisée simultanée d'un ensemble d'objets et d'un ensemble de variables. Le modèle des blocs latents définit une loi pour chaque croisement de classe d'objets et de classe de variables, et les observations sont supposées indépendantes conditionnellement au choix des classes d'objets et de variables. Mais il n'est pas possible de factoriser la loi jointe conditionnelle des labels rendant impossible le calcul de l'étape d'estimation de l'algorithme EM. Différents algorithmes existent pour contourner cette difficulté, notamment VEM, un EM variationnel, proposé par Govaert et Nadif (2008), l'algorithme SEM de Keribin et al (2010) ou encore d'un point de vue bayésien, l'algorithme V-Bayes proposé par Keribin et al (2012).D'un point de vue théorique, l'échantillonneur de Gibbs (Keribin et al (2012)) permet de simuler la loi a posteriori exacte alors que d'autres algorithmes sont obligés de faire des approximations. D'un point de vue pratique, la question de l'atteinte de la stationnarité pour la chaîne générée en est un point délicat. Dans cet exposé, nous étudions la statistique de Brooks-Gelman (1998) comme critère d'arrêt pour le modèle des blocs latents et en proposons des améliorations pour diminuer le temps de convergence.

Published
2014

38. Model selection with untractable likelihood

Author

Keribin, Christine, Brault, Vincent, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Model selection in statistical learning (SELECT), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)

Subjects
ACM: G.: Mathematics of Computing/G.3: PROBABILITY AND STATISTICS/G.3.7: Probabilistic algorithms (including Monte Carlo), ACM: G.: Mathematics of Computing/G.3: PROBABILITY AND STATISTICS/G.3.13: Statistical computing, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Statistics::Methodology, [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], Statistics::Computation
Abstract

International audience; Penalised likelihood criteria such as AIC or BIC are popular methods used to deal with model selection and require to compute the maximised likelihood. Unfortunately, this maximised likelihood can be untractable, as it is the case for the latent block model (LBM). LBM is a mixture model that allows to perform the simultaneous clustering of rows and columns of large data matrices, also known as coclustering. Due to the complex dependency structure of the bservations conditionally to the row and column labels, approximations must be defined to perform the E step of the EM algorithm, leading to a lower bound of the maximised likelihood. For the same reason, the usual asymptotic approximation used to derive BIC is itself questionable. On the other hand, the integrated completed likelihood criterion (ICL) is exactly computed for LBM, but requires to investigate the influence of hyperparameters. This influence is investigated, links between the criteria are discussed and numerical experiments on both simulated and real data sets highlight the proposed model selection procedure.

Published
2013

39. Estimation and Selection for the Latent Block Model on Categorical Data

Author

Keribin, Christine, Brault, Vincent, Celeux, Gilles, Govaert, Gérard, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Heuristique et Diagnostic des Systèmes Complexes [Compiègne] (Heudiasyc), Université de Technologie de Compiègne (UTC)-Centre National de la Recherche Scientifique (CNRS), INRIA, Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Integrated Completed Likelihood, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Bayesian Inference, Gibbs Sampling, [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], EM algorithm, Variational Approximation, Stochastic EM, BIC Criterion
Abstract

This paper is dealing with estimation and model selection in the Latent Block Model (LBM) for categorical data. First, after providing sufficient conditions ensuring the identifiability of this model, it generalises estimation procedures and model selection criteria derived for binary data. Secondly, it develops Bayesian inference through Gibbs sampling. And, with a well calibrated non informative prior distribution, Bayesian estimation is proved to avoid the traps encountered by the LBM with the maximum likelihood methodology. Then model selection criteria are presented. In particular an exact expression of the ICL criterion requiring no asymptotic approximation is derived. Finally numerical experiments on both simulated and real data sets highlight the interest of the proposed estimation and model selection procedures.; Cet article traite de l'estimation et de la sélection pour le modèle des blocs latents (LBM) avec données catégorielles. Nous commençons par donner des conditions suffisantes pour obtenir l'identifiabilité de ce modèle. Nous généralisons les procédures d'estimation et les critères de sélection obtenus dans le cadre binaire. Nous considérons l'inférence bayésienne à travers l'échantillonneur de Gibbs couplé avec une approche variationnelle~: avec une distribution a priori non informative correctement calibrée, ces algorithmes évitent mieux les extrema locaux que la méthodologie fréquentiste. Nous présentons des critères de sélection de modèle et nous donnons une forme exacte non asymptotique pour le critère ICL. Les résultats obtenus sur des données simulées et réelles illustrent l'intérêt de notre procédure d'estimation et de sélection de modèle.

Published
2013

40. Comparaisons de différents algorithmes pour le modèle des blocs latents

Author

Brault, Vincent, Celeux, Gilles, Keribin, Christine, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
Echantillonneur de Gibbs, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], Algorithme EM, Approximation variationnelle, Modèle des blocs latents, [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH]
Abstract

National audience; Le but de la classification est de découper des ensembles de données en sous-ensembles les plus homogènes possibles, c'est-à-dire que les membres d'une classe doivent plus se ressembler entre eux qu'aux membres des autres classes. Le problème se complique lorsque le statisticien souhaite définir des groupes à la fois sur les individus et sur les variables. Le modèle des blocs latents définit une loi pour chaque croisement de classe d'objets et de classe de variables, et les observations sont supposées indépendantes conditionnellement au choix de ces classes. Toutefois, il est impossible de factoriser la loi jointe des labels empêchant le calcul de la logvraisemblance et l'utilisation de l'algorithme EM. Plusieurs méthodes et critères existent pour retrouver ces partitions, certains fréquentistes, d'autres bayésiens, certains stochastiques, d'autres non. Dans cet exposé, nous comparerons quatre méthodes d'initialisations combinées avec quatre algorithmes dérivés de l'algorithme EM. Nous montrerons sur des données simulées l'intérêt de l'échantillonneur de Gibbs par rapport à l'algorithme SEM ainsi que la régularisation bayésienne de l'algorithme VEM. De plus, avec suffisamment d'observations, nous verrons que l'algorithme CEM obtient des résultats proches des autres. Ensuite, nous regarderons les différences observées sur les données réelles notamment grâce à une sélection de modèle à l'aide du critère ICL. Enfin, nous proposerons une méthodologie pour traiter le modèle des blocs latents.

Published
2013

41. Model selection for the binary latent block model

Author

Keribin, Christine, Brault, Vincent, Celeux, Gilles, Govaert, Gérard, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Heuristique et Diagnostic des Systèmes Complexes [Compiègne] (Heudiasyc), Université de Technologie de Compiègne (UTC)-Centre National de la Recherche Scientifique (CNRS), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
ComputingMethodologies_PATTERNRECOGNITION, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH]
Abstract

International audience; The latent block model is a mixture model that can be used to deal with the simultaneous clustering of rows and columns of an observed numerical matrix, known as co-clustering. For this mixture model unfortunately, neither the likelihood, nor the EM algorithm are numerically tractable, due to the dependence of the rows and columns into the label joint distribution conditionally to the observations. Several approaches can be considered to compute approximated solutions, for the maximum likelihood estimator as well as for the likelihood itself. The comparison of a determinist approach using a variational principle with a stochastic approach using a MCMC algorithm is first discussed and applied in the context of binary data. These results are then used to build and compute ICL and BIC criteria for model selection. Numerical experiments show the interest of this approach in model selection and data reduction.

Published
2012

42. Régularisation bayésienne du modèle des blocs latents

Author

Brault, Vincent, Celeux, Gilles, Keribin, Christine, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Model selection in statistical learning (SELECT), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, and Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)

Subjects
ComputingMilieux_MISCELLANEOUS
Abstract

National audience

Published
2012

43. Méthodes bayésiennes variationnelles : concepts et applications en neuroimagerie

Author

Keribin, Christine, Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
ACM: G.: Mathematics of Computing/G.3: PROBABILITY AND STATISTICS/G.3.13: Statistical computing, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], ComputingMilieux_MISCELLANEOUS
Abstract

National audience; Bayesian posterior distributions can be numerically intractable, even by the means of Markov Chains Monte Carlo methods. Bayesian variational methods can then be used to compute directly (and fast) a deterministic approximation of these posterior distributions. This paper describes the principle of variational methods and their applications in the Bayesian inference, surveys the main theoretical results and details two examples in the neuroimage field.; En estimation bayésienne, les lois a posteriori sont rarement accessibles, même par des méthodes de Monte-Carlo par Chaîne de Markov. Les méthodes bayésiennes variationnelles permettent de calculer directement (et rapidement) une approximation déterministe des lois a posteriori. Cet article décrit le principe des méthodes variationnelles et leur application à l'inférence bayésienne, fait le point sur les principaux résultats théoriques et présente deux exemples d'utilisation en neuroimagerie.

Published
2011

44. Comparing Variational and Stochastic EM for block clustering

Author

Keribin, Christine, Govaert, Gérard, Celeux, Gilles, Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Heuristique et Diagnostic des Systèmes Complexes [Compiègne] (Heudiasyc), Université de Technologie de Compiègne (UTC)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
[MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], ComputingMilieux_MISCELLANEOUS
Abstract

International audience

Published
2010

45. Estimation d'un modèle àblocs latent par l'algorithme SEM

Author

Keribin, Christine, Govaert, Gérard, Celeux, Gilles, Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Heuristique et Diagnostic des Systèmes Complexes [Compiègne] (Heudiasyc), Université de Technologie de Compiègne (UTC)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
[MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH]
Abstract

Mixture models can be used to deal with the simultaneous clustering problem on a set of objects and a set of variables. The latent block model defines a distribution for each combinaison of an object label and a variable label and the data are supposed to be independent, given the object labels and the variable labels. But the factorization of the joint distribution of the labels, conditionally to the observed data, is not tractable, and the E-step of the EM algorithm cannot be performed. Govaert et Nadif (2008) proposed a variational approximation, which they compared to a CEM algorithm. We present here, in the case of binary data, a SEM algorithm, using a Gibbs sampling for the estimation step, and we compare the results with the other methods.

Published
2010

46. Estimation d'un modèle à blocs latents par l'algorithme SEM

Author

Keribin, Christine, Govaert, Gérard, Celeux, Gilles, Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Heuristique et Diagnostic des Systèmes Complexes [Compiègne] (Heudiasyc), Université de Technologie de Compiègne (UTC)-Centre National de la Recherche Scientifique (CNRS), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Sfds-Hal, Conférence

Subjects
[STAT.TH] Statistics [stat]/Statistics Theory [stat.TH], [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], [MATH.MATH-ST] Mathematics [math]/Statistics [math.ST]
Abstract

International audience; Les modèles de mélanges peuvent être utilisés pour résoudre le problème de la classification non supervisée simultanée d'un ensemble d'objets et d'un ensemble de variables. Le modèle à blocs latents définit une loi pour chaque croisement de classe d'objets et de classe de variables, et les observations sont supposées indépendantes conditionnellement au choix des classes d'objets et de variables. Mais il n'est pas possible de factoriser la loi jointe conditionnelle des labels et l'étape d'estimation de l'algorithme EM n'est pas calculable directement. Govaert et Nadif (2008) en ont proposé une approximation variationnelle qu'ils ont confrontée à un algorithme CEM. Nous présentons ici, dans le cadre de données binaires, l'utilisation d'un algorithme SEM effectuant l'étape d'estimation par échantillonneur de Gibbs, et nous comparons les résultats avec ceux des méthodes précédentes.

Published
2010

47. Adaptive multi-class Bayesian sparse regression - An application to brain activity classification

Author

Michel, Vincent, Eger, Evelyn, Keribin, Christine, Thirion, Bertrand, Modelling brain structure, function and variability based on high-field MRI data (PARIETAL), Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Service NEUROSPIN (NEUROSPIN), Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Université Paris-Saclay-Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Université Paris-Saclay, Laboratoire de Neuroimagerie Assistée par Ordinateur (LNAO), Commissariat à l'énergie atomique et aux énergies alternatives (CEA), Neuroimagerie cognitive (LCogn), Université Paris-Sud - Paris 11 (UP11)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Institut National de la Santé et de la Recherche Médicale (INSERM), Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Laboratoire de Mathématiques d'Orsay (LM-Orsay), Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11), Michel, Vincent, Service NEUROSPIN (NEUROSPIN), Université Paris-Saclay-Direction de Recherche Fondamentale (CEA) (DRF (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
brain-reading, classification, [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG], [SCCO.COMP] Cognitive science/Computer science, fMRI, [INFO.INFO-IM] Computer Science [cs]/Medical Imaging, [INFO.INFO-IM]Computer Science [cs]/Medical Imaging, [SCCO.COMP]Cognitive science/Computer science, [INFO.INFO-LG] Computer Science [cs]/Machine Learning [cs.LG], variational bayes, sparse regression
Abstract

International audience; In this article we describe a novel method for regularized regression and apply it to the prediction of a behavioural variable from brain activation images. In the context of neuroimaging, regression or classification techniques are often plagued with the curse of dimensionality, due to the extremely high number of voxels and the limited number of activation maps. A commonly-used solution is the regularization of the weights used in the parametric prediction function. It entails the difficult issue of introducing an adapted amount of regularization in the model; this question can be addressed in a Bayesian framework, but model specification needs a careful design to balance adaptiveness and sparsity. Thus, we introduce an adaptive multi-class regularization to deal with this cluster-based structure of the data. Based on a hierarchical model and estimated in a Variational Bayes framework, our algorithm is robust to overfit and more adaptive than other regularization methods. Results on simulated data and preliminary results on real data show the accuracy of the method in the context of brain activation images.

Published
2009

48. Les méthodes bayésiennes variationnelles et leur application en neuroimagerie : une étude de l'existant

Author

Keribin, Christine, Model selection in statistical learning (SELECT), Laboratoire de Mathématiques d'Orsay (LMO), Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), INRIA, Inria Saclay - Ile de France, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire de Mathématiques d'Orsay (LMO), and Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)-Université Paris-Sud - Paris 11 (UP11)-Centre National de la Recherche Scientifique (CNRS)

Subjects
analyse bayésienne, approximation de Laplace, [MATH.MATH-ST]Mathematics [math]/Statistics [math.ST], algorithme EM, modèles de mélange spaciaux, méthodes MCMC, [STAT.TH]Statistics [stat]/Statistics Theory [stat.TH], sélection de modèles, Méthodes variationnelles, approximation en champ moyen, données IRMf
Abstract

En estimation bayésienne, les lois a posteriori ne sont pas toujours accessibles, même par des méthodes de Monte-Carlo par Chaîne de Markov. Les méthodes bayésiennes variationnelles permettent de calculer directement (et rapidement) une approximation déterministe des lois a posteriori. Ce papier décrit le principe des méthodes variationnelles et leur application à l'inférence bayésienne, fait le point sur les principaux résultats théoriques et présente deux exemples d'utilisation en neuroimagerie.

Published
2009

Catalog

Books, media, physical & digital resources
See catalog results