Search

In many scenarios, the interpretability of machine learning models is a highly required but difficult task. To explain the individual predictions of such models, local model-agnostic approaches have been proposed. However, the process generating the explanations can be, for a user, as mysterious as the prediction to be explained. Furthermore, interpretability methods frequently lack theoretical guarantees, and their behavior on simple models is frequently unknown. While it is difficult, if not impossible, to ensure that an explainer behaves as expected on a cutting-edge model, we can at least ensure that everything works on simple, already interpretable models. In this paper, we present a theoretical analysis of Anchors (Ribeiro et al., 2018): a popular rule-based interpretability method that highlights a small set of words to explain a text classifier's decision. After formalizing its algorithm and providing useful insights, we demonstrate mathematically that Anchors produces meaningful results when used with linear text classifiers on top of a TF-IDF vectorization. We believe that our analysis framework can aid in the development of new explainability methods based on solid theoretical foundations., arXiv admin note: substantial text overlap with arXiv:2205.13789

Time series classification is one of the must studied and applied time series analysis tasks. Several methods have been proposed to perform this task accurately, efficiently and sometimes in an explainable way. However, situations where the time series are made of uncertain values are still under-explored although any physical measurement is subject to uncertainty. The existing works in this fields are based on uncertain similarity measures such as DUST, MUNICH, and FOTS which have the same main limitation of not propagating uncertainty to the next step of the classification process. This behavior causes the last parts of the process to treat the data as if they were certain while they are not, leading to untrustable predictions. This thesis tackles this limitation by proposing efficient, robust and explainable methods for uncertain time series classification (uTSC). We start by proposing a general framework for uncertain time series classification which propagates uncertainty from the beginning to the end of the process. Then, we instantiate this framework using uncertainty propagation arithmetic to propose the UST model which outperformed existing uTSC models while being explainable. We continue by improving the scalability of UST by proposing the SAST and the uSAST models. SAST is a novel accurate, scalable and interpretable method that we propose for time series classification. uSAST is the extension of SAST to uTSC. We show the effectiveness our methods on simulated datasets, on state-of-the-art datasets, and on a real-world uncertain time series dataset from the astrophysics domain. The source codes and the data used in the work are all available publicly.; La classification de séries temporelles est l'une des tâches d'analyse de séries temporelles les plus étudiées et les plus appliquées. Plusieurs méthodes performantes et des fois interprétables ont été proposées pour réaliser cette tâche. Cependant, les cas où les séries temporelles sont faites de valeurs incertaines restent sous-explorés, et ceci malgré que toute mesure physique soit sujette à incertitude. Les travaux existants dans ce domaine sont basés sur des mesures de similarité incertaine telles que DUST, MUNICH et FOTS qui partagent la principale limite de ne pas propager l'incertitude à la prochaine étape de la classification. Par conséquent, les dernières étapes du processus de classification ne sont pas conscientes du fait que les données sont incertaines et les traitent donc comme si elles étaient certaines, conduisant ainsi à des prédictions non fiables. Cette thèse a pour but de corriger cette limite en proposant des méthodes efficaces, robustes et interprétables pour la classification de séries temporelles incertaines. Nous commençons par proposer un cadre général pour la classification de séries temporelles incertaines qui propage l'incertitude du début à la fin du processus de classification. Nous instancions ensuite ce cadre en utilisant l'arithmétique de propagation de l'incertitude pour proposer la méthode UST qui a donné des résultats meilleurs que ceux données par les méthodes existantes de classification de séries temporelles incertaines tout en étant interprétable. Par la suite, nous améliorons le temps de calcul requis par UST en proposant les méthodes SAST et uSAST. SAST est une nouvelle approche performante, rapide et interprétable que nous avons proposé pour la classification de séries temporelles, et uSAST est son extension aux séries temporelles incertaines. Nous évaluons nos méthodes sur des jeux données simulées, sur des données de l'état de l'art et sur un jeu de données réel provenant du domaine de l'astrophysique. Les codes sources et les données utilisés dans ce travail sont rendus disponible sur internet.

This thesis, written for the qualification of Doctor of Philosophy in Computer Science, studies the question of the individual importance of actions in sequential decision-making, through the lens of Reinforcement Learning, and with diverse applications.An important finding of this work is that two seemingly different open problems in Reinforcement Learning, namely the credit assignment problem and explainability, have partial solutions that involve similar tools that can all be viewed as the estimation of particular forms of action importance.Several algorithms that suit different forms of action importance are proposed and studied from a theoretical point of view, empirically, or both.; Cette thèse, écrite pour l'obtention du doctorat en Informatique, étudie la question de l'importance individuelle des actions dans la prise de décision séquentielle, via le prisme de l'Apprentissage par Renforcement, avec diverses applications.Une découverte importante de ce travail est que deux problèmes ouverts en apparence distincts en Apprentissage par Renforcement, à savoir le problème d'assignation de crédit et l'interprétabilité, ont des solutions partielles qui impliquent des outils communs qui peuvent être vus comme des estimations de formes particulières d'importance des actions.Des algorithmes qui correspondent à des formes distinctes d'importance des actions sont proposées et étudiées empiriquement, d'un point de vue plus théorique, ou les deux.

My CIFRE thesis is a continuation of the theses conducted by Tsirizo Rabenoro (Rabenoro, 2015), Cynthia Faure (Faure, 2018), Florent Forest (Forest, 2021). The objective of this thesis is to develop a methodology to understand and highlight specific typologies of aircraft engine operation during reception tests carried out on test benches, and to help Safran Aircraft Engines' engineers in the design of their engines.From a theoretical point of view, the main challenge of this thesis is to model and explain the observed and unobserved physical phenomena using statistical methods and to interpret the cause using a (small) part of the explanatory variables. This work is therefore placed in the supervised and unsupervised framework, with a strong constraint, that of constructing interpretable models: we seek to indicate the contribution of each variable to the construction of the model, which is what we call measuring the importance of the variables. In addition, we seek to improve interpretability by constructing parsimonious models, i.e. such that the variables which do not contribute to their construction are excluded. In the unsupervised framework, methods for partitioning groups of observations, or \textit{clustering} methods, will be studied. The solution we are looking for must be able to be used in high dimension, must be interpretable and must be able to take into account the group structure of the variables. This type of method is known as sparse clustering methods. In the supervised framework, we propose methods modelling a phenomenon described by continuous (respectively categorical) variables, i.e. regression (respectively classification) methods. The same constraints are imposed as in the unsupervised case (handling high dimensional data, being sparse, indicating the importance of the variables, taking into account the group structures of the variables). Moreover, let us note that we want to model a physical phenomenon with the aim of explaining its principles and that we are therefore not (directly) interested in the predictive aspects. This point is extremely important because we will see that explaining a phenomenon and explaining the prediction of the associated model are two goals that can be contradictory.A specific feature of sparse algorithms is that they depend on a parameter to be adjusted (in the same way as clustering methods). Different values of this parameter give rise to different models and it is necessary to choose between all these models. Thus, it is essential to have an efficient model selection method. It must be emphasised that model selection is a major challenge in unsupervised clustering. Indeed, there is no universally accepted method to evaluate clustering results for the obvious reason that there is no ground truth against which the results can be compared. This is also the case when one is interested in variable selection (sparse models) and variable importance, even in the supervised framework, as one never has the set of variables and the variable importance defining the underlying phenomenon under study.; Mon travail de thèse CIFRE s’inscrit dans la continuité des thèses menées par Tsirizo Rabenoro (Rabenoro,2015), Cynthia Faure (Faure, 2018), Florent Forest (Forest, 2021). L’objectif de cette thèse est de développer une méthodologie pour comprendre et mettre en évidence des typologies spécifiques du fonctionnement des moteurs d’avion lors de tests de réception effectués sur des bancs d’essai, et d’aider les ingénieurs métier de Safran Aircraft Engines dans l’analyse des résultats.Du point de vue théorique, l'enjeu principal de ce travail de thèse est de modéliser et expliquer les phénomènes physiques observés et non observés à l'aide de méthodes statistiques et d'en interpréter la cause à l'aide d'une (petite) partie des variables explicatives. Ce travail se place donc dans le cadre supervisé et non supervisé, avec une contrainte forte, celle de construire des modèles interprétables: on cherche à indiquer la contribution de chaque variable à la construction du modèle, c'est ce que l'on appelle mesurer l'\emph{importance des variables}. En outre, on cherche à améliorer l'interprétabilité en construisant des modèles parcimonieux ou \emph{sparses} en anglais, c'est-à-dire tels que les variables qui ne contribuent pas à leur construction en soient exclues. Dans le cadre non supervisé, des méthodes de partitionnement de groupes d'observations, ou méthodes de \textit{clustering} en anglais, vont être étudiées. La solution que nous cherchons doit pouvoir s'utiliser en grande dimension, doit être interprétable et elle doit pouvoir tenir compte de la structure de groupes des variables. Ce type de méthode est connu sous le nom de méthodes de clustering sparse. Dans le cadre supervisé, nous proposons des méthodes modélisant un phénomène décrit par des variables continues (respectivement catégorielles), c'est-à-dire des méthodes de régression (respectivement de classification). On impose les mêmes contraintes que dans le cas non supervisé (gérer des données de grande dimension, être sparse, indiquer l'importance des variables, tenir en compte des structures de groupes de variables). Par ailleurs, remarquons que nous voulons modéliser un phénomène physique dans le but d'en expliquer les principes et donc que nous ne sommes pas (directement) intéressés par les aspects prédictifs. Ce point est extrêmement important car nous verrons qu'expliquer un phénomène et expliquer la prédiction du modèle associé sont deux buts qui peuvent être contradictoires.Une caractéristique propre aux algorithmes sparses est qu'ils dépendent d'un paramètre à ajuster (au même titre que les méthodes de clustering). Différentes valeurs de ce paramètre donnent naissance à différents modèles et il est nécessaire de choisir entre tous ces modèles. Ainsi, il est primordial de disposer d'une méthode de sélection de modèle efficace. Il faut insister sur le fait que la sélection de modèle est un défi majeur en clustering non supervisé. En effet, il n'existe pas de méthode universellement admise pour évaluer les résultats du clustering pour la raison évidente qu'il n'y a pas de vérité de terrain par rapport à laquelle les résultats pourraient être comparés. C'est aussi le cas lorsque l'on s'intéresse à la sélection de variables (modèles sparses) et à l'importance de variables, même dans le cadre supervisé, car on ne dispose jamais du \emph{vrai} ensemble de variables et des \emph{vraies} importances de variables définissant le phénomène sous-jacent étudié.

International audience; L'interprétabilité et l'équité sont deux propriétés de plus en plus recherchées en apprentissage machine. Toutefois, l'apprentissage de modèles interprétables optimaux et respectant des contraintes d'équité statistique a été identifié comme l'un des grands défis techniques à l'interprétabilité. En effet, les contraintes d'équité modifient l'espace des solutions admissibles, rendant plus difficile son exploration.FairCORELS est un algorithme d'apprentissage supervisé permettant l'apprentissage de modèles de type listes de règles certifiés optimaux et respectant des contraintes d'équité. FairCORELS est basé sur CORELS, un algorithme de branch-and-bound permettant l'apprentissage de listes de règles optimales. En raison des contraintes d'équité imposées dans FairCORELS, certaines structures de données utilisées dans CORELS ne peuvent plus être utilisées, et l'exploration de l'espace de recherche est alors plus difficile.Nous proposons une approche basée sur la PLNE tirant profit des contraintes d'équité, et de leur interaction avec la précision, pour élaguer l'espace de recherche efficacement et guider son exploration. Les expérimentations menées montrent que l'approche proposée accélère la convergence et permet l'apprentissage de modèles équitables optimaux.

The popularity of deep neural networks (DNNs) continues to grow, as does the interest in better understanding how they work. In this paper, we present a general framework, called Neuro-based Concept Detector (NCD), to interpret deep representations of a DNN. Based on the activation patterns of hidden units, this framework highlights the ability of neurons to detect an implicit concept related to the targeted final task. Applied to normal speech, the NCD framework reveals the emergence of phonetic features (target concept here) in the layers of a model trained on the French phoneme classification task. We further show that, on a corpus of head and neck cancers, the knowledge gained from NCD allows us to characterize the speech disorders of patients in terms of phonetic features alteration, thus providing first information very relevant for clinical practice such as rehabilitation, La popularité des réseaux de neurones profonds (DNN) ne cesse de croître, tout comme l'intérêt de mieux comprendre leur fonctionnement. Dans ce papier, nous présentons un cadre de travail général, nommé Neuro-based Concept Detector (NCD), pour interpréter les représentations profondes d'un DNN. Basé sur les schémas d'activation des unités cachées, ce cadre met en évidence la capacité des neurones à détecter un concept implicite en lien avec la tâche finale visée. Appliqué à la parole normale, le NCD révèle l'émergence de traits phonétiques (concept cible ici) dans les couches d'un modèle entraîné sur la tâche de classification des phonèmes français. Nous montrons également que, sur un corpus de cancers de la tête et du cou, les connaissances issues du NCD permettent de caractériser les troubles de parole des patients en terme d'altération des traits phonétiques, fournissant ainsi de premières informations très pertinentes pour la pratique clinique telle que la rééducation.

This thesis addresses from the perspective of cognitive science, the issue of optimizing the interface between new technologies and the dentofacial orthopedic practitioner.In particular, it questions the impact of the digital transition on the perception of paraclinical data by the orthodontist and, consequently, on the decision-making process. Our work is articulated around two axes :The first one studies the impact of the digital transition on the orthodontist's perception and use of 3D virtual models of dental arches.Analysis of orthodontists' estimation of distances on 3D digital models of dental arches led to at least three findings:- distances measured on the virtual models were overestimated.- performance of distance estimation is worse on virtual models than on real models.- mental load of distance estimation on orthodontic models is significantly higher when the operation is performed on virtual models than on real models.The second axis explores how the interpretability of convolutional neural networks can contribute to a better understanding of interactions between different craniofacial anatomical regions depending on the severity of mandibular retrognathia. Our study confirms that the pathological morphotype of mandibular retrognathia is extended beyond the mandible but also that, through the amplitude of mandibular retrognathia, increasing kinetics of the classification score and discriminative surface appear on the skull surface., Cette thèse aborde, sous l’angle des sciences cognitives, la question de l’optimisation de l’interface entre les nouvelles technologies et le praticien en orthopédie dento-faciale. Elle interroge notamment l’impact de la transition numérique et digitale sur la perception des données paracliniques par l’orthodontiste et, par conséquent, sur le processus de prise de décision. Notre travail s’articule autour de deux axes :Le premier étudie l’impact de la transition numérique sur la perception et l’utilisation par l’orthodontiste de modèles virtuels en 3D des arcades dentaires.L’analyse de l’estimation des distances par les orthodontistes sur des modèles numériques en 3D des arcades dentaires a mené à au moins trois constats :- que les distances mesurées sur les modèles virtuels ont été surestimées ;-que la performance de l’estimation des distances est moins bonne sur les modèles virtuels que sur les modèles réels ;-que la charge mentale de l’estimation des distances sur des modèles orthodontiques est significativement plus élevée lorsque l’opération est réalisée sur des modèles virtuels que sur des modèles réels.Le second axe explore la manière dont l’interprétabilité des réseaux de neurones convolutives peut contribuer à une meilleure compréhension des interactions entre les différentes régions anatomiques crânio-faciales en fonction de la sévérité de la rétrognathie mandibulaire. Notre étude confirme que le morphotype pathologique de la rétrognathie mandibulaire est étendu au-delà de la mandibule mais également que, au travers de l’amplitude de la rétrognathie mandibulaire, une cinétique croissante du score de classification et de la surface discriminante apparaît sur la surface du crâne.

This thesis addresses from the perspective of cognitive science, the issue of optimizing the interface between new technologies and the dentofacial orthopedic practitioner.In particular, it questions the impact of the digital transition on the perception of paraclinical data by the orthodontist and, consequently, on the decision-making process. Our work is articulated around two axes :The first one studies the impact of the digital transition on the orthodontist's perception and use of 3D virtual models of dental arches.Analysis of orthodontists' estimation of distances on 3D digital models of dental arches led to at least three findings:- distances measured on the virtual models were overestimated.- performance of distance estimation is worse on virtual models than on real models.- mental load of distance estimation on orthodontic models is significantly higher when the operation is performed on virtual models than on real models.The second axis explores how the interpretability of convolutional neural networks can contribute to a better understanding of interactions between different craniofacial anatomical regions depending on the severity of mandibular retrognathia. Our study confirms that the pathological morphotype of mandibular retrognathia is extended beyond the mandible but also that, through the amplitude of mandibular retrognathia, increasing kinetics of the classification score and discriminative surface appear on the skull surface., Cette thèse aborde, sous l’angle des sciences cognitives, la question de l’optimisation de l’interface entre les nouvelles technologies et le praticien en orthopédie dento-faciale. Elle interroge notamment l’impact de la transition numérique et digitale sur la perception des données paracliniques par l’orthodontiste et, par conséquent, sur le processus de prise de décision. Notre travail s’articule autour de deux axes :Le premier étudie l’impact de la transition numérique sur la perception et l’utilisation par l’orthodontiste de modèles virtuels en 3D des arcades dentaires.L’analyse de l’estimation des distances par les orthodontistes sur des modèles numériques en 3D des arcades dentaires a mené à au moins trois constats :- que les distances mesurées sur les modèles virtuels ont été surestimées ;-que la performance de l’estimation des distances est moins bonne sur les modèles virtuels que sur les modèles réels ;-que la charge mentale de l’estimation des distances sur des modèles orthodontiques est significativement plus élevée lorsque l’opération est réalisée sur des modèles virtuels que sur des modèles réels.Le second axe explore la manière dont l’interprétabilité des réseaux de neurones convolutives peut contribuer à une meilleure compréhension des interactions entre les différentes régions anatomiques crânio-faciales en fonction de la sévérité de la rétrognathie mandibulaire. Notre étude confirme que le morphotype pathologique de la rétrognathie mandibulaire est étendu au-delà de la mandibule mais également que, au travers de l’amplitude de la rétrognathie mandibulaire, une cinétique croissante du score de classification et de la surface discriminante apparaît sur la surface du crâne.

Segmentation is one of most prominent task in medical image processing and analysis. For a few years now, convolutional neural networks (CNN) have been the state-of-the-art in this domain. We will focus on CNN for medical image segmentation and analysis from the following standpoints. First, the loss function is an important component that drives the CNN training and decides on the relation between target labels and the predictions. As such, a lot of research is made on loss design, especially since the standard losses, such as the Dice loss, have shown their limitations. Second, segmentation is often the first step to subsequently estimate parameters (also called biomarkers) from the image. Medical experts use biomarkers to diagnose patients’ health status and monitor treatment. Thus accurate biomarkers estimation is of paramount importance. However, errors are prone to occur in the intermediate segmentation step. Very recently, deep learning techniques have open the way to directly estimate biomarkers from images, without segmenting them. Research on this topic is still as its early stage. To address the above issues, this thesis proposes the following contributions, summarized in three points : first, we propose a new loss function, that is based on the Kappa coefficient, that has the ability to take into account all the pixels in the image, including the true negative, contrary to the standard Dice loss. We illustrate its added value on a public set of skin lesion images. Second, we contribute to segmentation-free direct biomarker prediction, from a methodological perspective, so as to provide a reasonable and effective analysis solution for clinical applications. We propose and study several regression CNN architectures, that learn directly to estimate the parameters of interest without resorting to segmentation. One application case is the prediction of fetus head circumference (HC) from ultrasound images: we comprehensively compare segmentation-based method and regression (i.e. segmentation-free) method under a fair experimental protocol and are able to show promising results, even though room for improvement is left. Another case is prediction of cardiac structure volumes from 3-dimensional (3D) magnetic resonance images, in which a multi-objective prediction method is achieved. Third, we investigate the interpretability of the deep regression models, by extending standard saliency maps techniques to regression CNN. We explained the inner world of the regression CNN models both qualitatively and quantitatively and are able to show that indeed the regression CNN is learning to identify the target area., La segmentation est l'une des tâches les plus importantes dans l'analyse des images médicales. Depuis quelques années, les réseaux de neurones convolutifs (CNN) en constituent l'état de l'art. Dans ce contexte, nous allons nous focaliser sur les problématiques suivantes. Premièrement, la fonction de perte (loss) est une composante importante qui dirige l'apprentissage des CNN et décide de la relation entre les étiquettes cibles et les prédictions. Les fonctions de loss standard en particulier, telle que la loss de Dice, ont montré leurs limites. Deuxièmement, la segmentation est souvent la première étape pour ensuite estimer les paramètres (également appelés biomarqueurs) de l'image. Ces biomarqueurs sont utilisés pour établir un diagnostic et un suivi des patients. Une estimation précise des biomarqueurs est donc capital. Cependant, des erreurs sont susceptibles de se produire lors de l'étape intermédiaire de segmentation. Récemment, les techniques d'apprentissage profond ont ouvert la voie à l'estimation directe des biomarqueurs à partir des images, sans segmentation ou extraction de caractéristique adhoc. La recherche sur ce sujet en est encore à ses débuts. Pour répondre à ces questions, cette thèse propose les contributions suivantes, résumées en trois points : tout d'abord, nous proposons une nouvelle fonction de perte, basée sur le coefficient Kappa, qui a la capacité de prendre en compte tous les pixels de l'image, y compris le vrai négatif, contrairement à la perte standard de Dice. Nous illustrons sa valeur ajoutée sur un jeu de données public d'images de lésions cutanées. Deuxièmement, nous contribuons à la prédiction directe de biomarqueurs sans segmentation afin de fournir une solution d'analyse raisonnable et efficace pour les applications cliniques. Nous proposons plusieurs architectures de CNN de régression, qui apprennent directement à estimer les paramètres d'intérêt sans recourir à la segmentation. Un cas d'application est la prédiction de la circonférence de la tête du fœtus à partir d'images échographiques : nous comparons segmentation et régression avec un protocole expérimental judicieux. De ce fait, nous avons pu montrer des résultats prometteurs pour la régression, même si des améliorations restent possibles. Un autre cas est la prédiction des volumes de la structure cardiaque à partir d'images de résonance magnétique tridimensionnelles, dans lequel une méthode de prédiction multi-objectifs est réalisée. Troisièmement, nous étudions l'interprétabilité des modèles de régression, en étendant les techniques standard de cartes de saillance aux CNN de régression, qualitativement et quantitativement. Nous avons pu montrer que, sur la plupart des images, le CNN de régression apprend réellement à identifier la zone cible

The goal of this PhD was the validation of the existence and the discovery of new subtypes of Alzheimer’s disease, the first cause of dementia worldwide. Indeed, despite its discovery more than a century ago, this disease is still not well defined and existing treatments are only weakly effective, possibly because several phenotypes exist within the disease. In order to explore its heterogeneity, we employed deep learning methods applied to a neuroimaging modality, structural magnetic resonance imaging.However, the discovery of important methodological biases in many studies in our field, as well as the lack of consensus regarding deep learning interpretability, partly changed the main objective of the PhD to focus more on issues of validation, robustness and interpretability of deep learning. Then, to correctly assess the ability of deep learning to detect Alzheimer’s disease, three experimental studies were conducted. The first one is a study of deep learning methods for Alzheimer’s classification and allowed a fair comparison of the methods. The second study found a lack of robustness of classification with deep learning in terms of atrophy patterns discovered using interpretability methods. Finally, the last study proposed a subtype discovery method aided by data augmentation. Although it works on synthetic data, it does not generalize to real data.Experimental results of this PhD were obtained thanks to ClinicaDL, one major contribution of this PhD. It is an open source Python library that was used to improve the reproducibility of deep learning experiments., L’objectif de cette thèse était la validation de l’existence ainsi que la découverte de nouveaux sous-types au sein de la maladie d’Alzheimer, première cause de démence au monde. Afin d’explorer son hétérogénéité, nous avons employé des méthodes d’apprentissage profond appliquées à une modalité de neuroimagerie, l’imagerie par résonance magnétique structurelle.Cependant, la découverte de biais méthodologiques importants dans de nombreuses études de notre domaine, ainsi que l’absence de consensus de la communauté sur la manière d’interpréter les résultats des méthodes d’apprentissage profond a fait en partie dévier la thèse de son objectif principal pour s’orienter d’avantage vers des problématiques de validation, de robustesse et d’interprétabilité de l’apprentissage profond. Ainsi, trois études expérimentales ont été menées pour s’assurer de la capacité des réseaux profonds de correctement détecter la maladie. La première est une étude expérimentale de méthodes d’apprentissage profond pour la classification de la maladie d’Alzheimer et a permis d’établir une juste comparaison des méthodes. La seconde étude a permis de constater un manque de robustesse de la classification avec l’apprentissage profond en termes de motifs d’atrophie découverts à l’aide de méthodes d’interprétabilité. Enfin, la dernière étude propose une méthode de découverte de sous-types aidée par l’augmentation de données. Bien que fonctionnant sur des données synthétiques, celle-ci ne généralise pas aux données réelles.Une contribution majeure de la thèse est la librairie ClinicaDL, grâce à laquelle les résultats expérimentaux de la thèse ont été produits de manière à être reproductibles.

This thesis deals with the interpretability of learning algorithms in an industrial context.Manufacturing production and the design of industrial systems are two examples whereinterpretability of learning methods enables to grasp how the inputs and outputs of a system are connected, and therefore to improve the system efficiency. Although there is no consensus on a precise definition of interpretability, it is possible to identify several requirements: “simplicity, stability, and accuracy”, rarely all satisfied by existing interpretable methods. The structure and stability of random forests make them good candidates to improve the performance of interpretable algorithms. The first part of this thesis is dedicated to post-hoc methods, in particular variable importance measures for random forests. The first convergence result of Breiman’s MDA is established, and shows that this measure is strongly biased using a sensitivity analysis perspective. The Sobol-MDA algorithm is introduced to fix the MDA flaws, replacing permutations by projections. An extension to Shapley effects, an efficient importance measure when input variables are dependent, is then proposed with the SHAFF algorithm. The second part of this thesis focuses on rule learning models, which are simple and highly predictive algorithms, but are also very often unstable with respect to small data perturbations. SIRUS algorithm is designed as the extraction of a compact rule ensemble from a random forest, and considerably improves stability over state-of-the-art competitors, while preserving simplicity and accuracy.; Cette thèse traite de l’interprétabilité des algorithmes d’apprentissage dans un contexte industriel. La production manufacturière et la conception de systèmes industriels sont deux exemples d’application où l’interprétabilité des méthodes d’apprentissage permet de comprendre comment les variables d’entrées influent sur la sortie d’un système et donc d’optimiser son efficacité. Malgré l’absence de consensus sur une définition précise de l’interprétabilité, il est possible d’identifier un certain nombre de notions fondamentales : “simplicité, stabilité, précision”, rarement vérifiées simultanément par les méthodes interprétables existantes. La structure et la stabilité des forêts aléatoires en font une approche particulièrement efficace pour améliorer les performances des algorithmes d’apprentissage interprétables. La première partie de cette thèse est consacrée aux méthodes post-hoc, et en particulier aux mesures d’importance de variables dans les forêts aléatoires. Le premier résultat de convergence du MDA de Breiman est établi, et met en évidence un biais important en s’appuyant sur l’analyse de sensibilité. L’algorithme Sobol-MDA est ensuite introduit pour remédier aux défauts du MDA d’origine, en remplaçant le mécanisme de permutation par des projections. Une extension aux indices de Shapley, une mesure d’importance efficace dans le cas d’entrées dépendantes, est proposée avec l’algorithme SHAFF. La deuxième partie de cette thèse est dédiée aux modèles de règles, des algorithmes simples et fortement prédictifs, très souvent instables vis-à-vis de petites perturbations des données d’apprentissage. L’algorithme SIRUS proposé est construit à partir de l’extraction d’un ensemble de règles d’une forêt aléatoire. SIRUS améliore considérablement la stabilité de la liste de règle par rapport aux méthodes concurrentes de l’état de l’art, tout en préservant leur simplicité et leur prédictivité.

While Artificial Intelligence (AI) is raising more and more ethical issues (fairness, explainability, privacy, etc.), a set of regulatory tools and methods have emerged over the past few years, such as fairness metrics, explanation procedures, anonymization methods, and so on. When data are granular, voluminous and behavioral, these “responsible tools” have trouble regulating AI modelswithout using the normative categories usually applied to formulate critiques. How to normalize AI that pretend to compute the world without categories ? To answer this question, we have developed, using the technical literature from AI ethics, an algorithmic method to regulate AI regarding ethical issues, such as discrimination, opacity and privacy. We then formulate four empirical and theoretical critiques to highlight the limitations of technical tools to address ethics. First, we pinpoint the limitations of the methods that generate post-hoc explanations of "black box" models. Second, we show that we cannot only rely on transparency to address ethical issues, since explanations cannot always reveal discriminations. We then demonstrate, using concepts from Boltanski’s pragmatic sociology, that the methods for fighting discrimination tend towards a “complex domination system” in which AI constantly modifies the contours of reality without offering any outlet for criticism. Finally, we show that AI is more generally part of a movement of extension that dilutes the role of institutions. These four empirical and theoretical criticisms finally allow us to adjust our first proposal to normalize AI. Starting from a technical tool, we finally propose an open and material inquiry allowing to constantly update the question of ends and means within AI collectives.; Alors que l’Intelligence Artificielle (IA) est de plus en plus critiquée en raison des enjeux éthiques qu’elle pose, un ensemble d’outils et de méthodes ont émergé ces dernières années pour la normer, tels que les algorithmes de débiaisement, les métriques d’équité, la génération d’explications, etc. Ces méthodes, dites de l’IA responsable, doivent s’adapter à des algorithmes qui s’alimentent de données de plus en plus granulaires, volumineuses et comportementales. Dans ce travail de recherche, nous décrivons comment l’IA prétend calculer le monde lui-même sans l’usage des catégories normatives que nous utilisons habituellement pour formuler des critiques. Comment normaliser une IA qui prétend justement se positionner en deçà des normes ? Pour répondre à cette question, nous avons développé, à partir de la littérature technique dans la discipline de l’éthique de l’IA, un dispositif pour normer les modèles afin de faire face aux enjeux de discriminations, d’opacité et de vie privée. Ensuite, nous avons formulé quatre critiques empiriques et théoriques pour souligner les limites des outils techniques de l’éthique. Premièrement, nous montrons les limites des méthodes de génération d’explications a posteriori de décisions émanant d’IA dites « boîte noire ». Deuxièmement, nous montrons la difficulté de normer l’IA avec des méthodes d’explication libérales supposant la capacité des IA à dévoiler d’elles-mêmes leurs propres biais. Nous montrons ensuite, en s’inspirant de la sociologie pragmatique de Boltanski, que les méthodes pour lutter contre les discriminations tendent vers un système de domination experte dans lequel l’IA modifie constamment les contours de la réalité sans offrir une prise à la critique. Enfin, nous montrons que l’IA s’insère plus généralement dans un mouvement d’extension diluant le rôle des institutions qui ont le pouvoir de stabiliser les critiques sociales tout en donnantune prise sur le monde. Ces quatre critiques empiriques et théoriques nous permettent finalement d’ajuster notre première proposition pour normer l’IA. En partant d’un outil technique, nous proposons finalement une enquête ouverte et matérielle permettant de réactualiser constamment la question des fins et des moyens au sein des collectifs de l’IA.

In this thesis, we will study different existing methods that can be used to explain decisions taken by time series classification models. We argue that, in the case of time series, the best explanations should take the form of sub-series (also called shapelets) since it is « pattern language » familiar to a time series user. We review state-of-the-art classification methods that can jointly learn a shapelet-based representation of the series in the dataset and classify the series according to this representation. However, although the learned shapelets are discriminative, they are not always similar to pieces of a real series in the dataset. This makes them difficult to use to explain the classifier’s decision. We make use of a simple convolutional network to tackle the time series classification task and we introduce an adversarial regularization to constrain the model to learn meaningful shapelets. Our classification results, on many univariate time series benchmark datasets, are comparable with the results obtained by state-of-the-art shapelet-based classification algorithms. However, we show, by comparing to other black box explanation methods that our adversarially regularized method learns shapelets that are, by design, better suited to explain decisions.; Nous étudions différentes méthodes pouvant être utilisées pour expliquer les décisions prises par les modèles de classification des séries temporelles. Nous supposons que, dans le cas des séries temporelles, les meilleures explications doivent prendre la forme de sous-séries (également appelées shapelets) puisqu'il s'agit d'un "langage" intelligible et expressif pour un utilisateur s'intéressant à ce type de séries. Nous passons en revue les méthodes de classification de l'état de l'art qui peuvent apprendre conjointement une représentation basée sur des shapelets et classer les séries en fonction de cette représentation. Bien que certaines méthodes de l'état de l'art permettent d'apprendre des shapelets discriminantes automatiquement, nous constatons qu'elles ne sont pas toujours similaires aux morceaux d'une série réelle existante. Il est donc difficile de les utiliser pour expliquer la décision du classificateur à un utilisateur qui pourrait être dérouté par ce langage d'explication éloigné des séries qu'il connaît. Nous proposons une méthode innovante qui permet, grâce à un réseau convolutif simple, de classer des séries temporelles et nous introduisons une régularisation antagoniste pour contraindre le modèle à apprendre des shapelets interprétables. Nos résultats de classification sur de nombreux jeux de données de séries temporelles univariées, sont comparables, en terme de précision, aux meilleurs résultats obtenus par les algorithmes de classification basés sur les shapelets. Cependant, nous montrons, en comparant avec d'autres méthodes d'explication sur des modèles de type "boîte noire", que notre régularisation antagoniste permet d'apprendre des shapelets qui sont, par conception, mieux adaptées pour expliquer les décisions et cela pour plusieurs niveaux d'explication.

L’omniprésente utilisation des plongements de mot dans le traitement des langues naturellesest la preuve de leur utilité et de leur capacité d’adaptation a une multitude de tâches. Ce-pendant, leur nature continue est une importante limite en terme de calculs, de stockage enmémoire et d’interprétation. Dans ce travail de recherche, nous proposons une méthode pourapprendre directement des plongements de mot discrets. Notre modèle est une adaptationd’une nouvelle méthode de recherche pour base de données avec des techniques dernier crien traitement des langues naturelles comme les Transformers et les LSTM. En plus d’obtenirdes plongements nécessitant une fraction des ressources informatiques nécéssaire à leur sto-ckage et leur traitement, nos expérimentations suggèrent fortement que nos représentationsapprennent des unités de bases pour le sens dans l’espace latent qui sont analogues à desmorphèmes. Nous appelons ces unités dessememes, qui, de l’anglaissemantic morphemes,veut dire morphèmes sémantiques. Nous montrons que notre modèle a un grand potentielde généralisation et qu’il produit des représentations latentes montrant de fortes relationssémantiques et conceptuelles entre les mots apparentés., The ubiquitous use of word embeddings in Natural Language Processing is proof of theirusefulness and adaptivity to a multitude of tasks. However, their continuous nature is pro-hibitive in terms of computation, storage and interpretation. In this work, we propose amethod of learning discrete word embeddings directly. The model is an adaptation of anovel database searching method using state of the art natural language processing tech-niques like Transformers and LSTM. On top of obtaining embeddings requiring a fractionof the resources to store and process, our experiments strongly suggest that our representa-tions learn basic units of meaning in latent space akin to lexical morphemes. We call theseunitssememes, i.e., semantic morphemes. We demonstrate that our model has a greatgeneralization potential and outputs representation showing strong semantic and conceptualrelations between related words.

In order to characterize hepatic lesions,radiologists rely on several images using different modalities (different MRI sequences, CT scan, etc.) because they provide complementary information.In addition, automatic segmentation and detection tools are a great help in characterizing lesions, monitoring disease or planning interventions.At a time when deep learning dominates the state of the art in all fields related to medical image processing, this thesis aims to study how these methods can meet certain challenges related to multi-modal image analysis, revolving around three axes : automatic segmentation of the liver, the interpretability of segmentation networks and detection of hepatic lesions.Multi-modal segmentation in a context where the images are paired but not registered with respect to each other is a problem that is little addressed in the literature.I propose a comparison of learning strategies that have been proposed for related problems, as well as a method to enforce a constraint of similarity of predictions into learning.Interpretability in machine learning is a young field of research with particularly important issues in medical image processing, but which so far has focused on natural image classification networks.I propose a method for interpreting medical image segmentation networks.Finally, I present preliminary work on a method for detecting liver lesions in pairs of images of different modalities.; Pour caractériser les lésions hépatiques, les radiologues s’appuient sur plusieurs images acquises selon différentes modalités (différentes séquences IRM, tomodensitométrie, etc.) car celles-ci donnent des informations complémentaires. En outre, les outils automatiques de segmentation et de détection leur sont d’une grande aide pour la caractérisation des lésions, le suivi de la maladie ou la planification d’interventions. A l’heure où l’apprentissage profond domine l’état de l’art dans tous les domaines liés au traitement de l’image médicale, cette thèse vise à étudier comment ces méthodes peuvent relever certains défis liés à l’analyse d’images multi-modales, en s’articulant autour de trois axes : la segmentation automatique du foie, l’interprétabilité des réseaux de segmentation et la détection de lésions hépatiques. La segmentation multi-modale dans un contexte où les images sont appariées mais pas recalées entre elles est un problème peu abordé dans la littérature. Je propose une comparaison de stratégies d’apprentissage proposées pour des problèmes voisins, ainsi qu’une méthode pour intégrer une contrainte de similarité des prédictions à l’apprentissage. L’interprétabilité en apprentissage automatique est un champ de recherche jeune aux enjeux particulièrement importants en traitement de l’image médicale, mais qui jusqu’alors s’était concentré sur les réseaux de classification d’images naturelles. Je propose une méthode permettant d’interpréter les réseaux de segmentation d’images médicales. Enfin, je présente un travail préliminaire sur une méthode de détection de lésions hépatiques dans des paires d’images de modalités différentes.

Cervical cancer is the second most important cancer for women after breast cancer. In 2012, the number of cases exceeded 500,000 worldwide, among which half turned to be deadly.Until today, primary cervical cancer screening is performed by a regular visual analysis of cells, sampled by pap-smear by cytopathologists under brightfield microscopy in pathology laboratories. In France, about 5 millions of cervical screening are performed each year and about 90% lead to a negative diagnosis (i.e. no pre-cancerous changes detected). Yet, these analyses under microscope are extremely tedious and time-consuming for cytotechnicians and can require the joint opinion of several experts. This process has an impact on the capacity to tackle this huge amount of cases and to avoid false negatives that are the main cause of treatment delay. The lack of automation and traceability of screening is thus becoming more critical as the number of cyto-pathologists decreases. In that respect, the integration of digital tools in pathology laboratories is becoming a real public health stake for patients and the privileged path for the improvement of these laboratories. Since 2012, deep learning methods have revolutionized the computer vision field, in particular thanks to convolutional neural networks that have been applied successfully to a wide range of applications among which biomedical imaging. Along with it, the whole slide imaging digitization process has opened the opportunity for new efficient computer-aided diagnosis methods and tools. In this thesis, after motivating the medical needs and introducing the state-of-the-art deep learning methods for image processing and understanding, we present our contribution to the field of computer vision tackling cervical cancer screening in the context of liquid-based cytology. Our first contribution consists in proposing a simple regularization constraint for classification model training in the context of ordinal regression tasks (i.e. ordered classes). We prove the advantage of our method on cervical cells classification using Herlev dataset. Furthermore, we propose to rely on explanations from gradient-based explanations to perform weakly-supervised localization and detection of abnormality. Finally, we show how we integrate these methods as a computer-aided tool that could be used to reduce the workload of cytopathologists.The second contribution focuses on whole slide classification and the interpretability of these pipelines. We present in detail the most popular approaches for whole slide classification relying on multiple instance learning, and improve the interpretability in a context of weakly-supervised learning through tile-level feature visualizations and a novel manner of computing explanations of heat-maps. Finally, we apply these methods for cervical cancer screening by using a weakly trained “abnormality” detector for region of interest sampling that guides the training., Le cancer du col de l’utérus est le deuxième cancer le plus important pour les femmes après le cancer du sein. En 2012, le nombre de cas recensés dépasse 500,000 à travers le monde, dont la moitié se sont révélés mortels. Jusqu'à maintenant, le dépistage primaire du cancer du col de l’utérus est réalisé par l’inspection visuelle de cellules, prélevées par frottis vaginal, par des cytopathologistes utilisant la microscopie en fond clair dans des laboratoires de pathologie. En France, environ 5 millions de dépistage sont réalisés chaque année et environ 90% mènent à un diagnostic négatifs (i.e. pas de changements précancereux détectés). Pourtant, ces analyses au microscope sont extrêmement fastidieuses et coûteuses en temps pour le cytotechniciens et peut nécessiter l’avis conjoint de plusieurs experts. Ce processus impacte la capacité à traiter cette immense quantité de cas et à éviter les faux négatifs qui sont la cause principale des retards de traitements médicaux. Le manque d’automatisation et de traçabilité des dépistage deviennent ainsi de plus en plus critique à mesure que le nombre d’experts diminue. En ce sens, l’intégration d’outils numériques dans les laboratoires de pathologie devient une réelle problématique de santé publique et la voie privilégiée pour l’amélioration de ces laboratoires. Depuis 2012, l’apprentissage profond a révolutionné le domaine de la vision par ordinateur, en particulier grâce aux réseaux de neurones convolutionnels qui se sont montrés fructueux sur un large panel d’applications parmi lesquelles plusieurs en imagerie biomédicale. Parallèlement, le processus de digitalisation de lames entières a ouvert l’opportunité pour de nouveaux outils et de nouvelles méthodes de diagnostic assisté par ordinateur. Dans cette thèse, après avoir motivé le besoin médical et introduit l’état de l’art en terme de méthodes d’apprentissage profond pour le traitement de l’image, nous présentons nos contributions au domaine de la vision par ordinateur traitant le dépistage du cancer du col de l’utérus dans un contexte de cytologie en milieu liquide. Notre première contribution consiste à proposer une méthode simple de régularisation pour l’entrainement de modèles dans le contexte d’une classification ordinale (i.e. classes suivant un ordre). Nous démontrons l’avantage de notre méthode pour la classification de cellules utérines en utilisant sur le jeu de données Herlev. De plus, nous proposons de nous appuyer sur des explications basées sur le gradient pour réaliser une localisation faiblement supervisée et plus généralement une détection d’anormalité. Finalement, nous montrons comment nous intégrons ces méthodes pour créer un outil assisté par ordinateur qui pourrait être utilisé afin de réduire la charge de travail des cytopathologistes. La seconde contribution se concentre sur la classification de lames entières et l’interprétabilité de ces approches. Nous présentons en détails les méthodes de classification de lames entières s’appuyant sur l’apprentissage multi-instances, et améliorons l’interprétabilité dans un contexte d’apprentissage faiblement supervisé via des visualizations de caractéristiques au niveau de la tuile et une nouvelle manière de calculer des cartes de chaleur explicatives. Finalement, nous appliquons ces méthodes pour le dépistage du cancer du col de l’utérus en utilisant un detecteur d’ “anormalité” qui guide l’entrainement pour l’échantillonnages de régions d’intérêt.

A lot of current semantic NLP tasks use semi-automatically collected data, that are often prone to unwanted artifacts, which may negatively affect models trained on them. With the more recent shift towards more complex, and less interpretable, pre-trained general purpose models, these biases may lead to undesirable correlations getting integrated into end-user applications. Recently a few methods have been proposed to train word embeddings with better interpretability. We propose a simple setup which exploits these representations to preemptively detect easy-to-learn lexical correlations in various datasets. We evaluate a few popular interpretable embedding models for English for this purpose, using both an intrinsic evaluation, and a large set of downstream semantic tasks, and we make use of the embeddings’ interpretable quality in order to diagnose potential biases in the associated datasets., De nombreuses tâches sémantiques en TAL font usage de données collectées de manière semiautomatique, ce qui est souvent source d’artefacts indésirables qui peuvent affecter négativement les modèles entraînés sur celles-ci. Avec l’évolution plus récente vers des modèles à usage générique pré-entraînés plus complexes, et moins interprétables, ces biais peuvent conduire à l’intégration de corrélations indésirables dans des applications utilisateurs. Récemment, quelques méthodes ont été proposées pour entraîner des plongements de mots avec une meilleure interprétabilité. Nous proposons une méthode simple qui exploite ces représentations pour détecter de manière préventive des corrélations lexicales faciles à apprendre, dans divers jeux de données. Nous évaluons à cette fin quelques modèles de plongements interprétables populaires pour l’anglais, en utilisant à la fois une évaluation intrinsèque, et un ensemble de tâches sémantiques en aval, et nous utilisons la qualité interprétable des plongements afin de diagnostiquer des biais potentiels dans les jeux de données associés.

The goal of this PhD was the validation of the existence and the discovery of new subtypes of Alzheimer’s disease, the first cause of dementia worldwide. Indeed, despite its discovery more than a century ago, this disease is still not well defined and existing treatments are only weakly effective, possibly because several phenotypes exist within the disease. In order to explore its heterogeneity, we employed deep learning methods applied to a neuroimaging modality, structural magnetic resonance imaging.However, the discovery of important methodological biases in many studies in our field, as well as the lack of consensus regarding deep learning interpretability, partly changed the main objective of the PhD to focus more on issues of validation, robustness and interpretability of deep learning. Then, to correctly assess the ability of deep learning to detect Alzheimer’s disease, three experimental studies were conducted. The first one is a study of deep learning methods for Alzheimer’s classification and allowed a fair comparison of the methods. The second study found a lack of robustness of classification with deep learning in terms of atrophy patterns discovered using interpretability methods. Finally, the last study proposed a subtype discovery method aided by data augmentation. Although it works on synthetic data, it does not generalize to real data.Experimental results of this PhD were obtained thanks to ClinicaDL, one major contribution of this PhD. It is an open source Python library that was used to improve the reproducibility of deep learning experiments., L’objectif de cette thèse était la validation de l’existence ainsi que la découverte de nouveaux sous-types au sein de la maladie d’Alzheimer, première cause de démence au monde. Afin d’explorer son hétérogénéité, nous avons employé des méthodes d’apprentissage profond appliquées à une modalité de neuroimagerie, l’imagerie par résonance magnétique structurelle.Cependant, la découverte de biais méthodologiques importants dans de nombreuses études de notre domaine, ainsi que l’absence de consensus de la communauté sur la manière d’interpréter les résultats des méthodes d’apprentissage profond a fait en partie dévier la thèse de son objectif principal pour s’orienter d’avantage vers des problématiques de validation, de robustesse et d’interprétabilité de l’apprentissage profond. Ainsi, trois études expérimentales ont été menées pour s’assurer de la capacité des réseaux profonds de correctement détecter la maladie. La première est une étude expérimentale de méthodes d’apprentissage profond pour la classification de la maladie d’Alzheimer et a permis d’établir une juste comparaison des méthodes. La seconde étude a permis de constater un manque de robustesse de la classification avec l’apprentissage profond en termes de motifs d’atrophie découverts à l’aide de méthodes d’interprétabilité. Enfin, la dernière étude propose une méthode de découverte de sous-types aidée par l’augmentation de données. Bien que fonctionnant sur des données synthétiques, celle-ci ne généralise pas aux données réelles.Une contribution majeure de la thèse est la librairie ClinicaDL, grâce à laquelle les résultats expérimentaux de la thèse ont été produits de manière à être reproductibles.

Despite its recent successes in computer vision or machine translation, the use of deep learning in the biomedical field faces many challenges. Among them, we have the difficult access to data in sufficient quantity and quality, as well as the need of having interoperable and the interpretable models. In this thesis, we are interested in these different issues from the perspective of the creation of models predicting future glucose values of diabetic patients. Such models would allow patients to anticipate daily glucose variations, helping its regulation in order to avoid states of hypoglycemia or hyperglycemia.To this end, we use three datasets. While the first was collected during this thesis on several type-2 diabetic patients, the other two are composed of type-1 diabetic patients, both real and virtual. Across the studies, we use each patient’s past glucose, insulin, and carbohydrate data to build personalized models that predict the patient’s glucose values 30 minutes into the future.First, we do a detailed state-of-the-art analysis by building an open-source benchmark of glucosepredictive models. While promising, we highlight the difficulty deep models have in making predictions that are at the same time accurate and safe for the patient.In order to improve the clinical acceptability of the models, we investigate the integration of clinical constraints within the training of the models. We propose new cost functions enhancing the coherence of successive predictions. In addition, they enable the training to focus on clinically dangerous errors. We explore its practical use through an algorithm that enables the training of a model maximizing the precision of the predictions while respecting the clinical constraints set beforehand.Then, we study the use of transfer learning to improve the performance of glucose-predictive models. It eases the learning of personalized models by reusing the knowledge learned on other patients. In particular, we propose the adversarial multi-source transfer learning framework. It significantly improves the performance of the models by allowing the learning of a priori knowledge which is more general, by being agnostic of the patients that are the source of the transfer. We investigate different transfer scenarios through the use of our three datasets. We show that it is possible to transfer knowledge using data coming from different experimental devices, from patients of different types of diabetes, but also from virtual patients.Finally, we are interested in improving the interpretability of deep models through the attention mechanism. In particular, we explore the use of a deep and interpretable model for the prediction of glucose. It implements a double attention mechanism enabling the estimation of the contribution of each input variable to the model to the final prediction. We empirically show the value of such a model for the prediction of glucose by analyzing its behavior in the computation of its predictions., Malgré ses récents succès en vision assistée par ordinateur ou en traduction automatique, l’utilisation de l’apprentissage profond dans le secteur biomédical fait face à de nombreux challenges. Parmi eux, nous comptons l’accès difficile à des données en quantité et qualité suffisantes, ainsi que le besoin en l’interopérabilité et en l’interprétabilité des modèles. Dans cette thèse, nous nous intéressons à ces différentes problématiques à la lueur de la création de modèles prédisant la glycémie future de patients diabétiques. De tels modèles permettraient aux patients d’anticiper les variations de leur glycémie au quotidien, les aidant ainsi à mieux la réguler afin d’éviter les états d’hypoglycémie et d’hyperglycémie.Pour cela, nous utilisons trois ensembles de données. Tandis que le premier a été récolté à l’occasion de cette thèse sur plusieurs patients diabétiques de type 2, les deux autres sont composés de patients diabétiques de type 1, à la fois réels et virtuels. Dans l’ensemble des études, nous utilisons les données passées de glycémie, d’insuline et de glucides de chaque patient pour construire des modèles personnalisés prédisant la glycémie du patient 30 minutes dans le futur.Dans un premier temps, nous faisons une analyse détaillée de l’état de l’art en construisant une base de résultats de référence open source de modèles prédictifs de glycémie. Bien que prometteurs, nous mettons en évidence la difficulté qu’ont les modèles profonds à effectuer des prédictions qui soient à la fois précises et sans danger pour le patient.Afin d’améliorer l’acceptabilité clinique des modèles, nous proposons d’intégrer des contraintes cliniques au sein de l’apprentissage des modèles. À cet effet nous proposons de nouvelles fonctions de coût permettant d’améliorer la cohérence des prédictions et de se focaliser davantage sur les erreurs de prédictions cliniquement dangereuses. Nous explorons son utilisation pratique à travers un algorithme permettant d’obtenir un modèle maximisant la précision des prédictions tout en respectant des contraintes cliniques fixées au préalable.Puis, nous étudions la piste de l’apprentissage par transfert pour améliorer les performances des modèles prédictifs de glycémie. Celui-ci permet de faciliter l’apprentissage des modèles personnalisés aux patients en réutilisant les connaissances apprises sur d’autres patients. En particulier nous proposons le cadre de l’apprentissage par transfert multi-sources adverse. Celui-ci permet de significativement améliorer les performances des modèles en permettant l’apprentissage de connaissances a priori qui sont plus générales, car agnostiques des patients sources du transfert. Nous investiguons différents scénarios de transfert à travers l’utilisation de nos trois jeux de données. Nous montrons qu’il est possible d’effectuer un transfert de connaissance à partir de données provenant de dispositifs expérimentaux différents, de patients de types de diabète différents, mais aussi à partir de patients virtuels.Enfin, nous nous intéressons à l’amélioration de l’interprétabilité des modèles profonds à travers le principe d’attention. En particulier, nous explorons l’utilisation d’un modèle profond et interprétable pour la prédiction de la glycémie. Celui-ci implémente un double mécanisme d’attention lui permettant d’estimer la contribution de chaque variable en entrée au modèle à la prédiction finale. Nous montrons empiriquement l’intérêt d’un tel modèle pour la prédiction de glycémie en analysant son comportement dans le calcul de ses prédictions.

Despite its recent successes in computer vision or machine translation, the use of deep learning in the biomedical field faces many challenges. Among them, we have the difficult access to data in sufficient quantity and quality, as well as the need of having interoperable and the interpretable models. In this thesis, we are interested in these different issues from the perspective of the creation of models predicting future glucose values of diabetic patients. Such models would allow patients to anticipate daily glucose variations, helping its regulation in order to avoid states of hypoglycemia or hyperglycemia.To this end, we use three datasets. While the first was collected during this thesis on several type-2 diabetic patients, the other two are composed of type-1 diabetic patients, both real and virtual. Across the studies, we use each patient’s past glucose, insulin, and carbohydrate data to build personalized models that predict the patient’s glucose values 30 minutes into the future.First, we do a detailed state-of-the-art analysis by building an open-source benchmark of glucosepredictive models. While promising, we highlight the difficulty deep models have in making predictions that are at the same time accurate and safe for the patient.In order to improve the clinical acceptability of the models, we investigate the integration of clinical constraints within the training of the models. We propose new cost functions enhancing the coherence of successive predictions. In addition, they enable the training to focus on clinically dangerous errors. We explore its practical use through an algorithm that enables the training of a model maximizing the precision of the predictions while respecting the clinical constraints set beforehand.Then, we study the use of transfer learning to improve the performance of glucose-predictive models. It eases the learning of personalized models by reusing the knowledge learned on other patients. In particular, we propose the adversarial multi-source transfer learning framework. It significantly improves the performance of the models by allowing the learning of a priori knowledge which is more general, by being agnostic of the patients that are the source of the transfer. We investigate different transfer scenarios through the use of our three datasets. We show that it is possible to transfer knowledge using data coming from different experimental devices, from patients of different types of diabetes, but also from virtual patients.Finally, we are interested in improving the interpretability of deep models through the attention mechanism. In particular, we explore the use of a deep and interpretable model for the prediction of glucose. It implements a double attention mechanism enabling the estimation of the contribution of each input variable to the model to the final prediction. We empirically show the value of such a model for the prediction of glucose by analyzing its behavior in the computation of its predictions.; Malgré ses récents succès en vision assistée par ordinateur ou en traduction automatique, l’utilisation de l’apprentissage profond dans le secteur biomédical fait face à de nombreux challenges. Parmi eux, nous comptons l’accès difficile à des données en quantité et qualité suffisantes, ainsi que le besoin en l’interopérabilité et en l’interprétabilité des modèles. Dans cette thèse, nous nous intéressons à ces différentes problématiques à la lueur de la création de modèles prédisant la glycémie future de patients diabétiques. De tels modèles permettraient aux patients d’anticiper les variations de leur glycémie au quotidien, les aidant ainsi à mieux la réguler afin d’éviter les états d’hypoglycémie et d’hyperglycémie.Pour cela, nous utilisons trois ensembles de données. Tandis que le premier a été récolté à l’occasion de cette thèse sur plusieurs patients diabétiques de type 2, les deux autres sont composés de patients diabétiques de type 1, à la fois réels et virtuels. Dans l’ensemble des études, nous utilisons les données passées de glycémie, d’insuline et de glucides de chaque patient pour construire des modèles personnalisés prédisant la glycémie du patient 30 minutes dans le futur.Dans un premier temps, nous faisons une analyse détaillée de l’état de l’art en construisant une base de résultats de référence open source de modèles prédictifs de glycémie. Bien que prometteurs, nous mettons en évidence la difficulté qu’ont les modèles profonds à effectuer des prédictions qui soient à la fois précises et sans danger pour le patient.Afin d’améliorer l’acceptabilité clinique des modèles, nous proposons d’intégrer des contraintes cliniques au sein de l’apprentissage des modèles. À cet effet nous proposons de nouvelles fonctions de coût permettant d’améliorer la cohérence des prédictions et de se focaliser davantage sur les erreurs de prédictions cliniquement dangereuses. Nous explorons son utilisation pratique à travers un algorithme permettant d’obtenir un modèle maximisant la précision des prédictions tout en respectant des contraintes cliniques fixées au préalable.Puis, nous étudions la piste de l’apprentissage par transfert pour améliorer les performances des modèles prédictifs de glycémie. Celui-ci permet de faciliter l’apprentissage des modèles personnalisés aux patients en réutilisant les connaissances apprises sur d’autres patients. En particulier nous proposons le cadre de l’apprentissage par transfert multi-sources adverse. Celui-ci permet de significativement améliorer les performances des modèles en permettant l’apprentissage de connaissances a priori qui sont plus générales, car agnostiques des patients sources du transfert. Nous investiguons différents scénarios de transfert à travers l’utilisation de nos trois jeux de données. Nous montrons qu’il est possible d’effectuer un transfert de connaissance à partir de données provenant de dispositifs expérimentaux différents, de patients de types de diabète différents, mais aussi à partir de patients virtuels.Enfin, nous nous intéressons à l’amélioration de l’interprétabilité des modèles profonds à travers le principe d’attention. En particulier, nous explorons l’utilisation d’un modèle profond et interprétable pour la prédiction de la glycémie. Celui-ci implémente un double mécanisme d’attention lui permettant d’estimer la contribution de chaque variable en entrée au modèle à la prédiction finale. Nous montrons empiriquement l’intérêt d’un tel modèle pour la prédiction de glycémie en analysant son comportement dans le calcul de ses prédictions.

At a time where data, often interpreted as "ground truth", are produced in gigantic quantities, a need for understanding and interpretability emerges in parallel. Dataset are nowadays mainly relational, therefore developping methods that allows relevant information extraction describing both objects and relation among them is a necessity. Association rules, along with their support and confidence metrics, describe co-occurrences of object features, hence explicitly express and evaluate any information contained in a dataset. In this thesis, we present and develop the relational concept analysis approach to extract the association rules that translate objects proper features along with the links with sets of objects. A first part present the mathematical part of the method, while a second part highlights three case studies to assess the pertinence of such a development. Case studies cover various domains to demonstrate the method polyvalence: the first case deals with error analysis in industrial production, the second covers psycholinguistics for dictionary analysis and the last one shows the method application in knowledge engineering.; À une époque où les données, souvent interprétées comme une «réalité terrain»,sont produites dans des quantités gargantuesques, un besoin de compréhension et d’interprétation de ces données se développe en parallèle. Les jeux de données étant maintenant principalement relationnels, il convient de développer des méthodes qui permettent d’extraire de l’information pertinente décrivant à la fois les objets et les relations entre eux. Les règles d’association, adjointes des mesures de confiance et de support, décrivent les co-occurences entre les caractéristiques des objets et permettent d’exprimer et d’évaluer de manière explicite l’information contenue dans un jeu de données. Dans cette thèse, on présente et développe l’analyse relationnelle de concepts pour extraire des règles traduisant tant les caractéristiques propres d’un ensemble d’objets que les liens avec d’autres ensembles. Une première partie développe la théorie mathématique de la méthode, alors que la seconde partie propose trois cas d’application pour étayer l’intérêt d’un tel développement. Les études sont réalisées dans des domaines variés montrant ainsi la polyvalence de la méthode : un premier cas traite l’analyse d’erreur en production industrielle métallurgique, un second cas est réalisé en psycholinguistique pour l’analyse de dictionnaires et un dernier cas montre les possibilités de la méthode en ingénierie de connaissance.

International audience; Dans cet article, nous nous intéressons à l’étude de signaux influents dans les entretiens vidéo d’embauche asynchrones découverts par des méthodes d’apprentissage profond. Le système que nous étudions emploie des mécanismes d’attention, qui permettent d’extraire d’un entretien les informations et les instants décisifs (qui ont influencé la décision du système au niveau de l’entretien), sans requérir d’annotation locale. Alors que la majorité des approches similaires évaluent les mécanismes d’attention en se contentant de visualiser les moments d’attention maximale, nous proposons ici une méthodologie permettant d’automatiser l’analyse du contenu de ces attention slices afin de fournir des éléments d’interprétation des prédictions du système.

Co-clustering is a data mining technique which simultaneously produces row-clusters of observations and column-clusters of features. This work presents a novel co-clustering model which easily summarizes textual data in a document-term format. In addition to highlighting homogeneous co-clusters, we also distinguish noisy co-clusters from significant co-clusters, which are particularly useful for sparse document-term matrices. Furthermore, the model proposes a structure among the significant co-clusters, thus providing improved interpretability to users. A Stochastic Expectation-Maximization algorithm is proposed to implement the model's inference as well as a model selection criterion to choose the number of co-clusters., Le co-clustering est une méthode de fouille de données qui produit simul-tanément un clustering des observations (en ligne) et un clustering des variables (en colonne). Ce travail présente un nouveau modèle de co-clustering pour résumer des données textuelles stockées sous la forme de matrice document-terme. Nous appelons bloc le croisement d'un cluster en ligne et d'un cluster en colonne. Notre modèle met eń evidence des blocs homogènes, mais distingue aussi les blocs significatifs des blocs dits "de bruit". Cela est particulièrement utile pour les matrices document-terme qui sont sparses et de haute dimension. De plus, le modèle propose une organisation parmi les blocs significatifs et de bruit, ce qui rend plus facile pour l'utilisateur d'interpréter les résultats. Un algorithme Stochastic Gibbs Expectation-Maximization (SEM-Gibbs) est utilisé pour l'inférence du modèle.

At a time where data, often interpreted as "ground truth", are produced in gigantic quantities, a need for understanding and interpretability emerges in parallel. Dataset are nowadays mainly relational, therefore developping methods that allows relevant information extraction describing both objects and relation among them is a necessity. Association rules, along with their support and confidence metrics, describe co-occurrences of object features, hence explicitly express and evaluate any information contained in a dataset. In this thesis, we present and develop the relational concept analysis approach to extract the association rules that translate objects proper features along with the links with sets of objects. A first part present the mathematical part of the method, while a second part highlights three case studies to assess the pertinence of such a development. Case studies cover various domains to demonstrate the method polyvalence: the first case deals with error analysis in industrial production, the second covers psycholinguistics for dictionary analysis and the last one shows the method application in knowledge engineering., À une époque où les données, souvent interprétées comme une «réalité terrain»,sont produites dans des quantités gargantuesques, un besoin de compréhension et d’interprétation de ces données se développe en parallèle. Les jeux de données étant maintenant principalement relationnels, il convient de développer des méthodes qui permettent d’extraire de l’information pertinente décrivant à la fois les objets et les relations entre eux. Les règles d’association, adjointes des mesures de confiance et de support, décrivent les co-occurences entre les caractéristiques des objets et permettent d’exprimer et d’évaluer de manière explicite l’information contenue dans un jeu de données. Dans cette thèse, on présente et développe l’analyse relationnelle de concepts pour extraire des règles traduisant tant les caractéristiques propres d’un ensemble d’objets que les liens avec d’autres ensembles. Une première partie développe la théorie mathématique de la méthode, alors que la seconde partie propose trois cas d’application pour étayer l’intérêt d’un tel développement. Les études sont réalisées dans des domaines variés montrant ainsi la polyvalence de la méthode : un premier cas traite l’analyse d’erreur en production industrielle métallurgique, un second cas est réalisé en psycholinguistique pour l’analyse de dictionnaires et un dernier cas montre les possibilités de la méthode en ingénierie de connaissance.

Energiency is a company that sells a platform toallow manufacturers to analyze their energy consumption and production data, represented in the form of time series. This platform integrates machine learning models to meet customer needs. The application of such models to time series encounters two problems: on the one hand, some classical machine learning approaches have been designed for tabular data and must be adapted to time series, on the other hand, the results of some approaches are difficult for end users to understand.In the first part, we adapt a method to search for occurrences of temporal rules on time series from machines and industrial infrastructures. A temporal rule captures successional relationships between behaviors in time series (e.g., a value peak followed by a trough). In industrial series, due to the presence of many external factors, these regular behaviours can be disruptive. Therefore, two occurrences of the same behaviour produce two sequences of slightly different values. Current methods for searching the occurrences of a rule use a distance measure to assess the similarity between sub-series. However, these measurements are not suitable for assessing the similarity of distorted series such as those in industrial settings. The first contribution of this thesis is the proposal of a method for searching for occurrences of temporal rules capable of capturing this variability in industrial time series. For this purpose, the method integrates the use of elastic distance measure capable of assessing the similarity between slightly deformed time series.The second part of the thesis is devoted to the interpretability of time series classification methods, i.e. the ability of a classifier to return explanations for its results. These explanations must be understandable by a human. Classification is the task of associating a time series with a category (e.g., a series of power consumption associated with the condition of themachine). For an end user inclined to make decisions based on a classifier’s results, understanding the rationale behind those results is of great importance. Otherwise, it is like having blind confidence in the classifier. The second contribution of this thesis is an interpretable time series classifier that can directly provide explanations for its results. This classifier uses local information on time series to discriminate against them. We present how to extract an explanation for a result. Finally, the third contributionof this thesis is a method to explain aposteriori any result of any classifier. This method can be used to explain the results of non-interpretable classifiers. This method learnsan interpretable classifier, called a proxy, on the neighbourhood of the time series whose classification we want to explain. This proxy must mimic the behaviour of the classifier to be explained in this neighborhood. We carried out an user study to evaluate the interpretability of our method., Energiency est une entreprise qui vend à des industriels une plate-forme pour leur permettre d’analyser leurs données de consommation d’énergie et de production, représentées sous la forme de séries temporelles. Cette plate-forme intègre des modèles d’apprentissage automatique pour répondre aux besoins des clients. L’application de tels modèles sur des séries temporelles rencontre deux problèmes : d’une part certaines approches classiques d’apprentissage automatique ont été conçues pour des données tabulaires et doivent être adaptées aux séries temporelles, d’autre part les résultats de certaines approches sont difficilement compréhensibles par les utilisateurs finaux. Dans la première partie, nous adaptons une méthode de recherche d’occurrences de règles temporelles sur des séries temporelles issues de machines et d’infrastructures industrielles. Une règle temporelle capture des relations de succession entre des comportements dans les séries temporelles (ex : un pic de valeur suivi d’un creux). Dans des séries industrielles, à cause de la présence de nombreux facteurs extérieurs, ces comportements réguliers peuvent présenter des perturbations. Par conséquent, deux occurrences du même comportement produisent deux suites de valeurs légèrement différentes. Les méthodes de recherche d’occurrences de règles temporelles actuelles utilisent une mesure de distance pour évaluer la similarité entre des sous-séries. Cependant, ces mesures ne sont pas adaptées pour évaluer la similarité de séries déformées tel que dans les séries temporelles industrielles. La première contribution de cette thèse est la proposition d’une méthode de recherche d’occurrences de règles temporelles capable de capturer cette variabilité dans des séries temporelles industrielles. Pour cela la méthode intègre l’utilisation de mesures de distance élastiques capables d’évaluer la similarité entre des séries temporelles légèrement déformées.La seconde partie de la thèse est consacrée à l’interprétabilité de méthodes de classification de séries temporelles, c’est-à-dire la capacité d’un classifieur à retourner des explications à ses résultats. Ces explications devant être compréhensibles par un humain. La classification est la tâche d’associer une série temporelle à une catégorie (ex : une série de consommation électrique associée à l’état de la machine). Pour qu’un utilisateur final soit enclin à prendre des décisions basées sur les résultats d’un classifieur, il aimerait avoir des assurances sur comment ces résultats sont produits. Dans le cas contraire, cela revient à avoir une confiance aveugle dans le classifieur. La seconde contribution de cette thèse est un classifieur, dit interprétable, car nous pouvons en extraire directement l’explication des résultats. Ce classifieur utilise des informations locales sur les séries temporelles pour les discriminer. Enfin, une troisième contribution de cette thèse est une méthode pour expliquer a posteriori un résultat de n’importe quel classifieur. Cette méthode peut être utilisée pour expliquer les résultats de classifieurs non-interprétables. Cette méthode apprend un classifieur interprétable, dit proxy, sur le voisinage de la séries temporelle dont nous souhaitons expliquer la classification. Ce proxy doit imiter les résultats du classifieur à expliquer dans ce voisinage. Une étude utilisateur a été réalisé pour évaluer l’interprétabilité de notre méthode.

The goal of this thesis is to design data-driven methods to identify subjects at risk to develop Alzheimer's disease. As it is a progressive disease, subtle signs can appear several years before the first clinical symptoms. Identifying subjects who show these signs, and who are likely to develop the disease in the coming years, is a crucial point that could allow researchers to better study the disease mechanism, select patients for clinical trials and tailor patient care. In the first chapter, we conduct a review of methods predicting the future diagnosis of subjects suffering from mild cognitive impairment. We quantitatively and qualitatively study these methods, and take a critical view point by identifying several methodological issues. In the second chapter, we propose our own method to predict the future diagnosis by using a two-step approach: we first predict the future subject characteristics, and then use this result to predict the corresponding diagnosis. In the third chapter, we propose an automatic method to select subjects with a positive biomarker for clinical trials, so as to minimize the recruitment cost. In the last chapter, we analyze prescription patterns before and after diagnosis using a medical record database. We use them to predict if a patient will develop Alzheimer's disease in the next five or ten years. Across these works, we show the importance to take into account the adoption of these methods and the settings in which they can be used, especially regarding the test cohort, the data types and the interpretability of the method.; Le but de cette thèse est de proposer des méthodes d’apprentissage automatique pour identifier des sujets à risque de développer la maladie d'Alzheimer. L'identification à un stade très précoce de sujets à risque de développer la maladie est une problématique clé, qui permettrait de mieux étudier la maladie, de sélectionner des patients pour des essais cliniques et de leur proposer un suivi adapté. Dans un premier chapitre, nous effectuons une revue des méthodes prédisant le diagnostic futur de sujets atteints de troubles cognitifs légers. Nous effectuons un travail de synthèse, à la fois qualitatif et quantitatif, des méthodes proposées pour effectuer cette prédiction et des problèmes méthodologiques qu'elles comportent. Dans un deuxième chapitre, nous proposons d’effectuer cette prédiction du futur diagnostic avec une approche en deux temps : nous prédisons d'abord l'évolution des caractéristiques des sujets, et utilisons ces résultats pour prédire le diagnostic correspondant à un stade ultérieur. Dans un troisième chapitre, nous proposons une méthode automatique permettant de repérer des sujets à biomarqueurs positifs pour les essais cliniques, de manière à minimiser le coût de recrutement. Dans un dernier chapitre, nous analysons l'évolution des prescriptions de médicaments avant et après le diagnostic grâce à des bases d'historiques médicaux. Nous les utilisons pour prédire si un patient va développer la maladie d'Alzheimer dans les 5 ou 10 années à venir. Nous mettons en avant l’importance de prendre en compte l’adoption des méthodes et leur cadre d’utilisation, notamment à travers la cohorte d’étude, les types de données, et l’interprétabilité de la méthode.

The goal of this thesis is to design data-driven methods to identify subjects at risk to develop Alzheimer's disease. As it is a progressive disease, subtle signs can appear several years before the first clinical symptoms. Identifying subjects who show these signs, and who are likely to develop the disease in the coming years, is a crucial point that could allow researchers to better study the disease mechanism, select patients for clinical trials and tailor patient care. In the first chapter, we conduct a review of methods predicting the future diagnosis of subjects suffering from mild cognitive impairment. We quantitatively and qualitatively study these methods, and take a critical view point by identifying several methodological issues. In the second chapter, we propose our own method to predict the future diagnosis by using a two-step approach: we first predict the future subject characteristics, and then use this result to predict the corresponding diagnosis. In the third chapter, we propose an automatic method to select subjects with a positive biomarker for clinical trials, so as to minimize the recruitment cost. In the last chapter, we analyze prescription patterns before and after diagnosis using a medical record database. We use them to predict if a patient will develop Alzheimer's disease in the next five or ten years. Across these works, we show the importance to take into account the adoption of these methods and the settings in which they can be used, especially regarding the test cohort, the data types and the interpretability of the method., Le but de cette thèse est de proposer des méthodes d’apprentissage automatique pour identifier des sujets à risque de développer la maladie d'Alzheimer. L'identification à un stade très précoce de sujets à risque de développer la maladie est une problématique clé, qui permettrait de mieux étudier la maladie, de sélectionner des patients pour des essais cliniques et de leur proposer un suivi adapté. Dans un premier chapitre, nous effectuons une revue des méthodes prédisant le diagnostic futur de sujets atteints de troubles cognitifs légers. Nous effectuons un travail de synthèse, à la fois qualitatif et quantitatif, des méthodes proposées pour effectuer cette prédiction et des problèmes méthodologiques qu'elles comportent. Dans un deuxième chapitre, nous proposons d’effectuer cette prédiction du futur diagnostic avec une approche en deux temps : nous prédisons d'abord l'évolution des caractéristiques des sujets, et utilisons ces résultats pour prédire le diagnostic correspondant à un stade ultérieur. Dans un troisième chapitre, nous proposons une méthode automatique permettant de repérer des sujets à biomarqueurs positifs pour les essais cliniques, de manière à minimiser le coût de recrutement. Dans un dernier chapitre, nous analysons l'évolution des prescriptions de médicaments avant et après le diagnostic grâce à des bases d'historiques médicaux. Nous les utilisons pour prédire si un patient va développer la maladie d'Alzheimer dans les 5 ou 10 années à venir. Nous mettons en avant l’importance de prendre en compte l’adoption des méthodes et leur cadre d’utilisation, notamment à travers la cohorte d’étude, les types de données, et l’interprétabilité de la méthode.

National audience; Dans cet exposé, je présenterai cette partie du travail engagé avec Christophe Denis (Denis, Varenne, 2019) dans laquelle je recours à l’épistémologie comparative des fonctions de connaissance des modèles scientifiques (Varenne 2018). Cette épistémologie se révèle utile pour aborder, plus finement que certaines autres approches, les problèmes spécifiques à l’apprentissage machine (AM), en particulier le déficit d’explicabilité. Même si l’on considère parfois que les méthodes à AM ne sont pas des approches par modèles dans leur processus même, de fait, elles aboutissent, in fine, à produire d’authentiques modèles de décision ou de prédiction. À la lumière de l’épistémologie des modèles, je propose de montrer en quoi le déficit d’explicabilité des modèles prédictifs à base d’AM tient – comme on le dit souvent et à juste raison – à l’absence de représentation d’une causalité. Je commencerai en montrant que les distinctions et liens entre interprétation, explication et compréhension doivent d’abord être clarifiés. Ensuite, je montrerai que les modèles à base d’AM s’apparentent aux modèles prédictifs classiques fondés sur l’analyse des données considérées comme des signaux plutôt que comme des signes, mais que certains s’en distinguent (comme les techniques de deep learning) en ce que le pari « métaphysique » sur lequel leur réussite se fonde est loin d’être aussi clair. Je soulignerai enfin les différences entre explication par le modèle, explication du modèle et explication ex post du comportement du modèle à quoi on réduit souvent les recherches en « explainable AI » (Mittelstadt et al. 2019). Cette dernière distinction permet de comprendre pourquoi le fait de détenir un modèle expliquant un modèle à AM, c’est-à-dire un modèle explicatif approché de second degré, expliquant partiellement, de manière locale ou ad hoc le comportement d’un modèle à AM, ne peut pas nous assurer d’une complète confiance en ce modèle.

International audience; Certaines techniques dites d'apprentissage machine (machine learning) sont de plus en plus employées pour concevoir des modèles mathématiques et informatiques à fonction soit de prédiction soit de décision. Dans des contextes de diagnostic médical ou de décision juridique, en particulier, il est demandé que ces modèles - ou bien les algorithmes associés ou encore leurs résultats - soient, dit-on, explicables. Parallèlement, dans ce sous-domaine de la philosophie des sciences nommé « épistémologie des modèles », il est devenu d'usage de distinguer les modèles utilisés dans les sciences au regard de leurs différentes fonctions de connaissance, selon qu'ils décrivent, prédisent, servent à comprendre, expliquent, etc. Dans cette conférence - qui présentera une partie des travaux que j'ai commencé à mener en collaboration avec Christophe Denis (LIP6, équipe ACASA) - je montrerai qu'il est possible et utile d'appliquer certaines analyses de cette épistémologie classificatrice des modèles au cas particulier des modèles à apprentissage machine. En revenant sur ce qu'il faut entendre derrière cette demande d'explication, ainsi que sur la différence entre expliquer le modèle et expliquer par le modèle, comme enfin sur le rapport entre explication et causalité, j'essaierai d'apporter quelques éclairages nouveaux sur un sujet controversé. Ce sujet est controversé car il mêle la pensée mathématique et informatique non seulement à l'IA, mais aussi à l'épistémologie des modèles comme à l'épistémologie des mathématiques appliquées.

International audience; The lack of validation and of explainability of some Machine Learning (ML) models involves operational, legal and ethical issues. One of the main objectives of our research project is to provide ethical explanations of the outputs produced by a ML based application, considered as a black box. The first step of this project, presented in this article, is to underline the epistemic differences between the validation of an ML model and of a causal mathematical model. ML is based on statistical correlations between input - which could have a high dimension - and output parameters without building causality links between them, unlike most mathematical models in science and engineering. This absence of causality is the major drawback of ML, making difficult the validation and the explanation of some ML methods, generally the most efficient ones. Our scientific contribution is to highlight, in this context, the epistemic distinctions between the different functions of a model, on the one hand and between the function and the use of a model, required to build explanation. Our current work in the evaluation of the quality of an explanation, which could be more persuasive than informative and consequently generates ethical problems, is reported in the last part of the article.; Le déficit d’explicabilité des techniques d’apprentissage machine (AM) pose des problèmes opérationnels, juridiques et éthiques. Un des principaux objectifs de notre projet est de fournir des explications éthiques des sorties générées par une application fondée sur de l’AM, considérée comme une boîte noire. La première étape de ce projet, présentée dans cet article, consiste à montrer que la validation de ces boîtes noires diffère épistémologiquement de celle mise en place dans le cadre d’une modélisation mathématique et causale d’un phénomène physique. La différence majeure est qu’une méthode d’AM ne prétend pas représenter une causalité entre les paramètres d’entrées, qui peuvent être de plus de haute dimensionnalité, et ceux de sortie. Nous montrons dans cet article l’intérêt de mettre en œuvre les distinctions épistémologiques entre les différentes fonctions épistémiques d’un modèle, d’une part, et entre la fonction épistémique et l’usage d’un modèle, d’autre part. Enfin, la dernière partie de cet article présente nos travaux en cours sur l’évaluation d’une explication, qui peut être plus persuasive qu’informative, ce qui peut ainsi causer des problèmes d’ordre éthique.

The lack of validation and of explainability of some Machine Learning (ML) models involves operational, legal and ethical issues. One of the main objectives of our research project is to provide ethical explanations of the outputs produced by a ML based application, considered as a black box. The first step of this project, presented in this article, is to underline the epistemic differences between the validation of an ML model and of a causal mathematical model. ML is based on statistical correlations between input - which could have a high dimension - and output parameters without building causality links between them, unlike most mathematical models in science and engineering. This absence of causality is the major drawback of ML, making difficult the validation and the explanation of some ML methods, generally the most efficient ones. Our scientific contribution is to highlight, in this context, the epistemic distinctions between the different functions of a model, on the one hand and between the function and the use of a model, required to build explanation. Our current work in the evaluation of the quality of an explanation, which could be more persuasive than informative and consequently generates ethical problems, is reported in the last part of the article., Le déficit d’explicabilité des techniques d’apprentissage machine (AM) pose des problèmes opérationnels, juridiques et éthiques. Un des principaux objectifs de notre projet est de fournir des explications éthiques des sorties générées par une application fondée sur de l’AM, considérée comme une boîte noire. La première étape de ce projet, présentée dans cet article, consiste à montrer que la validation de ces boîtes noires diffère épistémologiquement de celle mise en place dans le cadre d’une modélisation mathématique et causale d’un phénomène physique. La différence majeure est qu’une méthode d’AM ne prétend pas représenter une causalité entre les paramètres d’entrées, qui peuvent être de plus de haute dimensionnalité, et ceux de sortie. Nous montrons dans cet article l’intérêt de mettre en œuvre les distinctions épistémologiques entre les différentes fonctions épistémiques d’un modèle, d’une part, et entre la fonction épistémique et l’usage d’un modèle, d’autre part. Enfin, la dernière partie de cet article présente nos travaux en cours sur l’évaluation d’une explication, qui peut être plus persuasive qu’informative, ce qui peut ainsi causer des problèmes d’ordre éthique.

La précision et interopérabilité sont deux approches importantes dans la conception d’un système de classification flou. Dans beaucoup d’applications de monde réel, comme dans le domaine médical L’expert devrait être capable de comprendre le classifier et d’évaluer ses résultats. Les modèles à base de règles floues sont particulièrement adaptés, car ils sont constitués de simples règles linguistiques interprétables. Ce mémoire de Magister traite la possibilité d’utilisation des Algorithmes Génétiques afin d’augmenter la robustesse de notre classifier floue a travers d’un processus d’apprentissage structurelle et paramétrique. La partition floue, le choix de nombre de variables pertinents et le raisonnement flou utilisés sont des taches les plus étudiés dans plusieurs travaux qui existent dans la littérature. Nos résultats expérimentaux appliqués sur la base de données du diabète (UCI Machine E-learning) montrent une augmentation dans la précision sans détérioration de interopérabilité. L’approche proposée est simple et efficace pour clarifier la décision finale du classifier.

This thesis's works belongs to the framework of knowledge extraction and data mining applied to numerical or fuzzy data in order to extract linguistic summaries in the form of gradual itemsets: the latter express correlation between attribute values of the form « the more the temperature increases, the more the pressure increases ». Our goal is to contextualize and enrich these gradual itemsets by proposing different types of additional information so as to increase their quality and provide a better interpretation. We propose four types of new itemsets: first of all, reinforced gradual itemsets, in the case of fuzzy data, perform a contextualization by integrating additional attributes linguistically introduced by the expression « all the more ». They can be illustrated by the example « the more the temperature decreases, the more the volume of air decreases, all the more its density increases ». Reinforcement is interpreted as increased validity of the gradual itemset. In addition, we study the extension of the concept of reinforcement to association rules, discussing their possible interpretations and showing their limited contribution. We then propose to process the contradictory itemsets that arise for example in the case of simultaneous extraction of « the more the temperature increases, the more the humidity increases » and « the more the temperature increases, the less the humidity decreases ». To manage these contradictions, we define a constrained variant of the gradual itemset support, which, in particular, does not only depend on the considered itemset, but also on its potential contradictors. We also propose two extraction methods: the first one consists in filtering, after all itemsets have been generated, and the second one integrates the filtering process within the generation step. We introduce characterized gradual itemsets, defined by adding a clause linguistically introduced by the expression « especially if » that can be illustrated by a sentence such as « the more the temperature decreases, the more the humidity decreases, especially if the temperature varies in [0, 10] °C »: the additional clause precise value ranges on which the validity of the itemset is increased. We formalize the quality of this enrichment as a trade-off between two constraints imposed to identified interval, namely a high validity and a high size, as well as an extension taking into account the data density. We propose a method to automatically extract characterized gradual based on appropriate mathematical morphology tools and the definition of an appropriate filter and transcription.; Les travaux de cette thèse s'inscrivent dans le cadre de l'extraction de connaissances et de la fouille de données appliquée à des bases de données numériques ou floues afin d'extraire des résumés linguistiques sous la forme de motifs graduels exprimant des corrélations de co-variations des valeurs des attributs, de la forme « plus la température augmente, plus la pression augmente ». Notre objectif est de les contextualiser et de les enrichir en proposant différents types de compléments d'information afin d'augmenter leur qualité et leur apporter une meilleure interprétation. Nous proposons quatre formes de nouveaux motifs : nous avons tout d'abord étudié les motifs dits « renforcés », qui effectuent, dans le cas de données floues, une contextualisation par intégration d'attributs complémentaires, ajoutant des clauses introduites linguistiquement par l'expression « d'autant plus que ». Ils peuvent être illustrés par l'exemple « plus la température diminue, plus le volume de l'air diminue, d'autant plus que sa densité augmente ». Ce renforcement est interprété comme validité accrue des motifs graduels. Nous nous sommes également intéressées à la transposition de la notion de renforcement aux règles d'association classiques en discutant de leurs interprétations possibles et nous montrons leur apport limité. Nous proposons ensuite de traiter le problème des motifs graduels contradictoires rencontré par exemple lors de l'extraction simultanée des deux motifs « plus la température augmente, plus l'humidité augmente » et « plus la température augmente, plus l'humidité diminue ». Pour gérer ces contradictions, nous proposons une définition contrainte du support d'un motif graduel, qui, en particulier, ne dépend pas uniquement du motif considéré, mais aussi de ses contradicteurs potentiels. Nous proposons également deux méthodes d'extraction, respectivement basées sur un filtrage a posteriori et sur l'intégration de la contrainte du nouveau support dans le processus de génération. Nous introduisons également les motifs graduels caractérisés, définis par l'ajout d'une clause linguistiquement introduite par l'expression « surtout si » comme par exemple « plus la température diminue, plus l'humidité diminue, surtout si la température varie dans [0, 10] °C » : la clause additionnelle précise des plages de valeurs sur lesquelles la validité des motifs est accrue. Nous formalisons la qualité de cet enrichissement comme un compromis entre deux contraintes imposées à l'intervalle identifié, portant sur sa taille et sa validité, ainsi qu'une extension tenant compte de la densité des données.Nous proposons une méthode d'extraction automatique basée sur des outils de morphologie mathématique et la définition d'un filtre approprié et transcription.

تعالج هذه الأطروحة مسألة البحث عن الأشياء في الصور الثابتة و هي محاولة لتحسين نتائج البحث المنتظرة عن طريق تفاعل المستخدم مع النظام . يتمثل الحل المقترح في تصميم نظام تفاعلي يتيح للمستخدم صياغة مفهومه المرئي عن طريق مجموعة مقتضبة من أجزاء صغيرة للصور هي عبارة عن كلمات مفاتيح قد تم تعلمها سابقا عن طريق تعلم آلي استنتاجي . يمكن للمستخدم حينئذ تخصيص أنموذجه أولا بالاختيار ثم بترجيح الأجزاء التي يراها مناسبة . يتمثل التحدي القائم في كيفية توليد نماذج مرئية مفهومة و مقتضبة . نكون قد ساهمنا في هذا المجال بنقطتين أساسيتين تتمثل الأولى في إدماج الواصفات المحلية للصور دون أي تكميم ، و بذلك يكون كل مكون من ناقلات الميزات ذات الأبعاد العالية مرتبط حصريا بمكان وحيد و محدد في الصورة . ثانيا ، نقترح إضافة قيود تسوية لدالة الخسارة من أجل التحصل على حلول متفرقة و مقتضبة . يساهم ذلك في تقلص عدد هذه الأجزاء المرئية و بالتالي في ربح إضافي لوقت التكهن . في إطار تحقيق الأهداف المرسومة ، قمنا بإعداد مشروع تعلم قائم على تعدد الأمثلة يرتكز أساسا على نسخة محورة لخوارزمية بلاسو . تجدر الإشارة في الأخير أنه يمكن توظيف هذا العمل باستخدام نوع أو عدة أنواع من الواصفات المحلية للصور.; This thesis is an attempt to improve visual object retrieval by allowing users to interact with the system. Our solution lies in constructing an interactive system that allows users to define their own visual concept from a concise set of visual patches given as input. These patches, which represent the most informative clues of a given visual category, are trained beforehand with a supervised learning algorithm in a discriminative manner. Then, and in order to specialize their models, users have the possibility to send their feedback on the model itself by choosing and weighting the patches they are confident of. The real challenge consists in how to generate concise and visually interpretable models. Our contribution relies on two points. First, in contrast to the state-of-the-art approaches that use bag-of-words, we propose embedding local visual features without any quantization, which means that each component of the high-dimensional feature vectors used to describe an image is associated to a unique and precisely localized image patch. Second, we suggest using regularization constraints in the loss function of our classifier to favor sparsity in the models produced. Sparsity is indeed preferable for concision (a reduced number of patches in the model) as well as for decreasing prediction time. To meet these objectives, we developed a multiple-instance learning scheme using a modified version of the BLasso algorithm. BLasso is a boosting-like procedure that behaves in the same way as Lasso (Least Absolute Shrinkage and Selection Operator). It efficiently regularizes the loss function with an additive L1-constraint by alternating between forward and backward steps at each iteration. The method we propose here is generic in the sense that it can be used with any local features or feature sets representing the content of an image region.; L'objectif de cette thèse est d'améliorer la recherche d'objets visuels à l'aide de l'interactivité avec l'utilisateur. Notre solution est de construire un système intéractif permettant aux utilisateurs de définir leurs propres concepts visuels à partir de certains mots-clés visuels. Ces mots-clés visuels, qui en théorie représentent les mots visuels les plus informatifs liés à une catégorie d'objets, sont appris auparavant à l'aide d'un algorithme d'apprentissage supervisé et d'une manière discriminative. Le challenge est de construire des mots-clés visuels concis et interprétables. Notre contribution repose sur deux points. D'abord, contrairement aux approches existantes qui utilisent les sacs de mots, nous proposons d'employer les descripteurs locaux sans aucune quantification préalable. Deuxièmement, nous proposons d'ajouter une contrainte de régularisation à la fonction de perte de notre classifieur pour favoriser la parcimonie des modèles produits. La parcimonie est en effet préférable pour sa concision (nombre de mots visuels réduits) ainsi pour sa diminution du temps de prédiction. Afin d'atteindre ces objectifs, nous avons développé une méthode d'apprentissage à instances multiples utilisant une version modifiée de l'algorithme BLasso. Cet algorithme est une forme de boosting qui se comporte similairement au LASSO (Least Absolute Shrinkage and Selection Operator). Il régularise efficacement la fonction de perte avec une contrainte additive de type L1 et ceci en alternant entre des itérations en avant et en arrière. La méthode proposée est générique dans le sens où elle pourrait être utilisée avec divers descripteurs locaux voire un ensemble structuré de descripteurs locaux qui décrit une région locale de l'image.

International audience; Fuzzy inference systems (FIS) are likely to play a significant part in system modeling, provided that they remain interpretable following learning from data. The aim of this paper is to set up some guidelines for interpretable FIS learning, based on practical experience with fuzzy modeling in various fields. An open source software system called FisPro has been specifically designed to provide generic tools for interpretable FIS design and learning. It can then be extended with the addition of new contributions. This work presents a global approach to design data-driven FIS that satisfy certain interpretability and accuracy criteria. It includes fuzzy partition generation, rule learning, input space reduction and rule base simplification. The FisPro implementation is discussed and illustrated through several detailed case studies.

A Brain-Computer Interface (BCI) is a communication system which enables its users to send commands to a computer by using brain activity only, this brain activity being measured, generally by ElectroEncephaloGraphy (EEG), and processed by the system. In the first part of this thesis, dedicated to EEG signal processing and classification techniques, we aimed at designing interpretable and more efficient BCI. To this end, we first proposed FuRIA, a feature extraction algorithm based on inverse solutions. This algorithm can automatically identify relevant brain regions and frequency bands for classifying mental states. We also proposed and studied the use of Fuzzy Inference Systems (FIS) for classification. Our evaluations showed that FuRIA and FIS could reach state-of-the-art results in terms of classification performances. Moreover, we proposed an algorithm that uses both of them in order to design a fully interpretable BCI system. Finally, we proposed to consider self-paced BCI design as a pattern rejection problem. Our study introduced novel techniques and identified the most appropriate classifiers and rejection techniques for self-paced BCI design. In the second part of this thesis, we focused on designing virtual reality (VR) applications controlled by a BCI. First, we studied the performances and preferences of participants who interacted with an entertaining VR application, thanks to a self-paced BCI. Our results stressed the need to use subject-specific BCI as well as the importance of the visual feedback. Then, we developed a VR application which enables a user to explore a virtual museum by using thoughts only. In order to do so, we designed a self-paced BCI and proposed an interaction technique which enables the user to send high-level commands. Our first evaluation suggested that a user could explore the museum faster with this interaction technique than with current techniques.; Une Interface Cerveau-Ordinateur (ICO) est un système de communication qui permet à ses utilisateurs d'envoyer des commandes à un ordinateur via leur activité cérébrale, cette activité étant mesurée, généralement par ÉlectroEncéphaloGraphie (EEG), et traitée par le système. Dans la première partie de cette thèse, dédiée au traitement et à la classification des signaux EEG, nous avons cherché à concevoir des ICOs interprétables et plus efficaces. Pour ce faire, nous avons tout d'abord proposé FuRIA, un algorithme d'extraction de caractéris- tiques utilisant les solutions inverses. Nous avons également proposé et étudié l'utilisation des Systèmes d'Inférences Flous (SIF) pour la classification. Nos évaluations ont montré que FuRIA et les SIF pouvaient obtenir de très bonnes performances de classification. De plus, nous avons proposé une méthode utilisant ces deux algorithmes afin de concevoir une ICO complétement interprétable. Enfin, nous avons proposé de considérer la conception d'ICOs asynchrones comme un problème de rejet de motifs. Notre étude a introduit de nouvelles techniques et a permis d'identifier les classifieurs et les techniques de rejet les plus appropriés pour ce problème. Dans la deuxième partie de cette thèse, nous avons cherché à concevoir des applications de Réalité Virtuelle (RV) controlées par une ICO. Nous avons tout d'abord étudié les performances et les préférences de participants qui interagissaient avec une application ludique de RV à l'aide d'une ICO asynchrone. Nos résultats ont mis en évidence le besoin d'utiliser des ICO adaptées à l'utilisateur ainsi que l'importance du retour visuel. Enfin, nous avons développé une application de RV permettant à un utilisateur d'explorer un musée virtuel par la pensée. Dans ce but, nous avons conçu une ICO asynchrone et proposé une nouvelle technique d'interaction permettant à l'utilisateur d'envoyer des commandes de haut niveau. Une première évaluation semble montrer que l'utilisateur peut explorer le musée plus rapidement avec cette technique qu'avec les techniques actuelles.

Implicatives rules, which model constraints remain unknown. We propose in this article guidelines for building practical systems of implicative rules : design of suitable partitions, interpretation of inference results, system cooperation and semantics. The methodology is applied to a food process., Les règles implicatives, qui permettent de modéliser des contraintes, restent méconnues. Nous proposons dans cet article des lignes directrices pour la conception pratique de systèmes de règles implicatives : construction de partitions adaptées, interprétation des résultats de l’inférence, coopération de plusieurs systèmes de règles et sémantique. La méthodologie est appliquée à un procédé agroalimentaire.

International audience; Les règles implicatives, qui permettent de modéliser des contraintes, restent méconnues. Nous proposons dans cet article des lignes directrices pour la conception pratique de systèmes de règles implicatives : construction de partitions adaptées, interprétation des résultats de l'inférence, coopération de plusieurs systèmes de règles et sémantique. La méthodologie est appliquée à un procédé agroalimentaire. / Implicatives rules, which model constraints remain unknown. We propose in this article guidelines for building practical systems of implicative rules : design of suitable partitions, interpretation of inference results, system cooperation and semantics. The methodology is applied to a food process.

International audience; A general approach to practical inference with gradual implicative rules and fuzzy inputs is presented. Gradual rules represent constraints restricting outputs of a fuzzy system for each input. They are tailored for interpolative reasoning. Our approach to inference relies on the use of inferential independence. It is based on fuzzy output computation under an interval-valued input. A double decomposition of fuzzy inputs is done in terms of alpha-cuts and in terms of a partitioning of these cuts according to areas where only a few rules apply. The case of one and two dimensional inputs is considered; Cet article présente une méthode d'inférence avec des règles implicatives graduelles pour une entrée floue. Les règles graduelles représentent des contraintes qui restreignent l'univers de sortie pour chacune des entrées. Elles sont conçues pour réaliser des interpolations. L'algorithme que nous proposons s'appuie sur le principe de indépendance inférentielle. Il met en oeuvre une double décomposition de l'ensemble flou d'entrée, par alpha-coupes et suivant le partitionnement de l'univers des variables d'entrée. Les cas étudiés correspondent à des systèmes à une et deux dimensions

International audience; One of the main advantages of fuzzy modelling is the ability to yield interpretable results. Amongst these modeling methods, the OLS algorithm is a mathematically robust technique that allows to induce a fuzzy rule base from a set of training data. It does so by using linear regression to select the most important rules. However, the original OLS algorithm only relies upon numerical accuracy, and doesn't take interpretability matters into account. Thus, we propose some modifications to the original method so that it builds interpretable rule bases.

Ce travail propose une voie dans la recherche du compromis entre précision et interprétabilité pour la conception de bases de règles floues. La contrainte de partitions floues fortes est imposée à chaque étape du procédé. Tout d'abord le système consiste en une base de règles compacte, très interprétable et raisonnablement performante du point de vue numérique. L'optimisation vise à améliorer cette dernière en modifiant légèrement les partitions des variables d'entrée. La procédure respecte la sémantique. Deux options sont étudiées : une approche globale par algorithmes génétiques et une recherche locale suivant la méthode de Solis et Wetts. Les résultats sur plusieurs jeux de données connus sont comparés avec ceux obtenus par des méthodes de référence / This work shows how to achieve a good interpretability-accuracy trade-off through keeping strong fuzzy partition property along the whole fuzzy modeling process. First, a small compact knowledge base is built. It is highly interpretable and reasonably accurate. Second, an optimization procedure, which only affects to the fuzzy partitions defining the system variables, is carried out. It improves the system accuracy while preserving the system interpretability. Two optimization strategies are compared: Solis-Wetts, a local search based strategy; and Genetic Tuning, a global search based strategy. Results obtained in a well-known benchmark medical classification problem, related to breast cancer diagnosis, show that our methodology is able to achieve knowledge bases with high interpretability and accuracy comparable to that obtained by other methodologies

Este articulo presenta un proceso de simplificacion de bases de conocimiento linguisticas con el objetivo de incrementar su interpretabilidad. Se toma como punto de partida una base de conocimiento compuesta de variables y reglas linguisticas, y tras un proceso iterativo produce como resultado una nueva base de conocimiento mas compacta a que la original, con un buen equilibrio entre precision e interpretabilidad. Se describe o en detalle cada una de las fases del proceso, y se comentan los resultados obtenidos en dos problemas de clasificacin muy conocidos o (Iris y Wine)., Cet article présente un processus de simplification des bases de connaissances linguistiques avec l'objectif d'améliorer l'interprétabilité. Le point de départ est une base de règles linguistiques et, après une procédure itérative, produit une nouvelle base de règles, plus compacte et présentant un équilibre entre précision et interprétabilité. Les différentes étapes du processus son décrites en détail et les résultats sur deux applications de classification connues, Wine et Iris, sont discutés.

Nous proposons une méthode de discrimination non paramétrique conçue pour favoriser l'interprétabilité de la prédiction. D'une part, l'utilisation d'un modèle additif généralisé permet de représenter graphiquement l'effet de chaque variable d'entrée sur la variable de sortie. D'autre part, les paramètres de ce modèle sont estimés par vraisemblance pénalisée, où le terme de régularisation généralise la pénalisation l1 aux fonctions splines. Cette pénalisation favorise les solutions parcimonieuses sélectionnant une partie de l'ensemble des variables d'entrée, tout en permettant une modélisation flexible de la dépendance sur les variables sélectionnées. Nous étudions l'adaptation de différents critères de sélection analytiques à ces modèles, et nous les évaluons sur deux jeux de données réelles.

Functions are introduced to RuleML via orthogonal dimensions "constructor vs. userdefined", "single- vs. set-valued", "firstvs. higher-order". This enables functional logic programming for the Semantic Web., UPGRADE, The European Journal for the Informatics Professional, December 2005.

International audience; In this paper, we propose a new method to construct fuzzy partitions from data. The procedure generates a hierarchy including best partitions of all sizes from two to N fuzzy sets. The maximum size N is determined accordingly to the data distribution and corresponds to the finest resolution level. We use an ascending method for which a merging criterion is needed. This criterion is based on the definition of a special metric distance suitable for fuzzy partitioning. The distance we define does not handle the point coordinates, but directly their membership degrees to the fuzzy sets of the partition. This implies the introduction of the notions of internal and external distances. The hierarchical fuzzy partitioning (HFP) is carried independently over each dimension, with the possibility of reintroducing the multidimensional context by considering an output heterogeneity indicator at a fuzzy set level. The generated partitions can be combined in all dimensions. To help choosing, in each dimension, the best suited resolution level, we assign a validity index to each partition within the hierarchy. Due to the merging technique, all the fuzzy sets in the various partitions are interpretable as linguistic labels; Dans cet article, nous proposons une nouvelle méthode pour construire des partitions floues à partir de données. La procédure génére l'ensemble des partitions comprenant de deux à N sous-ensembles flous (SEF). La taille maximum N est déterminée en fonction des données et correspond au niveau de résolution le plus fin. La méthode de génération est ascendante et nécessite un critère de fusion de deux sous-ensembles flous. La distance que nous avons définie ne manipule pas les coordonnées des points elles-mêmes, mais leur degrés d'appartenance aux différents ensembles le partition. Nous avons donc introduit les notions de distance interne et de distance externe. La méthode HFP (hierarchical fuzzy partitioning) est appliquée de manière indépendante au sein de chaque variable avec la possibilité de tenir compte du contexte multidimensionnel grâce à un index d'hétérogénéité de la sortie au niveau de chacun des SEF. Les partitions générées peuvent être combinées sur l'ensemble des dimensions. Pour déterminer le nombre de SEF le plus adéquat dans chacune des dimensions, les partitions de différentes taille d'un même variable sont caractérisées par un indice de qualité. La technique de fusion mise en oeuvre garantit que à chacun des SEF de chacune des partitions peut être attaché un label linguistique

International audience; Fuzzy inference systems (FIS) are widely used for process simulation or control. They can be designed either from expert knowledge or from data. For complex systems, FIS based on expert knowledge only may suffer from a loss of accuracy. This is the main incentive for using fuzzy rules inferred from data. Designing a FIS from data can be decomposed into two main phases: automatic rule generation and system optimization. Rule generation leads to a basic system with a given space partitioning and the corresponding set of rules. System optimization can be done at various levels. Variable selection can be an overall selection or it can be managed rule by rule. Rule base optimization aims to select the most useful rules and to optimize rule conclusions. Space partitioning can be improved by adding or removing fuzzy sets and by tuning membership function parameters. Structure optimization is of a major importance: selecting variables, reducing the rule base and optimizing the number of fuzzy sets. Over the years, many methods have become available for designing FIS from data. Their efficiency is usually characterized by a numerical performance index. However, for human-computer cooperation another criterion is needed: the rule interpretability. An implicit assumption states that fuzzy rules are by nature easy to be interpreted. This could be wrong when dealing with complex multivariable systems or when the generated partitioning is meaningless for experts. This paper analyses the main methods for automatic rule generation and structure optimization. They are grouped into several families and compared according to the rule interpretability criterion. For this purpose, three conditions for a set of rules to be interpretable are defined.; Les systèmes d'inférence floue (SIF) sont très utilisés pour la simulation ou le contrôle des procédés. Ils peuvent être conçus à partir de l'expertise ou bien à partir d'un ensemble de données. Ceux qui sont basés sur la seule expertise humaine souffrent généralement d'un manque de précision, tandis que les règles inférées à partir des données sont souvent difficiles à interpréter pour les experts. La coopération des deux types de SIF, indispensable pour la gestion des systèmes complexes, est envisageable sous réserve que l'induction automatique des règles produise de la connaissance, sous forme de règles, qui soit réutilisable par les experts. L'induction de règles peut être décomposée en deux phases : la génération automatique des règles et l'optimisation du système. Cette dernière inclut la sélection de variables et la réduction de la base de règles. Cet article analyse les principales méthodes disponibles et les compare suivant un critère essentiel pour la coopération homme-machine : l'interprétabilité des règles.

International audience; Fuzzy inference systems (FIS) are widely used for process simulation or control. They can be designed either from expert knowledge or from data. For complex systems, FIS based on expert knowledge only may suffer from a loss of accuracy. This is the main incentive for using fuzzy rules inferred from data. Designing a FIS from data can be decomposed into two main phases: automatic rule generation and system optimization. Rule generation leads to a basic system with a given space partitioning and the corresponding set of rules. System optimization can be done at various levels. Variable selection can be an overall selection or it can be managed rule by rule. Rule base optimization aims to select the most useful rules and to optimize rule conclusions. Space partitioning can be improved by adding or removing fuzzy sets and by tuning membership function parameters. Structure optimization is of a major importance: selecting variables, reducing the rule base and optimizing the number of fuzzy sets. Over the years, many methods have become available for designing FIS from data. Their efficiency is usually characterized by a numerical performance index. However, for human-computer cooperation another criterion is needed: the rule interpretability. An implicit assumption states that fuzzy rules are by nature easy to be interpreted. This could be wrong when dealing with complex multivariable systems or when the generated partitioning is meaningless for experts. This paper analyses the main methods for automatic rule generation and structure optimization. They are grouped into several families and compared according to the rule interpretability criterion. For this purpose, three conditions for a set of rules to be interpretable are defined.; Les systèmes d'inférence floue (SIF) sont très utilisés pour la simulation ou le contrôle des procédés. Ils peuvent être conçus à partir de l'expertise ou bien à partir d'un ensemble de données. Ceux qui sont basés sur la seule expertise humaine souffrent généralement d'un manque de précision, tandis que les règles inférées à partir des données sont souvent difficiles à interpréter pour les experts. La coopération des deux types de SIF, indispensable pour la gestion des systèmes complexes, est envisageable sous réserve que l'induction automatique des règles produise de la connaissance, sous forme de règles, qui soit réutilisable par les experts. L'induction de règles peut être décomposée en deux phases : la génération automatique des règles et l'optimisation du système. Cette dernière inclut la sélection de variables et la réduction de la base de règles. Cet article analyse les principales méthodes disponibles et les compare suivant un critère essentiel pour la coopération homme-machine : l'interprétabilité des règles.