Search

As the quest for ever more powerful computing systems faces ever-increasing material constraints, major advances in computing efficiency are expected to benefit from unconventional approaches and new computing models such as brain-inspired computing. The brain is a massively parallel computing architecture with dense interconnections between computing units. Neurobiological systems are therefore a natural source of inspiration for computer science and engineering. Rapid technological improvements in computing media have recently reinforced this trend through two complementary but seemingly contradictory consequences: on the one hand, by providing enormous computing power, they have made it possible to simulate very large neural structures such as deep networks, and on the other hand, by reaching their technological and conceptual limits, they have motivated the emergence of alternative computing paradigms based on bio-inspired concepts. Among these, the principles of unsupervised learning are receiving increasing attention.We focus here on two main families of neural models, self-organizing maps and dynamic neural fields. Inspired by the modeling of the self-organization of cortical columns, self-organizing maps have shown their ability to represent a complex stimulus in a simplified and interpretable form, thanks to excellent performances in vector quantization and to the respect of topological proximity relationships present in the input space. More inspired by competition mechanisms in cortical macro-columns, dynamic neural fields allow the emergence of simple cognitive behaviours and find more and more applications in the field of autonomous robotics.In this context, the first objective of this thesis is to combine self-organizing maps and dynamic neural fields for the exploration and categorisation of real environments perceived through visual sensors of different natures. The second objective is to prepare the porting of this neuromorphic computation on a digital hardware substrate. These two objectives aim to define a hardware computing device that can be coupled to different sensors in order to allow an autonomous system to construct its own representation of the perceptual environment in which it operates. Therefore, we proposed and evaluated a novelty detection model based on self-organising maps. Hardware considerations then led us to significant algorithmic optimisations SOM operations. Finally, we complemented the model with dynamic neural fields to increase the level of abstraction with an attentional target tracking mechanism., Tandis que la quête pour des systèmes de calcul toujours plus puissants se confronte à des contraintes matérielles de plus en plus fortes, des avancées majeures en termes d’efficacité de calcul sont supposées bénéficier d’approches non conventionnelles et de nouveaux modèles de calcul tels que le calcul inspiré du cerveau. Le cerveau est une architecture de calcul massivement parallèle avec des interconnexions denses entre les unités de calcul. Les systèmes neurobiologiques sont donc une source d'inspiration naturelle pour la science et l'ingénierie informatiques. Les améliorations technologiques rapides des supports de calcul ont récemment renforcé cette tendance à travers deux conséquences complémentaires mais apparemment contradictoires : d’une part en offrant une énorme puissance de calcul, elles ont rendu possible la simulation de très grandes structures neuronales comme les réseaux profonds, et d’autre part en atteignant leurs limites technologiques et conceptuelles, elles ont motivé l'émergence de paradigmes informatiques alternatifs basés sur des concepts bio-inspirés. Parmi ceux-ci, les principes de l’apprentissage non supervisé retiennent de plus en plus l’attention. Nous nous intéressons ici plus particulièrement à deux grandes familles de modèles neuronaux, les cartes auto-organisatrices et les champs neuronaux dynamiques. Inspirées de la modélisation de l’auto-organisation des colonnes corticales, les cartes auto-organisatrices ont montré leur capacité à représenter un stimulus complexe sous une forme simplifiée et interprétable, grâce à d’excellentes performances en quantification vectorielle et au respect des relations de proximité topologique présentes dans l’espace d’entrée. Davantage inspirés des mécanismes de compétition dans les macro-colonnes corticales, les champs neuronaux dynamiques autorisent l’émergence de comportements cognitifs simples et trouvent de plus en plus d’applications dans le domaine de la robotique autonome notamment.Dans ce contexte, le premier objectif de cette thèse est de combiner cartes auto-organisatrices (SOM) et champs neuronaux dynamiques (DNF) pour l’exploration et la catégorisation d’environnements réels perçus au travers de capteurs visuels de différentes natures. Le second objectif est de préparer le portage de ce calcul de nature neuromorphique sur un substrat matériel numérique. Ces deux objectifs visent à définir un dispositif de calcul matériel qui pourra être couplé à différents capteurs de manière à permettre à un système autonome de construire sa propre représentation de l’environnement perceptif dans lequel il évolue. Nous avons ainsi proposé et évalué un modèle de détection de nouveauté à partir de SOM. Les considérations matérielles nous ont ensuite amené à des optimisations algorithmiques significatives dans le fonctionnement des SOM. Enfin, nous complémenté le modèle avec des DNF pour augmenter le niveau d'abstraction avec un mécanisme attentionnel de suivi de cible.

National audience

Outlier detection is a subject of interest in data mining. During the last decade, the amount of domains featuring data streams grew a lot. Those data streams come with peculiarities that outlier detection methods have to deal with. That is why various methods adapted to the online outlier detection problem have been developed. This article presents a survey on outlier detection unsupervised methods for data streams and discusses the lack of metrics allowing to evaluate and compare these methods., La détection d'anomalies est un sujet d'intérêt en fouille de données. Ces dernières années, le nombre d'applications reposant sur des flux continus de données se multiplie. Ces flux de données sont accompagnés de spécificités dont les algorithmes de détection d'anomalies doivent tenir compte. Pour cette raison, de nombreuses méthodes adaptées à la détection en ligne ont vu le jour. Cet article présente un tour d'horizon des méthodes de détection non supervisées appliquées aux flux de données et discute de l'insuffisance de métriques permettant d'évaluer et comparer ces méthodes.

National audience; People with Parkinson’s disease (PD) usually suffer from laryngeal disorders involving fundamental frequency (F0) abnormalities. Despite the large number of studies of F0 on PD patients, no global consensus exists regarding the effects of this disease. This study aims to clarify these effects using a large corpora of read speech containing 320 speakers. The results show an increase in F0 for PD men compared to controls. A decrease in F0 variations is also observed for the patients regardless of gender. We also studied the effect of dopaminergic treatment inducing a slight increase in F0 and reducing the loss of F0 modulations in severely affected patients. Patient age appears to have the same impact on F0 in PD and healthy individuals. Our results are in partial agreement with pathophysiological models and contradict in some aspects studies done on smaller corpora.; Les personnes atteintes de la maladie de Parkinson (MDP) souffrent généralement de troubles d'origine laryngée impliquant des anomalies de fréquence fondamentale (F0). Malgré le nombre important d'études de la F0 chez les patients MDP, aucun consensus global n'existe concernant les effets de cette maladie. Cette étude cherche à clarifier ces effets grâce à un large corpus de parole lue (320 locuteurs). Les résultats montrent une élévation de F0 chez les hommes MDP. Nous observons également une réduction des modulations de F0 chez les patients indépendamment du sexe. L'effet du traitement dopaminergique induit une légère augmentation de F0 et réduit la perte des modulations de F0 chez les patients sévèrement atteints. L'âge des patients semble avoir le même impact sur la F0 des personnes MDP et saines. Nos résultats sont en accord partiel avec les modèles physiopathologiques et contredisent sur certains aspects des études faites sur des corpora plus petits.

International audience; Business Process Management – BPM helps organizations adapt to strategic,organizational and technical changes, as it enables more visibility and control of businessprocesses and their activities, from modeling to execution and optimization if required.However, the new digitalized era and the rise of several new technologies such as big data,fast data, cloud computing, Internet of Things (IoT), etc, implies new business processchallenges linked basiclly to limited (human / machine) resources and the need to use theseresources in an optimal way. During process execution a lot of data and event data aregenerated. Moreover, business process instances are mostly triggered by events. That is whyanalysing and processing these events is of great importance in improving business processmanagement. In this paper, we try to explain that techniques and methods proposed by thefield of Complex Event Processing (CEP) can be exploited to improve certain aspects ofBPM, mainly for event-driven business processes. In fact, these techniques can help to process and filter these events, to optimize their management during the execution ofbusiness process instances. A case study is presented and the obtained results from ourexperimentations demonstrate the benefit of our approach and allowed us to confirm theefficiency of our assumptions.; Le management des processus métier (Business Process Management – BPM) est vucomme la solution adéquate qui aide les organisations à s’adapter aux évolutionsstratégiques, organisationnelles et techniques. Le BPM aide à avoir plus de visibilité et decontrôle sur les processus métier, de la modélisation des processus métier jusqu’à l’exécutionet l’optimisation en cas de besoin. Cependant, la transformation digitale et l'essor deplusieurs nouvelles technologies telles que les big data, le cloud computing, et l'internet desobjets (IoT), etc, engendrent de nouveaux défis, dans le domaine du BPM, liés entre autresaux ressources (humaines / machines) limitées et à la nécessité d’optimiser davantagel’utilisation de ces ressources, ainsi que l’exploitation des données et événements. La notiond’événement est très importante dans le BPM. En effet, au court de son exécution, unprocessus métier génère beaucoup de données (event data/event logs). En plus, ses instancessont généralement déclenchées par des événements. C’est pourquoi, l’analyse et le traitementde ces événements ont une grande importance dans l’amélioration de la gestion de processusmétier. Dans ce papier, nous essayons de montrer comment les techniques et méthodesproposées par le domaine du traitement des événements complexes (Complex EventProcessing – CEP) peuvent être exploitées afin d’améliorer certains aspects du BPM,principalement pour les processus métier basés sur les événements.

This thesis develops and studies some principled methods for Deep Learning (DL) and deep Reinforcement Learning (RL).In Part II, we study the efficiency of DL models from the context of the Minimum Description Length principle, which formalize Occam's razor, and holds that a good model of data is a model that is good at losslessly compressing the data, including the cost of describing the model itself. Deep neural networks might seem to go against this principle given the large number of parameters to be encoded. Surprisingly, we demonstrate experimentally the ability of deep neural networks to compress the training data even when accounting for parameter encoding, hence showing that DL approaches are well principled from this information theory viewpoint.In Part III, we tackle two limitations of standard approaches in DL and RL, and develop principled methods, improving robustness empirically.The first one concerns optimisation of deep learning models with SGD, and the cost of finding the optimal learning rate, which prevents using a new method out of the box without hyperparameter tuning. When design a principled optimisation method for DL, 'All Learning Rates At Once' : each unit or feature in the network gets its own learning rate sampled from a random distribution spanning several orders of magnitude. Perhaps surprisingly, Alrao performs close to SGD with an optimally tuned learning rate, for various architectures and problems.The second one tackles near continuous-time RL environments (such as robotics, control environment, …) : we show that time discretization (number of action per second) in as a critical factor, and that empirically, Q-learning-based approaches collapse with small time steps. Formally, we prove that Q-learning does not exist in continuous time. We detail a principled way to build an off-policy RL algorithm that yields similar performances over a wide range of time discretizations, and confirm this robustness empirically.The main part of this thesis, (Part IV), studies the Successor States Operator in RL, and how it can improve sample efficiency of policy evaluation. In an environment with a very sparse reward, learning the value function is a hard problem. At the beginning of training, no learning will occur until a reward is observed. This highlight the fact that not all the observed information is used. Leveraging this information might lead to better sample efficiency. The Successor State Operator is an object that expresses the value functions of all possible reward functions for a given, fixed policy. Learning the successor state operator can be done without reward signals, and can extract information from every observed transition, illustrating an unsupervised reinforcement learning approach.We offer a formal treatment of these objects in both finite and continuous spaces with function approximators. We present several learning algorithms and associated results. Similarly to the value function, the successor states operator satisfies a Bellman equation. Additionally, it also satisfies two other fixed point equations: a backward Bellman equation and a Bellman-Newton equation, expressing path compositionality in the Markov process. These new relation allow us to generalize from observed trajectories in several ways, potentially leading to more sample efficiency. Every of these equations lead to corresponding algorithms for any function approximators such as neural networks.Finally, (Part V) the study of the successor states operator and its algorithms allow us to derive unbiased methods in the setting of multi-goal RL, dealing with the issue of extremely sparse rewards. We additionally show that the popular Hindsight Experience Replay algorithm, known to be biased, is actually unbiased in the large class of deterministic environments.; Cette thèse développe et étudie certaines méthodes de principe pour l'apprentissage profond (DL) et l'apprentissage par renforcement (RL).Dans la partie II, nous étudions le DL selon le point de vue du “Minimum Description Length” principe, qui formalise le rasoir d'Occam, et postule qu'un bon modèle prédictif est un modèle capable de compresser sans perte les données (en prenant en compte le coût de la description du modèle lui-même). Les modèles de DL, par le nombre de paramètres à encoder, semblent aller à l'encontre de ce principe. Nous démontrons expérimentalement la capacité de compression des modèles de DL, même en tenant compte de l'encodage des paramètres, montrant ainsi que ces approches sont bien fondées du point de vue de la théorie de l'information.Dans la partie III, nous étudions deux limitations des approches standard de DL et RL, et nous développons des méthodes mathématiquement bien fondées pour les dépasser;La première concerne l'optimisation des modèles de DL avec SGD, et le coût important du choix d'un bon taux d'apprentissage. Nous introduisons la méthode Alrao (All learning rates at once) : chaque unité (ou neurone) du réseau obtient son propre taux d'apprentissage tiré aléatoirement à partir d'une distribution couvrant de nombreux ordres de grandeur. De façon surprenante, Alrao obtient des résultats proches de ceux de SGD avec un taux d'apprentissage optimal, et ce pour diverses architectures et problèmes.Le second aborde les environnements de RL en temps quasi continu (robotique, contrôle, jeux vidéos,…) : nous montrons que la discrétisation temporelle (nombre d'actions par seconde) est un facteur critique, et empiriquement que les approches basées sur Q-learning ne peuvent plus apprendre quand le nombre d'action par seconde devient grand. Formellement, nous prouvons que le Q-learning n'existe pas en temps continu. Nous détaillons une méthode mathématiquement bien fondée pour construire un algorithme RL invariant à la discrétisation temporelle, et confirmons cette approche empiriquement.La partie principale de cette thèse, (Partie IV), étudie l'opérateur des états successeurs en RL, et comment il peut améliorer l'efficacité de l'apprentissage de la fonction valeur.Dans un environnement où la récompense n'est reçue que très rarement, l'apprentissage de la fonction valeur est un problème difficile. L'opérateur des états successeurs est un objet mathématique qui exprime les fonctions valeur de toutes les fonctions de récompense possibles pour une politique fixe. L'apprentissage de cet opérateur peut se faire sans signaux de récompense et peut extraire des informations de chaque transition observée, illustrant une approche de RL non supervisé.Nous proposons un traitement formel de cet objet dans des espaces finis et continus avec des approximateurs de fonctions, comme les réseaux de neurones. Nous présentons plusieurs algorithmes d'apprentissage et les résultats associés. De même que la fonction valeur, l'opérateur des états successeurs satisfait une équation de Bellman. De plus, il satisfait également deux autres équations à point fixe : une équation de Bellman en arrière et une équation de Bellman-Newton, exprimant la compositionalité des chemins dans le processus de Markov. Ces nouvelles relations nous permettent de généraliser à partir des trajectoires observées de plusieurs façons, ce qui peut conduire à une plus grande efficacité en pratique.Enfin, (partie V), l'étude de l'opérateur des états successeurs et de ses algorithmes nous permet de dériver des méthodes non biaisées dans le cadre d'un RL à buts multiples. Nous montrons en outre que l'algorithme Hindsight Experience Replay, populaire dans ce cadre mais connu pour être biaisé, est en fait non biaisé dans la classe importante des environnements déterministes.

Nowadays, Knowledge Graphs are used to represent all kinds of data and they constitute scalable and interoperable resources that can be used by decision support tools. The Scientific and Technical Center for Building (CSTB) was asked to develop a tool to help identify materials containing asbestos in buildings. In this context, we have created and populated the ASBESTOS ontology which allows the representation of building data and the results of diagnostics carried out in order to detect the presence of asbestos in the used products. We then relied on this knowledge graph to develop two approaches which make it possible to predict the presence of asbestos in products in the absence of the reference of the marketed product actually used.The first approach, called the hybrid approach, is based on external resources describing the periods when the marketed products are asbestos-containing to calculate the probability of the existence of asbestos in a building component. This approach addresses conflicts between external resources, and incompleteness of listed data by applying a pessimistic fusion approach that adjusts the calculated probabilities using a subset of diagnostics.The second approach, called CRA-Miner, is inspired by inductive logic programming (ILP) methods to discover rules from the knowledge graph describing buildings and asbestos diagnoses. Since the reference of specific products used during construction is never specified, CRA-Miner considers temporal data, ASBESTOS ontology semantics, product types and contextual information such as part-of relations to discover a set of rules that can be used to predict the presence of asbestos in construction elements.The evaluation of the two approaches carried out on the ASBESTOS ontology populated with the data provided by the CSTB show that the results obtained, in particular when the two approaches are combined, are quite promising.; De nos jours, les Graphes de Connaissances sont utilisés pour représenter toutes sortes de données et ils constituent des ressources évolutives, interopérables et exploitables par des outils d’aide à la décision. Le Centre Scientifique et Technique du Bâtiment (CSTB) a été sollicité pour développer un outil d'aide à l'identification des matériaux contenant de l'amiante dans les bâtiments. Dans ce contexte, nous avons créé et peuplé l'ontologie ASBESTOS qui permet la représentation des données des bâtiments et les résultats des diagnostics réalisés en vue de détecter la présence d’amiante dans les produits utilisés. Nous nous sommes ensuite basés sur ce graphe de connaissance pour développer deux approches qui permettent de prédire la présence d’amiante dans les produits en l’absence de la référence du produit commercialisé effectivement utilisé.La première approche, nommée approche hybride, se base sur des ressources externes décrivant les périodes où les produits commercialisés sont amiantés pour calculer une probabilité d’existence d’amiante dans un composant du bâtiment. Cette approche traite les conflits entre les ressources externes, et l’incomplétude des données répertoriées en appliquant une approche de fusion pessimiste qui ajuste les probabilités calculées en utilisant un sous-ensemble de diagnostiques.La deuxième approche, nommée CRA-Miner, s’inspire de méthodes de programmation logique inductive (PLI) pour découvrir des règles à partir du graphe de connaissances décrivant les bâtiments et les diagnostics d'amiante. La référence des produits spécifiques utilisés lors de la construction n'étant jamais spécifiée, CRA-Miner considère les données temporelles, la sémantique de l'ontologie ASBESTOS, les types de produits et les informations contextuelles telles que les relations partie-tout pour découvrir un ensemble de règles qui pourront être utilisées pour prédire la présence d'amiante dans les éléments de construction.L’évaluation des deux approches menées sur l'ontologie ASBESTOS peuplée avec les données fournies par le CSTB montrent que les résultats obtenus, en particulier quand les deux approches sont combinées, sont tout à fait prometteurs.

Usual methods to design automatic speech recognition systems require speech datasets with high quality transcriptions. These datasets are composed of the acoustic signals uttered by speakers and the corresponding word-level transcripts representing what is being said. It takes several thousand hours of transcribed speech to build a good speech recognition model. The dataset must include a variety of speakers recorded in different situations in order to cover the wide variability of speech and language. To create such a system, human annotators are asked to listen to audio tracks and to write down the corresponding text. This process is costly and can lead to errors. What is beeing said in realistic settings is indeed not always easy to understand. Poorly transcribed signals cause a drop of performance of the acoustic model. To improve the quality of the transcripts, the same utterances may be transcribed by several people, but this leads to an even more expensive process.This thesis takes the opposite view. We design algorithms which can exploit datasets with “noisy” transcriptions i.e., which contain errors. The main goal of this thesis is to reduce the costs of building an automatic speech recognition system by limiting the performance drop induced by these errors.We first introduce the Lead2Gold algorithm. Lead2Gold is based on a cost function that is tolerant to datasets with noisy transcriptions. We model transcription errors at the letter level with a noise model. For each transcript in the dataset, the algorithm searches for a set of likely better transcripts relying on a beam search in a graph. This technique is usually not used to design cost functions. We show that it is possible to explicitly add new elements (here a noise model) to design complex cost functions.We then express the Lead2Gold loss in the wFST formalism. wFSTs are graphs whose edges are weighted and represent symbols. To build flexible cost functions we can compose several graphs. With our proposal, it becomes easier to add new elements, such as a lexicon, to better characterize good transcriptions. We show that using wFSTs is a good alternative to using Lead2Gold's explicit beam search. The modular formulation allows us to design a new variety of cost functions that model transcription errors.Finally, we conduct a data collection experiment in real conditions. We observe different types of annotator profiles. Annotators do not have the same perception of acoustic signals and hence can produce different types of errors. The explicit goal of this experiment is to collect transcripts with errors and to prove the usefulness of modeling these errors.; Les méthodes usuelles pour la conception d'un système de reconnaissance automatique de la parole nécessitent des jeux de données de parole transcrite de bonne qualité. Ceux-ci sont composés du signal acoustique produit par un locuteur ainsi que de la transcription mot à mot de ce qui a été dit. Pour construire un bon modèle de reconnaissance automatique il faut plusieurs milliers d'heures de parole transcrite. Le jeu de données doit être crée à partir d'un panel de locuteurs et de situations différentes pour couvrir la variabilité de la parole et de la langue. Pour créer un tel jeu de données, on demande généralement à des annotateurs humains d'écouter les signaux acoustiques et d'écrire le texte correspondant. Ce procédé coûte cher et est source d'erreurs car ce qui est dit lors d'un enregistrement en conditions réelles n'est pas toujours facilement intelligible. Des signaux mal transcrits impliquent une baisse de performance du modèle acoustique. Pour améliorer la qualité des transcriptions, plusieurs personnes peuvent annoter le même signal acoustique, mais alors le procédé coûte encore plus cher. Cette thèse prend le contre-pied de cette démarche et propose de concevoir des algorithmes permettant d'utiliser des jeux de données dont les transcriptions sont « bruitées », c'est-à-dire qu'elles contiennent des erreurs. Le but principal est donc de réduire les coûts pour construire un système de reconnaissance automatique de la parole en limitant la perte de qualité du système induite par ces erreurs.Dans un premier temps, nous présentons l'algorithme Lead2Gold. Lead2Gold est basé sur une fonction de coût qui permet d'utiliser des jeux de données dont les transcriptions contiennent des erreurs. Nous modélisons ces erreurs par un modèle de bruit simple basé au niveau des lettres. Pour une transcription présente dans le jeu de données, l'algorithme cherche un ensemble de transcriptions probablement meilleures. Nous utilisons pour cela une recherche en faisceau dans le graphe. Une telle technique de recherche n'est habituellement pas utilisée pour la formulation d'une fonction de coût. Nous montrons qu'il est possible d'ajouter explicitement de nouveaux éléments, ici un modèle de bruit, pour créer des fonctions de coût complexes. Ensuite nous améliorons la formulation de Lead2Gold pour que la fonction de coût soit modulable. Pour cela, nous utilisons des wFST. Les wFST sont des graphes dont les arcs sont pondérés et représentent des symboles. Nous pouvons composer différents graphes pour construire des fonctions de coût de façon flexible. Avec notre proposition, il devient plus facile d'ajouter de nouveaux éléments, comme un lexique, pour mieux caractériser les bonnes transcriptions. Nous montrons que l'utilisation des wFST est une bonne alternative à l'utilisation explicite de la recherche en faisceau de Lead2Gold. La formulation modulaire nous permet de proposer une nouvelle gamme de fonctions de coût modélisant les erreurs de transcription. Enfin nous procédons à une expérience de collecte de données en conditions réelles. Nous observons les différents profils d'annotateurs. Les annotateurs n'ont pas la même perception des signaux acoustiques et les erreurs qu'ils commettent peuvent être de natures différentes. Le but explicite de cette expérience est d’obtenir des transcriptions erronées et de prouver l'utilité de modéliser ces erreurs.

My CIFRE thesis is a continuation of the theses conducted by Tsirizo Rabenoro (Rabenoro, 2015), Cynthia Faure (Faure, 2018), Florent Forest (Forest, 2021). The objective of this thesis is to develop a methodology to understand and highlight specific typologies of aircraft engine operation during reception tests carried out on test benches, and to help Safran Aircraft Engines' engineers in the design of their engines.From a theoretical point of view, the main challenge of this thesis is to model and explain the observed and unobserved physical phenomena using statistical methods and to interpret the cause using a (small) part of the explanatory variables. This work is therefore placed in the supervised and unsupervised framework, with a strong constraint, that of constructing interpretable models: we seek to indicate the contribution of each variable to the construction of the model, which is what we call measuring the importance of the variables. In addition, we seek to improve interpretability by constructing parsimonious models, i.e. such that the variables which do not contribute to their construction are excluded. In the unsupervised framework, methods for partitioning groups of observations, or \textit{clustering} methods, will be studied. The solution we are looking for must be able to be used in high dimension, must be interpretable and must be able to take into account the group structure of the variables. This type of method is known as sparse clustering methods. In the supervised framework, we propose methods modelling a phenomenon described by continuous (respectively categorical) variables, i.e. regression (respectively classification) methods. The same constraints are imposed as in the unsupervised case (handling high dimensional data, being sparse, indicating the importance of the variables, taking into account the group structures of the variables). Moreover, let us note that we want to model a physical phenomenon with the aim of explaining its principles and that we are therefore not (directly) interested in the predictive aspects. This point is extremely important because we will see that explaining a phenomenon and explaining the prediction of the associated model are two goals that can be contradictory.A specific feature of sparse algorithms is that they depend on a parameter to be adjusted (in the same way as clustering methods). Different values of this parameter give rise to different models and it is necessary to choose between all these models. Thus, it is essential to have an efficient model selection method. It must be emphasised that model selection is a major challenge in unsupervised clustering. Indeed, there is no universally accepted method to evaluate clustering results for the obvious reason that there is no ground truth against which the results can be compared. This is also the case when one is interested in variable selection (sparse models) and variable importance, even in the supervised framework, as one never has the set of variables and the variable importance defining the underlying phenomenon under study.; Mon travail de thèse CIFRE s’inscrit dans la continuité des thèses menées par Tsirizo Rabenoro (Rabenoro,2015), Cynthia Faure (Faure, 2018), Florent Forest (Forest, 2021). L’objectif de cette thèse est de développer une méthodologie pour comprendre et mettre en évidence des typologies spécifiques du fonctionnement des moteurs d’avion lors de tests de réception effectués sur des bancs d’essai, et d’aider les ingénieurs métier de Safran Aircraft Engines dans l’analyse des résultats.Du point de vue théorique, l'enjeu principal de ce travail de thèse est de modéliser et expliquer les phénomènes physiques observés et non observés à l'aide de méthodes statistiques et d'en interpréter la cause à l'aide d'une (petite) partie des variables explicatives. Ce travail se place donc dans le cadre supervisé et non supervisé, avec une contrainte forte, celle de construire des modèles interprétables: on cherche à indiquer la contribution de chaque variable à la construction du modèle, c'est ce que l'on appelle mesurer l'\emph{importance des variables}. En outre, on cherche à améliorer l'interprétabilité en construisant des modèles parcimonieux ou \emph{sparses} en anglais, c'est-à-dire tels que les variables qui ne contribuent pas à leur construction en soient exclues. Dans le cadre non supervisé, des méthodes de partitionnement de groupes d'observations, ou méthodes de \textit{clustering} en anglais, vont être étudiées. La solution que nous cherchons doit pouvoir s'utiliser en grande dimension, doit être interprétable et elle doit pouvoir tenir compte de la structure de groupes des variables. Ce type de méthode est connu sous le nom de méthodes de clustering sparse. Dans le cadre supervisé, nous proposons des méthodes modélisant un phénomène décrit par des variables continues (respectivement catégorielles), c'est-à-dire des méthodes de régression (respectivement de classification). On impose les mêmes contraintes que dans le cas non supervisé (gérer des données de grande dimension, être sparse, indiquer l'importance des variables, tenir en compte des structures de groupes de variables). Par ailleurs, remarquons que nous voulons modéliser un phénomène physique dans le but d'en expliquer les principes et donc que nous ne sommes pas (directement) intéressés par les aspects prédictifs. Ce point est extrêmement important car nous verrons qu'expliquer un phénomène et expliquer la prédiction du modèle associé sont deux buts qui peuvent être contradictoires.Une caractéristique propre aux algorithmes sparses est qu'ils dépendent d'un paramètre à ajuster (au même titre que les méthodes de clustering). Différentes valeurs de ce paramètre donnent naissance à différents modèles et il est nécessaire de choisir entre tous ces modèles. Ainsi, il est primordial de disposer d'une méthode de sélection de modèle efficace. Il faut insister sur le fait que la sélection de modèle est un défi majeur en clustering non supervisé. En effet, il n'existe pas de méthode universellement admise pour évaluer les résultats du clustering pour la raison évidente qu'il n'y a pas de vérité de terrain par rapport à laquelle les résultats pourraient être comparés. C'est aussi le cas lorsque l'on s'intéresse à la sélection de variables (modèles sparses) et à l'importance de variables, même dans le cadre supervisé, car on ne dispose jamais du \emph{vrai} ensemble de variables et des \emph{vraies} importances de variables définissant le phénomène sous-jacent étudié.

National audience; ENJEUX DE RECHERCHE, HYPOTHÈSES - Il existe de nombreux services sur le web pour réaliser de la transcription automatique de la parole (Google, Microsoft Bing, IBM, SpeechMatics, Wit…), mais ceux-ci, bien que basés sur d'immenses corpora de fichiers de parole, ne produisent pas de bonnes performances dès que la parole s'éloigne du cadre typique de prononciation. • Il existe de nombreux facteurs pouvant altérer la parole et la faire dévier du cadre standard : les pathologies (personnes atteintes de cancer ORL, de maladies neuro-dégénératives, de troubles de la voix…), les variations liées à l'accent régional/social, les conditions extrêmes liées à des environnements bruités, la production dans des domaines d'applications très spécifiques (conversations dans le cadre de la régulation du transport aérien, consultations dans des cabinets d'orthophonie…) • Ces paroles "atypiques" [1] ne donnent pas de bons résultats de reconnaissances avec ces outils en ligne, les outils disponibles dans les laboratoires de recherche obtiennent de meilleurs résultats [2] - APPROCHES, MATÉRIELS, MÉTHODES - • Mettre en place en 10 mois une plateforme expérimentale • Permettant d’améliorer l’accessibilité des résultats de recherche • Interface et spécifications validées par laboratoire LPL • Recrutement ingénieur « full stack » pour mettre en place le serveur et les services associés - RÉSULTATS OBTENUS - • Plateforme en service o Une interface de démonstration, facilement utilisable : https://paty.irit.fr/demo/ o Un deuxième service permettant le traitement par lots, nécessitant une authentification, la répartition de charge : https://paty.irit.fr/ • Exportation (à différents formats) : o Scores de confiance o Alignements • Modèles disponibles (issus de projets et de travaux de doctorants SAMOVA) : o Grand vocabulaire FR (Abdelwahab Heba) o Grand vocabulaire Common Voice FR (Lila Gravellier) o Phonèmes adultes et enfant FR (Lucile Gelin) o Erreur prononciation (Projet ALAIA) o Alignement Speedvel (Projet ANR LPL)

International audience; Les algorithmes de Super-Résolution (SR) pour le traitement d’images ont beaucoup progressé ces dernières années. L’utilisation de réseaux convolutifs profonds fournit actuellement les résultats les plus impressionnants. Cependant, très peu de ces techniques sont utilisées en pratique dans des logiciels d’infographie, du fait de pré-requis techniques importants (taille des réseaux en mémoire, calculs nécessitant des GPUs), mais aussi parce que l’utilisateur n’a que très peu de contrôle sur le résultat généré. Pour pallier ces problèmes, nous proposons une approche de super-résolution en deux temps, baptisée 'Super-Résolution stylisée ', qui repose sur une architecture multi-échelle composée de branches convolutives parallèles et indépendantes pour la génération d’images. Notre contribution est ainsi double, avec la description : i. d’un réseau léger inspiré des méthodes de filtrage classiques de traitement d’images, facilement utilisable sur des systèmes sans GPU et à capacité mémoire limitée ; ii. d’un réseau polyvalent et personnalisable, autorisant un contrôle fin de la stylisation du rendu.

The recent success of convolutional neural networks in high-dimensional learning problems motivated the development of new machine learning techniques in different fields. In particular, a lot of progress has been made in image classification and energy regression in physics in the last years.These two problems are multi-scale.Molecules' and solids' energy results from interactions at different scales, e.g., ionic and covalent bonds at the short scale, Van-der-Waals interactions at the mesoscale, Coulomb interactions at the large scale.One can classify an image using texture information at the small scale, pattern information at a larger scale, or shape information at the object scale. There is a natural analogy between local image classification techniques based on small image patches and local energy regression techniques based on small atomic neighborhood descriptions.This dissertation studies the efficiency of local methods in image classification and energy regression. We observe that local methods perform surprisingly well in image classification and energy regression despite these two problems' multi-scale nature. We first study comparatively multi-scale and local energy regression techniques for molecules and solids. We notice that local methods perform very well, even for solids with long-range energy components.We present a new strategy to regress the vibrational entropy in solids.Again, we observe that a local method based on atomic neighborhood description has better predictive power than a multi-scale strategy. We introduce a structured convolutional network architecture for image classification based on patch encoding that reaches an accuracy that is competitive with standard convolutional networks on ImageNet.We present an image classifier based on image patches K-nearest-neighbors computations that achieves state-of-the-art performance as a non-learned representation.We end this dissertation with an opening on artistic creativity in the context of human-machine interactive systems., Les réseaux de neurones profonds ont permis récemment d'importants progrès dans les problèmes d’apprentissage en grande dimension, notamment en classification d'images et en régression d'énergie en physique. Ces deux problèmes sont de nature multi-échelle. En effet, l'énergie des molécules et des solides résulte d'interactions à différentes échelles, avec par exemple les liaisons ioniques et covalentes à petite échelle, les interactions de Van-der-Waals aux échelles moyennes et les interactions de Coulomb à grande échelle. De même, on peut classifier une image en utilisant des informations de texture à petite échelle, des informations de motif à moyenne échelle ou des informations de forme à l'échelle de l’objet. De plus, il existe une analogie naturelle entre les techniques de classification d'images dites locales, basées sur des petits patch d'image, et les techniques de régression énergétique dites locales, basées sur la description de petits voisinages atomiques dans les molécules ou les solides. Dans ce manuscrit, nous étudions l'efficacité des méthodes locales pour la classification d'images et la régression d'énergie en physique. On observe que les méthodes locales sont étonnamment performantes pour ces deux problèmes, et ce malgré la nature multi-échelle de ces problèmes.Tout d'abord, nous étudions comparativement des techniques multi-échelles et locales pour la régression d'énergie de molécules et solides. Nous constatons que les méthodes locales sont très performantes, même pour les solides avec des composantes énergétiques à longue portée.Nous présentons une nouvelle méthode pour la régression d'entropie vibrationnelle dans les solides. Là encore, nous observons qu'une méthode utilisant des descripteurs locaux donne de bien meilleurs résultats que la stratégie multi-échelle étudiée. Pour la classification d'images, nous présentons un réseau de neurones convolutif structuré basé sur l'encodage de patch. Cette architecture donne des performances comparables à des réseaux convolutifs standards sur la base de données ImageNet. Enfin nous présentons un classificateur d'images basé sur des calculs de K-plus-proches-voisins de patch d’images, et dont les performances surprenantes suggèrent une forme de basse dimension des patch d’images. Nous terminons cette dissertation par une ouverture sur les dispositifs interactifs humain-machine pour la création artistique.

National audience; Cet ouvrage aborde en profondeur et de manière très illustrée l’ensemble des points du programme de MP2I et de MPI et propose ainsi : une revue large des principaux types d’algorithmes et de leurs paradigmes. Les principes méthodologiques de ces algorithmes sont décrits, leurs implémentations en C et OCaml, les deux langages au programme, proposées, et des exemples applicatifs développés ;des notions de programmation, à la fois théoriques et pratiques, avec le développement des algorithmes en C et OCaml ; la théorie des langages formels et leur manipulation par des automates finis ;une introduction aux bases de données et une description applicative en langage SQL ;des éléments de logique et de calcul propositionnel ;une introduction à la gestion des ressources mémoire et des problèmes de synchronisation et de concurrence dans une machine.Pour chacune de ces parties, les notions théoriques sont introduites, les différents algorithmes et méthodes développés et de nombreux exemples viennent illustrer chaque concept. Des exercices corrigés permettent de mettre en pratique les différents éléments abordés.

National audience; Au cours de cette table ronde, les enseignants seront amenés à aborder la question de la transformation pédagogique sous l’angle de leurs pratiques numériques ainsi que de celles de leurs étudiants : sous quelles conditions l’utilisation du numérique dans les enseignements peut-elle améliorer les apprentissages ?Cela nous amènera à questionner les participants sur les compétences et l’accompagnement nécessaires pour l’utilisation de ces nouveaux outils, leur acceptabilité ainsi que la façon d’évaluer leur impact sur les apprentissages. Nous aborderons également ensemble la question de l’impact de la crise sanitaire sur les dynamiques de production, de diffusion et d’utilisation des ressources numériques.

People with head and neck cancers have speech difficulties after surgery or radiation therapy. It is important for health practitioners to have a measure that reflects the severity of speech. To produce this measure, a perceptual study is commonly performed with a group of five to six clinical experts. This process limits the use of this assessment in practice. Thus, the creation of an automatic measure, similar to the severity index, would allow a better follow-up of the patients by facilitating its obtaining. To realise such a measure, we relied on a reading task, classically performed. We used the recordings of the C2SI-RUGBI corpus, which includes more than 100 people. This corpus represents about one hour of recording to model the severity index. In this PhD work, a review of state-of-the-art methods on speech, emotion and speaker recognition using little data was undertaken. We then attempted to model severity using transfer learning and deep learning. Since the results were not usable, we turned to the so-called "few shot" techniques (learning from only a few examples). Thus, after promising first attempts at phoneme recognition, we obtained promising results for categorising the severity of patients. Nevertheless, the exploitation of these results for a medical application would require improvements. We therefore performed projections of the data from our corpus. As some score slices were separable using acoustic parameters, we proposed a new entropic measurement method. This one is based on self-supervised speech representations on the Librispeech corpus: the PASE+ model, which is inspired by the Inception Score (generally used in image processing to evaluate the quality of images generated by models). Our method allows us to produce a score similar to the severity index with a Spearman correlation of 0.87 on the reading task of the cancer corpus. The advantage of our approach is that it does not require data from the C2SI-RUGBI corpus for training. Thus, we can use the whole corpus for the evaluation of our system. The quality of our results has allowed us to consider a use in a clinical environment through an application on a tablet: tests are underway at the Larrey Hospital in Toulouse., Les personnes atteintes de cancers des voies aérodigestives supérieures présentent des difficultés de prononciation après des chirurgies ou des radiothérapies. Il est important pour le praticien de pouvoir disposer d'une mesure reflétant la sévérité de la parole. Pour produire cette mesure, il est communément pratiqué une étude perceptive qui rassemble un groupe de cinq à six experts cliniques. Ce procédé limite l'usage de cette évaluation en pratique. Ainsi, la création d'une mesure automatique, semblable à l'indice de sévérité, permettrait un meilleur suivi des patients en facilitant son obtention. Pour réaliser une telle mesure, nous nous sommes appuyés sur une tâche de lecture, classiquement réalisée. Nous avons utilisé les enregistrements du corpus C2SI-RUGBI qui rassemble plus de 100 personnes. Ce corpus représente environ une heure d'enregistrement pour modéliser l'indice de sévérité. Dans ce travail de doctorat, une revue des méthodes de l'état de l'art sur la reconnaissance de la parole, des émotions et du locuteur utilisant peu de données a été entreprise. Nous avons ensuite essayé de modéliser la sévérité à l'aide d'apprentissage par transfert et par apprentissage profond. Les résultats étant non utilisables, nous nous sommes tourné sur les techniques dites "few shot" (apprentissage à partir de quelques exemples seulement). Ainsi, après de premiers essais prometteurs sur la reconnaissance de phonèmes, nous avons obtenu des résultats prometteurs pour catégoriser la sévérité des patients. Néanmoins, l'exploitation de ces résultats pour une application médicale demanderait des améliorations. Nous avons donc réalisé des projections des données de notre corpus. Comme certaines tranches de scores étaient séparables à l'aide de paramètres acoustiques, nous avons proposé une nouvelle méthode de mesure entropique. Celle-ci est fondée sur des représentations de la parole autoapprise sur le corpus Librispeech : le modèle PASE+, qui est inspiré de l'Inception Score (généralement utilisé en image pour évaluer la qualité des images générées par les modèles). Notre méthode nous permet de produire un score semblable à l'indice de sévérité avec une corrélation de Spearman de 0,87 sur la tâche de lecture du corpus cancer. L'avantage de notre approche est qu'elle ne nécessite pas des données du corpus C2SI-RUGBI pour l'apprentissage. Ainsi, nous pouvons utiliser l'entièreté du corpus pour l'évaluation de notre système. La qualité de nos résultats nous a permis d'envisager une utilisation en milieu clinique à travers une application sur tablette : des tests sont d'ailleurs en cours à l'hôpital Larrey de Toulouse.

The objective of this thesis is to develop a way to detect weeds in a field using multispectral images, in order to determine which weeds should be eliminated during the current crop cycle and more particularly at the early stages. The multi-criteria approach focuses on the spatial arrangement, the spectral signature, the morphology and the texture of the plants located in the plots. This work proposes a method for selecting the best criteria for optimal discrimination for a given setup. Prior to the extraction of these criteria, a set of methods was developed in order to correct the errors of the acquisition device, to precisely detect the vegetation and then to identify within the vegetation the individuals on which the different criteria can be computed. For the individual detection step, it appears that leaf scale is more suitable than plant scale. Vegetation detection and leaf identification are based on deep learning methods capable of processing dense foliage. The introduction of these methods in a usual processing chain constitutes the originality of this manuscript where each part was the subject of an article. Concerning the acquisition device, a method of spectral band registration was developed. Then, new vegetation indices based on artificial intelligence constitute one of the scientific advances of this thesis. As an indication, these indices offer a mIoU of 82.19% when standard indices ceil at 63.93%-73.71%. By extension, a leaf detection method was defined and is based on the detection of their contours, this method seems advantageous on our multispectral data. Finally, the best property pairs were defined for crop/weed discrimination at leaf level, whith classification performances up to 91%., L'objectif de cette thèse est de mettre au point un moyen de détecter les adventices dans un champ à l'aide d'images multispectrales, afin de pouvoir déterminer quelles sont les adventices à éliminer pendant le cycle de culture en cours et plus particulièrement aux stades précoces. L'approche multi-critère s'intéresse à la disposition spatiale, à la signature spectrale, à la morphologie et à la texture des plantes présentes dans les parcelles. Ce manuscrit propose une méthode permettant de sélectionner les meilleurs critères pour une discrimination optimale dans un contexte donné. Préalablement à l'extraction de ces critères, un ensemble de méthodes ont été développées afin de corriger les erreurs du dispositif d'acquisition, de détecter précisément la végétation, puis d'identifier au sein de la végétation les individus sur lesquels les différents critères peuvent être extraits. Pour l'étape de détection des individus, il s'est révélé que l'échelle de la feuille était plus adaptée que celle de la plante. La détection de la végétation et l'identification des feuilles s'appuient sur des méthodes d'apprentissage profond, capables de traiter des feuillages denses. L'introduction de ces méthodes dans une chaîne de traitement usuelle constitue l'originalité de ce manuscrit où chaque partie a fait l'objet d'un article. Concernant le dispositif d'acquisition, une méthode de recalage des bandes spectrales a été développée, et les résultats montrent une précision de l'ordre du pixel. Ensuite, de nouveaux indices de végétation reposant sur de l'intelligence artificielle constituent l'une des avancées scientifiques de cette thèse. A titre indicatif, ces indices permettent d'atteindre 82.19% de mIoU contre 63.93%-73.71% pour des indices standards et fonctionnent en environnement non-contrôlé. Par extension, une méthode de détection des feuilles a été définie. Elle repose sur la détection de leurs contours, et semble avantageuse sur nos données multispectrales. Finalement, les meilleurs couples de propriétés ont été définis pour la discrimination culture/adventices à l'échelle de la feuille, dont les performances atteignent 91% de classification.

In this paper, we focus on end-to-end architectures designed to tackle spoken language understanding problems. We propose encoder-decoder architectures with an attention mechanism that focuses on relevant contextual acoustic features to hypothesize semantic contents. A first architecture has been built in order to extract pronounced words and concepts from speech. Tested on the M EDIA dataset, it obtains good results, and combined with a language model, it lowers the error by 2.8 points from the state-of-the-art results with end-to-end systems. With this same architecture, we propose a new configuration allowing to predict both concepts and their values. Lastly, a new architecture is proposed, composed of multiple chained decoders for a single encoder. With this architecture, we aim to improve the decoder with both linguistic and acoustic informations., Dans cet article, nous nous intéressons au problème de la compréhension de la parole et à sa résolution dans le cadre d'architectures dites bout-en-bout. Les différentes architectures proposées, basées sur des modèles neuronaux encodeurs-décodeurs avec mécanisme d'attention permettent d'émettre des hypothèses de contenus sémantiques directement à partir des caractéristiques acoustiques. Une première architecture a été conc ¸ue afin d'extraire à la fois les mots prononcés et les concepts. Testée sur le corpus MEDIA, elle permet une réduction d'erreur en absolu de 2,8 points par rapport à l'état de l'art. Avec cette même architecture, nous proposons une configuration originale permettant d'émettre également des hypothèses sur les valeurs des concepts. Enfin, une architecture composée de plusieurs décodeurs neuronaux chaînés pour un seul encodeur est testée dans l'objectif d'enrichir le décodeur d'informations linguistiques en plus des informations acoustiques.

L'objectif de ce document est de fournir des critères pour l'évaluation des impacts environnementaux des réponses aux appels à projet impliquant des méthodes d'Intelligence Artificielle (IA). Lors de la proposition de ces critères, nous prenons en compte, en plus des impacts généraux des services numériques, les spécificités du domaine de l'IA et en particulier de l'apprentissage automatique : impacts des phases d'apprentissage et d'inférence, collecte des données...

Les forêts aléatoires prudentes sont conçues pour prendre des décisions indéterminées lorsque l'incertitude est trop forte. Puisque l'indétermination a un coût, il semble cependant souhaitable de comprendre pourquoi une décision précise n'a pu être prise pour une instance particulière. Nous proposons pour cela d'utiliser la notion d'explication contrefactuelle. Nous cherchons quelles modifications minimales peuvent être apportées à une instance pour que la décision indéterminée devienne déterminée. Dans cet article, nous proposons un algorithme efficace pour générer des exemples contrefactuels pour des forêts aléatoires prudentes. Nous évaluons l'efficacité de notre stratégie sur différents ensembles de données et nous l'illustrons sur deux études de cas simples portant sur des données tabulaires et des images.

Pre-trained Transformer-based word embeddings are now widely used in text mining where they are known to significantly improve supervised tasks such as text classification, named entity recognition and question answering. Since the Transformer models create several different embeddings for the same input, one at each layer of their architecture, various studies have already tried to identify those of these embeddings that most contribute to the success of the above-mentioned tasks. In contrast the same performance analysis has not yet been carried out in the unsupervised setting. In this paper we evaluate the effectiveness of Transformer models on the important task of text clustering. In particular, we present a clustering ensemble approach that harnesses all the network’s layers. Numerical experiments carried out on real datasets with different Transformer models show the effectiveness of the proposed method compared to several baselines., Les plongements de mots pré-entraînés basés sur les modèles Transformeur sont maintenant largement utilisés dans l'exploration de textes où ils sont connus pour améliorer de manière significative les tâches supervisées telles que la classification supervisée de textes, la reconnaissance d'entités nommées et la réponse aux questions. Puisque les modèles Transformeur créent plusieurs plongements différents pour la même entrée, un à chaque couche de leur architecture, diverses études ont déjà essayé d'identifier ceux de ces plongements qui contribuent le plus au succès des tâches mentionnées ci-dessus. En revanche, la même analyse des performances n'a pas encore été réalisée dans le cadre non supervisé. Dans cet article, nous évaluons l'efficacité des modèles Transformeur sur l'importante de la tâche de classification non supervisée de documents. En particulier, nous présentons une approche \emph{clustering ensemble} qui exploite toutes les couches du réseau. Des expériences numériques menées sur des ensembles de données réels avec différents modèles Transformeur montrent l'efficacité de la méthode proposée par rapport à plusieurs stratégies habituellement utilisées.

Deep learning applications are rapidly expanding and show no signs of slowing down. Neural network topologies are becoming larger and more complex for challenging real-life problems.This increased complexity necessitates more time and expertise from professionals, as well as a significant financial investment for AI companies.Neural Architecture Search is a novel Machine Learning paradigm that seeks to determine the best NN architecture for a given problem. NAS techniques, on the other hand, have only been studied and developed in limited, well-defined Machine Learning problems, which are not representative of all existing ML scenarios.This thesis focuses on the research and development of the NAS approaches for new tasks as well as a new learning framework that is more relevant to real-world applications.We suggested using a neuro-evolutionary NAS framework to solve the extreme multi-label classification challenge in particular.We combined convolution and recurrent networks to provide a more appropriate space search for this assignment.On several datasets, we evaluate the performance of the searched network. We also looked at the challenge of reconstructing an RSSI map, which is a more difficult process due to the lack of input data and the fact that it is only partially annotated. In this way, we provide a system for semantic segmentation task dynamic architecture search with a minimal number of annotated samples. We investigated multiple semi-supervised learning algorithms in this framework to see which one was the most successful at using unlabeled samples.We looked at a number of strategies, including "traditional" and "new" semi-supervision approaches, as well as self-supervision approaches., Les applications d'apprentissage profond se développent rapidement et ne montrent aucun signe de ralentissement. Les topologies des réseaux neuronaux deviennent de plus en plus grandes et complexes pour résoudre les problèmes de la vie réelle.Cette complexité accrue nécessite plus de temps et d'expertise de la part des professionnels, ainsi qu'un investissement financier important pour les entreprises d'IA.La recherche d'architecture neuronale (RAN) est un nouveau paradigme d'apprentissage automatique qui cherche à déterminer la meilleure architecture de réseau neuronal pour un problème donné. Les techniques de RNA, d'autre part, n'ont été étudiées et développées que dans des problèmes d'apprentissage automatique limités et bien définis, qui ne sont pas représentatifs de tous les scénarios d'apprentissage automatique existants.Cette thèse se concentre sur la recherche et le développement des approches RAN pour de nouvelles tâches ainsi que sur un nouveau cadre d'apprentissage qui est plus pertinent pour les applications du monde réel.Nous avons proposé d'utiliser un cadre RAN neuro-évolutif pour résoudre le défi extrême de la classification multi-label en particulier.Nous avons combiné des réseaux de convolution et récurrents pour fournir une recherche spatiale plus appropriée à cette tâche.Sur plusieurs jeux de données, nous évaluons la performance du réseau recherché. Nous avons également examiné le défi de la reconstruction d'une carte RSSI, qui est un processus plus difficile en raison du manque de données d'entrée(c'est-à-dire données partiellement annotées). De cette façon, nous proposons un système de recherche d'architecture dynamique pour les tâches de segmentation sémantique avec un nombre minimal d'échantillons annotés. Nous avons étudié plusieurs algorithmes d'apprentissage semi-supervisé dans ce cadre afin de déterminer celui qui réussit le mieux à utiliser des échantillons non étiquetés.Nous avons examiné un certain nombre de stratégies, y compris des approches de semi-supervision "traditionnelles" et "nouvelles", ainsi que des approches d'auto-supervision.

Les forêts aléatoires sont une stratégie de classification efficace qui estime les probabilités a posteriori des classes en calculant la moyenne des probabilités fournies par les arbres. Lorsque les données d'entraînement sont peu nombreuses, cette estimation devient difficile. Le modèle de Dirichlet imprécis peut être utilisé pour rendre l'estimation robuste en fournissant des intervalles de probabilités en sortie de chaque arbre. Se pose alors la question de l'agrégation des ces intervalles. Nous proposons ici une nouvelle stratégie d'agrégation basée sur la théorie des fonctions de croyance. Nous proposons également d'attribuer des poids aux arbres en fonction de leur degré d'incertitude lors de la classification d'une nouvelle instance. Notre approche est comparée expérimentalement à l'approche de base (moyenne des intervalles) sur plusieurs jeux de données.

Contextualized language models based on the Transformer architecture such as BERT (Bidirectional Encoder Representations from Transformers) have achieved remarkable performances in various language processing tasks. CamemBERT and FlauBERT are pre-trained versions for French.We used these two models to automatically classify free clinical notes from emergency department visits following a trauma. Their performances were compared to the TF-IDF (Term-Frequency - Inverse Document Frequency) method associated with the SVM (Support Vector Machine) classifier on 22481 clinical notes from the emergency department of the Bordeaux University Hospital. CamemBERT and FlauBERT obtained slightly better results than the TF-IDF/SVM couple for the micro F1-score. These encouraging results allow us to consider further developments in the use of transformers in the automation of emergency department data processing in order to consider the implementation of a national observatory of trauma in France., Les modèles de langue contextualisés basés sur l'architecture Transformer tels que BERT (Bidirectional Encoder Representations from Transformers) ont atteint des performances remarquables dans des diverses tâches de traitement de la langue. CamemBERT et FlauBERT en sont des versions pré-entraînées pour le français. Nous avons utilisé ces deux modèles afin de classer automatiquement des notes cliniques libres issues de visites aux urgences à la suite d'un traumatisme. Leurs performances ont été comparées à la méthode TF-IDF (Term-Frequency-Inverse Document Frequency) associé au classifieur SVM (Support Vector Machine) sur 22481 notes cliniques provenant du service des urgences du CHU de Bordeaux. CamemBERT et FlauBERT ont obtenu des résultats légèrement supérieurs à ceux du couple TF-IDF/SVM pour le micro F1-score. Ces résultats encourageants permettent d'envisager l'utilisation des transformers pour automatiser le traitement des données des urgences dans le cadre de la mise en place d'un observatoire national du traumatisme en France.

In France, structured data on emergency room visits are aggregated at the national level to build a syndromic surveillance system for different health events. For visits motivated by a traumatic event, information on the circumstances is stored in free text clinical notes. Automating the processing of these notes should allow the enrichment of surveillance tools. In development at Inserm and the Emergency Department of the Bordeaux University Hospital, The TARPON (for Automatic Processing of Emergency Room Notes for a National Observatory, in French) project aims to meet this objective by using the latest deep learning tools applied to automatic language analysis. To exploit these data, an automatic de-identification system, guaranteeing the protection of personal data, is necessary. We present here a comparison study of models allowing the de-identification of clinical texts in French., En France, les données structurées concernant les visites aux urgences sont agrégées au niveau national pour construire un système de surveillance syndromique de différents événements de santé. Pour les visites motivées par un événement traumatique, les informations sur les circonstances sont stockées dans des notes cliniques en texte libre. Automatiser le traitement de ces notes devrait permettre l'enrichissement des outils de surveillance. En développement à l'Inserm et au Service des urgences du CHU de Bordeaux, le projet TARPON (Traitement Automatique des Résumés de Passages aux urgences pour un Observatoire National) vise à répondre à cet objectif par le biais des derniers outils d'apprentissage profond appliqués à l'analyse automatique du langage. Pour exploiter ces données, un système de désidentification automatique, garantissant la protection des données personnelles est nécessaire. Nous présentons ici une étude de comparaison de modèles permettant la désidentification des textes cliniques en français.

Cyber-physical and ambient systems consist of fixed or mobile devices connected through communication networks. These devices host software components that provide services and may require other services to operate. These software components are usually developed, installed, and activated independently of each other and, with the mobility of users and devices, they may appear or disappear unpredictably. This gives cyber-physical and ambient systems an open and changing character. Software components are bricks that can be assembled to form applications. But, in such a dynamic and open context, component assemblies are difficult to design, maintain and adapt. Applications are used by humans who are at the heart of these systems. Ambient intelligence aims to offer them a personalized environment adapted to the situation, i.e. to provide the right application at the right time, anticipating their needs, which may also vary and evolve over time. To answer these problems, our team is exploring an original approach called "opportunistic software composition", which consists in automatically building applications on the fly from components currently available in the environment, without relying on explicit user needs or predefined assembly plans. In this way, applications emerge from the environment, taking advantage of opportunities as they arise. This thesis defines a software architecture for opportunistic software composition and proposes an intelligent system, called "opportunistic composition engine", in order to automatically build relevant applications, both adapted to the user and to the surrounding environment. The opportunistic composition engine periodically detects the components and their services that are present in the ambient environment, builds assemblies of components, and proposes them to the user. It automatically learns the user's preferences according to the situation in order to maximize user satisfaction over time. Learning is done online by reinforcement. It is decentralized within a multi-agent system in which agents interact via a protocol that supports dynamic service discovery and selection. To learn from and for the user, the latter is put in the loop. In this way, he keeps control over his ambient environment, and decides on the relevance of the emerging application before it is deployed. The solution has been implemented and tested. It works in conjunction with an interface that describes the emerging applications to the user and allows him to edit them. The user's actions on this interface are sources of feedback for the engine and serve as an input to the reinforcement learning mechanism., Les systèmes cyber-physiques et ambiants sont constitués d'appareils fixes ou mobiles reliés par des réseaux de communication. Ces appareils hébergent des composants logiciels qui fournissent des services et peuvent nécessiter d'autres services pour fonctionner. Ces composants logiciels sont généralement développés, installés et activés indépendamment les uns des autres et, avec la mobilité des utilisateurs et des appareils, ils peuvent apparaître ou disparaître avec une dynamique imprévisible. Ceci donne aux systèmes cyber-physiques et ambiants une nature ouverte et changeante. Les composants logiciels sont des briques que l'on peut assembler pour former des applications mais, dans un tel contexte de dynamique et d'ouverture, les assemblages de composants sont difficiles à concevoir, à maintenir et à adapter. Les applications sont utilisées par des humains qui sont donc au cœur de ces systèmes. L'intelligence ambiante vise à leur offrir un environnement personnalisé adapté à la situation, c'est-à-dire à fournir la bonne application au bon moment, en anticipant leurs besoins, qui peuvent aussi changer dans le temps. Pour répondre à ces problèmes, notre équipe explore une approche originale appelée "composition logicielle opportuniste" qui consiste à construire automatiquement des applications à la volée à partir des composants disponibles sur le moment dans l'environnement, sans s'appuyer sur des besoins explicites de l'utilisateur ni sur des plans d'assemblage prédéfinis. Ainsi, les applications émergent de l'environnement, en tirant parti des opportunités au fur et à mesure qu'elles se présentent. Cette thèse définit une architecture logicielle pour la composition logicielle opportuniste et propose un système intelligent, appelé "moteur" de composition opportuniste, afin de construire automatiquement des applications pertinentes, à la fois adaptées à l'utilisateur et à l'environnement ambiant. Le moteur de composition opportuniste détecte périodiquement les composants et leurs services présents dans l'environnement ambiant, construit des assemblages de composants et les propose à l'utilisateur. Il apprend automatiquement les préférences de l'utilisateur en fonction de la situation afin de maximiser ultérieurement sa satisfaction. L'apprentissage se fait en ligne par renforcement. Il est décentralisé au sein d'un système multi-agent dans lequel les agents interagissent via un protocole qui prend en charge la découverte et la sélection dynamique de services. Pour apprendre de l'utilisateur et pour l'utilisateur, ce dernier est mis dans la boucle. Ainsi, il garde le contrôle sur son environnement ambiant, et décide de la pertinence de l'application émergente avant qu'elle ne soit déployée. La solution a été implémentée et expérimentée. Elle fonctionne de manière couplée avec une interface qui décrit les applications émergentes à l'utilisateur et lui permet de les modifier. Les actions de l'utilisateur sur cette interface sont sources de feedback pour le moteur et servent à alimenter le mécanisme d'apprentissage par renforcement.

International audience; Les dysfonctionnements cognitifs sont fréquemment signalés par les patients qui souffrent d'une pathologie neurologique. Parmi les difficultés cognitives rapportées, nous retrouvons des troubles du langage appelés aphasie. Ceux-ci peuvent se révéler invalidant dans la vie quotidienne, véritable « handicap invisible », bien réel pour les patients. L'identification des troubles phasiques nécessite une évaluation spécifique par le biais de tests lexicaux, évaluant l'accès aux mots. La plupart des tests utilisés en routine clinique-fluence verbale, dénomination-mesurent l'exactitude via un score de bonnes réponses mais peu fréquemment le temps de réaction. Au vu de la complexité des processus cognitifs en jeu lors de la réalisation de ces tâches, une analyse qualitative rigoureuse est essentielle afin de mettre à jour les stratégies de réponse de chaque patient. Dans ce contexte, l’utilisation de tests informatisés constitue une piste intéressante. Ainsi, une première collaboration entre les équipes SAMoVA, ToNIC et Octogone-Lordat a permis d’envisager un outil de traitement informatisé de trois tâches d’évaluation lexicale (fluence verbale [1][2], dénomination d’image et génération verbale [3]) et a conduit à un premier développement du logiciel EVOLEX [4][5]. En s’appuyant sur une plateforme logicielle full-web mise au point par le partenaire COVIRTUA Healthcare, l’équipe a ensuite développé une version plus complète et facile d’utilisation. Les thérapeutes peuvent désormais faire passer les tâches et corriger si nécessaire (cas de parole très altérée) les réponses fournies par les participants à l’aide d’un navigateur web, nécessitant seulement une connexion à internet. Les fichiers sonores recueillis sont envoyés de manière sécurisée sur un serveur distant de l’IRIT et sont traités automatiquement. En quelques instants, les thérapeutes peuvent visualiser les résultats. Le système de reconnaissance vocale, donnant à la fois la transcription du mot identifié et le temps de réponse du patient, est basé sur les techniques de réseaux de neurones profonds avec l’outil Kaldi [6]. La performance du moteur est excellente avec un taux d’erreur de mots proche de 10%. Le résultat de l’analyse est présenté via une interface logicielle intuitive, permettant la relecture, l’identification rapide des doutes de la transcription, et, le cas échéant, la modification manuelle par le thérapeute (voir Figure 1). Cette utilisation de la reconnaissance vocale, appliquée à des outils d’évaluation cognitive dans le cadre de pathologies neurologiques permet une recherche translationnelle à l’interface de la clinique neurologique, orthophonique et neuropsychologique d’une part, et celui de la recherche fondamentale en psycholinguistique et en reconnaissance vocale d’autre part.

The rapid development of digital assistants (DA) opens the way to new modes of interaction. Some DA allows users to personalise the way they respond to queries, in particular by teaching them new procedures. This work proposes to use machine learning methods to enrich the linguistic and procedural generalisation capabilities of these systems. The challenge is to reconcile rapid learning skills, necessary for a smooth user experience, with a sufficiently large generalisation capacity. Though this is a natural human ability, it remains out-of-reach for artificial systems and this leads us to approach these issues from the perspective of developmental Artificial Intelligence. This work is thus inspired by the cognitive processes at work in children during language learning.First, we propose a language processing module, which relies on semantic comparison methods to interpret the user’s natural language requests. The variability of a user speech is indeed one of the main difficulties of these learning assistants. We provide them with a generalisation tool to continuously adapt to the user language. Another challenge for these learning agents is their ability to transfer their knowledge to new objects and contexts. We propose a series of architectures for Deep Reinforcement Learning agents that learn to perform tasks expressed in natural language in various environments. By exploiting language as an abstraction tool to represent tasks, we show that in structured environment, these agents are able to transfer their skills to new objects.Finally, we develop a use case in a home automation environment. We propose a learning assistant that integrates the systems mentioned above., L’essor des assistants numériques ouvre la voie à de nouveaux modes d’interaction. Les assistants apprenant par interaction offrent ainsi la possibilité aux utilisateurs de personnaliser la manière dont ils répondent aux requêtes, notamment en leur enseignant de nouvelles procédures. Ces travaux proposent de s’appuyer sur des méthodes d’apprentissage automatique pour enrichir les capacités de généralisation linguistique et procédurale de ces systèmes. L’enjeu consiste à concilier des facultés d’apprentissage rapide, nécessaire à une expérience utilisateur fluide, avec une capacité de généralisation suffisamment large. Naturels pour les humains, ces qualités restent encore hors de portée pour les systèmes artificiels. Cela nous conduit à approcher ces problématiques sous l’angle de l’Intelligence Artificielle développementale. Ces travaux sont ainsi inspirés par les processus cognitifs à l’œuvre chez l’enfant lors de l’apprentissage du langage.On propose tout d’abord un module de traitement du langage, qui s’appuie sur des méthodes de comparaison sémantique pour interpréter les requêtes en langage naturel de l’utilisateur. La variabilité avec laquelle un locuteur s’exprime constitue en effet l’une des difficultés centrales de ces assistants apprenants. Notre module leur permet de disposer d’un outil de généralisation sur le langage qui s’adapte en continu à l’utilisateur. Un autre enjeu pour ces agents apprenants est leur capacité à transférer leur connaissance à de nouveaux objets et contextes. On propose alors une série d’architectures d’agents de Deep Reinforcement Learning apprenant à exécuter des tâches exprimées en langage naturel dans des environnements variés. En exploitant le langage comme outil d’abstraction pour représenter les tâches, on montre que lorsque l’environnement est suffisamment structuré, ces agents sont capables de transférer les compétences acquises sur certains objets à de nouveaux.On développe enfin un cas d’usage dans un environnement domotique. On propose un assistant apprenant qui intègre les systèmes mentionnés précédemment

National audience; Les modèles de RI basés sur les Transformers sont aujourd’hui état de l’art en Recherche d’Information ad-hoc, mais leur comportement reste encore incompris. Des travaux récents ont montré que BERT ne satisfait pas les axiomes classiques de la RI. Nous proposons d’étudier le processus d’appariement par l’analyse de l’importance des termes et des mécanismes d’appariement exact et sémantique. Même si les axiomes classiques ne sont pas formellement vérifiés, notre analyse révèle que des modèles comme ColBERT: (i) sont capables d’inclure une notion d’importance du terme ; (ii) s’appuient sur des correspondances exactes pour les termes importants.

International audience

National audience

International audience

This thesis deals with neural network based coarticulation modeling, and aims to synchronize facial animation of a 3D talking head with speech. Predicting articulatory movements is not a trivial task, as it is well known that production of a phoneme is greatly affected by its phonetic context, a phoneme called coarticulation. We propose in this work a coarticulation model, i.e. a model able to predict spatial trajectories of articulators from speech. We rely on a sequential model, the recurrent neural networks, and more specifically the Gated Recurrent Units, which are able to consider the articulation dynamic as a central component of its modeling. Unfortunately, the typical amount of data in articulatory and audiovisual databases seems to be quite low for a deep learning approach. To overcome this difficulty, we propose to integrate articulatory knowledge into the networks during its initialization. The RNNs robustness allow uw to apply our coarticulation model to predict both face and tongue movements, in french and german for the face, and in english and german for the tongue. Evaluation has been conducted through objective measures of the trajectories, and through experiments to ensure a complete reach of critical articulatory targets. We also conducted a subjective evaluation to attest the perceptual quality of the predicted articulation once applied to our facial animation system. Finally, we analyzed the model after training to explore phonetic knowledges learned., Nous traitons dans cette thèse la modélisation de la coarticulation par les réseaux de neurones, dans l’objectif de synchroniser l’animation d’un visage virtuel 3D à de la parole. La prédiction de ces mouvements articulatoires n’est pas une tâche triviale, en effet, il est bien établi en production de parole que la réalisation d’un phonème est largement influencée par son contexte phonétique, phénomène appelé coarticulation. Nous proposons dans cette thèse un modèle de coarticulation, c’est-à-dire un modèle qui prédit les trajectoires spatiales des articulateurs à partir de la parole. Nous exploiterons pour cela un modèle séquentiel, les réseaux de neurones récurrents (RNN), et plus particulièrement les Gated Recurrent Units, capables de considérer la dynamique de l’articulation au cœur de leur modélisation. Malheureusement, la quantité de données classiquement disponible dans les corpus articulatoires et audiovisuels semblent de prime-abord faibles pour une approche deep learning. Pour pallier cette difficulté, nous proposons une stratégie permettant de fournir au modèle des connaissances sur les gestes articulatoires du locuteur dès son initialisation. La robustesse des RNNs nous a permis d’implémenter notre modèle de coarticulation pour prédire les mouvements des lèvres pour le français et l’allemand, et de la langue pour l’anglais et l’allemand. L’évaluation du modèle fut réalisée par le biais de mesures objectives de la qualité des trajectoires et par des expériences permettant de valider la bonne réalisation des cibles articulatoires critiques. Nous avons également réalisé une évaluation perceptive de la qualité de l’animation des lèvres du visage parlant. Enfin, nous avons conduit une analyse permettant d’explorer les connaissances phonétiques acquises par le modèle après apprentissage.

National audience

Relation extraction (RE) consists in identifying and structuring automatically relations of interest from texts. Recently, BERT improved the top performances for several NLP tasks, including RE. However, the best way to use BERT, within a machine learning architecture, and within a transfer learning strategy is still an open question since it is highly dependent on each specific task and domain. Here, we explore various BERT-based architectures and transfer learning strategies (i.e., frozen or fine-tuned) for the task of biomedical RE on two corpora. Among tested architectures and strategies, our *BERT-segMCNN with fine-tuning reaches performances higher than the state-of-the-art on the two corpora (1.73 % and 32.77 % absolute improvement on ChemProt and PGxCorpus corpora respectively). More generally, our experiments illustrate the expected interest of fine-tuning with BERT, but also the unexplored advantage of using structural information (with sentence segmentation), in addition to the context classically leveraged by BERT., L'extraction de relations (ER) consiste à identifier et à structurer automatiquement des relations à partir de textes. Récemment, BERT a permis d'améliorer les performances de plusieurs tâches de TAL, dont l'ER. Cependant, la meilleure façon d'utiliser BERT, dans une architecture d'apprentissage automatique avec une stratégie par transfert reste une question ouverte, car elle dépend à la fois de la tâche et du domaine d'application. Dans ce travail, nous explorons diverses architectures d'ER qui s'appuient sur BERT et deux stratégies de transfert (gel des poids ou réglage fin) sur deux corpus biomédicaux. Parmi les architectures et stratégies de transfert testées, *BERT-segMCNN avec réglage fin atteint des performances supérieures à l'état de l'art sur les deux corpus (amélioration absolue de 1,73% et 32,77% sur ChemProt et PGxCorpus respectivement). Nos expériences illustrent l'intérêt attendu du réglage fin avec BERT, et de façon plus originale l'intérêt d'ajouter aux représentations de BERT une information structurelle en considérant la segmentation des phrases.