Search

Decision-making is a vast domain of scientific research, investigated by several different disciplines, such as in Neuroscience to understand the processes underlying decision-making in animals, in Robotics to propose efficient and rapid decision-making algorithms working in a variety of tasks. From the point of view of Neuroscience, this problem is usually solved with online processes through models of sequential decision-making based on the reinforcement learning framework. From the point of view of Robotics, the primary objective is to come up with efficient solutions that work in the real world. However, nowadays in Robotics, researches most often neglect what we can call the budget and which concerns the inherent material limitations of a robot such as the computation time, the limited number of possible actions, or the limited life duration of the robot's batteries.In this PhD work, we propose to introduce the notion of budget as an explicit constraint in Robotics learning processes applied to a localization task. To do so, we first test a model based on recent developments in statistical learning, which can treat data under budget constraints either by limiting the number of processed data or by fixing an explicit time limitation. Moreover, in order to progress towards a online version of this type of budgeted learning algorithms, we discuss possible inspirations from computational neuroscience. Within this framework, the alternation between information seeking for localization and decisions to move within the environment can be indirectly linked to the exploration-exploitation trade-off. We finally present our contribution to the modeling of this trade-off in animals performing a non-stationary task under different levels of uncertainty, and make the link with bandit methods.; La prise de décision est un domaine vaste et très étudié en sciences, que ce soit en neurosciences pour comprendre les processus sous tendant la prise de décision chez les animaux, qu’en robotique pour modéliser des processus de prise de décision efficaces et rapides dans des tâches en environnement réel. Du point de vue des neurosciences, ce problème est résolu online avec des modèles de prises de décision séquentiels basés sur l’apprentissage par renforcement. Du point de vue de la robotique, l’objectif premier est l’efficacité, dans le but d’être déployés en environnement réel. Cependant, dans le cas de la robotique, ce que l’on peut appeler le budget et qui concerne les limitations inhérentes au matériel, comme par exemple les temps de calculs, les actions limitées disponibles au robot ou la durée de vie de la batterie du robot, ne sont, le plus souvent, pas prises en compte à l’heure actuelle.Nous nous proposons dans ce travail de thèse d’introduire la notion de budget comme contrainte explicite dans les processus d’apprentissage robotique appliqués à une tâche de localisation en mettant en place un modèle basé sur des travaux récents développés en apprentissage statistique qui traitent les données sous contrainte de budget, en limitant l’apport en données ou en posant une contrainte de temps plus explicite.Dans le but d’envisager à plus long terme un fonctionnement online de ce type d’algorithmes d’apprentissage budgétisé, nous discutons aussi certaines inspirations possibles qui pourraient être prises du côté des neurosciences computationnelles. Dans ce cadre, l’alternance entre recherche d’information pour la localisation et la décision de se déplacer pour un robot peuvent être indirectement liés à la notion de compromis exploration-exploitation. Nous présentons notre contribution à la modélisation de ce compromis chez l’animal dans une tâche non stationnaire impliquant différents niveaux d’incertitude, et faisons le lien avec les méthodes de bandits manchot.

Decision-making is a highly researched field in science, be it in neuroscience to understand the processes underlying animal decision-making, or in robotics to model efficient and rapid decision-making processes in real environments. In neuroscience, this problem is resolved online with sequential decision-making models based on reinforcement learning. In robotics, the primary objective is efficiency, in order to be deployed in real environments. However, in robotics what can be called the budget and which concerns the limitations inherent to the hardware, such as computation times, limited actions available to the robot or the lifetime of the robot battery, are often not taken into account at the present time. We propose in this thesis to introduce the notion of budget as an explicit constraint in the robotic learning processes applied to a localization task by implementing a model based on work developed in statistical learning that processes data under explicit constraints, limiting the input of data or imposing a more explicit time constraint. In order to discuss an online functioning of this type of budgeted learning algorithms, we also discuss some possible inspirations that could be taken on the side of computational neuroscience. In this context, the alternation between information retrieval for location and the decision to move for a robot may be indirectly linked to the notion of exploration-exploitation compromise. We present our contribution to the modeling of this compromise in animals in a non-stationary task involving different levels of uncertainty, and we make the link with the methods of multi-armed bandits., La prise de décision est un domaine très étudié en sciences, que ce soit en neurosciences pour comprendre les processus sous tendant la prise de décision chez les animaux, qu’en robotique pour modéliser des processus de prise de décision efficaces et rapides dans des tâches en environnement réel. En neurosciences, ce problème est résolu online avec des modèles de prises de décision séquentiels basés sur l’apprentissage par renforcement. En robotique, l’objectif premier est l’efficacité, dans le but d’être déployés en environnement réel. Cependant en robotique ce que l’on peut appeler le budget et qui concerne les limitations inhérentes au matériel, comme les temps de calculs, les actions limitées disponibles au robot ou la durée de vie de la batterie du robot, ne sont souvent pas prises en compte à l’heure actuelle. Nous nous proposons dans ce travail de thèse d’introduire la notion de budget comme contrainte explicite dans les processus d’apprentissage robotique appliqués à une tâche de localisation en mettant en place un modèle basé sur des travaux développés en apprentissage statistique qui traitent les données sous contrainte de budget, en limitant l’apport en données ou en posant une contrainte de temps plus explicite. Dans le but d’envisager un fonctionnement online de ce type d’algorithmes d’apprentissage budgétisé, nous discutons aussi certaines inspirations possibles qui pourraient être prises du côté des neurosciences computationnelles. Dans ce cadre, l’alternance entre recherche d’information pour la localisation et la décision de se déplacer pour un robot peuvent être indirectement liés à la notion de compromis exploration-exploitation. Nous présentons notre contribution à la modélisation de ce compromis chez l’animal dans une tâche non stationnaire impliquant différents niveaux d’incertitude, et faisons le lien avec les méthodes de bandits manchot.

Visual object tracking is an elementary function of computer vision that has been the subject of numerous studies. Drift over time is one of the most critical phenomena to master because it leads to the permanent loss of the target being tracked. Despite the numerous approaches proposed in the literature to counter this phenomenon, none outperforms another in terms of robustness to the various sources of visual perturbations: variation of illumination, occlusion, sudden movement of camera, change of aspect. The objective of this thesis is to exploit the complementarity of a set of tracking algorithms by developing on-line fusion strategies capable of combining them generically. The proposed fusion chain consists of selecting the trackers from indicators of good functioning, combining their outputs and correcting them. On-line drift prediction was studied as a key element of the selection mechanism. Several methods are proposed for each step of the chain, giving rise to 46 possible fusion configurations. Evaluated on 3 databases, the study highlighted several key findings: effective selection greatly improves robustness; The correction improves the robustness but is sensitive to bad selection, making updating preferable to reinitialization; It is more advantageous to combine a small number of complementary trackers with homogeneous performances than a large number; The robustness of fusion of a small number of trackers is correlated to the incompleteness measure, which makes it possible to select the appropriate combination of trackers to a given application context., Le suivi visuel d’objet est une fonction élémentaire de la vision par ordinateur ayant fait l’objet de nombreux travaux. La dérive au cours du temps est l'un des phénomènes les plus critiques à maîtriser, car elle aboutit à la perte définitive de la cible suivie. Malgré les nombreuses approches proposées dans la littérature pour contrer ce phénomène, aucune ne surpasse une autre en terme de robustesse face aux diverses sources de perturbations visuelles : variation d'illumination, occultation, mouvement brusque de caméra, changement d'aspect. L’objectif de cette thèse est d’exploiter la complémentarité d’un ensemble d'algorithmes de suivi, « trackers », en développant des stratégies de fusion en ligne capables de les combiner génériquement. La chaîne de fusion proposée a consisté à sélectionner les trackers à partir d'indicateurs de bon fonctionnement, à combiner leurs sorties et à les corriger. La prédiction en ligne de dérive a été étudiée comme un élément clé du mécanisme de sélection. Plusieurs méthodes sont proposées pour chacune des étapes de la chaîne, donnant lieu à 46 configurations de fusion possibles. Évaluées sur 3 bases de données, l’étude a mis en évidence plusieurs résultats principaux : une sélection performante améliore considérablement la robustesse de suivi ; une correction de mise à jour est préférable à une réinitialisation ; il est plus avantageux de combiner un petit nombre de trackers complémentaires et de performances homogènes qu'un grand nombre ; la robustesse de fusion d’un petit nombre de trackers est corrélée à la mesure d’incomplétude, ce qui permet de sélectionner la combinaison de trackers adaptée à un contexte applicatif donné.

In this thesis work, we modelled the role of dopamine in learning and in the processes of action selection through its interaction with the basal ganglia. During the 90’s, the work of Schultz and colleagues has led to major progress in understanding the neural mechanisms underlying the influence of feedback on learning. The activity of dopaminergic neurons exhibited properties of the reward prediction error signal used in so-called Temporal Difference (TD) machine learning algorithms. Thus, DA has been thought to be the neural signal that help us to adapt our behavior. In the first part of my PhD, we analyze the information encoded by dopaminergic neurons recorded during a multi-choice task. In this purpose, we modeled the task and simulated different TD learning algorithms to quantitatively compare their ability to reproduce dopamine neurons activity. Our results show that the information carried out by dopamine neurons is only partly consistent with a reward prediction error and seems to be dissociated from behavioral adaptation.In the second part of my PhD, we study the effect of different levels of dopamine in a biologically plausible model of primates basal ganglia that considers existing connections often neglected in the literature. Indeed, most of current models of basal ganglia assume the existence of two segregated pathway: the direct pathway associated with reward and the indirect pathway associated with punishment. However, anatomical studies in primates revealed that these two pathways are not dissociated. We study the ability of such a model to reproduce beta oscillations observed in Parkinsonian and the differences in reward and punishment sensitivity, with high or low-level of dopamine., Dans ce travail de thèse, nous avons modélisé le rôle de la dopamine dans l'apprentissage et dans les processus de sélection de l'action en lien avec les ganglions de la base. L'activité des neurones dopaminergiques présente de nombreuses similarités avec l'erreur de prédiction de la récompense utilisée par les algorithmes d'apprentissage par renforcement. Ainsi, ces neurones sont supposés guider le processus de sélection de l'action.Dans une première partie, nous avons analysé l'information encodée par les neurones dopaminergiques dans une tâche à choix multiples en la comparant à différentes informations utilisées par les modèles d'apprentissage par renforcement. Nos résultats suggèrent que l'information encodée par les neurones dopaminergiques enregistrer dans la tâche n'est que partiellement compatible avec une erreur de prédiction et semble en partie dissociée du comportement.Dans une deuxième partie, nous avons simulé l'effet de la dopamine sur un modèle des ganglions de la base prenant en compte des connections existant chez le primate, souvent négligées dans la littérature. La plupart des modèles actuels font en effet l'hypothèse d'une séparation stricte de deux chemins dans les ganglions de la base : le chemin direct lié à la récompense et le chemin indirect lié à la punition. Cependant des études anatomiques remettent en question cette dissociation, en particulier chez le primate. Nous proposons ainsi d'étudier comment différents niveaux de dopamine, dans le contexte de la maladie de Parkinson, affectent l'apprentissage et la sélection de l'action dans ce modèle

In this thesis work, we modelled the role of dopamine in learning and in the processes of action selection through its interaction with the basal ganglia. During the 90’s, the work of Schultz and colleagues has led to major progress in understanding the neural mechanisms underlying the influence of feedback on learning. The activity of dopaminergic neurons exhibited properties of the reward prediction error signal used in so-called Temporal Difference (TD) machine learning algorithms. Thus, DA has been thought to be the neural signal that help us to adapt our behavior. In the first part of my PhD, we analyze the information encoded by dopaminergic neurons recorded during a multi-choice task. In this purpose, we modeled the task and simulated different TD learning algorithms to quantitatively compare their ability to reproduce dopamine neurons activity. Our results show that the information carried out by dopamine neurons is only partly consistent with a reward prediction error and seems to be dissociated from behavioral adaptation.In the second part of my PhD, we study the effect of different levels of dopamine in a biologically plausible model of primates basal ganglia that considers existing connections often neglected in the literature. Indeed, most of current models of basal ganglia assume the existence of two segregated pathway: the direct pathway associated with reward and the indirect pathway associated with punishment. However, anatomical studies in primates revealed that these two pathways are not dissociated. We study the ability of such a model to reproduce beta oscillations observed in Parkinsonian and the differences in reward and punishment sensitivity, with high or low-level of dopamine., Dans ce travail de thèse, nous avons modélisé le rôle de la dopamine dans l'apprentissage et dans les processus de sélection de l'action en lien avec les ganglions de la base. L'activité des neurones dopaminergiques présente de nombreuses similarités avec l'erreur de prédiction de la récompense utilisée par les algorithmes d'apprentissage par renforcement. Ainsi, ces neurones sont supposés guider le processus de sélection de l'action.Dans une première partie, nous avons analysé l'information encodée par les neurones dopaminergiques dans une tâche à choix multiples en la comparant à différentes informations utilisées par les modèles d'apprentissage par renforcement. Nos résultats suggèrent que l'information encodée par les neurones dopaminergiques enregistrer dans la tâche n'est que partiellement compatible avec une erreur de prédiction et semble en partie dissociée du comportement.Dans une deuxième partie, nous avons simulé l'effet de la dopamine sur un modèle des ganglions de la base prenant en compte des connections existant chez le primate, souvent négligées dans la littérature. La plupart des modèles actuels font en effet l'hypothèse d'une séparation stricte de deux chemins dans les ganglions de la base : le chemin direct lié à la récompense et le chemin indirect lié à la punition. Cependant des études anatomiques remettent en question cette dissociation, en particulier chez le primate. Nous proposons ainsi d'étudier comment différents niveaux de dopamine, dans le contexte de la maladie de Parkinson, affectent l'apprentissage et la sélection de l'action dans ce modèle

The Superior Colliculus (SC) is well-known for its role in the generation of ocular saccades. Its reciprocal connectivity with the Basal Ganglia (BG) has recently been highligted, as well as its active involvement in the saccadic selection processes. Yet, the most common hypothesis explaining its role in saccade target selection neglect the potential implication of the BG and focus on unproven networks of lateral reciprocal inhibitions within the SC. We propose a model based on a the SC-BG loop hypothesis, in the framework of a purely subcortical saccade selection process Since the activity profiles of specific SC neurons populations can be seen as equivalent to the stochastic accumulators of the phenomelogical race models, we propose that the selection operated bythe SC is based not on lateral inhibitions within its maps, but on a race to a selection threshold in the intermediate layers of the SC, the threshold being dynamically set by the selective disinhibition of the SC maps by a double closed loops with the BG. Our model is able to reproduce various in-vivo neuronal activity profiles, as well as the selection distributions observed in various experimental setups involving the discrimination between numerous identical stimuli. Our model's neuromimetism level allows us to propose predictions about the neuronal substrates of the model's components, as well as the substrates for various selection phenomenons such as average saccades and the remote distractor effect.; Le Colliculus Supérieur (SC) est bien connu pour son rôle dans la génération des saccades oculaires. Sa connectivité réciproque avec les Ganglions de la Base (BG) a récemment été mise en évidence, ainsi que son implication active dans les processus de sélection saccadique. Indépendamment du rôle des BG dans la sélection en général, les hypothèses traditionnelles suggèrent que la sélection au sein du SC résulte d'inhibitions latérales réciproques. Notre modèle propose de développer une autre hypothèse, dans laquelle les BG jouent un rôle important pour la sélection des cibles des saccades par un circuit purement sous-cortical SC-BG. En partant du constat que les profils d'activités des populations neuronales du SC peuvent être assimilés à ceux des neurones accumulateurs stochastiques des modèles phénoménologiques de sélection par course, ce nouveau modèle propose que la sélection observée dans le SC résulte non pas d'interactions latérales dans le SC, mais d'un processus de course vers un seuil de sélection dans les couches colliculaires intermédiaires, seuil dynamiquement déterminé par une désinhibition sélective opérée par les BG dans le cadre d'une boucle de rétrocontrôle double des BG vers le SC. Ce modèle reproduit divers profils d'activité neuronaux observés in-vivo, ainsi que les profils de sélection de plusieurs tâches expérimentales relatives à la discrimination entre de nombreux stimuli similaires. Son neuromimétisme lui permet de proposer diverses prédictions sur les substrats neurologiques de ses composants, et les substrats neurologiques de divers phénomènes particuliers de sélection comme les saccades moyennes ou le remote distractor effect.