Search

The next step is now to verify whether these general ideas can be easily implemented, considering an effective active visual system. This is the goal of this second chapter in which we describe a mechanical system which has been designed to facilitate the fixation and tracking of 3D objects.

Let us start to analyse how suitable it is to explicitly use 3D visual cues in an reactive visual task. Let us firstly try to collect a set of studies on this subject and use these experimental and theoretical developments to propose a synthetic view on this problem, completed by some specific experimentations.

As required in any active vision system, we address the problem of computing structure and motion, given a set of points and/or line correspondences, in a monocular image sequence, when the camera is not calibrated.

On a robot, two types of inertial information can be computed: The instantaneous self-motion (also called either self motion or vection), of the robot, and the angular orientation of the robot in space.

Most of the earlier or recent studies addressing the problem of computing structure and motion in a monocular image sequence assume that the calibration of the system is known [5.1–4], whereas we now have enough knowledge about auto-calibration, thanks to recent studies in the field [5.5–8].

Visual sensor calibration represents the problem of determining the parameters of the transformation between the 3D information of the imaged object in space and the 2D observed image. Such a relationship is mandatory for 3D vision. More precisely, we have to know the location (translation) and attitude (rotation) of the visual sensor with respect to the rest of the robotic system (extrinsic parameters), and the different parameters of the lens, such as focal length, magnitude factors, optical center retinal location (intrinsic parameters).

International audience; In the early visual system, regarding the detection of a visual event, motion information is pre-processed in the Magnocellular pathway, while it has been shown that the Koniocellular pathway [1] also plays an important role, providing a global analysis about such a kind of information processing. However, the functional interplay between these two parallel pathways remains partially understood. Previous works have attacked this question by studying the signals produced by the corresponding ganglion cells [1] and their elaboration at further steps [2], rather than proposing to model the underlying mechanisms at a mesoscopic level, i.e., focusing on the functional aspects of such dual processing. Neurobiological studies dedicated to the thalamocortical stage of the early visual system provide knowledge on particular characteristics of the system, namely: 1) the variety of cell types in the retina [2], inducing different pathways, 2) the variety of thalamocortical projections through focused vs diffuse efferences to the cortex [3], from core vs matrix (specific vs non-specific) thalamic nuclei, and 3) the variety of kinds of connectivity between thalamic, cortical and collicular areas (i.e., feedforward, feedback, shortcuts, driver and modulator information flows [4]). To figure out the impact of these multi-scale characteristics, we propose here a systemic approach at the structure level. To this end, we have developed a reduced bio-inspired distributed asynchronous model of the primitive mammal visual system, considering only motion event detection. This computational model is fed with natural image sequences, and is implemented as a large size distributed calculation [5] with thousands of computation units per structure. Thanks to the dual analysis integrating local and larger image cues, we test the system for the detection of specific dynamical patterns (which could be interpreted as, e.g., threats or targets). Our simulations aim at showing that these multi-scale interactions help improving the speed and/or quality of such critical tasks, including target selection and tracking. We expect this approach to propose an innovative answer to the interplay issues quoted here, generalizable to other visuo-motor functions. This also provides a platform that could be used as a testbed for new hypotheses. Further information flows to be included could correspond to the Parvocellular pathway (and its related functions). Other structures such as the pulvinar, or higher cortical areas, would also allow us to explore even more developed mechanisms and behaviors [3,6].

We address the well-known problem of estimating the motion and structure of a plane, but in the case where the visual system is not calibrated and in a monocular image-sequence.

In the present paper, we review and complete the equations and the formalism which allow to achieve a minimal parameterization of the retinal displacement for a monocular visual system without calibration.

This study is aimed at developing a method of analysis of the 3D structure of a scene considering a monocular image sequence, with an uncalibrated camera -as for an active visual system- and using a continuous model of motion. Surprisingly perhaps, this problem has not been studied much in literature except \cite{vieville-faugeras:95}, but only preliminarly, and without any reference to active vision. This difficulty might have its source in the intrinsic complexity of the underlying equations, which yields a heavy implementation and are thus a-priori not robust. Moreover important developments of analytic equations are not possible as it is the case for calibrated systems \cite{vieville-clergue-etal:95,chaumette-boukir:91,boukir:93}, because of the algebraic complexity of the equations. In order to overcome this difficulty, we have attempted to develop a simplified parameterization of the problem in the case of two or more views, considering a scene with a set of stationary objects and applying an orthographic model of the projection. In this case, fusion along the image sequence is trivial. Thanks to the integration of active visual perception, we demonstrate that it is always possible to generate a displacement so that the previous model is valid, and we can then very easily reconstruct the observed scene. In the case where the motion constraints are approximately verified, we can show that the model is still approximately valid close to the retina. At an experimental level, we report a small implementation taking an image sequence as input, which allows us to compute the retinal motion fields and calculate the reconstruction up to a particular affine transform of the scene.

The main goal of self-calibration [2, 3, 8] is to compute the intrinsic and extrinsic parameters of a camera without using a known pattern. In this paper we focus on the calibration of a binocular head-eye system from four views. The only information provided to the algorithm is the fundamental matrices [3] and the point correspondences between the 4 views. We exploit the information of the cross-correspondences to improve the Euclidean reconstruction.

International audience; This paper presents a reverse engineering approach for parameter estimation in spiking neural networks (SNNs). We consider the deterministic evolution of a time-discretized network with spiking neurons, where synaptic transmission has delays, modeled as a neural network of the generalized integrate and fire type. Our approach aims at by-passing the fact that the parameter estimation in SNN results in a non-deterministic polynomial-time hard problem when delays are to be considered. Here, this assumption has been reformulated as a linear programming (LP) problem in order to perform the solution in a polynomial time. Besides, the LP problem formulation makes the fact that the reverse engineering of a neural network can be performed from the observation of the spike times explicit. Furthermore, we point out how the LP adjustment mechanism is local to each neuron and has the same structure as a 'Hebbian' rule. Finally, we present a generalization of this approach to the design of input―output (I/O) transformations as a practical method to 'program' a spiking network, i.e. find a set of parameters allowing us to exactly reproduce the network output, given an input. Numerical verifications and illustrations are provided.

International audience; This paper describes the development and implementation of a reactive visual module utilized on an autonomous mobile robot to automatically correct its trajectory. We use a multisensorial mechanism based on inertial and visual cues. We report here only on the implementation and the experimentation of this module, whereas the main theoretical aspects have been developed elsewhere.

In this paper we develop high order non-biased spatial derivative operators, with subpixel accuracy. Our approach is discrete and provides a way to obtain some of the spatio-temporal parameters from an image sequence. In this paper we concentrate on spatial parameters.

This paper introduces a number of issues concerning the use of an inertial system in cooperation with vision. We first present applications of inertial information in a visual system, and then attack the problem of determining motion and orientation of the robotic system from inertial information. An iterative algorithm is finally given, and studied in detail.

International audience; The retina encodes visual scenes by trains of action potentials that are sent to the brain via the optic nerve. In this paper, we describe a new free access user-end software allowing to better understand this coding. It is called PRANAS (https://pranas.inria.fr), standing for Platform for Retinal ANalysis And Simulation. PRANAS targets neuroscientists and modelers by providing a unique set of retina-related tools. PRANAS integrates a retina simulator allowing large scale simulations while keeping a strong biological plausibility and a toolbox for the analysis of spike train population statistics. The statistical method (entropy maximization under constraints) takes into account both spatial and temporal correlations as constraints, allowing to analyze the effects of memory on statistics. PRANAS also integrates a tool computing and representing in 3D (time-space) receptive fields. All these tools are accessible through a friendly graphical user interface. The most CPU-costly of them have been implemented to run in parallel.

Creative problem solving is a complex process that is being studied through a diversity of tasks. CreaCube is an open ill-defined task whereby the player is required to engage in a creative problem-solving activity (Romero et al., 2017) that we try to analyze with computational models (Alexandre, 2020a). To represent the behavior of the subject through the activity evolution, we analyze the activity through a coding schema considering the observables for this tangible problem solving activity. Observables correspond to different states of the artifact of behaviors of the participant at a given time. In this study we introduce the learning analytic strategy corresponding to a temporal sequence of observables. Through this sequence we aim to infer the participants’ internal state based on a different sequence of observables.Through this study we aim to advance in the learning analytics strategy of a tangible problem-solving task with educational robotics. Our main goal is to be able to both collect data more easily, avoiding as much as possible the manual analysis of the video recording of the activity, and propose enriched observables. To this end, we refined the observables’ model as detailed in (Mercier et al., 2021) and added new observables and decomposed existing ones into more specific ones based on the learner and task model. We distinguished observables with automatable data collection and those which require manual identification. In the end we discuss the relevance of this new version of CreaCube by discussing to what extent it offers additions to actual data analysis and ongoing research on this subject., La résolution créative de problèmes est un processus complexe mis à l’étude via une grande variété de tâches. CreaCube est une tâche ouverte et mal-définie par laquelle une personne est engagée dans une activité de résolution créative de problème (Romero et al., 2017) que nous essayons de représenter et d’analyser avec des modèles informatiques (Alexandre, 2020a). Afin de représenter le comportement de la personne engagée dans l’activité, nous analysons le déroulement de celle-ci à travers un codage comportant différentes données nommées observables. Les observables correspondent aux différents états des artefacts observables lors de l’activité (comportements, émotions, matériel) à un moment donné. Dans cette étude, nos données d’apprentissage correspondent à des séquences d’ensembles d'observables. Via ces séquences, nous espérons pouvoir inférer l’état interne d’une personne engagée dans l’activité à partir de la séquence d’observables lui étant associée. Via cette étude, nous visons un approfondissement d’une stratégie d’analyse d’apprentissage pour CreaCube, une tâche de résolution de problème tangible avec de la robotique éducative. Notre objectif principal est d’être capable à la fois de collecter plus simplement et rapidement des données sur le déroulement de l’activité, en évitant autant que possible le recours à l’analyse manuelle des enregistrements vidéo de l’activité, et de proposer un nouveau cadre d’observables plus riche. Pour cela, nous proposons d’affiner le modèle des observables détaillé dans (Mercier et al., 2021) et d’ajouter de nouvelles observables relatives à l’évolution de la tâche extérieure à la personne engagée. Nous proposons également une distinction entre les observables dont la collecte lors des expériences peut être automatisée et celles dont la collecte requiert une identification manuelle. Enfin, nous discutons de la pertinence et de la faisabilité de ces changements en réfléchissant à une nouvelle version de CreaCube et ce qu’elle peut offrir de plus aux analyses sur les données actuellement menées sur le sujet.

We propose a participatory science outreach approach allowing us to co-construct with our audiences resources aimed at understanding and demystifying the most disruptive results obtained regarding human brain by the conjunction of computer science, applied mathematics and neuroscience (computational neuroscience). The context is that of science and technology with a heavy societal impact, for which there is a strong need to allow everyone to build models of representation of these results and to forge an enlightened citizen's vision on these subjects.We rely here on our experience in sharing scientific culture on these subjects and our ability to create large diffusion content and resources, easy to appropriate and to operate.We propose to discover the models of the cerebral functions at the origin of our sensorimotor and vital cognitive behaviors (instinctive and motivated behavior, selection of embodied action, emotional decision-making or not, sites of self-awareness, etc. ) through :- a course of evolving content each time giving minimal key ideas on these subjects, also showing the simple use of mathematical concepts,- a Web-application (3D visualization of the brain in synergy with multi-media content and explanatory texts) with the possibility of interacting with the content. e.g., quizzes.The implementation is a free and open code, easily reusable by anyone with basic computing skills.This is also in itself a tool for learning the code, in addition to the acquisition of skills in integrative neuroscience, and it is a lever for co-creation.; On propose la mise en place d’une démarche de médiation scientifique participative pour permettre de co-construire avec nos publics des ressources visant à comprendre et démystifier les résultats les plus disruptifs concernant le cerveau humain obtenus par la conjonction de l’informatique, mathématiques appliquées et des neurosciences (neurosciences computationnelles).Le contexte est celui de sciences et technologies à lourd impact sociétal avec un besoin fort de permettre à chacune et chacun de se construire des modèles de représentation de ces résultats et de se forger une vision citoyenne éclairée sur ces sujets. On s’appuie ici sur notre expérience en matière de partage de culture scientifique sur ces sujets et notre capacité à créer des contenus et des ressources, à forte diffusion, faciles à s’approprier et à faire fonctionner.On propose de découvrir les modèles des fonctions cérébrales à l’origine de nos comportements sensori-moteurs et cognitifs vitaux (comportement instinctif et motivé, sélection de l’action incarnée, prise de décision émotionnelle ou non, siège de la conscience de soi, …) à travers :- un parcours de contenus évolutifs donnant à chaque fois des idées clés minimales sur ces sujets, en montrant aussi l’utilisation simple de notions mathématiques, - une Web-application (visualisation 3D du cerveau en synergie avec des contenus multi-médias et des textes explicatifs) avec la possibilité d’interagir avec les contenus, par exemple un quiz.L’implémentation est un code libre et ouvert, facilement réutilisable par toute personne initiée à l’informatique.Cela constitue aussi en soi un outil d’apprentissage du code, en plus de l’acquisition de compétences en neuroscience intégrative, et c’est un levier de co-création.

We report on a new setup allowing us to collect learning analytics (LA) during computational thinking unplugged or tangible playful activities. We target the development of computational thinking (CT) competency, including the initiation to informatics (i.e., computer science and technology), with the goal to evaluate and analyze the development of CT. Collecting LA is mandatory in this case and if adaptive learning is targeted. While collecting LA during online interactions is rather straightforward, automatically collecting LA when manipulating tangible objects is more challenging, especially in a context where low-cost greenIT material is required.The key idea here, contrary to usual “black-box” systems working (more or less) automatically, is to change the learning paradigm and involve the learner in the data collection, making the process transparent and allowing her or him to also learn how to learn. This is particularly pertinent here since we use Informatics tools in order to … initiate to Informatics and CT. This means that we have to redesign the activity scenario including its didactic and revisit the underneath pedagogy, which turns to be an interesting and innovative challenge.; Nous décrivons ici un montage original nous permettant de collecter des traces d'apprentissage (learning analytics (LA)) lors d'activités débranchées ou tangibles d'initiation ludique à la pensée informatique (computational thinking (CT)). Nous ciblons le développement de compétences en CT, y compris l'initiation à l'informatique (c'est-à-dire l'informatique en tant que science et technologie), dans le but d'évaluer et d'analyser le développement de la CT. La collecte de LA est indispensable pour évaluer cet apprentissage, avec comme champ applicatif l'apprentissage adaptatif. Bien que la collecte de LA lors d'interactions en ligne soit plutôt simple, la collecte automatique de LA lors de la manipulation d'objets tangibles est plus difficile, en particulier dans un contexte où du matériel à faible coût et tenant compte de contraintes écologiques est requis.L'idée clé ici, contrairement aux systèmes habituels de «boîte noire» fonctionnant (plus ou moins) automatiquement, est de changer le paradigme d'apprentissage et d'impliquer l'apprenant dans la collecte de données, rendant le processus transparent et lui permettant également d'apprendre comment apprendre. Ceci est particulièrement pertinent ici puisque nous utilisons des outils informatiques pour … nous initier à l'informatique et à la CT. Cela signifie que nous devons repenser le scénario de l'activité, y compris sa didactique, et revisiter la pédagogie sous-jacente, qui s'avère être un défi intéressant et innovant.

International audience

International audience

Deep convolutional neural networks (DCNN) have recently protagonized a revolution in large-scale object recognition. They have changed the usual computer vision practices of hand-engineered features, with their ability to hierarchically learn representative features from data with a pertinent classifier. Together with hardware advances, they have made it possible to effectively exploit the ever-growing amounts of image data gathered online. However, in specific domains like healthcare and industrial applications, data is much less abundant, and expert labeling costs higher than those of general purpose image datasets. This scarcity scenario leads to this thesis' core question: can these limited-data domains profit from the advantages of DCNNs for image classification? This question has been addressed throughout this work, based on an extensive study of literature, divided in two main parts, followed by proposal of original models and mechanisms.The first part reviews object recognition from an interdisciplinary double-viewpoint. First, it resorts to understanding the function of vision from a biological stance, comparing and contrasting to DCNN models in terms of structure, function and capabilities. Second, a state-of-the-art review is established aiming to identify the main architectural categories and innovations in modern day DCNNs. This interdisciplinary basis fosters the identification of potential mechanisms - inspired both from biological and artificial structures — that could improve image recognition under difficult situations. Recurrent processing is a clear example: while not completely absent from the "deep vision" literature, it has mostly been applied to videos — due to their inherently sequential nature. From biology however it is clear such processing plays a role in refining our perception of a still scene. This theme is further explored through a dedicated literature review focused on recurrent convolutional architectures used in image classification.The second part carries on in the spirit of improving DCNNs, this time focusing more specifically on our central question: deep learning over small datasets. First, the work proposes a more detailed and precise discussion of the small sample problem and its relation to learning hierarchical features with deep models. This discussion is followed up by a structured view of the field, organizing and discussing the different possible paths towards adapting deep models to limited data settings. Rather than a raw listing, this review work aims to make sense out of the myriad of approaches in the field, grouping methods with similar intent or mechanism of action, in order to guide the development of custom solutions for small-data applications. Second, this study is complemented by an experimental analysis, exploring small data learning with the proposition of original models and mechanisms (previously published as a journal paper).In conclusion, it is possible to apply deep learning to small datasets and obtain good results, if done in a thoughtful fashion. On the data path, one shall try gather more information from additional related data sources if available. On the complexity path, architecture and training methods can be calibrated in order to profit the most from any available domain-specific side-information. Proposals concerning both of these paths get discussed in detail throughout this document. Overall, while there are multiple ways of reducing the complexity of deep learning with small data samples, there is no universal solution. Each method has its own drawbacks and practical difficulties and needs to be tailored specifically to the target perceptual task at hand.; Les réseaux neuronaux convolutifs profonds ("deep convolutional neural networks" ou DCNN) ont récemment révolutionné la reconnaissance d'objets à grande échelle, modifiant les pratiques en vision par ordinateur, consistant à définir des caractéristiques représentatives "à la main", désormais apprises de façon hiérarchique à partir des données, tout en les classifiant. Fort de la progression des performances matérielles, on exploite efficacement des quantités toujours croissantes d'images recueillies en ligne. Mais, dans des domaines spécifiques, comme en santé ou pour certaines applications, les données sont moins abondantes, et les coûts d'étiquetage par des experts sont plus élevés. Cette rareté conduit à la question centrale de cette thèse : Ces domaines à données limitées peuvent-ils bénéficier des avantages des DCNN pour la classification des images ? Ce travail repose sur une étude approfondie de la littérature, divisée en deux parties principales, avant de proposer des modèles et des mécanismes originaux, expérimentés.La première partie couvre la reconnaissance des objets d'un double point de vue. Tout d'abord, la fonction visuelle biologique, est comparée et contrastée avec la structure, la fonction et les capacités des modèles DCNN. Puis, une revue de l'état-de-l'art identifie les principales catégories d'architectures et les innovations dans les DCNN récents. Cette base interdisciplinaire favorise l'identification des mécanismes — biologiquement et artificiellement inspirés — qui améliorent la reconnaissance d'images dans des situations difficiles. Le traitement récurrent en est un exemple clair : peu présent au niveau de la vision profonde, sauf le traitement aux vidéos — en raison du caractère naturellement séquentiel. Mais la biologie montre clairement qu'un tel traitement joue aussi un rôle dans l'affinement de notre perception d'une scène fixe. Ce thème est approfondi à travers une revue de la littérature consacrée aux architectures convolutionnelles récurrentes utilisées en catégorisation d'images.La deuxième partie se concentre sur notre question centrale~: l'apprentissage profond sur de petits corpus de données. Tout d'abord, le travail propose une discussion plus précise et détaillée de ce problème et de sa relation avec l'apprentissage hiérarchique des caractéristiques réalisé par des modèles profonds. Cette discussion est suivie d'une revue structurée du domaine, organisant et discutant les différentes voies possibles vers l'adaptation des modèles profonds à des données limitées. Plus qu'une simple liste, ce travail vise à trouver du sens dans la myriade d'approches du domaine, en regroupant les méthodes ayant un objectif ou un mécanisme d'action similaire, pour guider le développement d'application particulières, à petits corpus. Cette étude est complétée par une analyse expérimentale, explorant l'apprentissage de petits jeux de données avec des modèles et mécanismes originaux (précédemment publié comme papier de journal).En conclusion, l'apprentissage profond sur des petits corpus de données peut donner de bons résultats, si cela se fait de manière réfléchie. Au niveau des données, il faut essayer de recueillir plus d'informations à partir de sources de données supplémentaires connexes. Au niveau de la complexité, l'architecture et les méthodes d'entraînement peuvent être calibrées afin de tirer le meilleur parti de toute connaissance spécifique au domaine. Des propositions sont discutées en détail au fil du document. Il existe de multiples façons de réduire la complexité de l'apprentissage profond avec de petits échantillons de données, mais il n'y a pas de solution universelle. Chaque méthode a ses propres inconvénients et difficultés pratiques, devant toujours être adaptée spécifiquement à l'application, c'est-à-dire à la tâche perceptive à accomplir.

Deep convolutional neural networks (DCNN) have recently protagonized a revolution in large-scale object recognition. They have changed the usual computer vision practices of hand-engineered features, with their ability to hierarchically learn representative features from data with a pertinent classifier. Together with hardware advances, they have made it possible to effectively exploit the ever-growing amounts of image data gathered online. However, in specific domains like healthcare and industrial applications, data is much less abundant, and expert labeling costs higher than those of general purpose image datasets. This scarcity scenario leads to this thesis' core question: can these limited-data domains profit from the advantages of DCNNs for image classification? This question has been addressed throughout this work, based on an extensive study of literature, divided in two main parts, followed by proposal of original models and mechanisms. The first part reviews object recognition from an interdisciplinary double-viewpoint. First, it resorts to understanding the function of vision from a biological stance, comparing and contrasting to DCNN models in terms of structure, function and capabilities. Second, a state-of-the-art review is established aiming to identify the main architectural categories and innovations in modern day DCNNs. This interdisciplinary basis fosters the identification of potential mechanisms - inspired both from biological and artificial structures — that could improve image recognition under difficult situations. Recurrent processing is a clear example: while not completely absent from the "deep vision" literature, it has mostly been applied to videos — due to their inherently sequential nature. From biology however it is clear such processing plays a role in refining our perception of a still scene. This theme is further explored through a dedicated literature review focused on recurrent convolutional architectures used in image classification. The second part carries on in the spirit of improving DCNNs, this time focusing more specifically on our central question: deep learning over small datasets. First, the work proposes a more detailed and precise discussion of the small sample problem and its relation to learning hierarchical features with deep models. This discussion is followed up by a structured view of the field, organizing and discussing the different possible paths towards adapting deep models to limited data settings. Rather than a raw listing, this review work aims to make sense out of the myriad of approaches in the field, grouping methods with similar intent or mechanism of action, in order to guide the development of custom solutions for small-data applications. Second, this study is complemented by an experimental analysis, exploring small data learning with the proposition of original models and mechanisms (previously published as a journal paper). In conclusion, it is possible to apply deep learning to small datasets and obtain good results, if done in a thoughtful fashion. On the data path, one shall try gather more information from additional related data sources if available. On the complexity path, architecture and training methods can be calibrated in order to profit the most from any available domain-specific side-information. Proposals concerning both of these paths get discussed in detail throughout this document. Overall, while there are multiple ways of reducing the complexity of deep learning with small data samples, there is no universal solution. Each method has its own drawbacks and practical difficulties and needs to be tailored specifically to the target perceptual task at hand.; Les réseaux neuronaux convolutifs profonds ("deep convolutional neural networks" ou DCNN) ont récemment révolutionné la reconnaissance d'objets à grande échelle, modifiant les pratiques en vision par ordinateur, consistant à définir des caractéristiques représentatives "à la main", désormais apprises de façon hiérarchique à partir des données, tout en les classifiant. Fort de la progression des performances matérielles, on exploite efficacement des quantités toujours croissantes d'images recueillies en ligne. Mais, dans des domaines spécifiques, comme en santé ou pour certaines applications, les données sont moins abondantes, et les coûts d'étiquetage par des experts sont plus élevés. Cette rareté conduit à la question centrale de cette thèse : Ces domaines à données limitées peuvent-ils bénéficier des avantages des DCNN pour la classification des images ? Ce travail repose sur une étude approfondie de la littérature, divisée en deux parties principales, avant de proposer des modèles et des mécanismes originaux, expérimentés. La première partie couvre la reconnaissance des objets d'un double point de vue. Tout d'abord, la fonction visuelle biologique, est comparée et contrastée avec la structure, la fonction et les capacités des modèles DCNN. Puis, une revue de l'état-de-l'art identifie les principales catégories d'architectures et les innovations dans les DCNN récents. Cette base interdisciplinaire favorise l'identification des mécanismes — biologiquement et artificiellement inspirés — qui améliorent la reconnaissance d'images dans des situations difficiles. Le traitement récurrent en est un exemple clair : peu présent au niveau de la vision profonde, sauf le traitement aux vidéos — en raison du caractère naturellement séquentiel. Mais la biologie montre clairement qu'un tel traitement joue aussi un rôle dans l'affinement de notre perception d'une scène fixe. Ce thème est approfondi à travers une revue de la littérature consacrée aux architectures convolutionnelles récurrentes utilisées en catégorisation d'images. La deuxième partie se concentre sur notre question centrale~: l'apprentissage profond sur de petits corpus de données. Tout d'abord, le travail propose une discussion plus précise et détaillée de ce problème et de sa relation avec l'apprentissage hiérarchique des caractéristiques réalisé par des modèles profonds. Cette discussion est suivie d'une revue structurée du domaine, organisant et discutant les différentes voies possibles vers l'adaptation des modèles profonds à des données limitées. Plus qu'une simple liste, ce travail vise à trouver du sens dans la myriade d'approches du domaine, en regroupant les méthodes ayant un objectif ou un mécanisme d'action similaire, pour guider le développement d'application particulières, à petits corpus. Cette étude est complétée par une analyse expérimentale, explorant l'apprentissage de petits jeux de données avec des modèles et mécanismes originaux (précédemment publié comme papier de journal). En conclusion, l'apprentissage profond sur des petits corpus de données peut donner de bons résultats, si cela se fait de manière réfléchie. Au niveau des données, il faut essayer de recueillir plus d'informations à partir de sources de données supplémentaires connexes. Au niveau de la complexité, l'architecture et les méthodes d'entraînement peuvent être calibrées afin de tirer le meilleur parti de toute connaissance spécifique au domaine. Des propositions sont discutées en détail au fil du document. Il existe de multiples façons de réduire la complexité de l'apprentissage profond avec de petits échantillons de données, mais il n'y a pas de solution universelle. Chaque méthode a ses propres inconvénients et difficultés pratiques, devant toujours être adaptée spécifiquement à l'application, c'est-à-dire à la tâche perceptive à accomplir.

This thesis attempts to build a computational systems-level framework thatwould help to develop an understanding of the organization of the prefrontal cortex (PFC)and the basal ganglia (BG) systems and their functional interactions in the process ofdecision-making and goal-directed behaviour in humans. A videogame environment withan aritficial agent, Minecraft is used to design experiments to test the framework in anenvironment that could be more complex and realistic, if necessary. Malmo, a platformdeveloped by Microsoft, allows to communicate with the videogame Minecraft to designthe scenarios in the environment and control the behavior of the agent. The framework,along with virtual experimentation forms a closed-loop architecture for studyingthe high-level animal behavior. It is pointed out that the generic principles behind theflexible animal behaviors also give insights into developing artificial intelligence (A.I) thatis more general and autonomous in the nature of learning, in addition to the current A.Isystems that are specialized in a particular task.Behavior, of a human or an animal, is a pattern of responses to a certain stimulus(physical or abstract). A response is essentially a choice among several possible options orsimply a choice between whether or not to make a choice from the available options. Theneural correlates of decision-making in humans is an extensively sought after questionacross multiple fields ranging from behavioural psychology, economics to neuroscienceand artificial intelligence (AI). Especially in the field of neuroeconomics and AI, thereis a huge pursuit to understand the underpinnings of decision-making in brain. Withrapidly growing interest in understanding the neural substrates of decision-making, learningand behaviour, at least in higher order mammals like rodents, non-human primatesand humans, more research is leading to deeper questions about our understanding ofdecision-making itself. It is not so surprising because, given that any species, in somedegree or the other, depends on the mechanisms of action selection or decision-making forits survival in an uncertain environment. Humans are presumably the most flexible andadaptive decision-makers who can learn the underlying structure of the world, even if thestructure is hidden, and rapidly adapt their behaviour. The prefrontal cortex (PFC) hasbeen at the forefront of this proposition and is believed to have facilitated this evolutiontowards a wider repertoire of behaviours that emerge from underlying primitive actionselection mechanisms. It is highlighted that studying complex realistic decision-makingin ecological scenarios will require a more sophisticated experimentation methods thanthe regular numerical simulations used. The experiments designed in Minecraft can beused to test the framework in an environment that could be more complex and realistic,if necessary. Major value addition of a virtual environment and an agent interacting in itis, that the bodily characteristics of the agent can be emphasized (like needs) and theirrole in value-based decision making can be discussed. Subsequently the framework, alongwith virtual experimentation forms a closed-loop architecture for studying the high-levelanimal behavior.The neural systems framework in this work rests on the network dynamics betweenthe subsystems of PFC and BG. PFC is believed to play a crucial role, in executive functionslike planning, attention, goal-directed behavior, etc. BG are a group of sub-corticalnuclei that have been extensively studied in the field of motor control and action selection.Different regions in the PFC and structures within BG are anatomically organized, includinga respective sensory cortical region, in parallel and segregated loops (each of themreferred here as a CBG loop). These loops can be, on a high level, divided into 3 kinds: limbic loops, associative loops and sensori-motor loops. Imagine an animal interactingwith stimuli in an environment. Some of the most pertinent questions to the currentstate of the animal with respect to the stimuli present are : (i) What is (the value of) thisstimulus? (Preference) (ii) Why is this stimulus relevant to my current internal needs?(Need) (iii) Where is this stimulus located with respect to my reference in the currentenvironment (Orientation), and (iv) How do I reach the ’desired’ stimulus (Approach).Limbic loops address the questions What? and Why?. Sensori-motor loops are concernedwith the questions Where? and How?. Associative loops form a multi-modal associationof the current state information, for instance which stimulus in the limbic loops is atwhich position represented in the motor loops. Furthermore, in each of these loops, asthe subregion of PFC represents the chosen goal, the process of achieving the goal bysustained activation between the PFC subregion and the corresponding sensory corticalarea is described. Especially virtual experimentation helps highlight this phenomenon bydemonstrating flexible adjustments to action plan once the goal is selected.First, a comprehensive framework with the above mentioned parallel loops is implemented.All the four loops are algorithmically implemented, describing the mutual influencesbetween each of the prefrontal sub-regions. It is important to note that, althoughthere is no explicit hierarchy built in the system among the loops, there are two levelsof hierarchy that could implicitly arise. First, although the motor loops are free to makedecisions in the action space, with sufficient learning in the limbic space, the decisions inany of the limbic loops could lead the decisions in the sensori-motor space. through theassociative loop. Secondly, it is assumed that the fundamental motivation of the animalis internal homeostatis, that is to maintain its internal needs in acceptable bounds. Thus,in certain situations, the internal motivation might lead the dynamics in the limbic loops,with the Why? loop for internal motivation biasing the What? loop which might bemore stimulus-driven, when there is no pressing internal need. The inputs for the CBGloops is provided by the sensory perception of the framework that communicates theinformation provided by Malmo from the videogame environment to the correspondingrepresentations in the framework. Similarly the output of the framework is transformedto appropriate Malmo representations of action commands that drive the agent in theenvironment. Since the cognitive framework is described by several biological constraints,several adaptations have been made in the way the Malmo platform is used, in terms ofsensory perception of the environment and the motor control of the agent.Next, we use this framework to study more closely, the role of limbic loops in valueguideddecision making and goal-directed behavior. The emphasis rests on the limbicloops. Therefore the associative and sensori-motor loops are modeled algorithmically,taking help of the experimentation platform for motor control. As for the limbic loops,the orbitofrontal cortex (OFC) is the part of a loop for preferences and the anteriorcingulate cortex (ACC), for internal needs. These loops are formed through their limbiccounterpart in BG, ventral striatum (VS). VS has been widely studied and reported tobe encoding various substrates of value, forming an integral part of value-based decisionmaking. Simplistic scenarios are designed in the virtual environment using the agent andsome objects and appetitive rewards in the environment. The limbic loops have beenimplemented according to existing computational models of decision making in the BGand amygdala. Thus the framework and the experimental platform stand as a testbed tocomputational models of specific processes that have to fit in a bigger picture.Of the limbic loops, the role of OFC has been closely studied. Ranging over diversestudies across decades, OFC has been implicated in almost all aspects of decision-making- state representation, outcome prediction, action selection, outcome evaluation and primarily,learning. Furthermore, deficits or lesions of OFC were argued to cause multiplebehavioral impairments such as response inhibition for no longer rewarding stimulus,learning when reward contingencies are reversed etc. With more advanced lesion techniquesand keener analysis, several such observations were turned down. Nevertheless,the role of OFC in value-based decision making and learning is underlined time and again,while the exact ways in which it affects the process are still unknown. As part of this thesis,several outstanding observations about the role of OFC in behavior have been summarizedby consolidating numerous experimental evidences and reviews. To highlight a few,OFC is implied in : perceptual decision making and value-based decision making; withina single decision-making episode (trial), different kinds of involvement at a different phase(option presentation, action selection, outcome delivery etc.,); learning stimuli-outcome(pavlovian) and action-outcome (instrumental) associations. The neurons in OFC werefound to vividly correlate with the value of the outcomes, more interestingly expressing aphenomenon of range adaptation, adapting to the changing ranges of values. OFC is believedto learn a state space representation of the task space to be able to access partiallyobservable information for a decision. The structural heterogeneity of OFC adds to theinherent underlying complexity about studying the role of Orbitofrontal Cortex (OFC)in decision making, learning and goal-directed behavior. This has been studied in therecent years, with studies focused on dissociating the roles of lateral and medial subpartsof OFC. Often, ventromedial prefrontal cortex (vmPFC) is considered under medial OFC.Bouret et al., 2010, Noonan et al., 2010, Rudebeck & Murray 2011 are some of the fewcomprehensive studies that clearly argued for separate roles of lateral and medial OFC.Lastly, to explain the findings of different roles of lateral and medial regions of OFC,existing computational architecture of CBG loops, pavlovian learning in amygdala andmultiple evidences of amygdala-OFC-VS interactions are put together into a single model.The learning rules of reinforcement have been adapted to accommodate the appropriatecredit assignment (correct outcome to correct chosen stimulus) and the value differenceof the choice options. As a result, several findings from animal experiments studying theseparable roles, were replicated. Particularly in the context of different roles of lateraland medial OFC in decision making as a function of the value difference between options,distinct and dissociate roles of lateral and medial were observed. Medial OFC seemed tobe more crucial for the choice between two options that are close to each other, whereaslesions to medial OFC did not seem to affect the animal’s performance when the differencebetween the values of the options are sufficiently apart. On the contrary, surprisinglylateral OFC appeared to be crucial when the decisions are easy to make whereas lesionsto lateral OFC did not seem to affect the difficult choices where the values of the optionsare close to each other. Similar results were found in the performances of the monkeys withlesions to to lateral and those with lesions to medial OFC. Dissociable roles in PavlovianInstrumental Transfer were also observed.Notwithstanding the detailed neural architectures and basic neuronal descriptions usedin certain parts of this work, the neural mechanisms of all the behavioral paradigms werediscussed at a very simplistic level. Throughout the work, only appetitive behavior hasbeen described, whereas most of the processes described in this work are also known toaccount for aversive behaviors like avoiding punishments. In addition, the role of dopamineas the neurotransmitter facilitating learning has been extremely simplified. Furthermore,with multiple systems of reinforcement learning involved in the framework, it demandsfor a detailed role of how dopamine could have a differential effect on these systems. Oneof the most important elements of behavior that is not accounted for in the framework ismemory. In fact by complementing the framework with an existing computational accountof a minimal working memory model, the mechanisms of sustained activities to maintaingoals until achieving, aspects like giving up if the goal hasn’t been reached for a longtime etc, can be explored further. Adding an explicit memory to store minimum spatialand episodic information would allow the framework to explain more flexible behaviorslike pure goal-directed or opportunistic behaviors. However, that would require muchsophisticated implementations of motor loops where a desired position can be navigated.Nevertheless, the investigations into the observed evidences around OFC offer great insightinto understanding the very process of decision-making, value computation in general.By venturing into a realm of bio-inspired adaptive learning in an embodied virtual agent,describing the principles of motivation, goal-selection and self-evaluation, it is highlightedthat the field of reinforcement learning and artificial intelligence has a lot to gain fromstudying the role of prefrontal systems in decision-making., Cette thèse tente de construire un cadre de travail au niveau des systèmes informatiques qui aiderait à comprendre l’organisation des systèmes du cortex préfrontal (PFC) et desganglions de base (BG) et leurs interactions fonctionnelles dans le processus décisionnelet le comportement ciblé chez les humains. Environnement de jeu vidéo avec unagent artificiel, Minecraft est utilisé pour concevoir des expériences visant à tester lecadre dans un environnement qui pourrait être plus complexe et réaliste, si nécessaire.Malmo, une plateforme développée par Microsoft, permet de communiquer avec le jeuvidéo Minecraft pour concevoir les scénarios dans l’environnement et contrôler le comportementde l’agent. Le cadre, avec l’expérimentation virtuelle forme une architectureen boucle fermée pour l’étude du comportement animal de haut niveau. Il est soulignéque les principes génériques qui sous-tendent les comportements animaux flexibles donnentégalement un aperçu du développement de l’intelligence artificielle (I.A.) qui est plusgénérale et autonome dans la nature de l’apprentissage, en plus des systèmes actuels d’I.A.qui sont spécialisés dans une tâche particulière.Le comportement, d’un humain ou d’un animal, est un ensemble de réactions à uncertain stimulus (physique ou abstrait). Une réponse est essentiellement un choix parmiplusieurs options possibles ou simplement une décision entre faire un choix parmi les optionsdisponibles ou non. Les corrélats neuronaux de la prise de décision chez l’hommesont une question très recherchée dans de multiples domaines allant de la psychologie ducomportement, de la neuroéconomie et à l’intelligence artificielle (I.A.). En particulierdans le domaine de la neuroéconomie et de l’I.A., il y a une recherche énorme pour comprendreles fondements de la prise de décision dans le cerveau. Avec l’intérêt croissantpour la compréhension des substrats neuronaux de la prise de décision, de l’apprentissageet du comportement, du moins chez les mammifères d’ordre supérieur comme les rongeurs,les primates non humains et les humains, plus de recherche mène à des questions plus profondessur notre compréhension du processus décisionnel lui-même. Ce n’est pas si surprenant,étant donné qu’une espèce, dans une certaine mesure, dépend des mécanismesde sélection des actions ou de prise de décision pour sa survie dans un environnementincertain. L’homme est sans doute le décideur le plus souple et le plus adaptable qui peutapprendre la structure sous-jacente du monde, même si cette structure est cachée, et il peutadapter rapidement son comportement. Le cortex préfrontal (PFC) est à l’avant-gardede cette faculté et on croit qu’il a facilité cette évolution vers un répertoire plus large decomportements qui émergent des mécanismes sous-jacents de sélection des actions primitives.Il est souligné que l’étude de la prise de décisions complexes et réalistes dans desscénarios écologiques nécessitera des méthodes d’expérimentation plus sophistiquées queles simulations numériques classiques utilisées. Les expériences conçues dans Minecraftpeuvent être utilisées pour tester le cadre dans un environnement qui pourrait être pluscomplexe et réaliste, si nécessaire. La valeur ajoutée majeure d’un environnement virtuelet d’un agent qui y interagit est que les caractéristiques corporelles de l’agent peuventêtre soulignées (comme les besoins) et leur rôle dans la prise de décision basée sur lavaleur peut être discuté. Par la suite, le cadre, avec l’expérimentation virtuelle forme unearchitecture en boucle fermée pour l’étude du comportement animal de haut niveau.Le cadre des systèmes neuronaux dans ce travail repose sur la dynamique des réseauxentre les sous-systèmes de PFC et BG. On croit que le PFC joue un rôle crucial dans lesfonctions exécutives comme la planification, l’attention, le comportement ciblé, etc. LesBG sont un groupe de noyaux sous-corticaux qui ont fait l’objet d’études approfondiesdans le domaine du contrôle moteur et de la sélection d’action. Différentes régions du PFCet structures au sein des BG sont anatomiquement organisées, en association avec unerégion corticale sensorielle respective, en boucles parallèles et séparées (chacune d’entreelles étant appelée ici une boucle CBG). Ces boucles peuvent être, à un niveau élevé,divisées en 3 types : les boucles limbiques, les boucles associatives et les boucles sensorimotrices.Imaginez un animal interagissant avec des stimuli dans un environnement. Voiciquelques-unes des questions les plus pertinentes relatives à l’état actuel de l’animal en cequi concerne les stimuli présents : (i) Quel est (la valeur de) ce stimulus ? (Préférence)(ii) Pourquoi ce stimulus est-il pertinent pour mes besoins internes actuels ? (Besoin)(iii) Où est ce stimulus situé par rapport à ma référence dans l’environnement actuel(Orientation), et (iv) Comment atteindre le stimulus ’souhaité’ (Approche). Les boucleslimbiques répondent aux questions Quoi? et Pourquoi? Les boucles sensori-motrices sontconcernées par les questions Où? et Comment?. Les boucles associatives forment uneassociation multimodale de l’information sur l’état actuel, par exemple quel stimulus dansles boucles limbiques est représenté à quelle position dans les boucles motrices. En outre,dans chacune de ces boucles, comme la sous-région de la PFC représente l’objectif choisi,le processus de réalisation de l’objectif par une activation soutenue entre la sous-régionde la PFC et la région corticale sensorielle correspondante est décrit. L’expérimentation,en particulier virtuelle, permet de mettre en évidence ce phénomène en faisant preuve desouplesse dans l’adaptation du plan d’action une fois l’objectif choisi.Tout d’abord, un cadre global avec les boucles parallèles susmentionnées est mis enoeuvre. Les quatre boucles sont mises en oeuvre de manière algorithmique, décrivantles influences mutuelles entre chacune des sous-régions préfrontales. Il est important denoter que, bien qu’il n’y ait pas de hiérarchie explicite établie dans le système entre lesboucles, deux niveaux de hiérarchie pourraient implicitement apparaître. Premièrement,bien que les boucles motrices soient libres de prendre des décisions dans l’espace d’action,avec suffisamment d’apprentissage dans l’espace limbique, les décisions dans n’importelaquelle des boucles limbiques pourraient conduire les décisions dans l’espace sensorimoteurà travers la boucle associative. Deuxièmement, on suppose que la motivationfondamentale de l’animal est l’homéostasie interne, c’est-à-dire de maintenir ses besoinsinternes dans des limites acceptables. Ainsi, dans certaines situations, la motivationinterne peut conduire la dynamique dans les boucles limbiques, avec la boucle Pourquoi?.Les entrées pour les boucles CBG sont fournies par la perception sensorielle du cadrequi communique les informations fournies par Malmö à partir de l’environnement de jeuvidéo aux représentations correspondantes dans le cadre. De même, la sortie du cadre esttransformée en représentations Malmo appropriées des commandes d’action qui entraînentl’agent dans l’environnement. Le cadre cognitif étant décrit par plusieurs contraintesbiologiques, plusieurs adaptations ont été apportées à l’utilisation de la plate-forme deMalmo, en termes de perception sensorielle de l’environnement et de contrôle moteur del’agent.Ensuite, nous utilisons ce cadre pour étudier de plus près le rôle des boucles limbiquesdans la prise de décision guidée par les valeurs et le comportement ciblé. L’accent est missur les boucles limbiques. Les boucles associatives et sensori-motrices sont donc modéliséesde manière algorithmique, à l’aide de la plate-forme d’expérimentation pour le contrôlemoteur. Comme pour les boucles limbiques, le cortex orbitofrontal (OFC) est la partied’une boucle pour les préférences et le cortex cingulaire antérieur (ACC), pour les besoinsinternes. Ces boucles sont formées par leur contrepartie limbique en BG, striatum ventral(VS). Le VS etait fait l’objet de nombreuses études et on a signalé qu’il encode diverssubstrats de valeur, faisant ainsi partie intégrante de la prise de décisions fondées sur lesvaleurs. Des scénarios simplistes sont conçus dans l’environnement virtuel en utilisantl’agent et certains objets et des récompenses appétissantes dans l’environnement. Lesboucles limbiques ont été mises en oeuvre selon les modèles informatiques existants deprise de décision dans les BG et l’amygdale. Ainsi, le cadre et la plate-forme expérimentaleservent de banc d’essai à des modèles informatiques de processus spécifiques qui doivents’inscrire dans une perspective plus large.Parmi les boucles limbiques, le rôle de l’OFC a été étudié de près. Au fil des décennies,l’OFC a été impliqué dans presque tous les aspects de la prise de décision - représentationde l’état, prédiction des résultats, sélection des actions, évaluation des résultats etsurtout, l’apprentissage. En outre, les déficits ou les lésions de l’OFC ont été argués pourcauser des déficiences comportementales multiples telles que l’inhibition de réponse pourne plus récompenser le stimulus, l’apprentissage quand les contingences de récompensesont inversées, etc. Avec des techniques de lésions plus avancées et une analyse plus fine,plusieurs de ces observations ont été rejetées. Néanmoins, le rôle d’OFC dans la prisede décision et l’apprentissage fondés sur les valeurs est souligné à maintes reprises, alorsque l’on ignore encore la manière exacte dont il affecte le processus. Dans le cadre decette thèse, plusieurs observations remarquables sur le rôle d’OFC dans le comportementont été résumées en consolidant de nombreuses preuves expérimentales et revues. Envoici quelques exemples : la prise de décision perceptive et la prise de décision fondéesur les valeurs ; au sein d’un même épisode de prise de décision (l’essai), différents typesde participation à une étape différente (présentation des options, sélection des actions,prestation des résultats, etc.) ; les associations des stimuli et des résultats d’apprentissage(Pavlovien) et d’actions-résultats (instrumental). On a constaté que les neurones d’OFCprésentent une corrélation frappante avec la valeur des résultats, exprimant de façonplus intéressante un phénomène d’adaptation de l’intervalle, s’adaptant à l’évolution del’intervalle des valeurs. L’OFC est censé apprendre une représentation spatiale d’étatde l’espace de travail pour pouvoir accéder à des informations partiellement observablesen vue d’une décision. L’hétérogénéité structurelle d’OFC ajoute à la complexité sous-jacente inhérente à l’étude du rôle d’OFC dans la prise de décision, l’apprentissage et lecomportement ciblé. Cette question a été étudiée au cours des dernières années, avec desétudes axées sur la dissociation des rôles des sous-parties latérale et médial de l’OFC.Souvent, le cortex préfrontal ventromédial (vmPFC) est pris en compte dans le cadred’OFC médial. Bouret et al 2010, Noonan et al 2010, Rudebeck & Murray 2011 sontquelques-unes des rares études approfondies qui ont clairement plaidé en faveur de rôlesdistincts pour l’OFC latéral et médial.Enfin, pour expliquer les résultats des différents rôles des régions latérales et médianesde l’OFC, l’architecture informatique existante des boucles CBG, l’apprentissagepavlovien dans l’amygdale et les multiples preuves des interactions amygdales-OFC-VSsont réunies dans un modèle unique. Les règles d’apprentissage du renforcement ont étéadaptées pour tenir compte de l’attribution de crédits appropriée (résultat correct pourcorriger le stimulus choisi) et de la différence de valeur des options de choix. Par conséquent,plusieurs résultats d’expériences sur des animaux étudiant les rôles séparablesont été reproduits. En particulier dans le contexte des différents rôles de l’OFC latéral etmédial dans la prise de décision en fonction de la différence de valeur entre les options, desrôles distincts et dissociés des régions latérale et médiale ont été observés. L’OFC médialsemblait plus crucial pour le choix entre deux options proches l’une de l’autre, alors queles lésions de l’OFC médial ne semblaient pas affecter la performance de l’animal lorsquela différence entre les valeurs des deux options est suffisamment éloignée. Au contraire, demanière surprenante, l’OFC latéral s’est avéré crucial lorsque les décisions sont faciles àprendre alors que les lésions de l’OFC latéral ne semblaient pas affecter les choix difficilesoù les valeurs des options sont proches les unes des autres. Des résultats similaires ont ététrouvés dans les performances des singes avec des lésions a l’OFC latéral et celles avec deslésions à l’OFC médial. Des rôles dissociables dans le transfert instrumental pavlovienont également été observés.Nonobstant les architectures neuronales détaillées et les descriptions neuronales debase utilisées dans certaines parties de ce travail, les mécanismes neuronaux de tous lesparadigmes comportementaux ont été discutés à un niveau très simpliste. Tout au longdu travail, seul le comportement appétitif a été décrit, alors que la plupart des processusdécrits dans ce travail sont également connus pour expliquer les comportements aversifscomme éviter les punitions. En outre, le rôle de la dopamine en tant que neurotransmetteurfacilitant l’apprentissage a été extrêmement simplifié. De plus, avec les multiplessystèmes d’apprentissage de renforcement impliqués dans le cadre, il exige un rôle détaillésur la façon dont la dopamine pourrait avoir un effet différentiel sur ces systèmes. L’un deséléments les plus importants du comportement qui n’est pas pris en compte dans le cadreest la mémoire. En fait, en complétant le cadre par un compte rendu informatique existantd’un modèle de mémoire de travail minimale, les mécanismes des activités soutenuespour maintenir les objectifs jusqu’à ce qu’ils soient atteints, des aspects comme l’abandonsi l’objectif n’a pas été atteint depuis longtemps, etc. peuvent être explorés davantage.L’ajout d’une mémoire explicite pour stocker un minimum d’informations spatiales etépisodiques permettrait au cadre d’expliquer des comportements plus flexibles commedes comportements purement ciblés ou opportunistes. Cependant, cela nécessiterait desimplémentations très sophistiquées de boucles de moteur où l’on peut naviguer dans uneposition désirée.Néanmoins, les recherches sur les preuves observées autour de l’OFC permettent demieux comprendre le processus même de la prise de décision et le calcul de la valeur engénéral. En s’aventurant dans un domaine d’apprentissage adaptatif bio-inspiré dans unagent virtuel incarné, décrivant les principes de motivation, de sélection d’objectifs etd’auto-évaluation, il est souligné que le domaine de l’apprentissage par renforcement etde l’intelligence artificielle a beaucoup à gagner à étudier le rôle des systèmes préfrontauxdans le processus décisionnel.

This thesis attempts to build a computational systems-level framework that would help to develop an understanding of the organization of the prefrontal cortex (PFC) and the basal ganglia (BG) systems and their functional interactions in the process of decision-making and goal-directed behaviour in humans. A videogame environment, Minecraft is used to design experiments to test the framework in an environment that could be more complex and realistic, if necessary. The framework, along with virtual experimentation forms a closed-loop architecture for studying the high-level animal behavior.The neural systems framework in this work rests on the network dynamics between the subsystems of PFC and BG. PFC is believed to play a crucial role, in executive functions like planning, attention, goal-directed behavior, etc. BG are a group of sub-cortical nuclei that have been extensively studied in the field of motor control and action selection.Different regions in the PFC and structures within BG are anatomically organized, in parallel and segregated loops (each of them referred as a CBG loop). These loops can be, on a high level, divided into 3 kinds : limbic loops, associative loops and sensori-motor loops.First, a comprehensive framework with the above mentioned parallel loops is implemented. The emphasis rests on the limbic loops. Therefore the associative and sensori-motor loops are modeled algorithmically, taking help of the experimentation platform for motor control. As for the limbic loops, the orbitofrontal cortex (OFC) is the part of a loop for preferences and the anterior cingulate cortex (ACC), for internal needs. These loops are formed through their limbic counterpart in BG, ventral striatum (VS). VS has been widely studied and reported to be encoding various substrates of value, forming an integral part of value-based decision making. Simplistic scenarios are designed in the virtual environment using the agent and some objects and appetitive rewards in the environment. The limbic loops have been implemented according to existing computational models of decision making in the BG. Thus the framework and the experimental platform stand as a testbed to computational models of specific processes that have to fit in a bigger picture. Next, we use this framework to study more closely, the role of OFC in value-guided decision making and goal-directed behavior. As part of this thesis, several outstanding observations about the role of OFC in behavior have been summarized by consolidating numerous experimental evidences and reviews.Lastly, to explain the findings of different roles of lateral and medial regions of OFC, existing computational architecture of CBG loops, pavlovian learning in amygdala and multiple evidences of amygdala-OFC-VS interactions are put together into a single model. The learning rules of reinforcement have been adapted to accommodate the appropriate credit assignment (correct outcome to correct chosen stimulus) and the value difference of the choice options. As a result, several findings from animal experiments studying the separable roles, were replicated. Difference in choice impairments depending on the value difference between the best and the second best option is one of them. Dissociable roles in Pavlovian Instrumental Transfer were also observed.The investigations into the observed evidences around OFC offer great insight into understanding the very process of decision-making, value computation in general. By venturing into a realm of bio-inspired adaptive learning in an embodied virtual agent, describing the principles of motivation, goal-selection and self-evaluation, it is highlighted that the field of reinforcement learning and artificial intelligence has a lot to gain from studying the role of prefrontal systems in decision-making.; Cette thèse propose de construire un cadre de travail de modélisation systémique, pour aider à la compréhension de l'organisation des systèmes associant le cortex préfrontal (PFC) et les ganglions de la base (BG) et de leurs interactions fonctionnelles dans les processus de prise de décision et de comportement dirigé par les buts chez les humains. Un environnement de jeu vidéo, Minecraft, est utilisé pour concevoir des expériences. Elles visent à tester le jeu vidéo dans un environnement qui pourrait être plus complexe et réaliste, si besoin. Ce cadre, avec l'expérimentation virtuelle, forme une architecture en boucle fermée pour l'étude de comportements animaux de haut niveau. Le cadre des systèmes neuronaux de ce travail repose sur la dynamique des réseaux entre des sous-systèmes du PFC et des BG. Le PFC joue un rôle crucial dans les fonctions exécutives comme la planification, l'attention, le comportement dirigé par les buts, etc. Les BG sont un groupe de noyaux sous-corticaux qui ont fait l'objet d'études approfondies dans le domaine du contrôle moteur et de la sélection de l'action. Différentes régions dans le PFC et les structures au sein des BG sont organisées anatomiquement, en boucles parallèles et séparées (chacune d'entre elles étant appelée une boucle CBG). Ces boucles peuvent être, à un niveau abstrait, divisées en 3 types : les boucles limbiques, les boucles associatives et les boucles sensorimotrices. Tout d'abord, un cadre global avec ces boucles parallèles a été mis en oeuvre. L'accent est mis sur les boucles limbiques. Les boucles associatives et sensori-motrices sont modélisées de manière algorithmique, à l'aide de la plate-forme d'expérimentation pour le contrôle moteur. Pour ce qui concerne les boucles limbiques, le cortex orbitofrontal (OFC) représente une boucle pour estimer les préférences et la boucle du cortex cingulaire antérieur (ACC) représente les besoins internes. Le substrat correspondant de ces boucles dans les BG est le striatum ventral (VS), beaucoup étudié pour son rôle dans le codage des valeurs. Des scénarios simples sont conçus dans l'environnement virtuel en utilisant l'agent, certains objets et des récompenses appétitives dans l'environnement. Les boucles limbiques ont été implémentées selon des modèles existants de prise de décision dans les BG. Ainsi, le cadre théorique et la plateforme expérimentale servent de banc d'essai pour ces modèles spécifiques qui doivent s'adapter dans une perspective plus large. Ensuite, nous utilisons ce cadre pour étudier de plus près le rôle de l’OFC dans la prise de décision guidée par la valeur et le comportement dirigé par les buts. Dans le cadre de cette thèse, des observations importantes sur le rôle de l’OFC dans le comportement ont été intégrées en consolidant de nombreuses données expérimentales. [...]

This thesis attempts to build a computational systems-level framework that would help to develop an understanding of the organization of the prefrontal cortex (PFC) and the basal ganglia (BG) systems and their functional interactions in the process of decision-making and goal-directed behaviour in humans. A videogame environment, Minecraft is used to design experiments to test the framework in an environment that could be more complex and realistic, if necessary. The framework, along with virtual experimentation forms a closed-loop architecture for studying the high-level animal behavior.The neural systems framework in this work rests on the network dynamics between the subsystems of PFC and BG. PFC is believed to play a crucial role, in executive functions like planning, attention, goal-directed behavior, etc. BG are a group of sub-cortical nuclei that have been extensively studied in the field of motor control and action selection.Different regions in the PFC and structures within BG are anatomically organized, in parallel and segregated loops (each of them referred as a CBG loop). These loops can be, on a high level, divided into 3 kinds : limbic loops, associative loops and sensori-motor loops.First, a comprehensive framework with the above mentioned parallel loops is implemented. The emphasis rests on the limbic loops. Therefore the associative and sensori-motor loops are modeled algorithmically, taking help of the experimentation platform for motor control. As for the limbic loops, the orbitofrontal cortex (OFC) is the part of a loop for preferences and the anterior cingulate cortex (ACC), for internal needs. These loops are formed through their limbic counterpart in BG, ventral striatum (VS). VS has been widely studied and reported to be encoding various substrates of value, forming an integral part of value-based decision making. Simplistic scenarios are designed in the virtual environment using the agent and some objects and appetitive rewards in the environment. The limbic loops have been implemented according to existing computational models of decision making in the BG. Thus the framework and the experimental platform stand as a testbed to computational models of specific processes that have to fit in a bigger picture. Next, we use this framework to study more closely, the role of OFC in value-guided decision making and goal-directed behavior. As part of this thesis, several outstanding observations about the role of OFC in behavior have been summarized by consolidating numerous experimental evidences and reviews.Lastly, to explain the findings of different roles of lateral and medial regions of OFC, existing computational architecture of CBG loops, pavlovian learning in amygdala and multiple evidences of amygdala-OFC-VS interactions are put together into a single model. The learning rules of reinforcement have been adapted to accommodate the appropriate credit assignment (correct outcome to correct chosen stimulus) and the value difference of the choice options. As a result, several findings from animal experiments studying the separable roles, were replicated. Difference in choice impairments depending on the value difference between the best and the second best option is one of them. Dissociable roles in Pavlovian Instrumental Transfer were also observed.The investigations into the observed evidences around OFC offer great insight into understanding the very process of decision-making, value computation in general. By venturing into a realm of bio-inspired adaptive learning in an embodied virtual agent, describing the principles of motivation, goal-selection and self-evaluation, it is highlighted that the field of reinforcement learning and artificial intelligence has a lot to gain from studying the role of prefrontal systems in decision-making.; Cette thèse propose de construire un cadre de travail de modélisation systémique, pour aider à la compréhension de l'organisation des systèmes associant le cortex préfrontal (PFC) et les ganglions de la base (BG) et de leurs interactions fonctionnelles dans les processus de prise de décision et de comportement dirigé par les buts chez les humains. Un environnement de jeu vidéo, Minecraft, est utilisé pour concevoir des expériences. Elles visent à tester le jeu vidéo dans un environnement qui pourrait être plus complexe et réaliste, si besoin. Ce cadre, avec l'expérimentation virtuelle, forme une architecture en boucle fermée pour l'étude de comportements animaux de haut niveau. Le cadre des systèmes neuronaux de ce travail repose sur la dynamique des réseaux entre des sous-systèmes du PFC et des BG. Le PFC joue un rôle crucial dans les fonctions exécutives comme la planification, l'attention, le comportement dirigé par les buts, etc. Les BG sont un groupe de noyaux sous-corticaux qui ont fait l'objet d'études approfondies dans le domaine du contrôle moteur et de la sélection de l'action. Différentes régions dans le PFC et les structures au sein des BG sont organisées anatomiquement, en boucles parallèles et séparées (chacune d'entre elles étant appelée une boucle CBG). Ces boucles peuvent être, à un niveau abstrait, divisées en 3 types : les boucles limbiques, les boucles associatives et les boucles sensorimotrices. Tout d'abord, un cadre global avec ces boucles parallèles a été mis en oeuvre. L'accent est mis sur les boucles limbiques. Les boucles associatives et sensori-motrices sont modélisées de manière algorithmique, à l'aide de la plate-forme d'expérimentation pour le contrôle moteur. Pour ce qui concerne les boucles limbiques, le cortex orbitofrontal (OFC) représente une boucle pour estimer les préférences et la boucle du cortex cingulaire antérieur (ACC) représente les besoins internes. Le substrat correspondant de ces boucles dans les BG est le striatum ventral (VS), beaucoup étudié pour son rôle dans le codage des valeurs. Des scénarios simples sont conçus dans l'environnement virtuel en utilisant l'agent, certains objets et des récompenses appétitives dans l'environnement. Les boucles limbiques ont été implémentées selon des modèles existants de prise de décision dans les BG. Ainsi, le cadre théorique et la plateforme expérimentale servent de banc d'essai pour ces modèles spécifiques qui doivent s'adapter dans une perspective plus large. Ensuite, nous utilisons ce cadre pour étudier de plus près le rôle de l’OFC dans la prise de décision guidée par la valeur et le comportement dirigé par les buts. Dans le cadre de cette thèse, des observations importantes sur le rôle de l’OFC dans le comportement ont été intégrées en consolidant de nombreuses données expérimentales. [...]

Understanding the behavior of the retino-thalamo-cortico-collicular (i.e. early) visual system in a natural images situation is of utmost importance to understand what further happens in the brain.To understand these behaviors, neuroscientists have looked at the standard Parvocellular and Magnocellular pathways for decades.However, there is also the non-standard Koniocellular pathway, which plays an important modulating role in the local, global, and intermingled processing carried out to achieve such behaviors.Particularly, the standard motion analysis carried out by the Magno pathway is alternated with rapid reactions, like fleeing or approaching to specific motions, which are hard-wired in the Konio pathway.In addition, studying a fixation task in a real situation, e.g., when a predator slowly approaches its prey, not only involves a motion mechanism, but also requires the use of the Parvo pathway, analyzing, at least, the image contrast. Here, we study in a bio-inspired computational neural model how these pathways can be modeled with a minimal set of parameters, in order to provide robust numerical results when doing a real task. This model is based upon an important study to integrate biological elements about the architecture of the circuits, the time constants and the operating characteristics of the different neurons.Our results show that our model, despite operating via local computations, globally shows a good network behavior in terms of space and time, and allows to analyze and propose interpretations to the interplay between thalamus and cortex.At a more macroscopic scale, the behaviors emerging from the model are reproducible and can be qualitatively compared to human-made fixation measurements.This is also true when using natural images, where just a few parameters are slightly modified, keeping the qualitatively human-like results.Robustness results show that the precise values of the parameters are not critical, but their order of magnitude matters. Numerical instability occurs only after a 100\% variation of a parameter. We thus can conclude that such a reduced systemic approach is able to represent attentional shifts using natural images, while also being algorithmically robust.This study gives us as well a possible interpretation about the role of the Konio pathway, while at the same time allowing us to participate in the debate between low and high-roads in the attentional and emotional streams.Nevertheless, other information, such as color, is also present in the early visual system, and should be addressed together with more complex cortical mechanisms in a sequel of this work.; Comprendre le comportement du système visuel rétino-thalamo-cortico-colliculaire (i.e. précoce) dans une situation d'images naturelles est d'une importance capitale pour comprendre ce qui se passe ensuite dans le cerveau. Pour comprendre ces comportements, les neurobiologistes ont étudié les voies standard, Parvocellulaires et Magnocellulaires, depuis des décennies.Cependant, il y a aussi la voie non-standard, ou Koniocellulaire, qui joue un rôle modulateur important dans les traitements local, global, et entremêlé, pour atteindre de tels comportements. Particulièrement, l'analyse standard du mouvement réalisée par la voie Magno est alternée avec des réactions rapides, comme la fuite ou l'approche à des mouvements spécifiques, qui sont pré-câblés dans la voie Konio. De plus, l'étude d'une tâche de fixation dans une situation réelle, par exemple quand un prédateur s'approche lentement de sa proie, implique non seulement un mécanisme de mouvement, mais nécessite également l'utilisation de la voie Parvo, qui analyse, au moins, le contraste de l'image. Ici, nous étudions dans un modèle neuronal de calcul bio-inspiré comment ces voies peuvent être modélisées avec un ensemble minimal de paramètres, afin de fournir des résultats numériques robustes lors d'une tâche réelle. Ce modèle repose sur une étude approfondie pour intégrer des éléments biologiques dans l'architecture des circuits, les constantes de temps et les caractéristiques de fonctionnement des neurones. Nos résultats montrent que notre modèle, bien que fonctionnant via des calculs locaux, montre globalement un bon comportement de réseau en termes d'espace et de temps, et permet d'analyser et de proposer des interprétations de l'interaction entre le thalamus et le cortex. À une échelle plus macroscopique, les comportements du modèle sont reproductibles et peuvent être qualitativement comparés à des mesures de fixation oculaire chez l'homme.Cela est également vrai lorsque l'on utilise des images naturelles, où quelques paramètres sont légèrement modifiés, en gardant des résultats qualitativement humains. Les résultats de robustesse montrent que les valeurs précises des paramètres ne sont pas critiques, mais leur ordre de grandeur l'est.Une instabilité numérique ne se produit qu'après une variation de 100\% d'un paramètre. Nous pouvons donc conclure que cette approche systémique est capable de représenter les changements de l'attention en utilisant des images naturelles, tout en étant algorithmiquement robuste.Cette étude nous donne ainsi une interprétation possible sur le rôle de la voie Konio, tandis qu'en même temps elle nous permet de participer au débat sur les low et high-roads des flux attentionnel et émotionnel.Néanmoins, d'autres informations, comme la couleur, sont également présentes dans le système visuel précoce, et pourraient être prises en considération, ainsi que des mécanismes corticaux plus complexes, dans les perspectives de ce travail.

Understanding the behavior of the retino-thalamo-cortico-collicular (i.e. early) visual system in a natural images situation is of utmost importance to understand what further happens in the brain. To understand these behaviors, neuroscientists have looked at the standard Parvocellular and Magnocellular pathways for decades. However, there is also the non-standard Koniocellular pathway, which plays an important modulating role in the local, global, and intermingled processing carried out to achieve such behaviors. Particularly, the standard motion analysis carried out by the Magno pathway is alternated with rapid reactions, like fleeing or approaching to specific motions, which are hard-wired in the Konio pathway. In addition, studying a fixation task in a real situation, e.g., when a predator slowly approaches its prey, not only involves a motion mechanism, but also requires the use of the Parvo pathway, analyzing, at least, the image contrast. Here, we study in a bio-inspired computational neural model how these pathways can be modeled with a minimal set of parameters, in order to provide robust numerical results when doing a real task. This model is based upon an important study to integrate biological elements about the architecture of the circuits, the time constants and the operating characteristics of the different neurons. Our results show that our model, despite operating via local computations, globally shows a good network behavior in terms of space and time, and allows to analyze and propose interpretations to the interplay between thalamus and cortex. At a more macroscopic scale, the behaviors emerging from the model are reproducible and can be qualitatively compared to human-made fixation measurements. This is also true when using natural images, where just a few parameters are slightly modified, keeping the qualitatively human-like results. Robustness results show that the precise values of the parameters are not critical, but their order of magnitude matters. Numerical instability occurs only after a 100% variation of a parameter. We thus can conclude that such a reduced systemic approach is able to represent attentional shifts using natural images, while also being algorithmically robust. This study gives us as well a possible interpretation about the role of the Konio pathway, while at the same time allowing us to participate in the debate between low and high-roads in the attentional and emotional streams. Nevertheless, other information, such as color, is also present in the early visual system, and should be addressed together with more complex cortical mechanisms in a sequel of this work; Comprendre le comportement du système visuel rétino-thalamo-cortico-colliculaire (i.e. précoce) dans une situation d'images naturelles est d'une importance capitale pour comprendre ce qui se passe ensuite dans le cerveau. Pour comprendre ces comportements, les neurobiologistes ont étudié les voies standard, Parvocellulaires et Magnocellulaires, depuis des décennies. Cependant, il y a aussi la voie non-standard, ou Koniocellulaire, qui joue un rôle modulateur important dans les traitements local, global, et entremêlé, pour atteindre de tels comportements. Particulièrement, l'analyse standard du mouvement réalisée par la voie Magno est alternée avec des réactions rapides, comme la fuite ou l'approche à des mouvements spécifiques, qui sont pré-câblés dans la voie Konio. De plus, l'étude d'une tâche de fixation dans une situation réelle, par exemple quand un prédateur s'approche lentement de sa proie, implique non seulement un mécanisme de mouvement, mais nécessite également l'utilisation de la voie Parvo, qui analyse, au moins, le contraste de l'image. Ici, nous étudions dans un modèle neuronal de calcul bio-inspiré comment ces voies peuvent être modélisées avec un ensemble minimal de paramètres, afin de fournir des résultats numériques robustes lors d'une tâche réelle. Ce modèle repose sur une étude approfondie pour intégrer des éléments biologiques dans l'architecture des circuits, les constantes de temps et les caractéristiques de fonctionnement des neurones. Nos résultats montrent que notre modèle, bien que fonctionnant via des calculs locaux, montre globalement un bon comportement de réseau en termes d'espace et de temps, et permet d'analyser et de proposer des interprétations de l'interaction entre le thalamus et le cortex. À une échelle plus macroscopique, les comportements du modèle sont reproductibles et peuvent être qualitativement comparés à des mesures de fixation oculaire chez l'homme. Cela est également vrai lorsque l'on utilise des images naturelles, où quelques paramètres sont légèrement modifiés, en gardant des résultats qualitativement humains. Les résultats de robustesse montrent que les valeurs précises des paramètres ne sont pas critiques, mais leur ordre de grandeur l'est. Une instabilité numérique ne se produit qu'après une variation de 100% d'un paramètre. Nous pouvons donc conclure que cette approche systémique est capable de représenter les changements de l'attention en utilisant des images naturelles, tout en étant algorithmiquement robuste. Cette étude nous donne ainsi une interprétation possible sur le rôle de la voie Konio, tandis qu'en même temps elle nous permet de participer au débat sur les low et high-roads des flux attentionnel et émotionnel. Néanmoins, d'autres informations, comme la couleur, sont également présentes dans le système visuel précoce, et pourraient être prises en considération, ainsi que des mécanismes corticaux plus complexes, dans les perspectives de ce travail

National audience; Le travail pr'esent'e ici consiste en la r'ealisation d'un logiciel de simulation de mod'eles biologiques de fonctionnalit'es non-standards de la r'etine en mettant en jeu des liens entre les mod'eles biologiques et les m'ethodes de traitement d'images (bio-inspir'ees dans ce cas) non-triviales. Le logiciel cr'e'e ainsi imite les fonctionnalit'es globales de la r'etine 'a l''echelle m'esoscopique (en non plus cellulaire) en se basant sur un cadre donnant juste les grandes lignes de fonctionnement, 'a partir de vraies images naturelles et sans ˆetre ajust'e sur chaque cellule.

In this thesis we study at a concrete practical level how computation with action potentials (spikes) can be performed. We address the problem of pro- gramming a dynamical system modeled as a neural network and considering both, hardware and software implementations. For this, we use a discrete- time spiking neuron model, which has been introduced in Soula et al. (2006), and called BMS in the sequel, whose dynamics is rather rich (see section 1.2.4). On one hand, we propose an efficient method to properly estimate the parameters (delayed synaptic weights) of a neural network from the observa- tion of its spiking dynamics. The idea is to avoid the underlying NP-complete problem (when both weights and inter-neural transmission delays are con- sidered in the parameters estimation). So far, our method defines a Linear Programming (LP) system to perform the parameters estimation. Another aspect considered in this part of the work is the fact that we include a reser- voir computing mechanism (hidden network), which permits us, as we show, to increase the computational power and to add robustness in the system. Furthermore these ideas are applied to implement input-output transforma- tions, with a method learning the implicit parameters of the corresponding transfer function. On the other hand we have worked on the development of numerical implementations permitting us to validate our algorithms. We also made contributions to code methods for spike trains statistics analysis and simu- lations of spiking neural networks. Thus, we co-develop a C++ library, called EnaS, which is distributed under the CeCILL-C free license. This library is also compatible with other simulators and could be used as a plugin. Finally we consider the emergent field of bio-inspired hardware im- plementations, where FPGA (Field Programmable Gate Array) and GPU (Graphic Processing Unit) technologies are studied. In this sense, we evalu- ate the hardware implementations of the proposed neuron models (gIF-type neuron models) under periodic and chaotic activity regimes. The FPGA- based implementation has been achieved using a precision analysis and its performance compared with that based on GPU.

Advances in Computer Vision are making it possible to move forward from the design of algorithms used punctually or in visual servoing, to the conception of complex applications containing aspects such as scene analysis, decision making, supervision and real-time processing. This increased complexity reflects upon all the levels of the development process of these applications, namely the design, validation and implementation. This work proposes a design framework for the implementation of real time vision applications, in addition to a variety of adequate tools. The proposed framework is based on a functional structuring of the required processing into elementary tasks, followed by their logical composition in a order to build the vision application. These elementary entities are called Vision Tasks. They are seen as logically controlled, parametrized real time processing loops capable of controlling a visual sensor. The Orccad/MaestRo environment, developed initially for robotics control, exhibits interesting characteristics for its use in the proposed framework. Specifically, it enables the use of tools for logical control validation and allows efficient management of the real time resources. However, and in order to draw full benefit from using this environment for developing vision applications, we expand its functionality. Major modifications encompass an adaptive dynamic parametrization mechanism, a communication scheme that ensures the interoperability of the system and automatic generation of supervision interfaces. An application of the proposed methodology and of the use of the modified Orccad environment are presented for a typical tracking application in a context of assistance to elderly persons.; Le domaine de la vision par ordinateur a atteint un degré de maturité qui lui permet d'envisager, au delà de la mise en oeuvre d'algorithmes utilisés au coup par coup ou dans un asservissement, la construction d'applications complexes intégrant différents aspects (analyse de scène, décision, traitements temps réel, supervision). Cette complexité se répercute à tous les niveaux du cycle de développement de ces applications (conception, implantation et validation). Ce travail propose donc une méthodologie de conception et des outils effectifs pour la mise en oeuvre d'applications de vision temps réel. La méthodologie de conception proposée exige un découpage fonctionnel des traitements en tâches élémentaires, puis l'organisation de ces tâches de manière logique pour construire l'application. Ces tâches élémentaires sont appelées des Tâches Vision. Elles se présentent sous la forme d'une boucle de calculs temps réel, paramétrée, contrôlée de manière logique et pouvant agir sur un capteur visuel. L'environnement Orccad/MaestRo, dédié initialement à la robotique, offre des caractéristiques intéressantes pour satisfaire aux besoins de cette méthodologie. Il offre en particulier des outils formels de validation de la partie liée au controle logique et permet la gestion rigoureuse des aspects temps réel. Afin de tirer le meilleur parti de cet environnement pour le développement d'applications de vision, nous avons dû ajouter ou enrichir certaines de ses fonctionnalités. Les modifications concernent notamment un mécanisme de paramétrage dynamique des calculs, un mécanisme de communication assurant l'interopérabilité du système et un mécanisme de génération automatique d'interfaces de supervision. L'utilisation de cette méthodologie et de l'environnement Orccad étendu est illustrée à l'aide d'un prototype d'application de suivi de cible, dans un contexte d'assistance aux personnes agées.

Part of the robotic vision framework, this thesis focuses on uncalibrated monocular video sequence analysis, taking singular physical cases into account (camera models, internal camera parameter evolution, object displacements, scene structure) that leads to specific equations. Singularities may allow us to retrieve more movement or structure elements than general equations. Moreover, numerical precision is improved as the number of parameters decreases. Thus, the detection and the proper management of geometric and kinematic properties of those singular cases are fundamental. The complete study of all singular cases in a pair of images, or a video sequence, is computationally intractable and requires an appropriately adapted algorithm. The implementation of the theoretical study is based on the Argès robotic system. The system is able to determine the specific movement from a pair of images and computes the related parameters.