Search

This paper presents a new method for unsupervised video summarization. The proposed architecture embeds an Actor-Critic model into a Generative Adversarial Network and formulates the selection of important video fragments (that will be used to form the summary) as a sequence generation task. The Actor and the Critic take part in a game that incrementally leads to the selection of the video key-fragments, and their choices at each step of the game result in a set of rewards from the Discriminator. The designed training workflow allows the Actor and Critic to discover a space of actions and automatically learn a policy for key-fragment selection. Moreover, the introduced criterion for choosing the best model after the training ends, enables the automatic selection of proper values for parameters of the training process that are not learned from the data (such as the regularization factor $\sigma $ ). Experimental evaluation on two benchmark datasets (SumMe and TVSum) demonstrates that the proposed AC-SUM-GAN model performs consistently well and gives SoA results in comparison to unsupervised methods, that are also competitive with respect to supervised methods.

Optical Character Recognition (OCR) is the process of identifying and converting texts rendered in images using pixels to a more computer-friendly representation. The presented work aims to prove that the accuracy of the Tesseract 4.0 OCR engine can be further enhanced by employing convolution-based preprocessing using specific kernels. As Tesseract 4.0 has proven great performance when evaluated against a favorable input, its capability of properly detecting and identifying characters in more realistic, unfriendly images is questioned. The article proposes an adaptive image preprocessing step guided by a reinforcement learning model, which attempts to minimize the edit distance between the recognized text and the ground truth. It is shown that this approach can boost the character-level accuracy of Tesseract 4.0 from 0.134 to 0.616 (+359% relative change) and the F1 score from 0.163 to 0.729 (+347% relative change) on a dataset that is considered challenging by its authors.

The basal ganglia (BG) network has been divided into interacting actor and critic components, modulating the probabilities of different state-action combinations through learning. Most models of learning and decision making in the BG focus on the roles of the striatum and its dopaminergic inputs, commonly overlooking the complexities and interactions of BG downstream nuclei. In this study, we aimed to reveal the learning-related activity of the external segment of the globus pallidus (GPe), a downstream structure whose computational role has remained relatively unexplored. Recording from monkeys engaged in a deterministic three-choice reversal learning task, we found that changes in GPe discharge rates predicted subsequent behavioral shifts on a trial-by-trial basis. Furthermore, the activity following the shift encoded whether it resulted in reward or not. The frequent changes in stimulus-outcome contingencies (i.e., reversals) allowed us to examine the learning-related neural activity and show that GPe discharge rates closely matched across-trial learning dynamics. Additionally, firing rates exhibited a linear decrease in sequences of correct responses, possibly reflecting a gradual shift from goal-directed execution to automaticity. Thus, modulations in GPe spiking activity are highest for attention-demanding aspects of behavior (i.e., switching choices) and decrease as attentional demands decline (i.e., as performance becomes automatic). These findings are contrasted with results from striatal tonically active neurons, which show none of these task-related modulations. Our results demonstrate that GPe, commonly studied in motor contexts, takes part in cognitive functions, in which movement plays a marginal role.

International audience; Since 1995, numerous Actor–Critic architectures for reinforcement learning have been proposed as models of dopamine-like reinforcement learning mechanisms in the rat's basal ganglia. However, these models were usually tested in different tasks, and it is then difficult to compare their efficiency for an autonomous animat. We present here the comparison of four architectures in an animat as it per forms the same reward-seeking task. This will illustrate the consequences of different hypotheses about the management of different Actor sub-modules and Critic units, and their more or less autono mously determined coordination. We show that the classical method of coordination of modules by mixture of experts, depending on each module's performance, did not allow solving our task. Then we address the question of which principle should be applied efficiently to combine these units. Improve ments for Critic modeling and accuracy of Actor–Critic models for a natural task are finally discussed in the perspective of our Psikharpax project—an artificial rat having to survive autonomously in unpredictable environments.

Many mammals can behave according to different navigation behaviors, defined as " strategies " which, although not systematically requiring conscious processes, depend on the specific task they are required to solve. In certain cases, if a visual cue marks the goal location, the agent can rely on a simple stimulus-response (S-R) strategy. In contrast, other tasks require the animal to be endowed with a representation of space that allows it to locate itself and to locate goals in the environment. In order to efficiently navigate, the animal not only should be able to learn and exhibit these types of strategies, but it should also be able to select which strategy is the most appropriate to a given task conditions in order to shift from one strategy to the other to optimize outcomes. The present work employs a multidisciplinary approach (e.g. behavior, neurophysiology, computational neuroscience and autonomous robotics) to study the roles of the rat prefrontal cortex and striatum in learning and shifting navigation strategies, and their possible application to robotics. It aims more particularly at investigating the respective roles of the medial prefrontal cortex (mPFC) and of different parts of the striatum (DLS :dorsolateral ; VS: ventral) in these processes, and the nature of their interactions. The experimental work presented here consisted in : (1) studying the role of the striatum in S-R learning by : (a) analyzing electrophysiological data recorded in the VS of rats performing a reward-seeking task in a plus-maze; (b) designing an Actor-Critic model of S-R learning where VS is the Critic which drives learning, whereas DLS is the Actor which memorizes S-R associations. This model is applied to robotics simulations, and compared with existing models in a virtual plus-maze; (2) studying the role of mPFC in strategy shifting by means of electrophysiological recordings in the mPFC of rat performing a task requiring such kind of shifts. The principal results of this work suggest that : (1) In the S-R framework: (a) as in primates, the rat VS shows a reward anticipation activity coherent with the Actor-Critic theory; (b) these reward anticipations can be combined with self-organizing maps in an Actor-Critic model that gives a better performance than previous models in a virtual plus-maze, and that shows generalization abilities potentially applicable for the field of autonomous robotics; (2) the rat mPFC seems to play a role when the animal's current strategy has poor reward yields, prompting learning of another strategy. Moreover, population activity in mPFC changes rapidly in correspondence with shifts in the animal's task-solving strategy, possibly underlying the contribution of this brain area to flexible selection of behavioral strategies. In conclusion the results are discussed in the framework of previous behavioral, physiological and modeling studies. We propose a new architecture of the rat prefronto-striatal system, where sub-territories of the striatum learn concurrent navigation strategies, and where the medial prefrontal cortex helps decide at any given moment which strategy dominates for behavior.; Les mammifères ont la capacité de suivre différents comportements de navigation, définis comme des " stratégies " ne faisant pas forcément appel à des processus conscients, suivant la tâche spécifique qu'ils ont à résoudre. Dans certains cas où un indice visuel indique le but, ils peuvent suivre une simple stratégie stimulus-réponse (S-R). À l'opposé, d'autres tâches nécessitent que l'animal mette en oeuvre une stratégie plus complexe basée sur l'élaboration d'une certaine représentation de l'espace lui permettant de se localiser et de localiser le but dans l'environnement. De manière à se comporter de façon efficace, les animaux doivent non seulement être capables d'apprendre chacune de ces stratégies, mais ils doivent aussi pouvoir passer d'une stratégie à l'autre lorsque les exigences de l'environnement changent. La thèse présentée ici adopte une approche pluridisciplinaire - comportement, neurophysiologie, neurosciences computationnelles et robotique autonome - de l'étude du rôle du striatum et du cortex préfrontal dans l'apprentissage et l'alternance de ces stratégies de navigation chez le rat, et leur application possible à la robotique. Elle vise notamment à préciser les rôles respectifs du cortex préfrontal médian (mPFC) et de différentes parties du striatum (DLS :dorsolateral ; VS : ventral) dans l'ensemble de ces processus, ainsi que la nature de leurs interactions. Le travail expérimental effectué a consisté à : (1) étudier le rôle du striatum dans l'apprentissage S-R en : (a) analysant des données électrophysiologiques enregistrées dans le VS chez le rat pendant une tâche de recherche de récompense dans un labyrinthe en croix ; (b) élaborant un modèle Actor-Critic de l'apprentissage S-R où le VS est le Critic qui guide l'apprentissage, tandis que le DLS est l'Actor qui mémorise les associations S-R. Ce modèle est étendu à la simulation robotique et ses performances sont comparées avec des modèles Actor-Critic existants dans un labyrinthe en croix virtuel ; (2) Dans un deuxième temps, le rôle du striatum dans l'apprentissage de stratégies de type localisation étant supposé connu, nous nous sommes focalisés sur l'étude du rôle du mPFC dans l'alternance entre stratégies de navigation, en effectuant des enregistrements électrophysiologiques dans le mPFC du rat lors d'une tâche requiérant ce type d'alternance. Les principaux résultats de ce travail suggèrent que : (1) dans le cadre S-R : (a) comme chez le singe, le VS du rat élabore des anticipations de récompense cohérentes avec la théorie Actor-Critic ; (b) ces anticipations de récompense peuvent être combinées avec des cartes auto-organisatrices dans un modèle Actor-Critic obtenant de meilleures performances que des modèles existants dans un labyrinthe en croix virtuel, et disposant de capacités de généralisation intéressantes pour la robotique autonome ; (2) le mPFC semble avoir un rôle important lorsque la performance de l'animal est basse et qu'il faut apprendre une nouvelle stratégie. D'autre part, l'activité de population dans le mPFC change rapidement, en correspondance avec les transitions de stratégies dans le comportement du rat, suggérant une contribution de cette partie du cerveau dans la sélection flexible des stratégies comportementales. Nous concluons ce manuscrit par une discussion de nos résultats dans le cadre de travaux précédents en comportement, électrophysiologie et modélisation. Nous proposons une nouvelle architecture du système préfronto-striatal chez le rat dans laquelle des sous-parties du striatum apprennent différentes stratégies de navigation, et où le cortex préfrontal médian décide à chaque instant quelle stratégie devra régir le comportement du rat.

Many mammals can behave according to different navigation behaviors, defined as " strategies " which, although not systematically requiring conscious processes, depend on the specific task they are required to solve. In certain cases, if a visual cue marks the goal location, the agent can rely on a simple stimulus-response (S-R) strategy. In contrast, other tasks require the animal to be endowed with a representation of space that allows it to locate itself and to locate goals in the environment. In order to efficiently navigate, the animal not only should be able to learn and exhibit these types of strategies, but it should also be able to select which strategy is the most appropriate to a given task conditions in order to shift from one strategy to the other to optimize outcomes. The present work employs a multidisciplinary approach (e.g. behavior, neurophysiology, computational neuroscience and autonomous robotics) to study the roles of the rat prefrontal cortex and striatum in learning and shifting navigation strategies, and their possible application to robotics. It aims more particularly at investigating the respective roles of the medial prefrontal cortex (mPFC) and of different parts of the striatum (DLS :dorsolateral ; VS: ventral) in these processes, and the nature of their interactions. The experimental work presented here consisted in : (1) studying the role of the striatum in S-R learning by : (a) analyzing electrophysiological data recorded in the VS of rats performing a reward-seeking task in a plus-maze; (b) designing an Actor-Critic model of S-R learning where VS is the Critic which drives learning, whereas DLS is the Actor which memorizes S-R associations. This model is applied to robotics simulations, and compared with existing models in a virtual plus-maze; (2) studying the role of mPFC in strategy shifting by means of electrophysiological recordings in the mPFC of rat performing a task requiring such kind of shifts. The principal results of this work suggest that : (1) In the S-R framework: (a) as in primates, the rat VS shows a reward anticipation activity coherent with the Actor-Critic theory; (b) these reward anticipations can be combined with self-organizing maps in an Actor-Critic model that gives a better performance than previous models in a virtual plus-maze, and that shows generalization abilities potentially applicable for the field of autonomous robotics; (2) the rat mPFC seems to play a role when the animal's current strategy has poor reward yields, prompting learning of another strategy. Moreover, population activity in mPFC changes rapidly in correspondence with shifts in the animal's task-solving strategy, possibly underlying the contribution of this brain area to flexible selection of behavioral strategies. In conclusion the results are discussed in the framework of previous behavioral, physiological and modeling studies. We propose a new architecture of the rat prefronto-striatal system, where sub-territories of the striatum learn concurrent navigation strategies, and where the medial prefrontal cortex helps decide at any given moment which strategy dominates for behavior.; Les mammifères ont la capacité de suivre différents comportements de navigation, définis comme des " stratégies " ne faisant pas forcément appel à des processus conscients, suivant la tâche spécifique qu'ils ont à résoudre. Dans certains cas où un indice visuel indique le but, ils peuvent suivre une simple stratégie stimulus-réponse (S-R). À l'opposé, d'autres tâches nécessitent que l'animal mette en oeuvre une stratégie plus complexe basée sur l'élaboration d'une certaine représentation de l'espace lui permettant de se localiser et de localiser le but dans l'environnement. De manière à se comporter de façon efficace, les animaux doivent non seulement être capables d'apprendre chacune de ces stratégies, mais ils doivent aussi pouvoir passer d'une stratégie à l'autre lorsque les exigences de l'environnement changent. La thèse présentée ici adopte une approche pluridisciplinaire - comportement, neurophysiologie, neurosciences computationnelles et robotique autonome - de l'étude du rôle du striatum et du cortex préfrontal dans l'apprentissage et l'alternance de ces stratégies de navigation chez le rat, et leur application possible à la robotique. Elle vise notamment à préciser les rôles respectifs du cortex préfrontal médian (mPFC) et de différentes parties du striatum (DLS :dorsolateral ; VS : ventral) dans l'ensemble de ces processus, ainsi que la nature de leurs interactions. Le travail expérimental effectué a consisté à : (1) étudier le rôle du striatum dans l'apprentissage S-R en : (a) analysant des données électrophysiologiques enregistrées dans le VS chez le rat pendant une tâche de recherche de récompense dans un labyrinthe en croix ; (b) élaborant un modèle Actor-Critic de l'apprentissage S-R où le VS est le Critic qui guide l'apprentissage, tandis que le DLS est l'Actor qui mémorise les associations S-R. Ce modèle est étendu à la simulation robotique et ses performances sont comparées avec des modèles Actor-Critic existants dans un labyrinthe en croix virtuel ; (2) Dans un deuxième temps, le rôle du striatum dans l'apprentissage de stratégies de type localisation étant supposé connu, nous nous sommes focalisés sur l'étude du rôle du mPFC dans l'alternance entre stratégies de navigation, en effectuant des enregistrements électrophysiologiques dans le mPFC du rat lors d'une tâche requiérant ce type d'alternance. Les principaux résultats de ce travail suggèrent que : (1) dans le cadre S-R : (a) comme chez le singe, le VS du rat élabore des anticipations de récompense cohérentes avec la théorie Actor-Critic ; (b) ces anticipations de récompense peuvent être combinées avec des cartes auto-organisatrices dans un modèle Actor-Critic obtenant de meilleures performances que des modèles existants dans un labyrinthe en croix virtuel, et disposant de capacités de généralisation intéressantes pour la robotique autonome ; (2) le mPFC semble avoir un rôle important lorsque la performance de l'animal est basse et qu'il faut apprendre une nouvelle stratégie. D'autre part, l'activité de population dans le mPFC change rapidement, en correspondance avec les transitions de stratégies dans le comportement du rat, suggérant une contribution de cette partie du cerveau dans la sélection flexible des stratégies comportementales. Nous concluons ce manuscrit par une discussion de nos résultats dans le cadre de travaux précédents en comportement, électrophysiologie et modélisation. Nous proposons une nouvelle architecture du système préfronto-striatal chez le rat dans laquelle des sous-parties du striatum apprennent différentes stratégies de navigation, et où le cortex préfrontal médian décide à chaque instant quelle stratégie devra régir le comportement du rat.