Search

Significant advances in embedded technologies hold promise to characterize and monitor driver’s state of alertness and detect critical levels of driver drowsiness in real-time. While some enduring solutions have been available as prototypes for a while, many of these technologies are now in the development, validation testing, or even commercialization stages. Several studies have reviewed some available fatigue and/or drowsiness detection solutions. This paper builds on previous studies and aims to provide up-to-date yet complete review on emerging driver drowsiness and alertness monitoring technologies. The contribution of this paper is to identify and review the key objective driver state monitoring technologies namely (i) driving behavioural (vehicle-based), (ii) driver behavioural (video-based), and (iii) driver physiological signals measure based technologies. Each technology is presented with a detailed description of associated detection methods and measuring metrics along with the current research activities and market products in this era. An evaluation of these technologies is also provided in term of intrusiveness, accuracy of detection, and practical use point of view. Therefore, the paper highlights open issues with these emerging systems which need further investigation in the future. We think that this study contribute to a better understanding of sleepiness at the wheel, and will help promote the implementation of accurate crash prevention technologies.

Recently, we have been witnesses of accidents involving autonomous vehicles and their lack of sufficient information at the right time. One way to tackle this issue is to benefit from the perception of different view points, namely collaborative perception. We propose here a decentralized collaboration, i.e. peer-to-peer, in which the agents are active in their quest for full perception by asking for specific areas in their surroundings on which they would like to know more. Ultimately, we want to optimize a trade-off between the maximization of knowledge about moving objects and the minimization of the total information received from others, to limit communication costs and message processing time. To this end, we chose to use Dempster-Shafer Theory (DST) in order to identify different types of uncertainties. In particular, DST allows us to distinguish what has never been perceived (out of range or occluded area) — which is mainly what collaborative perception tries to reduce — from what is debated among different sources (conflict arising from fusion of sensors or other vehicles perceptions). More generally, DST takes into account the specificity of evidence, meaning that it provides information about the reliability of an agent’s belief, which is crucial for safety. DST also features the advantage of easily dealing with data incest with its Cautious fusion rule, which is a problem inherent to the decentralized approach. However, DST comes with high spatial and computational complexities, especially for dealing with data incest in fusion, which limits its usage to random experiments with few possible outcomes. Thus, we first proposed an efficient exact method to compute the decompositions needed for this Cautious fusion, exploiting what we called focal points. Then, we generalized this method to any Möbius transform in any partially ordered set (including all transformations in DST), we found ways to efficiently compute these focal points and we proposed a generalization of the decomposition required by the Cautious fusion. This generalized decomposition allows one to use this Cautious fusion in more cases, in particular cases where an agent has gathered very specific evidence. This enhances both accuracy and computational stability in consecutive fusions. However, algorithms naively based on our formulas would have a higher worst-case complexity than the complexity of the optimal general algorithms commonly employed in DST — which is already more than exponential. Therefore, we later proposed algorithms with complexities always better than the state of the art, and more general, leveraging properties of distributive lattices. After this work on the fusion process itself, we tackled the issue of redundancy and irrelevance in decentralized collaborative perception. For this, we proposed a way to learn a communication policy that reverses the usual communication paradigm by only requesting from other vehicles what is unknown to the ego-vehicle, instead of filtering on the sender side. We tested three different models to be taken as base for a Deep Reinforcement Learning (DRL) algorithm and compared them to a broadcasting policy and a random policy. More precisely, we slightly modified a state-of-the-art generative model named Temporal Difference VAE (TD-VAE) to make it sequential. We named this variant Sequential TD-VAE (STD-VAE). We also proposed Locally Predictable VAE (LP-VAE), inspired by STD-VAE, designed to enhance its prediction capabilities. We showed that LP-VAE produced better belief states for prediction than STDVAE, both as a standalone model and in the context of DRL. The last model we tested was a simple state-less model (Convolutional VAE). Experiments were conducted in the driving simulator CARLA, with vehicles exchanging parts of semantic grid maps. Policies learned based on LP-VAE featured the best trade-off, as long as future rewards were taken into account., Récemment, nous avons été témoins d'accidents impliquant des véhicules autonomes et leur manque momentané d'information pertinente. Une manière d'adresser ce problème est d'avoir recours à la perception collaborative, c'est-à-dire de bénéficier de la perception d'une même scène sous différents points de vue. Nous proposons ici une collaboration décentralisée, i.e. pair-à-pair, dans laquelle les agents sont actifs dans leur quête pour la perception complète en demandant des zones spécifiques dans leur voisinage sur lesquelles ils voudraient en savoir plus. In fine, nous voulons optimiser un compromis entre la maximisation du savoir à propos des usagers de la route et la minimisation du volume total d'information reçu des autres, dans le but de limiter les coûts en communications et le temps de traitement des messages.Dans cette optique, nous avons choisi d'utiliser la Théorie de Dempster-Shafer (DST) afin d'identifier différents types d'incertitude. En particulier, la DST distingue ce qui n'a jamais été perçu (zone hors de vue ou occultée) – ce qui est principalement ce que la perception collaborative essaie de réduire – de ce qui est débattu parmi des sources différentes (conflit provenant de la fusion de capteurs ou de perceptions d'autres véhicules). Plus généralement, la DST prend en compte la spécificité des observations, c'est-à-dire qu'elle fournit des informations sur la fiabilité des croyances d'un agent, ce qui est crucial pour la sécurité routière. La DST a aussi pour avantage, avec sa règle de fusion Cautious, d'éviter facilement la consanguinité des données, un problème inhérent à l'approche décentralisée. Toutefois, la DST vient avec de fortes complexités en temps et en espace, particulièrement dans le calcul de la fusion Cautious, ce qui limite son usage à des expériences aléatoires comportant peu d'événements atomiques.Ainsi, notre première contribution fut de proposer une méthode exacte et efficace pour le calcul des décompositions nécessaires à cette fusion Cautious, en exploitant ce que nous avons appelé points focaux. Nous avons ensuite généralisé cette méthode à toute transformée de Möbius dans tout ensemble partiellement ordonné (incluant toutes les transformations en DST), nous avons trouvé des moyens de calculer efficacement ces points focaux et nous avons proposé une généralisation de la décomposition requise par la fusion Cautious. Cette décomposition généralisée permet d'employer cette fusion Cautious dans plus de cas, en particulier ceux où un agent a reporté des observations très spécifiques. Nous montrons que ceci améliore à la fois la précision et la stabilité calculatoire de fusions successives.Cependant, des algorithmes basés naïvement sur nos formules auraient une plus haute complexité de pire cas que celle des algorithmes généraux optimaux communément utilisés en DST – qui est déjà plus qu’exponentielle. De fait, nous avons proposé plus tard des algorithmes ayant des complexités toujours meilleures que celles de l’état de l’art, et étant plus généraux, tirant partie des propriétés des treillis distributifs. Après ce travail sur le processus de fusion en lui-même, nous nous sommes attaqués aux problèmes de redondance et de non-pertinence dans la perception collaborative décentralisée. Pour cela, nous avons proposé un moyen d'apprendre une politique de communication qui renverse le paradigme usuel de communication en ne demandant des autres véhicules que ce qui est inconnu de l'ego-véhicule, au lieu de filtrer du côté émetteur. Nous avons testé trois modèles différents pour servir de base à un algorithme d'apprentissage profond par renforcement (DRL) et les avons comparés à une politique de broadcast et à une politique aléatoire. Plus précisément, nous avons légèrement modifié un modèle génératif de l'état-de-l'art nommé Temporal Difference VAE (TD-VAE) pour le rendre séquentiel. Nous avons nommé cette variante Sequential TD-VAE (STD-VAE).

The perception task is paramount for self-driving vehicles. Being able to extract accurate and significant information from sensor inputs is mandatory, so as to ensure a safe operation. The recent progresses of machine-learning techniques revolutionize the way perception modules, for autonomous driving, are being developed and evaluated, while allowing to vastly overpass previous state-of-the-art results in practically all the perception-related tasks. Therefore, efficient and accurate ways to model the knowledge that is used by a self-driving vehicle is mandatory. Indeed, self-awareness, and appropriate modeling of the doubts, are desirable properties for such system. In this work, we assumed that the evidence theory was an efficient way to finely model the information extracted from deep neural networks. Based on those intuitions, we developed three perception modules that rely on machine learning, and the evidence theory. Those modules were tested on real-life data. First, we proposed an asynchronous evidential occupancy grid mapping algorithm, that fused semantic segmentation results obtained from RGB images, and LIDAR scans. Its asynchronous nature makes it particularly efficient to handle sensor failures. The semantic information is used to define decay rates at the cell level, and handle potentially moving object. Then, we proposed an evidential classifier of LIDAR objects. This system is trained to distinguish between vehicles and vulnerable road users, that are detected via a clustering algorithm. The classifier can be reinterpreted as performing a fusion of simple evidential mass functions. Moreover, a simple statistical filtering scheme can be used to filter outputs of the classifier that are incoherent with regards to the training set, so as to allow the classifier to work in open world, and reject other types of objects. Finally, we investigated the possibility to perform road detection in LIDAR scans, from deep neural networks. We proposed two architectures that are inspired by recent state-of-the-art LIDAR processing systems. A training dataset was acquired and labeled in a semi-automatic fashion from road maps. A set of fused neural networks reaches satisfactory results, which allowed us to use them in an evidential road mapping and object detection algorithm, that manages to run at 10 Hz., L’apprentissage machine a révolutionné la manière dont les problèmes de perception sont, actuellement, traités. En effet, la plupart des approches à l’état de l’art, dans de nombreux domaines de la vision par ordinateur, se reposent sur des réseaux de neurones profonds. Au moment de déployer, d’évaluer, et de fusionner de telles approches au sein de véhicules autonomes, la question de la représentation des connaissances extraites par ces approches se pose. Dans le cadre de ces travaux de thèse, effectués au sein de Renault SAS, nous avons supposé qu’une représentation crédibiliste permettait de représenter efficacement le comportement de telles approches. Ainsi, nous avons développé plusieurs modules de perception à destination d’un prototype de véhicule autonome, se basant sur l’apprentissage machine et le cadre crédibiliste. Nous nous sommes focalisés sur le traitement de données caméra RGB, et de nuages de points LIDAR. Nous avions également à disposition des cartes HD représentant le réseau routier, dans certaines zones d’intérêt. Nous avons tout d’abord proposé un système de fusion asynchrone, utilisant d’une part un réseau convolutionel profond pour segmenter une image RGB, et d’autre part un modèle géométrique simple pour traiter des scans LIDAR, afin de générer des grilles d’occupation crédibilistes. Etant donné le manque de robustesse des traitements géométriques LIDAR, les autres travaux se sont focalisés sur la détection d’objet LIDAR et leur classification par apprentissage machine, et la détection de route au sein de scans LIDAR. En particulier, ce second travail reposait sur l’utilisation de scans étiquetés automatiquement à partir de cartes HD.

Road traffic accidents have always been a concern to the driving community which has led to various research developments for improving the way we drive the vehicles. Since human error causes most of the road accidents, introducing automation in the vehicle is an efficient way to address this issue thus making the vehicles intelligent. This approach has led to the development of ADAS (Advanced Driver Assistance Systems) functionalities. The process of introducing automation in the vehicle is continuously evolving. Currently the research in this field has targeted full autonomy of the vehicle with the aim to tackle the road safety to its fullest potential. The gap between ADAS and full autonomy is not narrow. One of the approach to bridge this gap is to introduce collaboration between human driver and autonomous system. There have been different methodologies such as haptic feedback, cooperative driving where the autonomous system adapts according to the human driving inputs/intention for the corrective action each having their own limitations. This work addresses the problem of shared control authority between human driver and autonomous driving system without haptic feedback using the fusion of driving inputs. The development of shared control authority is broadly divided into different stages i.e. shared control framework, driving input assessment, driving behavior prediction, fusion process etc. Conflict resolution is the high level strategy introduced in the framework for achieving the fusion. The driving inputs are assessed with respect to different factors such as collision risk, speed limitation,lane/road departure prevention etc in the form of degree of belief in the driving input admissibility using sensor data. The conflict resolution is targeted for a particular time horizon in the future using a sensor based driving input prediction using neural networks. A two player non-cooperative game (incorporating admissibility and driving intention) is defined to represent the conflict resolution as a bargaining problem. The final driving input is computed using the Nash equilibrium. The shared control strategy is validated using a test rig integrated with the software Simulink and IPG CarMaker. Various aspects of shared control strategy such as human-centered, collision avoidance, absence of any driving input, manual driving refinement etc were included in the validation process.; Ce travail aborde le problème de l’autorité de contrôle partagée entre les conducteurs et système de conduite autonome sans retour haptique utilisant la fusion des entrées de conduite. Le développement d’une autorité de contrôle partagée est divisé en différentes étapes : cadre de contrôle partagé, évaluation des facteurs de conduite, prévision du comportement de conduite, processus de fusion, etc. La résolution des conflits est la stratégie de haut niveau introduite dans le cadre permettant de réaliser la fusion. Les entrées de conduite sont évaluées en fonction de différents facteurs tels que le risque de collision, la limitation de vitesse, la prévention de voie / départ, etc., sous la forme d’un degré de confiance dans l’admissibilité d’une entrée de conduite à l’aide de données de capteur. La résolution de conflit est ciblée pour un horizon temporel particulier dans le futur en utilisant une prédiction d’entrée de conduite basée sur un capteur utilisant des réseaux de neurones. Un jeu non coopératif à deux joueurs (comprenant l’admissibilité et l’intention de conduite) est défini comme représentant la résolution du conflit comme un problème de négociation. L’entrée motrice finale est calculée en utilisant l’équilibre de Nash. La stratégie de contrôle partagé est validée à l’aide d’un banc d’essai intégré aux logiciels Simulink et IPG CarMaker. Divers aspects de la stratégie de contrôle partagé, tels que l’accent mis sur l’homme, la prévention des collisions, l’absence de toute information sur la conduite, l’affinement de la conduite manuelle, etc., ont été inclus dans le processus de validation.

This thesis is situated in the domains of robotics and data fusion, and concerns geographic information systems. We study the utility of adding digital maps, which model the urban environment in which the vehicle evolves, as a virtual sensor improving the perception results. Indeed, the maps contain a phenomenal quantity of information about the environment : its geometry, topology and additional contextual information. In this work, we extract road surface geometry and building models in order to deduce the context and the characteristics of each detected object. Our method is based on an extension of occupancy grids : the evidential perception grids. It permits to model explicitly the uncertainty related to the map and sensor data. By this means, the approach presents also the advantage of representing homogeneously the data originating from various sources : lidar, camera or maps. The maps are handled on equal terms with the physical sensors. This approach allows us to add geographic information without imputing unduly importance to it, which is essential in presence of errors. In our approach, the information fusion result, stored in a perception grid, is used to predict the stateof environment on the next instant. The fact of estimating the characteristics of dynamic elements does not satisfy the hypothesis of static world. Therefore, it is necessary to adjust the level of certainty attributed to these pieces of information. We do so by applying the temporal discounting. Due to the fact that existing methods are not well suited for this application, we propose a family of discoun toperators that take into account the type of handled information. The studied algorithms have been validated through tests on real data. We have thus developed the prototypes in Matlab and the C++ software based on Pacpus framework. Thanks to them, we present the results of experiments performed in real conditions.; La plupart des logiciels contrôlant les véhicules intelligents traite de la compréhension de la scène. De nombreuses méthodes existent actuellement pour percevoir les obstacles de façon automatique. La majorité d’entre elles emploie ainsi les capteurs extéroceptifs comme des caméras ou des lidars. Cette thèse porte sur les domaines de la robotique et de la fusion d’information et s’intéresse aux systèmes d’information géographique. Nous étudions ainsi l’utilité d’ajouter des cartes numériques, qui cartographient le milieu urbain dans lequel évolue le véhicule, en tant que capteur virtuel améliorant les résultats de perception. Les cartes contiennent en effet une quantité phénoménale d’information sur l’environnement : sa géométrie, sa topologie ainsi que d’autres informations contextuelles. Dans nos travaux, nous avons extrait la géométrie des routes et des modèles de bâtiments afin de déduire le contexte et les caractéristiques de chaque objet détecté. Notre méthode se base sur une extension de grilles d’occupations : les grilles de perception crédibilistes. Elle permet de modéliser explicitement les incertitudes liées aux données de cartes et de capteurs. Elle présente également l’avantage de représenter de façon uniforme les données provenant de différentes sources : lidar, caméra ou cartes. Les cartes sont traitées de la même façon que les capteurs physiques. Cette démarche permet d’ajouter les informations géographiques sans pour autant leur donner trop d’importance, ce qui est essentiel en présence d’erreurs. Dans notre approche, le résultat de la fusion d’information contenu dans une grille de perception est utilisé pour prédire l’état de l’environnement à l’instant suivant. Le fait d’estimer les caractéristiques des éléments dynamiques ne satisfait donc plus l’hypothèse du monde statique. Par conséquent, il est nécessaire d’ajuster le niveau de certitude attribué à ces informations. Nous y parvenons en appliquant l’affaiblissement temporel. Étant donné que les méthodes existantes n’étaient pas adaptées à cette application, nous proposons une famille d’opérateurs d’affaiblissement prenant en compte le type d’information traitée. Les algorithmes étudiés ont été validés par des tests sur des données réelles. Nous avons donc développé des prototypes en Matlab et des logiciels en C++ basés sur la plate-forme Pacpus. Grâce à eux nous présentons les résultats des expériences effectués en conditions réelles.

This thesis focuses on the study of fusion techniques for distributed and uncertain data in a vehicle network in order to manage the confidence in other vehicles or in received data. The proposed distributed fusion algorithm is based on belief functions and is applied by each node when it receives messages. It is based on the management of direct knowledge, local for each node, and the management of a distributed knowledge broadcasted over the network. The distributed knowledge is the result of the fusion of messages by a suitable operator taking into account the possible cycles and limiting the effect of "data incest". Each node can be autonomous to estimate confidence but cooperation between vehicles can improve and make more robust this estimation. The algorithm can be adapted to the case of study by considering one or more elements of observation and taking into account the data obsolescence. When there are multiple elements of observation, the data association is necessary before the combination step. A new association algorithm was formalized in the framework of belief functions.It has been shown that this problem is equivalent to a linear assignment problem which can be solved in polynomial time. This solution is both optimal and more effective than other approaches developed in this formalism. The confidence management in the nodes and in the received data were illustrated by the implementation of two applications : the detection of false nodes in a Sybil attack and the distributed dynamic maps for enhanced perception; Cette thèse porte sur l'étude des techniques de fusion de données réparties et incertaines au sein d’un réseau de véhicules pour gérer la confiance dans les autres véhicules ou dans les données reçues. L'algorithme de fusion distribuée proposé est basé sur les fonctions de croyance et est appliqué par chaque nœud à la réception des messages. In se base sur la gestion d'une connaissance directe, locale à chaque nœud et d'une connaissance distribuée diffusée dans le réseau. Cette dernière résulte de la fusion des messages par un opérateur adapté prenant en compte les cycles éventuels et limitant l'effet de "data incest". Chaque nœud peut être autonome pour estimer la confiance mais la coopération entre les véhicules permet d'améliorer et de rendre plus robuste cette estimation. L'algorithme peut être adapté au cas d'étude en considérant un ou plusieurs éléments d'observation et en prenant en compte l'obsolescence des données. Lorsqu'il y a plusieurs éléments d'observation, se pose le problème de l'association de données nécessaire avant l'étape de combinaison. Un nouvel algorithme d'association a été formalisé dans le cadre des fonctions de croyance. Il a été démontré que ce problème est équivalent à un problème d'affectation linéaire, qui peut être résolu en temps polynomial. Cette solution est à la fois optimale et beaucoup plus efficace que d'autres approches développées dans ce formalisme. La gestion de la confiance dans les nœuds et dans les données échangées ont été illustrées par la mise en œuvre de deux applications : la détection de faux nœuds dans une attaque Sybil et la gestion de la confiance dans les cartes dynamiques pour la perception augmentée.