Search

National audience; L’environnement, rendu intelligent par la pervasivité des systèmes embarqués se miniaturisant et s’insinuant jusque dans les objets du quotidien, offre autant de potentiels que de contraintes. En effet, l’intelligence ambiante (AmI) et l’intelligence artificielle (IA) sont intrinsèquement liées. L’augmentation de l’autonomie des dispositifs de l’AmI a encouragé le déploiement massif d’objets connectés produisant toujours plus de données exploitable pour l’IA. D’un autre côté, les besoins énergétiques actuels de calcul pour l’IA sont assez peu compatibles avec les faibles ressources des dispositifs de l’AmI et avec les enjeux sociétaux et planétaires.

National audience; The instrumentation of housing is a potential for technological and industrial developments identified for more than thirty years, which has progressively displayed several ambitions: from the idea of home automation to that of smart home. This article focuses on the securing of goods and people, particularly considering the case of “frail” people monitoring at home. Two stages of development are reminded and characterized: the nonobtrusive instrumentation of the housing, then the mixing of a coupled instrumentation of the housing and the user. The technological principles are described and it can be concluded that the technologies are ready for a wide and rapid diffusion, if the social organization agrees to meet the needs of 24 h/7 d security surveillance, with all the guarantees that it offers. The article then considers more prospectively the paths of progress that R&D is taking through the implementation of Artificial Intelligence (AI) technologies to model the behavioral and decision-making habits of the user and their integration on a mobile phone. It could be considered, in practice, as an embedded auxiliary robot for decision support, whose function could be complementary and usefully embedded on a companion robot to exploit the capabilities of autonomous and directed mobility.; L’instrumentation de l’habitat est un potentiel de développements technologiques et industriels identifié depuis plus de trente ans, qui a progressivement affiché plusieurs ambitions : de l’idée de domotique à celle d’habitat intelligent. Cet article s’attache au volet « sécurisation des biens et des personnes » en considérant particulièrement le cas de la nécessaire surveillance des personnes « fragiles » à domicile. Deux étapes de développements sont rappelées et caractérisées : l’instrumentation non intrusive de l’habitat, puis le mixage d’une instrumentation couplée de l’habitat et de l’usager. Les principes technologiques sont décrits et l’on peut conclure que les technologies sont prêtes pour une diffusion large et rapide, si l’organisation sociale accepte de répondre aux besoins d’une surveillance sécuritaire fonctionnant 24 h/24, avec toutes les garanties qui s’imposent. L’article envisage ensuite plus prospectivement les chemins de progrès que la R&D est en train d’emprunter via la mise en œuvre des technologies de l’Intelligence Artificielle (IA) pour modéliser les habitudes comportementales et décisionnelles de l’usager et les porter sur le téléphone portable. Celui-ci deviendrait, dans la pratique, un robot auxiliaire porté d’aide aux décisions, dont la fonction pourrait être complémentairement et utilement embarquée sur un robot compagnon pour y exploiter les capacités de mobilités autonomes et dirigées.

In the context of mobile robotics, this work reports research addressing scene understanding using embedded multi-modal perception systems. Scene understanding remains a complex problem, essential for high society impact applications such as Intelligent Transportation Systems, involving in particular ADAS and Autonomous Vehicles. Results and outlook based on the conducted research are detailed and structured following two research perspectives., Dans le domaine de la robotique mobile, mes travaux de recherche portent sur l’analyse de scènes dynamiques par des systèmes de perception multimodale embarqués. Ceci demeure un verrou scientifique complexe, mais essentiel pour des applications avec un fort impact sociétal telles que les systèmes de transport intelligents où se situent les systèmes d’assistance à la conduite et les voitures à conduite automatisée. Une synthèse et des perspectives structurées sur deux axes thématiques sont présentés.

As the quest for ever more powerful computing systems faces ever-increasing material constraints, major advances in computing efficiency are expected to benefit from unconventional approaches and new computing models such as brain-inspired computing. The brain is a massively parallel computing architecture with dense interconnections between computing units. Neurobiological systems are therefore a natural source of inspiration for computer science and engineering. Rapid technological improvements in computing media have recently reinforced this trend through two complementary but seemingly contradictory consequences: on the one hand, by providing enormous computing power, they have made it possible to simulate very large neural structures such as deep networks, and on the other hand, by reaching their technological and conceptual limits, they have motivated the emergence of alternative computing paradigms based on bio-inspired concepts. Among these, the principles of unsupervised learning are receiving increasing attention.We focus here on two main families of neural models, self-organizing maps and dynamic neural fields. Inspired by the modeling of the self-organization of cortical columns, self-organizing maps have shown their ability to represent a complex stimulus in a simplified and interpretable form, thanks to excellent performances in vector quantization and to the respect of topological proximity relationships present in the input space. More inspired by competition mechanisms in cortical macro-columns, dynamic neural fields allow the emergence of simple cognitive behaviours and find more and more applications in the field of autonomous robotics.In this context, the first objective of this thesis is to combine self-organizing maps and dynamic neural fields for the exploration and categorisation of real environments perceived through visual sensors of different natures. The second objective is to prepare the porting of this neuromorphic computation on a digital hardware substrate. These two objectives aim to define a hardware computing device that can be coupled to different sensors in order to allow an autonomous system to construct its own representation of the perceptual environment in which it operates. Therefore, we proposed and evaluated a novelty detection model based on self-organising maps. Hardware considerations then led us to significant algorithmic optimisations SOM operations. Finally, we complemented the model with dynamic neural fields to increase the level of abstraction with an attentional target tracking mechanism.; Tandis que la quête pour des systèmes de calcul toujours plus puissants se confronte à des contraintes matérielles de plus en plus fortes, des avancées majeures en termes d’efficacité de calcul sont supposées bénéficier d’approches non conventionnelles et de nouveaux modèles de calcul tels que le calcul inspiré du cerveau. Le cerveau est une architecture de calcul massivement parallèle avec des interconnexions denses entre les unités de calcul. Les systèmes neurobiologiques sont donc une source d'inspiration naturelle pour la science et l'ingénierie informatiques. Les améliorations technologiques rapides des supports de calcul ont récemment renforcé cette tendance à travers deux conséquences complémentaires mais apparemment contradictoires : d’une part en offrant une énorme puissance de calcul, elles ont rendu possible la simulation de très grandes structures neuronales comme les réseaux profonds, et d’autre part en atteignant leurs limites technologiques et conceptuelles, elles ont motivé l'émergence de paradigmes informatiques alternatifs basés sur des concepts bio-inspirés. Parmi ceux-ci, les principes de l’apprentissage non supervisé retiennent de plus en plus l’attention. Nous nous intéressons ici plus particulièrement à deux grandes familles de modèles neuronaux, les cartes auto-organisatrices et les champs neuronaux dynamiques. Inspirées de la modélisation de l’auto-organisation des colonnes corticales, les cartes auto-organisatrices ont montré leur capacité à représenter un stimulus complexe sous une forme simplifiée et interprétable, grâce à d’excellentes performances en quantification vectorielle et au respect des relations de proximité topologique présentes dans l’espace d’entrée. Davantage inspirés des mécanismes de compétition dans les macro-colonnes corticales, les champs neuronaux dynamiques autorisent l’émergence de comportements cognitifs simples et trouvent de plus en plus d’applications dans le domaine de la robotique autonome notamment.Dans ce contexte, le premier objectif de cette thèse est de combiner cartes auto-organisatrices (SOM) et champs neuronaux dynamiques (DNF) pour l’exploration et la catégorisation d’environnements réels perçus au travers de capteurs visuels de différentes natures. Le second objectif est de préparer le portage de ce calcul de nature neuromorphique sur un substrat matériel numérique. Ces deux objectifs visent à définir un dispositif de calcul matériel qui pourra être couplé à différents capteurs de manière à permettre à un système autonome de construire sa propre représentation de l’environnement perceptif dans lequel il évolue. Nous avons ainsi proposé et évalué un modèle de détection de nouveauté à partir de SOM. Les considérations matérielles nous ont ensuite amené à des optimisations algorithmiques significatives dans le fonctionnement des SOM. Enfin, nous complémenté le modèle avec des DNF pour augmenter le niveau d'abstraction avec un mécanisme attentionnel de suivi de cible.

As the quest for ever more powerful computing systems faces ever-increasing material constraints, major advances in computing efficiency are expected to benefit from unconventional approaches and new computing models such as brain-inspired computing. The brain is a massively parallel computing architecture with dense interconnections between computing units. Neurobiological systems are therefore a natural source of inspiration for computer science and engineering. Rapid technological improvements in computing media have recently reinforced this trend through two complementary but seemingly contradictory consequences: on the one hand, by providing enormous computing power, they have made it possible to simulate very large neural structures such as deep networks, and on the other hand, by reaching their technological and conceptual limits, they have motivated the emergence of alternative computing paradigms based on bio-inspired concepts. Among these, the principles of unsupervised learning are receiving increasing attention.We focus here on two main families of neural models, self-organizing maps and dynamic neural fields. Inspired by the modeling of the self-organization of cortical columns, self-organizing maps have shown their ability to represent a complex stimulus in a simplified and interpretable form, thanks to excellent performances in vector quantization and to the respect of topological proximity relationships present in the input space. More inspired by competition mechanisms in cortical macro-columns, dynamic neural fields allow the emergence of simple cognitive behaviours and find more and more applications in the field of autonomous robotics.In this context, the first objective of this thesis is to combine self-organizing maps and dynamic neural fields for the exploration and categorisation of real environments perceived through visual sensors of different natures. The second objective is to prepare the porting of this neuromorphic computation on a digital hardware substrate. These two objectives aim to define a hardware computing device that can be coupled to different sensors in order to allow an autonomous system to construct its own representation of the perceptual environment in which it operates. Therefore, we proposed and evaluated a novelty detection model based on self-organising maps. Hardware considerations then led us to significant algorithmic optimisations SOM operations. Finally, we complemented the model with dynamic neural fields to increase the level of abstraction with an attentional target tracking mechanism., Tandis que la quête pour des systèmes de calcul toujours plus puissants se confronte à des contraintes matérielles de plus en plus fortes, des avancées majeures en termes d’efficacité de calcul sont supposées bénéficier d’approches non conventionnelles et de nouveaux modèles de calcul tels que le calcul inspiré du cerveau. Le cerveau est une architecture de calcul massivement parallèle avec des interconnexions denses entre les unités de calcul. Les systèmes neurobiologiques sont donc une source d'inspiration naturelle pour la science et l'ingénierie informatiques. Les améliorations technologiques rapides des supports de calcul ont récemment renforcé cette tendance à travers deux conséquences complémentaires mais apparemment contradictoires : d’une part en offrant une énorme puissance de calcul, elles ont rendu possible la simulation de très grandes structures neuronales comme les réseaux profonds, et d’autre part en atteignant leurs limites technologiques et conceptuelles, elles ont motivé l'émergence de paradigmes informatiques alternatifs basés sur des concepts bio-inspirés. Parmi ceux-ci, les principes de l’apprentissage non supervisé retiennent de plus en plus l’attention. Nous nous intéressons ici plus particulièrement à deux grandes familles de modèles neuronaux, les cartes auto-organisatrices et les champs neuronaux dynamiques. Inspirées de la modélisation de l’auto-organisation des colonnes corticales, les cartes auto-organisatrices ont montré leur capacité à représenter un stimulus complexe sous une forme simplifiée et interprétable, grâce à d’excellentes performances en quantification vectorielle et au respect des relations de proximité topologique présentes dans l’espace d’entrée. Davantage inspirés des mécanismes de compétition dans les macro-colonnes corticales, les champs neuronaux dynamiques autorisent l’émergence de comportements cognitifs simples et trouvent de plus en plus d’applications dans le domaine de la robotique autonome notamment.Dans ce contexte, le premier objectif de cette thèse est de combiner cartes auto-organisatrices (SOM) et champs neuronaux dynamiques (DNF) pour l’exploration et la catégorisation d’environnements réels perçus au travers de capteurs visuels de différentes natures. Le second objectif est de préparer le portage de ce calcul de nature neuromorphique sur un substrat matériel numérique. Ces deux objectifs visent à définir un dispositif de calcul matériel qui pourra être couplé à différents capteurs de manière à permettre à un système autonome de construire sa propre représentation de l’environnement perceptif dans lequel il évolue. Nous avons ainsi proposé et évalué un modèle de détection de nouveauté à partir de SOM. Les considérations matérielles nous ont ensuite amené à des optimisations algorithmiques significatives dans le fonctionnement des SOM. Enfin, nous complémenté le modèle avec des DNF pour augmenter le niveau d'abstraction avec un mécanisme attentionnel de suivi de cible.

Edge computing is a recent paradigm of distributed computing that addresses the problem of massive data, particularly in the context of connected objects. These objects are becoming increasingly important in our lives. Examples include connected watches, smart homes, and connected cars. For reasons of reactivity due to network overload and energy efficiency, the processing of data generated by these objects has progressively moved from centralized infrastructures in the cloud to distributed systems integrating powerful servers and embedded systems that can be used as close as possible to the data sources. Today, the data processing is gradually integrating more and more artificial intelligence algorithms (typically for data analysis and decision making) in edge computing. To make this viable on embedded systems, it is important to study new architectures with sufficient performance and low power consumption. This thesis addresses the issue of embedded computing dedicated to edge computing. In particular, it focuses on the design of low-power architectures for processing machine learning algorithms. First, it explores a solution based on a heterogeneous multicore architecture in order to see to what extent it can meet a large algorithmic demand. This innovative architecture is based on the processor technology proposed by the French company Cortus S.A. Then, the thesis focuses on the acceleration of deep networks by proposing a new MAC (multiplyaccumulate) unit that is both flexible and energy efficient. The gains provided by this MAC unit are evaluated through high-level modeling in convolutional neural network accelerators architectures. More generally, the work presented in this thesis offers interesting insights into the choice between general-purpose multicore architectures and dedicated artificial intelligence accelerators architectures for energy-efficient edge computing nodes.; L’informatique en périphérie ou edge computing est un paradigme de calcul distribué récent permettant d’adresser la problématique des données massives, notamment dans le contexte des objets connectés. Ces derniers prennent une place toujours plus prépondérante dans nos vies. Les exemples vont de la montre connectée à la maison intelligente, en passant par les voitures connectées. Pour des raisons de réactivité due à la surcharge du réseau et d’efficacité énergétique, les traitements des données ainsi générées par ces objets sont passés progressivement d’infrastructures centralisées dans le cloud à des systèmes distribués intégrant des serveurs puissants et des systèmes embarqués utilisables au plus près des sources de données. Aujourd’hui, le traitement de ces dernières intègre de plus en plus d’algorithmes d’intelligence artificielle (typiquement, pour l’analyse de données et la prise de décision) dans le edge computing. Pour rendre cela viable sur les supports embarqués, il est important d’étudier de nouvelles architectures suffisamment performantes et peu gourmandes en énergie. Cette thèse aborde la problématique du calcul embarqué dédié au edge computing. En particulier, elle se focalise sur la conception d’architectures à faible consommation permettant de traiter des algorithmes d’apprentissage machine. Dans un premier temps, elle explore une piste basée sur une architecture multicoeur hétérogène afin de voir dans quelle mesure cela permet de répondre à une large demande algorithmique. Cette architecture innovante repose sur la technologie de processeur proposée par la société française Cortus S.A. Ensuite, la thèse se concentre sur l’accélération des réseaux profonds en proposant une nouvelle unité MAC (multiply-accumulate) à la fois flexible et efficace en énergie. Les gains fournis par cette unité MAC sont évalués à travers une modélisation de haut niveau dans des architectures d’accélérateurs de réseau de neurones convolutif. Plus généralement, le travail présenté dans cette thèse offre des enseignements intéressants quant au choix entre des architectures multicoeurs généralistes et des architectures dédiées de type accélérateur d’intelligence artificielle, pour des noeuds de calcul efficaces en énergie pour le edge computing.

The rise of machine learning techniques and algorithms and their use in a large variety of domains show often surprising capabilities -- in the interpretation of input data and the ability to build relevant abstract representations (e.g. supervised learning), but also in the dynamic control of complex systems (e.g. reinforcement learning).Optimizing the energy efficiency of computing systems has become a major issue. From hardware design to software control, different levers exist to act on the execution of calculations. We consider in this thesis the optimization of parallel computing, running on complex architectures, from multicore processors to computing clusters. These systems present a large number of design and control parameters, giving rise to a number of combinations often too large to be considered exhaustively.Thus, this thesis aims at using recent machine learning techniques, based on neural networks, to build solutions for the control and design of computing systems. These techniques can consider a significant set of parameters in order to propose optimal solutions. The proposed techniques are intended to be multi-level and can therefore be applied to embedded systems or various sub-components but also at the scale of a distributed system, such as a computing cluster. Promising solutions are proposed along two distinct research axes. The first axis addresses the dynamic control of parallel computing. It deals with the real-time optimization of the energy efficiency of a system running an application parallelized with OpenMP. Among others, a control based on reinforcement learning is proposed. The second axis concerns the design of optimized communication networks. Indeed, communication networks represent a significant part of the energy consumption of computing systems. Thus, we propose a design tool based on generative AI, for the generation of optimized networks according to user criteria such as energy efficiency.; L’essor des techniques et algorithmes d’apprentissage (i.e. Machine Learning) et leur utilisation dans des domaines de plus en plus variés montrent des capacités souvent surprenantes -- dans l’interprétation des données d’entrée et la capacité de construire des représentations abstraites pertinentes (e.g. apprentissage supervisé), mais aussi dans le contrôle dynamique de systèmes complexes (e.g. apprentissage par renforcement).L'optimisation de l'efficacité énergétique des systèmes de calcul est devenue un enjeu majeur. De la conception matérielle au contrôle logiciel, différents leviers existent pour agir sur l'exécution de calculs. Nous considérons dans cette thèse l'optimisation du calcul parallèle, s'exécutant sur des architectures complexes, du processeur multicœur au cluster de calcul. Ces systèmes possèdent un nombre de paramètres de conception et de contrôle important, donnant lieu à un nombre de combinaisons souvent trop large pour pouvoir être considérées de façon exhaustive.Ainsi, cette thèse a pour objectif de s'appuyer sur les techniques d'apprentissage automatique récentes, basées sur les réseaux de neurones, pour construire des solutions de contrôle et de conception de systèmes de calcul. Ces techniques peuvent considérer un ensemble significatif de paramètres afin de proposer des solutions optimales. Les techniques proposées ont vocation à être multi-niveaux et pourront à ce titre être appliquées à l’échelle d’un système embarqué ou de ses divers sous-composants mais aussi à l’échelle d'un système distribué, comme par exemple un cluster de calcul. Des solutions prometteuses sont proposées selon deux axes de recherche distincts. Le premier axe s'adresse au contrôle dynamique du calcul parallèle. Il est question de l'optimisation en temps réel de l'efficacité énergétique d'un système exécutant une application parallélisée avec OpenMP, à l'aide, entre autres, d'un apprentissage par renforcement. Le deuxième axe concerne la conception de réseaux de communication optimisés. En effet, les réseaux de communication représentent une part non négligeable de la consommation énergétique des systèmes de calcul. Ainsi nous proposons un outil d'aide à la conception basé sur une IA générative, pour la génération de réseaux optimisés selon des critères utilisateurs tels que l'efficacité énergétique.

Les drones multirotor ont un énorme potentiel d'application dans le milieu industriel. Un exemple pertinent est celui de la société Donecle, la première au monde à développer des drones d'inspection visuelle pour la maintenance aéronautique. Les freins au déploiement à plus grande échelle de ces drones (pour inspecter tout type de structure, et en toute condition) sont d'abord législatifs et ensuite technologiques. En effet, les interactions entre le vent, les hélices et le corps du drone créent des perturbations complexes qui peuvent dégrader la précision du suivi de trajectoire au point de rendre le vol à proximité des avions risqué et donc non certifiable. Cette thèse financée par Donecle vise à augmenter la capacité des contrôleurs de ses drones à résister aux perturbations aérodynamiques.L'approche adoptée pour répondre à ce problème a été motivée par l'objectif pratique de la thèse : fournir des techniques de contrôle qui peuvent être rapidement déployées sur des drones industriels existants sans apporter de modifications matérielles. L'idée fut alors de partir des contrôleurs PID, qui fonctionnent très bien dans la plupart des cas, de comprendre leurs limites en termes de rejet des perturbations et de les surpasser en apportant progressivement de nouvelles briques algorithmiques qui s'adaptent bien au cas d'utilisation de Donecle : un drone en configuration contrarotative coaxiale, des vols à basse vitesse et une carte autopilote à mémoire limitée.Deux contributions principales sont proposées : D'une part, une nouvelle stratégie d'allocation des commandes moteurs (mixage) qui ne néglige pas les interférences entre les hélices coaxiales. D'autre part, la généralisation d'une technique de contrôle robuste au cas d'un contrôleur avec un observateur de perturbations (à savoir le contrôle actif de rejet des perturbations ADRC) pour garantir que les incertitudes sur les paramètres du système (variant dans des plages préétablies) ne causeront pas de dégradation des performances ou ne conduiront pas à l'instabilité. Cette amélioration de l'ADRC permet de rendre le même algorithme, avec le même réglage initial, capable de gérer les changements de configurations et de régimes de vol. Les essais expérimentaux ont accompagné toutes les phases de cette thèse et forment de ce fait une part importante des contributions. Ils ont notamment permis d'orienter notre choix vers certaines techniques de contrôle. Multirotor UAVs have huge potential for industrial applications. A relevant example is Donecle, the first company in the world to develop visual inspection UAVs for aeronautical maintenance. The obstacles to a wider deployment of these UAVs (to inspect any type of structure and in any condition) are firstly legislative and secondly technological. Indeed, the interactions between the wind, the propellers and the UAV body create complex disturbances that can degrade the accuracy of the trajectory tracking to the point of making the flight close to aircraft risky and therefore non-certifiable. This Donecle-funded thesis aims to increase the ability of its UAV controllers to withstand aerodynamic disturbances.The approach adopted to address this problem was motivated by the practical purpose of the thesis: providing control techniques that can be rapidly deployed on existing industrial UAVs without making hardware modifications. The idea was then to start from PID controllers, which work very well in most cases, understand their limitations in terms of disturbance rejection and to outperform them by gradually bringing new algorithmic bricks that fit well to the Donecle use case: a drone with a contra-rotating coaxial configuration, low speed flights and a memory-limited autopilot board.Two main contributions are proposed: On the one hand, a new control allocation strategy (thrust mixing) that does not neglect interference between coaxial propellers. On the other hand, the generalisation of a robust control technique to the case of a controller with a disturbance observer (namely Active Disturbance Rejection Control ADRC) to ensure that uncertainties on the system parameters (varying in pre-established ranges) will not cause performance degradation or lead to instability. This ADRC enhancement allows making the same algorithm with the same initial setting capable of handling changes of drone configurations and flight regimes. Experimental tests have accompanied all phases of this thesis and thus form an important part of the contributions. In particular, they have helped steer our choice towards some control techniques.

In continuity with other work of the binaural community we believe that spatialized sound can be an effective tool for guiding blind people, including for sports practice.A system for binaural audio guidance must be sufficiently accurate and responsive to be able to take into account every movement of the subject. This has led us to the development and implementation of a real-time localization system and a low-latency binaural spatialization software. Finally, we integrated the whole system into an embedded device.The advanced global satellite navigation techniques (augmented and multi-band) are not always available indoor or in urban environments. This is why we have been working on alternative methods of location and real-time tracking for indoor applications. First of all we have developed a robust real-time calibration and lateration method using an Ultra WideBand beacon network using a Kalman filter (UKF). We have also developed an original localization method using an unmodulated continuous wave Doppler radar array. We showed that it is possible to use the amplitude of the Doppler signal to estimate the distance to a moving object. We have then implemented a particle filter to allow real time localization by hybridization of distance data, measurements of radial Doppler velocity augmented by the heading provided by an inertial unit.In the field of acoustics and binaural audio, we have focused on understanding people's abilities to locate and track sound in motion. To do this we conducted experiments using natural and spatialized sounds using a binaural audio engine. These experiments showed that, on the azimuthal plane, spatialized audio stimuli allow for a localization comparable to natural sounds, even with non-individualized and interpolated HRTFs (head-related transfer function). Moreover, we were able to show that even in the azimuthal plane, the stimuli obtained by HRTF convolution are superior to panning (ITD+ILD) both for fixed and moving sounds. Based on the previous work of the team, we have implemented efficient algorithms for the real-time sound spatialization on embedded platforms with limited resources. For an efficient implementation, this real-time approach implied a thorough understanding of the sources of latency whether they are related to head-tracking or to the audio subsystem of modern operating systems.Finally, we used these localization methods and audio techniques to build a guidance device where a sound source continuously precedes the person to indicate the path to follow. It has been designed in collaboration with visually impaired people, in an iterative process and with an approach focused on the user needs. We then carried out guiding experiments with blind people in conjunction with our associative partners, which made it possible to evaluate different control strategies. We have thus been able to confirm that spatialized sound could constitute an effective tool for guiding blind people, without inducing any penalizing cognitive load, for practicing sports such as walking, running or rollerblading in partial autonomy, including the context of performance., Dans la continuité d’autres travaux de la communauté du son binaural, nous pensons que le son spatialisé peut constituer un outil efficace pour guider des personnes aveugles, y compris pour la pratique sportive.Un système destiné au guidage par audio binaural doit être suffisamment précis et réactif pour pouvoir prendre en compte chaque mouvement du sujet à guider, ce qui a impliqué le développement et la mise en œuvre d’un système de localisation temps réel et d'un logiciel de spatialisation binaural à faible latence. Enfin nous avons intégré l’ensemble dans un dispositif embarqué.Les techniques les plus avancées de navigation globale par satellite (augmenté et multibande) ne sont pas toujours disponibles en intérieur ou en environnement urbain. C’est pourquoi nous avons travaillé sur des méthodes alternatives de localisation et de suivi temps réel pour l’intérieur. Tout d’abord nous avons développé une méthode de calibration et de latération temps réel robuste par réseau de balises Ultra WideBand utilisant un filtre de Kalman (UKF). Nous avons également développé une méthode originale de localisation par réseau de radars Doppler à onde continue non modulée. Nous avons montré qu’il était possible d’utiliser l’amplitude du signal Doppler pour estimer la distance à un objet mobile. Nous avons alors implémenté un filtre particulaire qui permet la localisation en temps réel par hybridation des données de distance, des mesures de vitesse radiale Doppler et du cap fourni par une centrale inertielle.Dans le domaine de l’acoustique et de l’audio binaural, nous avons cherché à mieux comprendre les capacités des personnes à localiser et à suivre un son en mouvement. Pour cela nous avons mené des expériences en utilisant des sons naturels et des sons spatialisés par audio binaural. Nous avons pu montrer, que sur le plan azimutal, les stimuli audio spatialisés permettaient une localisation comparable aux sons naturels, y compris avec les HRTFs (head-related transfer function) non individualisées et interpolées. Par ailleurs, nous avons pu montrer que même sur le plan azimutal, les stimuli obtenus par convolution de HRTFs étaient supérieurs au panning (ITD+ILD) pour les sons fixes et pour les sons en mouvement. En nous appuyant sur les travaux antérieurs de l’équipe, nous avons implémenté des algorithmes efficaces pour la spatialisation sonore temps-réel sur des plateformes embarquées disposant de peu de ressources. Pour une mise en œuvre efficace, cette approche temps-réel a impliqué une compréhension approfondie des sources de latence qu’elles soient liées au head-tracking ou au sous-système audio des systèmes d’exploitation modernes.Finalement nous avons mis en œuvre ces méthodes de localisation et ces techniques audio pour construire un dispositif de guidage où la source sonore précède continuellement la personne pour lui indiquer le chemin à suivre.Il a été conçu en lien avec des personnes déficientes visuelles, dans une démarche itérative et avec une approche centrée sur les besoins utilisateurs. Nous avons alors mené des expériences de guidage avec des personnes aveugles, en lien avec nos partenaires associatifs, qui ont permis d’évaluer différentes stratégies de contrôle. Nous avons ainsi pu confirmer que le son spatialisé pouvait constituer un outil efficace pour guider des personnes aveugles sans induire de charge cognitive pénalisante pour des pratiques sportives comme la marche, la course à pied ou le roller en autonomie partielle, y compris dans un contexte de recherche de performances.

National audience

Over the past years, deep neural networks have proved to be an essential element for developing intelligent solutions. They have achieved remarkable performances at a cost of a large size with deeper layers and millions of parameters. Therefore utilising these networks for developing augmented reality applications on limited resource platforms such as embedded devices or mobile phones is a challenging task. In this context, this thesis addresses the problem of neural networks compression and optimisation in order to enhance the performance of these models on limited resource systems.In the first part of this manuscript, we present an overview of different compression methods present in the literature as well as their strengths, their weaknesses and a brief comparison of these techniques. We are also interested in the methods that are allowing the optimisation of deep neural networks structure design, from simple modules to autonomous models building.In the second part, we show the feasibility of an augmented reality application in real-time using a deep learning model in order to achieve a face parsing task. By using adapted frameworks and an optimised architecture, we achieve the segmentation of different face components in real-time with a high level of consistency on an iPhone X.The last two parts are focused on the development and the evaluation of a new deep convolutional neural networks compression method. Based on a regularisation term which is defined on the filter coefficients of the model, our approach is inducing sparsity among the weights of the network. Thus, our method is redistributing the information between the model filters, enabling us to remove the filters with the smaller values. We show the performance of our method on classic classification tasks. We are also introducing the efficiency of our technique on more complex models and tasks such as classification, segmentation and detection problems while specialising these models on a subset of categories on several databases., Au cours de ces dernières années, les réseaux de neurones profonds se sont montrés être des éléments centraux dans le développement de solutions intelligentes. Ils ont atteint des performances remarquables au détriment de la grande taille de leurs modèles avec de nombreuses couches profondes et des millions de paramètres. Ainsi, utiliser ces modèles pour des applications en réalité augmentée devant fonctionner sur des plateformes possédant des ressources limitées comme des systèmes embarqués ou des smartphones est une tâche loin d'être évidente. Dans ce contexte, cette thèse s'intéresse au problème de la compression et de l'optimisation de réseaux de neurones dans le but de réduire la taille de leur modèle sur des systèmes ayant des ressources limitées.Nous présentons dans une première partie différentes méthodes de compression de la littérature ainsi que leurs forces, leurs faiblesses et une brève comparaison entre elles. Nous nous intéressons également aux méthodes permettant d'optimiser la construction des architectures de réseaux de neurones profonds, allant de simples modules à la construction autonome de modèles.Nous montrons dans une deuxième partie la faisabilité technique d'une application en réalité augmentée et en temps réel utilisant un modèle d'apprentissage profond pour de l'analyse de visages. En utilisant des frameworks adaptés et une architecture optimisée, nous arrivons à segmenter différents composants du visage de manière robuste en temps réel sur un iPhone X.Les deux dernières parties sont consacrées au développement et à l'évaluation d'une nouvelle méthode de compression de réseaux de neurones convolutifs profonds. Basée sur un terme de régularisation défini sur les coefficients des filtres du modèle, notre approche permet d'introduire de la dispersion au sein des poids du réseau. Cela a pour effet de redistribuer l'information entre les filtres du modèle, nous permettant de supprimer les filtres ayant une valeur faible suite à cette opération. Nous évaluons les performances de notre méthode sur des tâches de classification classiques. Nous introduisons aussi l'efficacité de notre technique sur des modèles et des tâches de classification, segmentation et détection plus complexes en spécialisant les modèles sur certaines sous-catégories de jeux de données.

As embedded systems are more and more present in our lives, it is necessary to protect the personal data stored in such systems. Application developers can unintentionally introduce vulnerabilities that can be exploited by attackers to compromise the confidentiality or integrity of the system. One of the solutions to prevent this is to use reactive mechanisms to monitor the behavior of the system while it is running. In this thesis, we propose a generic anomaly detection approach combining hardware and software aspects, based on dynamic information flow tracking (DIFT). DIFT consists of attaching labels representing security levels to information containers, for example files, and specifying an information flow policy to describe the authorized flows. To implement such an approach, we first developed a DIFT monitor which is flexible and non-invasive for the processor, using ARM CoreSight trace components. To take into account the information flows that occur in the different layers, from the operating system to the processor instructions, we have developed different static analysis into the compiler. These analyses generate annotations, used by the DIFT monitor, that describe the dissemination of data in the system at run-time. We also developed a Linux security module to handle information flows involving files. The proposed approach can thus be used to detect different kinds of attacks.; Les systèmes embarqués étant de plus en plus présents dans nos vies, il est nécessaire de protéger les données personnelles qui y sont stockées. En effet, les concepteurs d’applications peuvent involontairement introduire des vulnérabilités pouvant être exploitées par un attaquant pour compromettre la confidentialité ou l’intégrité du système. Un des moyens de s’en prémunir est l’utilisation d’outils réactifs permettant de surveiller le comportement du système lors de son fonctionnement. Dans le cadre de cette thèse, nous proposons une approche générique de détection d'anomalies combinant des aspects matériels et logiciels et qui repose sur le suivi de flux d’information dynamique (DIFT). Le DIFT consiste à attacher des étiquettes représentant des niveaux de sécurité à des conteneurs d'information, par exemple des fichiers, et à spécifier une politique de flux d'information permettant de décrire les flux autorisés. Pour cela, nous avons tout d’abord développé un moniteur DIFT, flexible et non invasif pour le processeur, en utilisant les composants de traces ARM CoreSight. Pour prendre en compte les flux d’information qui se produisent dans les différentes couches, du système d’exploitation aux instructions processeur, nous avons élaboré des analyses statiques dans le compilateur. Ces analyses génèrent des annotations qui décrivent la dissémination des données dans le système lors de son exécution et qui sont utilisées par le moniteur DIFT. Nous avons également développé un module de sécurité pour le noyau Linux afin de prendre en compte les flux d’information à destination ou en provenance des fichiers. L’approche proposée permet ainsi de détecter un large spectre d'attaques de natures différentes.

The objective of this work, in the context of the European RADSAGA project, is to propose a new methodology for radiation hardness assurance of digital systems. We investigate the possibility to define an intermediate approach that would combine the concept of system-level testing with the existing knowledge and best practices of component-level methods. Our methodology is developed and applied to two recent generations of system-on-modules based on 28-nm Planar and 16nm FinFET system-on-chips. A specific instrumentation was designed and added to the case study software and firmware application to improve the observability of the failures during system-level test campaigns performed with atmospheric-like neutrons, high-energy protons, pulsed laser and X-rays. The results are analyzed and the lessons learned from the experimental campaigns are summarized. Finally, the methodology limitations and possible improvements are reviewed.; L'objectif de ce travail, réalisé dans le cadre du projet Européen RADSAGA, est de proposer une nouvelle méthodologie pour l’évaluation de la tenue aux radiations des systèmes numériques. Nous étudions la possibilité de définir une approche intermédiaire combinant le test au niveau système avec les connaissances et les méthodes connues au niveau composant. La méthodologie proposée est construite et appliquée à deux générations récentes de systèmes-sur-modules basés sur des systèmes-sur-puce en technologie 28nm et 16nm FinFET. Une instrumentation spécifique est développée et intégrée à l’application logicielle testée afin d’améliorer l’observabilité des évènements durant des campagnes de test au niveau système menées avec différents types de faisceaux : neutrons atmosphériques, protons de haute énergie, impulsions laser et rayons X. Les résultats sont présentés et analysés, et les retours d’expérience sont résumés. La méthodologie passerelle proposée est alors détaillée et ses limitations et possibilités d’amélioration sont discutées.

The increasing complexity of embedded systems renders them more vulnerable to software bugs, design errors and security flaws. Therefore, there is a growing need for verification and validation activities. To execute and analyze models of these systems, transformations are usually required to obtain (i) the executable code that can be deployed on embedded targets as well as (ii) analysismodels used to apply formal verification techniques (e.g., model-checking). However, these typically unproven transformations are responsible for semantic gaps and require to establish an equivalence relation between executable code and analysis models to ensure that what is executed is what has been verified. To unify analysis activities and embedded execution of these models, the EMI approach (= embedded model interpreter approach) relies on a controllable model interpreter that uses a unique pair (model + semantics) for all software development activities. To evaluate this approach, a UML model interpreter has been designed and applied on different case studies of embedded systems to perform multiple analysis activities (e.g., simulation, animation, debugging, model-checking, monitoring).; La complexité croissante des systèmes embarqués les expose à davantage de bogues logiciels, d’erreurs de conception et de failles de sécurité. Les besoins en vérification et en validation sont donc de plus en plus importants. Pour exécuter et analyser des modèles de ces systèmes, des transformations sont généralement nécessaires pour obtenir (i) le code exécutable pouvant être déployé sur une cible embarquée et (ii) des modèles d’analyse permettant d’appliquer des techniques de vérification formelle (p. ex. de model-checking). Cependant, ces transformations typiquement non-prouvées sont à l’origine de fossés sémantiques et nécessitent d’établir une relation d’équivalence entre le code exécutable et les modèles d’analyse afin de garantir que ce qui est exécuté est bien ce qui a été vérifié. Pour unifier les activités d’analyse et l’exécution embarquée de modèles, l’approche EMI (= embedded model interpreter) repose sur un interpréteur de modèles pilotable permettant d’utiliser un unique couple (modèle + sémantique) pour toutes les activités de développement logiciel. Pour évaluer cette approche, un interpréteur de modèles UML a été conçu et appliqué à différents cas d’études de systèmes embarqués afin de mettre en oeuvre diverses activités d’analyse (p. ex. simulation, animation, débogage, model-checking, monitoring).

High dynamic range (HDR) image generation using temporal exposure bracketing is widely used to recover the whole dynamic range of a filmed scene by fusion of two or more low dynamic range (LDR) images. Temporal exposure bracketing technique should be employed for static scenes and it cannot be applied directly for dynamic scenes. Motions introduced by moving objects in the LDR stack images create ghosts artifacts in the reconstructed HDR image. In this thesis, we have studied and evaluated a large nuber of algorithms used to correct or avoid these artifacts and we mad a trade-off between robustness and complexity in order to propose a real-time HDR video generation system.The real-time HDR image generation system is implemented on a FPGA circuit. This FPGA-based smart camera is presented with some experimental results to demonstrate the selected method and design efficiency. The proposed system enables HDR video streams, including ghost removal processing, to be generated at 60 f ps for a full sensor resolution (1280 × 1024).; La génération d’images à grande gamme de dynamique (HDR) à l’aide de plusieurs expositions est largement utilisée pour récupérer la gamme de dynamique entière d’une scène filmée. La technique se base sur la fusion de deux images (ou plus) à faibles gamme de dynamique(LDR). Cependant, cette technique doit être utilisée pour les scènes statiques et elle ne peut pas être appliquée directement pour les scènes contenant du mouvement. Les mouvements introduits par les objets dans les images de pile d’images LDR créent des artefacts fantômes dans l’image HDR reconstruite.Dans cette thèse, nous avons étudié et évalué un grand nombre d’algorithmes utilisés pour corriger ou éviter ces artefacts. Nous avons fait un compromis entre robustesse et complexité dans le choix de la méthode permettant la suppression de cet artefact afin de proposer un système de générationde vidéo HDR en temps réel (caméra intelligente). Ce dernier est implémenté sur un circuit FPGA.Cette caméra intelligente basée sur un FPGA est présentée avec des résultats expérimentaux de la conception démontrant l’efficacité de la méthode sélectionnée. Le système proposé permet de générer des flux vidéo HDR, y compris le processus de suppression des artefacts fantômes, à 60images/s pour une résolution de capteur complète (1280 × 1024).

High dynamic range (HDR) image generation using temporal exposure bracketing is widely used to recover the whole dynamic range of a filmed scene by fusion of two or more low dynamic range (LDR) images. Temporal exposure bracketing technique should be employed for static scenes and it cannot be applied directly for dynamic scenes. Motions introduced by moving objects in the LDR stack images create ghosts artifacts in the reconstructed HDR image. In this thesis, we have studied and evaluated a large nuber of algorithms used to correct or avoid these artifacts and we mad a trade-off between robustness and complexity in order to propose a real-time HDR video generation system.The real-time HDR image generation system is implemented on a FPGA circuit. This FPGA-based smart camera is presented with some experimental results to demonstrate the selected method and design efficiency. The proposed system enables HDR video streams, including ghost removal processing, to be generated at 60 f ps for a full sensor resolution (1280 × 1024)., La génération d’images à grande gamme de dynamique (HDR) à l’aide de plusieurs expositions est largement utilisée pour récupérer la gamme de dynamique entière d’une scène filmée. La technique se base sur la fusion de deux images (ou plus) à faibles gamme de dynamique(LDR). Cependant, cette technique doit être utilisée pour les scènes statiques et elle ne peut pas être appliquée directement pour les scènes contenant du mouvement. Les mouvements introduits par les objets dans les images de pile d’images LDR créent des artefacts fantômes dans l’image HDR reconstruite.Dans cette thèse, nous avons étudié et évalué un grand nombre d’algorithmes utilisés pour corriger ou éviter ces artefacts. Nous avons fait un compromis entre robustesse et complexité dans le choix de la méthode permettant la suppression de cet artefact afin de proposer un système de générationde vidéo HDR en temps réel (caméra intelligente). Ce dernier est implémenté sur un circuit FPGA.Cette caméra intelligente basée sur un FPGA est présentée avec des résultats expérimentaux de la conception démontrant l’efficacité de la méthode sélectionnée. Le système proposé permet de générer des flux vidéo HDR, y compris le processus de suppression des artefacts fantômes, à 60images/s pour une résolution de capteur complète (1280 × 1024).

The rise of Internet of Things (IoT) in recent years has profoundly changed our relationship with technology. Industriesare experiencing new technological and economic models while households are opening up to new uses for them. IoT isseen as a new market opportunity and the approach adopted for the management of these things is mainly based on thecentralization of processing and data in datacenter. However, numerous studies have shown the advantages offered bydecentralization in this area: better fault tolerance, increased mobility, greater scalability, and easier deployment. Ourwork focuses on the analysis of organizational choices so that connected things can carry their data and processing in adecentralized way. The multi-agent paradigm offers multiple vehicles to facilitate the response to this approach. Itdescribes the behavior of autonomous entities acting in a common environment. For this, we propose an approach thatallows agents to be adapted to the complexity of different hardware architectures. The goal is to consider objects as"Internet of Things - agent", IoT-a. Each element progresses autonomously and has sufficient means to interact withothers in order to create new kinds of behavior. We have focused on communication issues, with heterogeneousembedded systems, by presenting a dynamic communication model. This model allows the active sharing ofinformation at different levels of application and hardware between agents. We have defined the notions of localcentralization and collective decentralization of IoT-a constellations, allowing the autonomous evolution of things agentin a proactive environment. We have experimented our proposal through the real implementation of a set of IoT-a,forming a wall of screens, capable of responding to several types of applications in a decentralized way. For itsvalidation and evaluation, a scenario focuses on the interoperability of the system. The removal and addition of plugand play screens during the diffusion of visuals allows to adapt the video flows to the screen surface available. Severalprototypes of dynamic visualization tools have been proposed within the context of a CIFRE thesis partnership with thecompany SARP-VEOLIA.; L'essor des objets connectés (Internet of Things, IoT) depuis ces dernières années change profondément nos liens avecla technologie. Les industries connaissent de nouveaux modèles technologiques et économiques pendant que les foyerss'ouvrent à des usages inédits. L'IoT est vu comme une nouvelle opportunité de marché et l'approche adoptée pour lagestion de ces objets repose principalement sur la centralisation des traitements et des données dans des fermes deserveurs. Pourtant de nombreux travaux montrent les atouts offerts par la décentralisation dans ce domaine : meilleuretolérance aux pannes, mobilité accrue, gain en évolutivité, ou encore déploiement facilité. Nos travaux portent surl'analyse des choix d'organisations afin que les objets connectés puissent porter leurs données et leurs traitements defaçon décentralisée. Le paradigme multi-agents offre de multiples leviers facilitant la réponse à cette approche. Il décritle comportement d'entités autonomes agissant dans un environnement commun. Pour cela, nous proposons uneapproche permettant d'adapter des agents à la complexité des architectures matérielles. L'objectif est de considérer lesobjets comme des « Internet of Things - agent », IoT-a. Chaque élément progresse de façon autonome et dispose desmoyens suffisants pour interagir avec d'autres afin de créer de nouveaux comportements. Nous nous concentrons sur lesproblématiques de communication, avec des systèmes embarqués hétérogènes, en présentant un modèle decommunication dynamique. Il permet le partage actif d'informations à différents niveaux applicatifs et matériels entreles agents. Nous définissons les notions de centralisation locale et décentralisation collective de constellations d'IoT-a,permettant l'évolution autonome des objets agents dans un environnement proactif. Nous expérimentons notreproposition au travers de la mise en œuvre réelle d'un ensemble d'IoT-a, formant un mur d'écrans, capable de répondreà plusieurs types d'applications de façon décentralisée. Pour sa validation et son évaluation, un scénario se focalise surl'interopérabilité du système. Le retrait et l'ajout d'écrans, à la volée, durant la diffusion de visuels permet d'adapter lesflux vidéos à la surface d'écrans disponible. Plusieurs prototypes d'outils de visualisation dynamique ont été proposésdans le cadre d'un partenariat de thèse CIFRE avec l'entreprise SARP-VEOLIA.

AUTOSAR (AUTomotive Open System ARchitecture) has been created by automotive manufacturers, suppliers and tools developers in order to establish an open industry standard for automotive E/E(Electrical/Electronic) architectures. AUTOSAR provides a set of concepts and defines a common methodology to develop automotive software platforms. The key features of this standard are modularity and configurability of automotive software; this allows functional reuse of software modules provided by different suppliers and guarantees interoperability of these modules through standardized interfaces. However, the development of an embedded application according to AUTOSAR necessitates configuring a lot of parameters related to the large number of Software Components (SWCs), their allocations to the hardware platform and then, the configurationof each Electronic Control Unit (ECU). Different alternatives are possible during the design of such systems. Each implementation decision may impact system performance and needs therefore to be evaluated and compared against performance constraints and optimization goals. In this thesis, we introduce a holistic optimization approach to synthesizearchitecture E/E of an embedded AUTOSAR system. This approach is based on heuristic and metaheuristic methods. The metaheuristics (e.g. genetic algorithm) has the role to find the most satisfactory allocations of SWCs to ECUs. Each allocation step, two heuristics are developed to solve the problem of the ECU configuration (the number of tasks and priorities, allocation of runnables to tasks, etc.) and networks configuration (the number of messagesand priorities, allocation of data-elements to messages, etc.). In order to evaluate the performance of each allocation, we propose a new analysis method to calculate the response time of tasks, runnables, and end-to-end paths. The architectural exploration approach proposed by this thesis considers the model for periodic applications and is evaluated using generic and industrial applications.; AUTOSAR (AUTomotive Open System Architecture) est un standard industriel mondial créé en 2003 dans le but de standardiser le développement des architectures logicielles automobiles. Il fournit un ensemble de concepts et définit une méthodologie commune pour le développement des logiciels embarqués automobiles. Les principales caractéristiques de ce standard sont la modularité et la « configurabilité» de logiciels qui permettent la réutilisation fonctionnelle des modules logiciels fournis par des fournisseurs différents. Cependant,le développement d’une application embarquée AUTOSAR nécessite la configuration d’un grand nombre de paramètres liés principalement au grand nombre de composants logiciels (software component« SWC ») de l’application. Cette configuration commence par l’étape d’allocation des SWCs à la plateforme matérielle (calculateursconnectés par des réseaux), jusqu’à l’étape de configuration de chaque calculateur et du réseau de communication. Différentes alternatives sont possibles pendant ces étapes de configuration etc chaque décision de conception peut impacter les performances temporelles du système, d’où la nécessité d’automatiser ces étapes de configuration et de développer un outil d’évaluation d’architectures.Dans ce travail de thèse, nous introduisons une approche holistique d’optimisation afin de synthétiser l’architecture E/E d’un système embarqué AUTOSAR. Cette approche se base sur des méthodes métaheuristique et heuristique. La méthode métaheuristique (i.e. algorithme génétique) a le rôle de trouver les allocations les plus satisfaisantes des SWCs aux calculateurs. A chaque allocation proposée, deux méthodes heuristiques sont développées afin de résoudre le problème de la configuration des calculateurs (le nombre de tâches et ses priorités, allocation des runnables aux tâches, etc.) et des réseaux de communication (le nombre de messages et ses priorités, allocation des « data-elements » aux messages,etc.). Afin d’évaluer les performances de chaque allocation, nous proposons une nouvelle méthode d’analyse pour calculer le temps de réponse des tâches, des runnables, et de bout-en-bout de tâches/runnables. L’approche d’exploration architecturale proposée par cette thèse considère le modèle des applications périodiques et elle est évaluée à l’aide d’applications génériques et industrielles.

In many applications, noisy video can be a major problem. There are denoising methods with highly effective denoising capabilities but at the cost of a very high computational complexity. Other faster methods are limited in their applications since they does not handle high levels of noise correctly. For many applications, it is however very important to preserve a good image quality in every situation with sometimes strong embedding constraints. In this work, the goal is to propose an embedded solution for live video denoising. The method needs to remain efficient with even under high level of noise. We limit our work to embedded CPU under 30W of power consumption. This work led to a new video denoising algorithm called RTE-VD: Real-Time Embedded Video Denoising. RTE-VD is composed of 3 steps: stabilization, movement compensation by dense optical flow estimation and spatio-temporal filtering. On an embedded CPU (Jetson AGX), RTE-VD runs at 30 frame per seconds on qHD videos (960x580 pixels). In order to achieve such performance, many compromises and optimizations had to be done. We compare RTE-VD to other state-of-the-art methods in both terms of denoising capabilities and processing time. We show that RTE-VD brings a new relevant tradeoff between quality and speed., Pour beaucoup d'applications, la présence de bruit dans les vidéos peut être un problème majeur. Des algorithmes de débruitage existent, la plupart sont qualitativement très efficaces mais au prix d'un temps de traitement trop important pour pouvoir envisager une implémentation temps réel embarquée. D'autres méthodes, plus rares, peuvent être exécutées en temps réel mais gèrent mal les forts niveaux de bruit. Pour bon nombre d'applications, il est cependant important de conserver une bonne qualité d'images en toutes conditions avec parfois d'importantes contraintes d'embarquabilité. Dans ces travaux, nous cherchons à proposer une solution de débruitage vidéo qui permet un traitement en direct sur des systèmes embarqués. La solution proposée doit rester efficace même pour de forts niveaux de bruit. Ici, nous nous limitons à l'utilisation de CPU embarqués d'une consommation inférieure à 30W. Les travaux menés dans le cadre de cette thèse ont permis la mise en place d'une chaîne de débruitage nommée RTE-VD (Real-Time Embedded Video Denoising). RTE-VD se décompose en trois étapes : stabilisation, recalage temporel par flot optique et filtrage spatio-temporel. Sur un CPU embarqué (Jetson AGX), RTE-VD permet de traiter à une cadence de 30 images par seconde, des vidéos au format qHD (960x540 pixels). Afin de pouvoir atteindre ces performances, de nombreux compromis et optimisations ont dû être faits. Nous comparons RTE-VD à d'autres méthodes de référence de la littérature à la fois en termes de qualité du débruitage et de vitesse d'exécution. Nous montrons que RTE-VD apporte un nouveau positionnement pertinent au niveau du rapport qualité/vitesse.

Today, embedded systems have taken a leading role in our world. Whether for communication, travel, work or entertainment, their use is preponderant. Together, research and industry efforts are constantly developing various parts that make up these systems: processor, FPGA, memory, operating system.From an architectural point of view, the contribution of a generalist architecture coupled with a reconfigurable architecture positions SoC FPGA as popular targets for use in embedded systems. However, their implementation's complexity makes their adoption difficult. The abstraction of low-level layers seems to be an investigation's axis that would tend to reverse this trend. The use of an operating system seems suitable at first glance because they deliver an ecosystem of drivers and services for access to hardware resources, native scheduling capacities and libraries for security. However, this solution brings constraints and lead to evaluate other approaches.This manuscript evaluates the ability of a high-level language, Lua, to provide an execution environment in such a case that the implementation does not provide operating system. It gives, through an ecosystem named Lynq, the necessary building blocks for the management and allocation of resources present on the SoC FPGA as well as a method for isolation between applications. Besides the adoption of this execution environment, our work explores the capacity of generalist architectures such as CPUs to become specialized when implemented on a FPGA. This is done through a contribution allowing the generation of a RISC-V CPU and its associated microcode.; Aujourd'hui, les systèmes embarqués ont pris une part hégémonique dans notre monde. Leurs utilisation est prépondérante, que ce soit pour communiquer, se déplacer, travailler ou se divertir. Des efforts dans le domaine de la recherche et de l'industrie n'ont de cesse de faire évoluer les parties qui composent ces systèmes dont le processeur, le FPGA, la mémoire et le système d'exploitation.D'un point de vue architectural, l'apport d'une architecture généraliste couplée à une architecture reconfigurable positionne le SoC FPGA comme une cible préférentielle pour une utilisation dans les systèmes embarqués. Leurs adoption est cependant difficile du fait de leur complexité d'implémentation. L'abstraction des couches de bas niveau semble un axe d'investigation qui tend à inverser cette tendance. Au premier abord, l'utilisation d'un système d'exploitation paraît idoine. En effet, il possède l'écosystème de drivers et services disponibles pour l'accès aux ressources matérielles, la capacité d'ordonnancement natif ainsi que des bibliothèques pour la sécurité. Toutefois, cette solution engendre des contraintes qui poussent à évaluer d'autres approches. Ce manuscrit évalue la capacité d'un langage de haut niveau tel que Lua à fournir un environnement d'exécution dans le cas d'une implémentation sans système d'exploitation.À travers un écosystème nommé Lynq, cet environnement d'exécution procure les briques nécessaires à la gestion et l'allocation des ressources présentes sur le SoC FPGA, ainsi qu'une méthode proposant une isolation entre applicatifs.La capacité des architectures généralistes que sont les CPUs à devenir spécialisés lorsqu'ils sont implémentés sur un FPGA a été exploré par la suite. Ceci au travers d'une contribution permettant la génération d'un CPU RISC-V ainsi que son microcode associé.

Just like the cell phone evolving into a smartphone, the car has gradually become a smartcar. Driving aids, infotainment and vehicle customization are the key points of attractiveness to consumers. The emergence of connected cars has enabled manufacturers to remotely update on-board software, making it easier to maintain and add new features later on. In this context, the AUTOSAR consortium, a group of major car manufacturers, has designed a new software platform that facilitates remote updating and online modification of these in-vehicle systems. However, with increasing complexity in these software systems, it has become essential to be able to ensure safe operation despite unexpected changes. Thus, dependability mechanisms must also adapt and be updated to ensure system resilience, i.e., persistence of dependability in the face of changes. Fault Tolerance Mechanisms (FTMs) ensuring a nominal or degraded service in the presence of faults must also adapt to a change in the application context (change in the fault model, application characteristics or available resources). This ability to adapt FTMs is called Adaptive Fault Tolerance (AFT). It is in this context of evolution and adaptability that our thesis work is situated. In this thesis, we present approaches to develop fail-safe systems whose FTMs can be adapted at runtime by more or less fine-grained modifications to minimize the impact on the application's execution. We propose a first solution based on a substitutable components approach, we decompose our FTMs according to a Before-Proceed-After design scheme gathering respectively the dependability actions executing before an application action, the communication with the application and those executing after an application action. We implement this approach on ROS (Robot Operating System), a middleware for robotics allowing to create applications in the form of component graphs. We then propose a second solution in which we refine the granularity of the components of our FTMs and we categorize, in a first step, the dependability actions they contain. This allows us to substitute not a component but an elementary action. Thus, we overcome a resource problem that appeared in the substitutable components approach. As a component is projected on a process, our FTMs use unnecessarily limited resources on embedded platforms. To address this problem, we propose a solution based on a schedulable object approach. FTMs move from a component graph design to an object graph design. The safety actions are projected on objects that are scheduled inside the FTM. This second solution is also implemented on ROS. Finally, we critically analyze the two automotive software execution media, namely, AUTOSAR Classic Plateform, and AUTOSAR Adaptive Platform, which is still under development. In a final step, we examine the compatibility between these two frameworks and our approaches to designing resilient embedded systems based on adaptive fault tolerance., A l’instar du téléphone mobile évoluant en smartphone, la voiture s’est transformée petit à petit en smartcar. Les aides à la conduite, l’infotainment ou encore la personnalisation du véhicule sont les points clefs de l’attractivité auprès des consommateurs. L’apparition des véhicules automobiles connectés a permis aux constructeurs de mettre à jour à distance les logiciels embarqués, favorisant leur maintenabilité et l’ajout a posteriori de fonctionnalités. Dans ce contexte, le consortium AUTOSAR, un regroupement de constructeurs automobiles majeurs, a conçu une nouvelle plate-forme logicielle facilitant la mise à jour à distance et la modification en ligne de ces systèmes embarqués. Cependant, avec de plus en plus de complexité dans ces logiciels, il est devenu essentiel de pouvoir assurer un service sûr de fonctionnement malgré des changements imprévus. Ainsi, les mécanismes de sûreté de fonctionnement doivent eux aussi s’adapter et être mis à jour pour assurer la résilience du système, à savoir, la persistance de la sûreté de fonctionnement face à des changements. Les mécanismes de tolérance aux fautes (Fault Tolerance Mechanisms - FTM) assurant un service nominal ou dégradé en présence de fautes doivent également s’adapter face à un changement de contexte applicatif (changement du modèle de faute, des caractéristiques de l’application ou des ressources disponibles). Cette capacité à adapter les FTM est appelée Tolérance aux Fautes Adaptative (Adaptive Fault Tolerance – AFT). C’est dans ce contexte d’évolution et d’adaptativité que s’inscrivent nos travaux de thèse. Dans cette thèse, nous présentons des approches pour développer des systèmes sûrs de fonctionnement dont les FTM peuvent s’adapter à l’exécution par des modifications plus ou moins à grain fin pour minimiser l’impact sur l’exécution de l’application. Nous proposons une première solution basée sur une approche par composants substituables, nous décomposons nos FTM selon un schéma de conception Before-Proceed-After regroupant respectivement les actions de sûreté de fonctionnement s’exécutant avant une action l’application, la communication avec l’application et celles s’exécutant après une action de l’application. Nous implémentons cette approche sur ROS (Robot Operating System), un intergiciel pour la robotique permettant de créer des applications sous forme de graphe de composants. Nous proposons ensuite une seconde solution dans laquelle nous affinons la granularité des composants de nos FTM et nous catégorisons, dans un premier temps, les actions de sûreté de fonctionnement qu’ils contiennent. Cela permet non plus de substituer un composant mais une action élémentaire. Ainsi, nous pallions à un problème de ressource apparu dans l’approche par composants substituables. Un composant étant projeté sur un processus, nos FTM utilisent inutilement des ressources déjà limitées sur les plate-formes embarqués. Pour ce faire, nous proposons une solution basé sur une approche par objets ordonnançables. Les FTM passent d’une conception par graphe de composants à une conception par graphe d’objets. Les actions de sûreté de fonctionnement sont projetés sur des objets qui sont ordonnancés à l’intérieur du FTM. Cette seconde solution est aussi mise en oeuvre sur ROS. Enfin, nous faisons une analyse critique des deux supports d’exécution logiciel pour l’automobile, à savoir, AUTOSAR Classic Plateform, et AUTOSAR Adaptive Platform, qui est en cours de développement encore actuellement. Nous examinons, dans une dernière étape la compatibilité entre ces deux supports et nos approches pour concevoir des systèmes résilients embarqués basés sur de la tolérance aux fautes adaptative.

47ème Congrès ATEC ITS France, PARIS, FRANCE, 22-/01/2020 - 23/01/2020; Le domaine de la géolocalisation s'est doté d'une méthodologie de référence indispensable pour évaluer et caractériser des terminaux GNSS destinés à la navigation terrestre. La série de normes EN16803 a pour objectif d'éclairer les choix des utilisateurs et de simplifier l'intégration des technologies satellitaires aux systèmes embarqués. Elle s'appuie sur une technique de métrologie instrumentale, identifiée sous le terme « Record & Replay » et offrant plusieurs avantages-clefs : - Restituer des environnements d'essais « Reproductibles » et « Représentatifs » du monde réel ; - Dissocier les erreurs de « Justesse » et de « Fidélité » pour enrichir les analyses ; - Etablir des scénarios de référence fiables pour « comparer les résultats de mesures ».

Today, embedded systems have taken a leading role in our world. Whether for communication, travel, work or entertainment, their use is preponderant. Together, research and industry efforts are constantly developing various parts that make up these systems: processor, FPGA, memory, operating system.From an architectural point of view, the contribution of a generalist architecture coupled with a reconfigurable architecture positions SoC FPGA as popular targets for use in embedded systems. However, their implementation's complexity makes their adoption difficult. The abstraction of low-level layers seems to be an investigation's axis that would tend to reverse this trend. The use of an operating system seems suitable at first glance because they deliver an ecosystem of drivers and services for access to hardware resources, native scheduling capacities and libraries for security. However, this solution brings constraints and lead to evaluate other approaches.This manuscript evaluates the ability of a high-level language, Lua, to provide an execution environment in such a case that the implementation does not provide operating system. It gives, through an ecosystem named Lynq, the necessary building blocks for the management and allocation of resources present on the SoC FPGA as well as a method for isolation between applications. Besides the adoption of this execution environment, our work explores the capacity of generalist architectures such as CPUs to become specialized when implemented on a FPGA. This is done through a contribution allowing the generation of a RISC-V CPU and its associated microcode., Aujourd'hui, les systèmes embarqués ont pris une part hégémonique dans notre monde. Leurs utilisation est prépondérante, que ce soit pour communiquer, se déplacer, travailler ou se divertir. Des efforts dans le domaine de la recherche et de l'industrie n'ont de cesse de faire évoluer les parties qui composent ces systèmes dont le processeur, le FPGA, la mémoire et le système d'exploitation.D'un point de vue architectural, l'apport d'une architecture généraliste couplée à une architecture reconfigurable positionne le SoC FPGA comme une cible préférentielle pour une utilisation dans les systèmes embarqués. Leurs adoption est cependant difficile du fait de leur complexité d'implémentation. L'abstraction des couches de bas niveau semble un axe d'investigation qui tend à inverser cette tendance. Au premier abord, l'utilisation d'un système d'exploitation paraît idoine. En effet, il possède l'écosystème de drivers et services disponibles pour l'accès aux ressources matérielles, la capacité d'ordonnancement natif ainsi que des bibliothèques pour la sécurité. Toutefois, cette solution engendre des contraintes qui poussent à évaluer d'autres approches. Ce manuscrit évalue la capacité d'un langage de haut niveau tel que Lua à fournir un environnement d'exécution dans le cas d'une implémentation sans système d'exploitation.À travers un écosystème nommé Lynq, cet environnement d'exécution procure les briques nécessaires à la gestion et l'allocation des ressources présentes sur le SoC FPGA, ainsi qu'une méthode proposant une isolation entre applicatifs.La capacité des architectures généralistes que sont les CPUs à devenir spécialisés lorsqu'ils sont implémentés sur un FPGA a été exploré par la suite. Ceci au travers d'une contribution permettant la génération d'un CPU RISC-V ainsi que son microcode associé.

Reducing energy consumption is a key challenge to the realisation of the Internet of Things. While emerging memory technologies may offer power reduction and high integration density, they come with major drawbacks such as high latency or limited endurance. As a result, system designers tend to juxtapose several memory technologies on the same chip. We aim to provide the embedded application programmer with a transparent software mechanism to leverage this memory heterogeneity. This work studies the interaction between dynamic memory allocation and memory heterogeneity. We provide cycle accurate simulation of embedded platforms with various memory technologies and we show that different dynamic allocation strategies have a major impact on performance. We demonstrates that interesting performance gains can be achieved even for a low fraction of memory using low latency technology, but only with a clever placement strategy between memory banks. We propose an efficient strategy based on application profiling in our simulator., La réduction de la consommation énergétique des systèmes embarqué est un enjeu majeur de la réalisation de l'Internet des Objets. Les mémoires émergentes NVRAMs présentent notamment le potentiel de consommer peu et d'être denses, mais les différentes technologies souffrent encore de désavantages spécifiques comme une latence d'écriture élevée ou une faible endurance. Pour contrebalancer ces désavantages, les concepteurs de systèmes embarqués tendent à juxtaposer différentes technologies sur une même puce. Cette thèse s'intéresse aux interactions entre l'allocation mémoire dynamique et l'hétérogénéité mémoire. Notre objectif est de fournir au programmeur d'applications embarquées un mécanisme logiciel transparent pour exploiter cette hétérogénéité mémoire. Nous proposons un simulateur au cycle près de plateformes embarquées intégrant des technologies mémoire variées qui montre que les stratégies de placement des objets alloués dynamiquement ont un impact important. Nous montrons également que des gains intéressants peuvent être dégagés même avec une faible proportion de la mémoire utilisant une technologie à faible latence mais uniquement en utilisant une stratégie intelligente pour le placement entre les différentes banques mémoires. Nous fournissons une stratégie efficace basée sur le profilage de l'application dans notre simulateur.

Les systèmes-sur-puce (Systems on Chip, SoC) sont de plus en plus embarqués dans des systèmes à risque comme les systèmes aéronautiques et les équipements de production d’énergie. Cette évolution technologique permet un gain de temps et de performance, mais présente des limites en termes de fiabilité et de sécurité. Ainsi, le développement d’outils de surveillance et de diagnostic des systèmes électroniques embarqués, en particuliers les SoC, est devenu l’un des verrous scientifiques à lever pour assurer une large utilisation de ces systèmes dans les équipements à risque en toute sécurité. Ce travail de thèse s’inscrit dans ce contexte, et a pour objectif le développement d’une approche de détection et identification des dérives des performances des SoC embarqués. L’approche proposée est basée sur un modèle incrémental, construit à partir de modules réutilisables et échangeables pour correspondre à la large gamme de SoC existants sur le marché. Le modèle est ensuite utilisé pour estimer un ensemble de caractéristiques relatives à l’état de fonctionnement du SoC. L’algorithme de diagnostic développé dans ce travail consiste à générer des indices de dérives par la comparaison en ligne des caractéristiques estimées à celles mesurées. L’évaluation des résidus et la prise de décision sont réalisées par des méthodes statistiques appropriées à la nature de chaque indice de dérive. L’approche développée a été validée expérimentalement sur des SoC différents, ainsi que sur un démonstrateur développé dans le cadre de ce travail. Les résultats expérimentaux obtenus, montrent l’efficacité et la robustesse de l’approche développée, Systems on Chip are increasingly embedded in safety-critical systems, such as aeronautical systems and energy production equipment. Such technological evolution allows for significant improvements in performance but presents limits in terms of reliability and security. Therefore, the development of new tools for the monitoring and diagnosis of embedded electronic systems, Systems on Chip, in particular is currently one of the scientific challenges to overcome, in order to ensure a broader and safer use of these systems in safety-critical equipment. The work presented in this thesis aims to develop an approach for detecting and identifying drifts in embedded Systems of Chips characteristics and performance. The proposed approach is based on an incremental model built from reusable and exchangeable modules able to adapt and accommodate the broad range of Systems on Chips available on the market. This model is then used to estimate a set of characteristics relating to the state of operation of the SoC. The diagnostic algorithm developed in this work consists of generating drift signals though the online comparison of the estimated characteristics to those measured. Then, the assessment of residuals and decision making are performed by statistical methods appropriate to the nature of each drift. The developed approach has been experimentally validated on different Systems on Chip, as well as on a demonstrator developed as part of this work. The obtained experimental results validate and show the efficiency and robustness of the incremental model and the monitoring algorithm

Systems on Chip are increasingly embedded in safety-critical systems, such as aeronautical systems and energy production equipment. Such technological evolution allows for significant improvements in performance but presents limits in terms of reliability and security. Therefore, the development of new tools for the monitoring and diagnosis of embedded electronic systems—Systems on Chip, in particular—is currently one of the scientific challenges to overcome, in order to ensure a broader and safer use of these systems in safety-critical equipment.The work presented in this thesis aims to develop an approach for detecting and identifying drifts in embedded Systems of Chips characteristics and performance. The proposed approach is based on an incremental model built from reusable and exchangeable modules able to adapt and accommodate the broad range of Systems on Chips available on the market. This model is then used to estimate a set of characteristics relating to the state of operation of the SoC.The diagnostic algorithm developed in this work consists of generating drift signals though the online comparison of the estimated characteristics to those measured. Then, the assessment of residuals and decision making are performed by statistical methods appropriate to the nature of each drift.The developed approach has been experimentally validated on different Systems on Chip, as well as on a demonstrator developed as part of this work. The obtained experimental results validate and show the efficiency and robustness of the incremental model and the monitoring algorithm.; Les Systèmes-sur-Puce (Systems on Chip, SoC) sont de plus en plus embarqués dans des systèmes à risque comme les systèmes aéronautiques et les équipements de production d’énergie. Cette évolution technologique permet un gain de temps et de performance, mais présente des limites en termes de fiabilité et de sécurité. Ainsi, le développement d’outils de surveillance et de diagnostic des systèmes électroniques embarqués, en particuliers les SoC, est devenu l’un des verrous scientifiques à lever pour assurer une large utilisation de ces systèmes dans les équipements à risque en toute sécurité. Ce travail de thèse s’inscrit dans ce contexte, et a pour objectif le développement d’une approche de détection et identification des dérives des performances des SoC embarqués. L’approche proposée est basée sur un modèle incrémental, construit à partir de modules réutilisables et échangeables pour correspondre à la large gamme de SoC existants sur le marché. Le modèle est ensuite utilisé pour estimer un ensemble de caractéristiques relatives à l’état de fonctionnement du SoC.L’algorithme de diagnostic développé dans ce travail consiste à générer des indices de dérives par la comparaison en ligne des caractéristiques estimées à celles mesurées. L’évaluation des résidus et la prise de décision sont réalisées par des méthodes statistiques appropriées à la nature de chaque indice de dérive. L’approche développée a été validée expérimentalement sur des SoC différents, ainsi que sur un démonstrateur développé dans le cadre de ce travail. Les résultats expérimentaux obtenus, montrent l’efficacité et la robustesse de l’approche développée.

During this thesis, we focused on the security of mobile devices. To do this, we explored physical attacks by perturbation (fault injections) as well as by observation, both based on electromagnetic emissions. We selected two types of targets representing two categories of mobile devices. On the one hand, the microcontrollers that equip IoT devices. And on the other hand the System-on-Chip (SoC) that can be found on smartphones. We focused on the chips designed by ARM. Through physical attacks we wanted to show that it was possible to affect the microarchitecture on which the entire functioning of these systems is based. All the protections that can be implemented later at the software level are based on the microarchitecture and therefore become ineffective when it is attacked. For IoT devices, we have highlighted the possibility of obtaining information or total control of the device by means of a fault injection. In this case, fault injections are used as software attack triggers. They also allow software protection to be bypassed. For smartphone devices, we were initially able to extract information contained within a SoC, using electromagnetic listening and characterization of its behavior. In a second step, we were able to show that in the event of a fault, random behaviours can occur, we characterized and proposed explanations for these behaviours. Demonstrating and on systems more advanced than IoT, it is still possible to use physical attacks. Finally, we proposed possible improvements in relation to our various findings during this work.; Au cours de cette thèse, nous nous sommes concentrés sur la sécurité des appareils mobiles. Pour cela, nous avons exploré les attaques physiques par perturbation (injection de fautes) ainsi que par observation, toutes deux basées sur les émissions électromagnétiques. Nous avons sélectionné deux types de cibles représentant deux catégories d'appareils mobiles. D'une part les microcontrôleurs qui équipent les appareils de type IoT. Et d'autre part les System-on-Chip (SoC) que l'on retrouve sur les smartphones. Nous nous sommes concentrés sur les puces conçue par ARM. Au travers d'attaques physiques nous avons voulu montrer qu'il était possible d'affecter la microarchitecture sur laquelle repose tout le fonctionnement de ces systèmes. Toutes les protections pouvant être mises en place par la suite au niveau logiciel, sont basées sur la microarchitecture et deviennent donc inopérantes lorsque l'on s'attaque à celle-ci. Pour les appareils de type IoT, nous avons mis en évidence la possibilité d'obtenir des informations ou un contrôle total de l'appareil à l'aide d'une injection de faute. Les injections de fautes sont dans ce cas les déclencheurs d'attaques logicielles et permettent d'outrepasser des protections logicielles. Pour les appareils de type smartphone, nous avons dans un premier temps été capable d'extraire des informations contenue à l'intérieur d'un SoC, à l'aide d'une écoute électromagnétique et de la caractérisation du comportement de celui-ci. Dans un deuxième temps, nous avons pu montrer qu'en cas de faute des comportements aléatoire peuvent se produire, tout en caractérisant ces comportements. Démontrant ainsi que sur des systèmes plus complexes, il est tout de même possible d'avoir recours à des attaques physiques. Enfin nous avons proposé des pistes d'améliorations en lien avec nos différentes constatations au cours de ces travaux.

National audience; Pour faire face à la complexité croissante des systèmes embarqués, les activités de vérification et de validation, et notamment le model-checking,sont de plus en plus sollicités. Les model-checkers permettent de vérifier des propriétés par rapport au modèle formel fourni en entrée mais deux problèmes subsistent généralement. D’une part, les outils de model-checking n’apportent pas l’assurance que les propriétés sont aussi vérifiées sur le code exécutable du système. D’autre part, le modèle formel utilisé par les modelcheckers est souvent le résultat d’une transformation de modèle dont l’exactitude n’est pas prouvée. Pour y remédier, cet article présente EMI, un interpréteur de modèles UML visant l’exécution et la vérification de systèmes embarqués à l’aide d’une seule implémentation de la sémantique du langage. En connectant cet outil au model-checker OBP2, diverses activités de vérification peuvent ainsi être menées sur des modèles semi-formels en UML.

Aujourd'hui, les fonctions embarquées dans les véhicules incluent l'assistance au freinage, la suspension active, les fonctionnalités de direction, etc. La plupart de ces fonctions sont soumises à des contraintes de synchronisation strictes et plus généralement à des contraintes de fiabilité. Les unités de contrôle électronique (ECU) permettent de gérer en permanence les fonctions embarquées et ses contraintes en utilisant un microcontrôleur plus puissant exécutant du code surveillant un ensemble de capteurs et contrôlant une séquence d'actionneurs. La plupart des composants matériels et logiciels intégrés à une voiture sont spécifiés et développés séparément. L'objectif de ce travail est de donner un aperçu sur les différents réseaux d'interconnexions actuelles embarqués au sien d'un véhicule, d'identifier les différentes sous-systèmes automobiles et leurs exigences, de présenter l'architecture des calculateurs embarqués en s'appuyant sur le Body Domain Module et de donner une perspectif concernant l'optimisation de l'architecture des calculateurs en utilisant les FPGAs.

This thesis is focused on the hardware acceleration of processors based on Dynamic Binary Translation. Such architectures execute binaries by translating and optimizing each instruction at run-time, thanks to a DBT toolchain embedded in the system. This process leads to a better ressource utilization but also induces execution time overheads, which affect the overall performances. During this thesis, we've shown that the use of hardware components to accelerate critical parts of the DBT process (First translation, generation of an intermediate representation and instruction scheduling) drastically reduce the compilation time (around 6 cycles to schedule one instruction, against several hundreds for a fully-software DBT). We've also demonstrated that the proposed approach enables several continuous optimizations flow, which offers better energy/performance trade-offs. Finally, the DBT toolchain is open-source and available online.; Cette thèse porte sur l’utilisation de techniques d’accélération matérielle pour la conception de processeurs basés sur l’optimisation dynamique de binaires. Dans ce type de machine, les instructions du programme exécuté par le processeur sont traduites et optimisées à la volée par un outil de compilation dynamique intégré au processeur. Ce procédé permet de mieux exploiter les ressources du processeur cible, mais est délicate à exploiter car le temps de cette recompilation impacte de manière très significative l’effet global de ces optimisations. Dans cette thèse, nous montrons que l’utilisation d’accélérateurs matériels pour certaines étapes clés de cette compilation (construction de la représentation intermédiaire, ordonnancement des instructions), permet de ramener le temps de compilation à des valeurs très faible (en moyenne 6 cycles par instruction, contre plusieurs centaines dans le cas d’une mise en œuvre classique). Nous avons également montré comment ces techniques peuvent être exploitées pour offrir de meilleurs compromis performance/consommation sur certains types de noyaux de calculs. La thèse à également débouché sur la mise à disposition de la communauté de recherche du compilateur développé.

Many digital systems require primitives for asymmetric cryptography that are more and more efficient but also robust to attacks and inexpensive for embedded applications. In this perspective, and thanks to smaller finite fields, hyperelliptic curve cryptography (HECC) has been proposed as an interesting alternative to current techniques. We have studied efficient and flexible hardware HECC cryptoprocessors that are also robust against certain physical attacks. First, we proposed a new operator architecture able to compute, in parallel, several modular multiplications (A × B) mod P, where P is a generic prime of a few hundred bits and configurable at run time. It allows the computation of the vast majority of operations required for HECC. We have developed an operator generator, distributed in free software, for the exploration of many variants of our architecture. Our best operators are up to 2 times smaller and twice as fast as the best state-of-the-art solutions. They are also flexible in the choice of P and reach the maximum frequencies of the FPGA. In a second step, we developed modeling and simulation tools to explore, evaluate and validate different hardware architectures for scalar multiplication in HECC on Kummer surfaces. We have implemented, validated and evaluated the best architectures on various FPGA. They reach speeds similar to the best comparable solutions of the state of the art, but for halved surfaces. The flexibility obtained makes it possible to modify the parameters of the curves used during execution.; De nombreux systèmes numériques nécessitent des primitives de cryptographie asymétrique de plus en plus performantes mais aussi robustes aux attaques et peu coûteuses pour les applications embarquées. Dans cette optique, la cryptographie sur courbe hyperelliptique (HECC) a été proposée comme une alternative intéressante aux techniques actuelles du fait de corps finis plus petits. Nous avons étudié des cryptoprocesseurs HECC matériels performants, flexibles et robustes contre certaines attaques physiques. Tout d’abord, nous avons proposé une nouvelle architecture d’opérateurs exécutant, en parallèle, plusieurs multiplications modulaires (A × B) mod P, où P est un premier générique de quelques centaines de bits et configurable dynamiquement. Elle permet le calcul de la grande majorité des opérations nécessaires pour HECC. Nous avons développé un générateur d’opérateurs, distribué en logiciel libre, pour l'exploration de nombreuses variantes de notre architecture. Nos meilleurs opérateurs sont jusqu'à 2 fois plus petits et 2 fois plus rapids que les meilleures solutions de l'état de l'art. Ils sont aussi flexibles quant au choix de P et atteignent les fréquences maximales du FPGA. Dans un second temps, nous avons développé des outils de modélisation et de simulation pour explorer, évaluer et valider différentes architectures matérielles pour la multiplication scalaire dans HECC sur les surfaces de Kummer. Nous avons implanté, validé et évalué les meilleures architectures sur différents FPGA. Elles atteignent des vitesses similaires aux meilleures solutions comparables de l’état de l’art, mais pour des surfaces réduites de moitié. La flexibilité obtenue permet de modifier lors de l'exécution les paramètres des courbes utilisées.

Next level of energy efficiency is an essential concern in the evolution of semiconductor technologies sincethe widespread development of distributed, nomad and embedded systems. The best example is that ofmobile phones the last twenty years but consumer electronics perspectives (IoT, 5G, HPC, ArtificialIntelligence, Robotics, automotive engineering) reinforce the need for further power consumption control.The research carried out for this habilitation defense addresses this question by investigating tools andmethodologies for digital system design focusing on energy constraints and embedded technologies. Inparticular, all the investigations developed over the last fifteen years are part of ambitious collaborativeprojects with representative industrial partners (Intel, Thales, STMicroelectronics, etc.) on different aspectsof energy concerns. Despite the difficulty faced today to proceed with a fundamental study on the long runin a global context of applied research (collaborative projects funded for 3 or 4 years with objectives highlydriven by industrial R&D), it is a deliberate approach aimed at setting the short-term views of projectproposals in a broader scientific horizon which has made it possible to identify and develop original ideason more fundamental questions. These elements of improvement have led to propose a methodologycentered on energy efficiency reflecting a concept of integrated design methodology with case studiesreporting significant improvements on concrete demonstrators.; Les enjeux d’une meilleure efficacité énergétique sont un moteur essentiel de l’évolution des technologiessemi-conducteur depuis la popularisation des systèmes répartis, nomades et embarqués. L’exemple le plusparlant est celui des téléphones portables ces vingt dernières années et les perspectives technologiques(IoT, 5G, HPC, intelligence artificielle, Robotique, ingénierie automobile) renforcent encore plus la nécessitéde la maîtrise de la consommation d’énergie. Les travaux de recherche qui ont conduit à cette HDRabordent cette question par l’étude d’outils et de méthodes de conception des systèmes numériques en sefocalisant sur les contraintes énergétiques et les technologies embarquées. En particulier, les rechercheseffectuées ces quinze dernières années interviennent toutes au sein de projets collaboratifs ambitieux avecdes industriels représentatifs du domaine (Intel, Thales, STMicroelectronics, etc.) sur les aspectsénergétiques. Malgré les difficultés à poursuivre aujourd’hui une étude fondamentale sur la durée dans uncontexte global de recherche appliquée (projets collaboratifs financés à trois ou quatre ans sur des enjeuxfortement influencés par la R&D industrielle), c’est une démarche délibérée visant à intégrer lesperspectives à court terme des appels d’offre dans un horizon scientifique plus large qui a permisd’identifier et d’approfondir des idées originales sur des aspects plus fondamentaux. Ces élémentsd’amélioration ont conduit à envisager une méthodologie centrée sur l’efficacité énergétique qui reflète unconcept de conception intégrée avec des études de cas montrant des améliorations significatives sur desdémonstrateurs concrets.

International audience; Afin de réduire leur impact écologique et permettre leur construction dans des zones ayant un réseau électrique peu fiable, la conception de centres de données alimentés par des sources d'énergies renouvelables (EnR) sur site est étudiée depuis quelques années. Le principal obstacle est lié au caractère intermittent des EnR, nécessitant le stockage de l'excès de production et la planification de la consommation pour optimiser l'utilisation de cette énergie. Nous pro-posons l'abstraction d'un tel centre de données en deux systèmes indépendants : un producteur gère l'infrastructure électrique et un consommateur est lié à l'utilisation des serveurs. Un module de négociation coordonne ces deux systèmes. Les objectifs de chaque système étant différents, nous proposons une approche multiobjectif, basée sur l'algorithme génétique SPEA2. Les calculs de planification des infrastructures électriques et informatiques étant coûteux, nous avons mis en place et évalué un système d'estimation de la qualité des planifications.

This thesis shows how the integration of multi-agents systems within embedded systems can optimize tasks management. We notice a lack of flexibility for embedded systems and hypothesize that a multi-agents solution will allow the dynamic consideration of the system context of evolution. Embedded systems, being integrated into the user environment, are limited in terms of physical space and thus hardware resources. These limits involve the necessity to optimize the resources. We suggest experimenting multi-agents negotiation algorithms to delegate tasks between several resources. To validate our hypotheses, we detail the characteristics of multi-agents systems, their behavior, their models, the platforms on which they evolve, their communication standards and their social algorithms.We observed that the majority of the works of the multi-agents domain concentrated on other problems. Therefore, we proposed the formalization of embedded multi-agents systems and of anadapted multi-agents platform. We then experimented this platform within embedded systems with the case study of image processing, especially the calculation of a pixels interpolation.We led performance studies to estimate the administrative cost of a multi-agents solution, then considered these results in relation to the capacity earnings of our embedded systems. Our last experiments put to the test our solution of tasks delegation between several embedded cards within a heterogeneous context.; Cette thèse présente comment l’intégration de systèmes multi-agents au sein de systèmes embarqués peut permettre d’optimiser la gestion des tâches. Nous relevons un manque de flexibilité pour les systèmes embarqués et posons l’hypothèse d’une solution multi-agents permettant la prise en compte dynamique du contexte d’évolution du système. Les systèmes embarqués, intégrés à l’environnement utilisateur, sont contraints en termes d’espace physique et donc de ressources matérielles. Ces limites impliquent un besoin d’optimisation des ressources. Nous proposons d’expérimenter des algorithmes de négociation multi-agents pour déléguer des tâches entre les différentes ressources. Pour valider nos hypothèses, nous détaillons les caractéristiques des systèmes multi-agents, leurs comportements, leurs modèles,les plateformes sur lesquelles ils évoluent, leurs standards de communication et leurs algorithmes sociaux. Nous avons constaté que la majorité des travaux du domaine agent se concentraient sur d’autres problématiques. Par conséquent, nous avons proposé la formalisation de systèmes multiagents embarqués et d’une plateforme multi-agents adaptée. Nous avons ensuite expérimenté cette plateforme au sein de systèmes embarqués avec le cas d’étude du traitement d’images, notamment avec le calcul d’une interpolation de pixels. Nous avons mené des études de performances pour estimer le coût administratif d’une solution multiagents,puis avons considéré ces résultats au regard des gains de capacité de nos systèmes embarqués. Nos dernières expérimentations mettent à l’épreuve notre solution de délégation de tâches entre plusieurs cartes embarquées dans un contexte hétérogène.

International audience; Ce papier présente une approche incrémentale de modélisation des CPU-GPU utilisés dans les systèmes électroniques embarqués. Les caractéristiques estimées sont utilisées comme références et comparées à celles mesurées en lignes pour la détection des dérives. La structure du modèle assure un découplage des caractéristiques permettant ainsi l'isolation des défauts. La méthode proposée est validée expérimentalement sur des systèmes différents démontrant ainsi son efficacité et sa portabi­lité sur une large gamme de systèmes embarqués.

Nowadays, the increasing complexity of embedded systems requires the management, from the first prototypes and software level, of requirements usually handled later even only when passing in production, such as including dependability constraints. We propose a development methodology for embedded software that can meet the needs and constraints of developing this software in the prototyping phase. The flexibility of the methodology ensures better management of recurring changes characterizing the software in the prototyping phase. Also, due to its well-adapted structure, and automated aspect of its integration and implementation, our methodology ensures a significant cost reduction of serialization and implementation of norms such as ISO 26262 or DO-178. To illustrate the results, we apply our methodology and the associated toolchain to an innovative industrial project which consists to robotize a prototype car. The case study focuses on the accelerator function of the prototype., De nos jours, l'augmentation de la complexité des systèmes embarqués impose la prise en charge, dès les premiers prototypes et au niveau logiciel, d'exigences habituellement traitées plus tardivement voire même seulement lors du passage en série, comme notamment les contraintes de sûreté de fonctionnement. Nous proposons une méthodologie de développement de logiciels embarqués pouvant répondre aux besoins et contraintes de développement de ces logiciels dans la phase de prototypage. La flexibilité de la méthodologie garantit une meilleure gestion des évolutions récurrentes caractérisant les logiciels dans cette phase de prototypage. Aussi, grâce à sa structure bien adaptée, l'aspect automatisé de son intégration et de sa mise en place, notre méthodologie garantit une réduction significative des coûts du passage en série et de la mise en place de normes telles que l'ISO 26262 ou la DO-178. Pour illustrer les résultats que nous obtenons grâce à notre méthodologie et la chaîne d'outils associée, nous l'appliquons dans le cadre d'un projet industriel d'innovation qui consiste à la robotisation d'un véhicule prototype. Le cas d'étude se concentre sur la fonction "accélérateur" de ce prototype.

We propose a detection and trackingsystem of people moving in large spacessystem. Our solution is based on a network ofsmart cameras capable of retrievingspatiotemporal information from the observedpeople. These smart cameras are composed bya 3d sensor, an onboard system and acommunication and power supply system. Weexposed the efficacy of the overhead positionto decreasing the occlusion and the scale'svariation.Finally, we carried out a study on the use ofspace, and a global trajectories analysis ofrecovered information by our and otherssystems, able to track people in large andcomplex spaces., Nous proposons un système dedétection et de suivi des personnes enmouvement dans des grands espaces. Notresolution repose sur un réseau de camérasintelligentes pour l'extraction desinformations spatio-temporelles despersonnes. Les caméras sont composées d'uncapteur 3D, d'un système embarqué et decommunication. Nous avons montrél'efficacité du placement des capteurs 3D enposition zénithale par rapport auxoccultations et variations d’échelle.Nous garantissons l'exécution des traitementsen temps-réel (~20 fps), permettantde détecter des déplacements rapides avecune précision jusqu’à 99 %, et capable d’unfiltrage paramétrique des cibles non désiréescomme les enfants ou les caddies.Nous avons réalisé une étude sur la viabilitétechnologique des résultats pour de grandsespaces, rendant la solution industrialisable

The need of new services in railway trains (services for metering, energy efficiency, the comfort and safety of users etc.) may eventually saturate the wired communication systems installed since twenty years ago years. The several advantages of wireless sensor networks (easy deployment, ability to adapt on different environments and low energy consumption) offer many possibilities for energy management systems. The aim of this thesis is to study and implement a wireless network sensors inside trains for energy efficiency. Thus, some communication protocols dedicated to energy management were presented and then a comparative study of the various wireless communication networks carried out. This comparative study shows that the ZigBee network is the most suitable for the platform. The proposed hybrid architecture allows the use of the existing IP network as the backbone of all ZigBee networks. In order to take into account the effect of the railway environment in the planning and deployment of the network, a study of the propagation channel was carried out, based on measurements realized in a subway and a RER car. The impact of the coexistence between ZigBee and WiFi and of the human presence on wireless communication have been demonstrated. The prototype of a platform based on the ZigBee network, allows data collection, informations traitement and monitoring, was carried out.; Les besoins de nouveaux services dans les rames ferroviaires ( le comptage, l’efficience énergétique, le confort et la sécurité des passagers etc.), risquent de saturer à terme les systèmes de communication filaires mis en place il y a une vingtaine d’années. Les réseaux de capteurs sans fil, par leurs avantages (déploiement facile, capacité à s’adapter à plusieurs types d’environnements, faible consommation d’énergie), ouvrent de nombreuses perspectives pour les systèmes de gestion énergétique. Le but de ce travail de thèse est d’étudier et mettre en oeuvre un réseau de capteurs sans fil à l’intérieur des trains pour l’efficience énergétique. Ainsi, quelques protocoles de communication dédiés à la gestion énergétique ont été présentés puis une étude comparative des différents réseaux de communication sans fil réalisée. Cette étude comparative a permis de faire le choix du réseau ZigBee comme étant le plus adéquat pour la plateforme. L’architecture hybride proposée permet l’utilisation du réseau IP existant comme colonne vertébrale de l’ensemble des réseaux ZigBee. Afin de tenir compte de l’effet de l’environnement ferroviaire dans la planification et le déploiement du réseau, une étude du canal de propagation, basée sur des mesures réalisées dans un métro et un wagon de RER a été menée. L’impact de la coexistence entre le ZigBee et le WiFi et de la présence humaine sur la communication du réseau sans fil a été démontré. Le prototype d’une plateforme basée sur le réseau ZigBee allant de la collecte des données à l’affichage des informations a été réalisé et testé.

The need of new services in railway trains (services for metering, energy efficiency, the comfort and safety of users etc.) may eventually saturate the wired communication systems installed since twenty years ago years. The several advantages of wireless sensor networks (easy deployment, ability to adapt on different environments and low energy consumption) offer many possibilities for energy management systems. The aim of this thesis is to study and implement a wireless network sensors inside trains for energy efficiency. Thus, some communication protocols dedicated to energy management were presented and then a comparative study of the various wireless communication networks carried out. This comparative study shows that the ZigBee network is the most suitable for the platform. The proposed hybrid architecture allows the use of the existing IP network as the backbone of all ZigBee networks. In order to take into account the effect of the railway environment in the planning and deployment of the network, a study of the propagation channel was carried out, based on measurements realized in a subway and a RER car. The impact of the coexistence between ZigBee and WiFi and of the human presence on wireless communication have been demonstrated. The prototype of a platform based on the ZigBee network, allows data collection, informations traitement and monitoring, was carried out.; Les besoins de nouveaux services dans les rames ferroviaires ( le comptage, l’efficience énergétique, le confort et la sécurité des passagers etc.), risquent de saturer à terme les systèmes de communication filaires mis en place il y a une vingtaine d’années. Les réseaux de capteurs sans fil, par leurs avantages (déploiement facile, capacité à s’adapter à plusieurs types d’environnements, faible consommation d’énergie), ouvrent de nombreuses perspectives pour les systèmes de gestion énergétique. Le but de ce travail de thèse est d’étudier et mettre en oeuvre un réseau de capteurs sans fil à l’intérieur des trains pour l’efficience énergétique. Ainsi, quelques protocoles de communication dédiés à la gestion énergétique ont été présentés puis une étude comparative des différents réseaux de communication sans fil réalisée. Cette étude comparative a permis de faire le choix du réseau ZigBee comme étant le plus adéquat pour la plateforme. L’architecture hybride proposée permet l’utilisation du réseau IP existant comme colonne vertébrale de l’ensemble des réseaux ZigBee. Afin de tenir compte de l’effet de l’environnement ferroviaire dans la planification et le déploiement du réseau, une étude du canal de propagation, basée sur des mesures réalisées dans un métro et un wagon de RER a été menée. L’impact de la coexistence entre le ZigBee et le WiFi et de la présence humaine sur la communication du réseau sans fil a été démontré. Le prototype d’une plateforme basée sur le réseau ZigBee allant de la collecte des données à l’affichage des informations a été réalisé et testé.

This work proposes two complementary design flows allowing the broadcast of a partial bitstream to a set of identical Partially Reconfigurable Regions (PRRs). These two design flows are applicable with FPGAs - Xilinx. The first one called ADForMe (Automatic DPPR Flow For Multi-RPRs Architecture) allows the automation of the traditional flow of Xilinx RDP through the automation of the floorplanning phase. This floorplanning is carried out by the AFLORA (Automatic Floorplanning For Multi-RPRs Architectures) algorithm which we have designed that allows the same allocation of these RPRs in terms of geometric shape taking into account the technological parameters of the FPGA and the architectural parameters of the design in order to allow the relocation of bitstream. The second proposed flow aims to promote the 1D and 2D relocation technique in order to allow the broadcast of a partial bitstream (functionality) to a set of RPRs for a system configuration. Therefore, this flow allows optimizing the size of the bitstream memory. We have also proposed suitable hardware architecture capable of performing this broadcast. The experimental results have been performed on the recent Xilinx FPGAs and have proved the speed of execution of our AFLORA algorithm as well as the efficiency of the results obtained by the application of the automation of the bitstream relocation technique flow. These two flows allow flexibility and reusability of IP components embedded in Multi-RPRs architectures to reduce complexity in design time and improve design productivity.; Ce travail propose deux flots de conception complémentaires permettant le broadcast d’un bitstream partiel vers un ensemble de Régions Partiellement Reconfigurables (RPRs) identiques. Ces deux flots de conception sont applicables avec les FPGAs – Xilinx. Le premier appelé ADForMe (Automatic DPPR Flow For Multi-RPRs Architecture) permet l’automatisation du flot traditionnel de la RDP de Xilinx grâce à l’automatisation de la phase de floorplanning. Ce floorplanning est assuré par l’algorithme AFLORA (Automatic Floorplanning For Multi-RPRs Architectures) que nous avons conçu qui permet l'allocation identique de ces RPRs en termes de forme géométrique en tenant compte des paramètres technologiques du FPGA et des paramètres architecturaux de la conception dans le but de permettre la relocalisation de bitstream. Le deuxième flot proposé vise à favoriser la technique de relocalisation 1D et 2D afin de permettre le broadcast d’un bitstream partiel (fonctionnalité) vers un ensemble de RPRs pour une configuration du système. Ce flot permet donc l’optimisation de la taille de la mémoire de bitstream. Nous avons également proposé une architecture matérielle adéquate capable d’effectuer ce broadcast. Les résultats expérimentaux ont été effectués sur les FPGAs-Xilinx récents et ont prouvé la rapidité d’exécution de notre algorithme AFLORA ainsi que l’efficacité des résultats obtenus suite à l’application du flot d’automatisation de la relocalisation de bitstream. Ces deux flots permettent d’assurer la flexibilité et la réutilisabilité des composants IPs intégrés dans les architectures à Multi-RPRs afin de réduire la complexité en termes de temps de conception et d’améliorer productivité des concepteurs.

Car manufacturers increasingly provide Advanced Driver Assistance Systems (ADAS) based on cameras and image processing algorithms. To embed ADAS applications, semiconductor companies propose heterogeneous architectures. These Systems-on-Chip (SoCs) are composed of several processors with different capabilities on the same chip. However, with the increasing complexity of such systems, it becomes more and more difficult for an automotive actor to chose a SoC which can execute a given ADAS application while meeting real-time constraints. In addition, embedding algorithms on this type of hardware is not trivial: one needs to determine how to spread the computational load between the different processors, in others words the mapping of the computational load.In response to this issue, we defined during this thesis a global methodology to study the embeddability of image processing algorithms for real-time execution. This methodology predicts the embeddability of a given image processing algorithm on several heterogeneous SoCs by automatically exploring the possible mapping. It is based on three major contributions: the modeling of an algorithm and its real-time constraints, the characterization of a heterogeneous SoC, and a performance prediction approach which can address different types of architectures., Les constructeurs automobiles proposent de plus en plus des systèmes d'aide à la conduite, en anglais Advanced Driver Assistance Systems (ADAS), utilisant des caméras et des algorithmes de traitement d'images. Pour embarquer des applications ADAS, les fondeurs proposent des architectures embarquées hétérogènes. Ces Systems-on-Chip (SoCs) intègrent sur la même puce plusieurs processeurs de différentes natures. Cependant, avec leur complexité croissante, il devient de plus en plus difficile pour un industriel automobile de choisir un SoC qui puisse exécuter une application ADAS donnée avec le respect des contraintes temps-réel. De plus le caractère hétérogène amène une nouvelle problématique : la répartition des charges de calcul entre les différents processeurs du même SoC.Pour répondre à cette problématique, nous avons défini au cours de cette thèse une méthodologie globale de l’analyse de l'embarquabilité d'algorithmes de traitement d'images pour une exécution temps-réel. Cette méthodologie permet d'estimer l'embarquabilité d'un algorithme de traitement d'images sur plusieurs SoCs hétérogènes en explorant automatiquement les différentes répartitions de charge de calcul possibles. Elle est basée sur trois contributions majeures : la modélisation d'un algorithme et ses contraintes temps-réel, la caractérisation d'un SoC hétérogène et une méthode de prédiction de performances multi-architecture.

International audience; La consommation d'énergie des centres de données est un sujet qui est devenu, au cours des dernières années, de plus en plus important. L'utilisation de sources d'énergies renouvelables pour alimenter ces derniers est une perspective intéressante pour réduire, à terme, leur coût d'exploitation et leur impact écologique. Cependant, la nature intermittente des principales énergies renouvelables pose de nouveaux problèmes. Dans cet article, nous proposons une approche d'ordonnancement de tâches prenant en compte la disponibilité des énergies renouvelables pour maximiser leur utilisation. Nous avons implémenté cette approche dans un simulateur de centre de données et l'avons évaluée en considérant un centre alimenté par des panneaux photovoltaïques et connecté au réseau électrique. Les résultats indiquent une réduction de la consommation d'énergie non renouvelable jusqu'à 49% comparé à un ordonnancement classique ne prenant pas en compte la disponibilité de l'énergie renouvelable.

International audience; RESUME : Cet article décrit l'atelier « réseau de terrain » mis en place depuis 2001 dans le master SIC (Systèmes Intelligents et Communicants) de l'université de Cergy-Pontoise. Il s'agit dans cet atelier de concevoir et déployer un réseau de surveillance par capteur et caméra, d'en programmer tous les composants et d'effectuer les remontées d'alerte et le pilotage de la caméra sur la tablette Android de l'utilisateur. Une robustesse du système dans son fonctionnement et sa maintenabilité est particulièrement exigée. Les étudiants travaillent sur cet atelier en petits groupes (4 à 6 personnes) durant une semaine, précédée par une séance de préparation et se clôturant par une soutenance. La pédagogie employée est un apprentissage par projet, intégrant des techniques de pédagogie active : du tutorat actif, des grilles critériées, de l'auto-évaluation et de la méta-réflexion. Une évaluation de ce dispositif pédagogique par les étudiants est présentée. Cet atelier étant animé depuis 11 ans par les deux auteurs de cet article, nous analyserons également l'évolution des pratiques pédagogiques mises en oeuvre dans cet atelier.

L’analyse de compromis d’un modèle système a pour but de minimiser ou de maximiser différents objectifs tels que le coût ou les performances. Les méthodes actuelles de type OOSEM avec SysML ou ARCADIA sont basées sur la classification ; il s’agit de définir les différentes variantes de l’architecture d’un système de base puis d’analyser ces variantes. Dans ces approches, les choix d’architecture sont contraints : la plateforme d’exécution et la topologie sont déjà figées. Nous proposons la notion de « points de décision » pour modéliser les différents choix du système, en utilisant de nouveaux stéréotypes. L’avantage est d’avoir une modélisation plus « compacte » des différentes variantes et de piloter l’exploration des variantes en utilisant des contraintes. Lorsque le concepteur définit l’architecture du système, des points de décisions sont insérés dans le modèle du système. Ils permettent de modéliser la redondance ou le choix d’une instance pour un composant, les variations des attributs d’un composant, ou l’allocation des activités sur les blocs. Les fonctions objectifs sont définies dans un contexte d’optimisation à l’aide du diagramme paramétrique de SysML. Nous proposons des transformations du modèle SysML vers un problème de satisfaction de contraintes pour l’optimisation (CSMOP) dont la résolution nous permet d’obtenir l’ensemble des architectures optimales. Cette transformation est implantée dans un démonstrateur (plug-in Eclipse) permettant une utilisation conjointe de l’outil Papyrus et de solveurs, disponibles sous forme de logiciels libres. La méthode est illustrée avec des cas d’étude constitués d’une caméra stéréoscopique puis d’un drone, l’ensemble étant modélisé avec Papyrus. Finding the set of optimal architectures is an important challenge for the designer who uses the Model-Based System Engineering (MBSE). Design objectives such as cost, performance are often conflicting. Current methods (OOSEM with SysML or ARCADIA) are focused on the design and the analysis of a particular alternative of the system. In these methods, the topology and the execution platform are frozen before the optimization. To improve the optimization from MBSE, we propose a methodology combining SysML with the concept of “decision point”. An initial SysML model is complemented with “decisions points” to show up the different alternatives for component redundancy, instance selection and allocation. The constraints and objective functions are also added to the initial SysML model, with an optimiza-tion context and parametric diagram. Then a representation of a constraint satisfaction problem for optimization (CSMOP) is generated with an algorithm and solved with an existing solver. A demonstrator implements this transformation in an Eclipse plug-in, combining the Papyrus open-source tool and CSP solvers. Two case studies illustrate the methodology: a stereoscopic camera sensor module and a mission controller for an Unmanned Aerial Vehi-cle (UAV).

Nowadays, a significant growth of connected things is observed, exceeding even the worldpopulation. Given the magnitude of this phenomenon, the energy efficiency of communicatingobjects is a crucial issue. Maximizing their lifetime is necessary to ensure a qualityof service. In this regard, the aim of this thesis is to optimize the energy consumption ofwireless communications in a wireless sensor network.The concept of wake-up radio was created a decade ago, which consists of waking up thecommunicating node by a remote radio signal. By default, the node remains in sleepingmode at a very low power consumption. If needed, the node can be woken up on demandthrough a specific radio signal. Thus, the energy consumption of the radio module is greatlyreduced by idle listening to the channel in sleeping mode. However, this wake-up radioprinciple requires the development of new hardware architectures associated with adaptedand innovative communication protocols. Despite recent proposals, the level of technologymaturity has not yet been reached on this subject.Therefore, a wake-up radio system is proposed in this thesis, including a theoreticalcharacterization of its performances. The wake-up receiver consumes 363 nW in sleepingmode and 49.8 µW in receiving mode. Moreover, two new protocols called DoRa and DC-DoRaare proposed with an evaluation of their performances by simulation. The resultsshow that these wake-up radio protocols greatly reduce the energy consumed by the radiomodule, compared to the MAC protocols currently used in wireless sensor networks. Finally,the experimental implementation of the wake-up radio system and protocols enabled thereal performance measurement of our approach in an environment with overhearing andinterference.; De nos jours, une forte croissance des objets connectés est constatée, dépassant même la population mondiale. Devant l'ampleur de ce phénoméne, l'efficacité énergétique des objets communicants est une sérieuse problématique. La maximisation de leur durée de vie est requise pour assurer une qualité de service. Dans cette optique, les travaux de cette thèse visent à optimiser la consommation énergétique des communications sans fil dans un réseau de capteurs. Le télé-réveil, un concept imaginé depuis une dizaine d'années, consiste au déclenchement du réveil du noeud communicant par un signal radio à distance. Par défaut, le noeud reste en mode veille de façon permanente à très basse consommation. Au besoin, il peut être réveillé à la demande par un signal radio spécifique. Ainsi, la consommation énergétique du module radio est grandement réduite par l'écoute passive du canal en mode veille. Ce principe de télé-réveil nécessite toutefois le développement de nouvelles architectures matérielles associées à des protocoles de communication adaptés et innovants. Malgré les propositions récentes, le niveau de maturité technologique n'a pas encore été atteint sur ce sujet. Par conséquent, un système de télé-réveil est proposé dans cette thèse, en incluant une caractérisation théorique de ses performances. Le récepteur de télé-réveil consomme 363 nW en mode veille contre 49,8 µW en mode de réception. De plus, deux nouveaux protocoles de télé-réveil DoRa et DC-DoRa sont proposés avec une évaluation de leurs performances par simulation. Les résultats obtenus montrent que ces protocoles de télé-réveil diminuent fortement l'énergie consommée par le module radio, en comparaison des protocoles MAC actuellement utilisés dans les réseaux de capteur. Enfin, la mise en œuvre expérimentale du système et des protocoles de télé-réveil a permis de mesurer les performances réelles de notre approche dans un environnement de surécoute et d'interférence.

Validation process is a critical aspect of systems development. This process is a major concern for embedded systems, to assess their autonomous behavior, led by technical and physical constraints. The growth of embedded systems complexity during last years prevents the use of complex and costly development processes such as formal methods. Thus, post-conception validations must be applied. Execution traces are effective for validation and understanding as they allow the capture of systems behavior during their executions. However, trace analysis tools face two major challenges. First, the management of huge execution traces. Second, the ability to retrieve relevant metrics, from the low-level information the trace contains. This thesis was done as part of the SoC-TRACE projet, and presents three contributions. Our first contribution is a definition of a generic execution trace format that expresses semantics. Our second contribution is a workflow-based infrastructure for generic and automatic trace analysis. This infrastructure addresses the problem of huge traces management using streaming mechanisms. It allows modular and configurable analyses, as well as automatic analyses execution. Our third contribution is about the definition of a generic performance analyses for Linux systems. This contribution provides methods and tools for trace recording, and also analysis workflow to obtain unified performance profiles. We validate our contributions on traces from use cases given by STMicroelectronics, partner of the project, and also on traces recorded from benchmarks executions. Our trace format with semantics allowed us to automatically bring out execution problems. Using streaming mechanisms, we have been able to analyze traces that can reach several hundreds of gigabytes. Our generic analysis method for systems let us to automatically highlight, without any prior knowledge, internal behavior of benchmark programs. Our generic solutions point out a similar execution behavior of benchmarks on different machines and architectures, and showed their impact on the execution.; La validation des systèmes est un des aspects critiques dans les phases de développement. Cette validation est d'autant plus importante pour les systèmes embarqués, dont le fonctionnement doit être autonome, mais aussi contraint par des limitations physiques et techniques. Avec la complexification des systèmes embarqués ces dernières années, l'applications de méthodes de validation durant le développement devient trop couteux, et la mise en place de mécanismes de vérification post-conception est nécessaire. L'utilisation de traces d'exécution, permettant de capturer le comportement du système lors de son exécution, se révèle efficace pour la compréhension et la validation des systèmes observés. Cependant, les outils d'exploitation de traces actuels se confrontent à deux défis majeurs, à savoir, la gestion de traces pouvant atteindre des tailles considérables, et l'extraction de mesures pertinentes à partir des informations bas-niveau contenues dans ces traces. Dans cette thèse, faite dans le cadre du projet FUI SoC-TRACE, nous présentons trois contributions. La première concerne la définition d'un format générique pour la représentation des traces d'exécution, enrichi en sémantique. La seconde concerne une infrastructure d'analyse utilisant des mécanismes de workflow permettant l'analyse générique et automatique de traces d'exécution. Cette infrastructure répond au problème de gestion des traces de tailles considérables textit{via} des mécanismes de streaming, permet la création d'analyses modulaires et configurables, ainsi qu'un enchainement automatique des traitements. Notre troisième contribution propose une méthode générique pour l'analyse de performances de systèmes Linux. Cette contribution propose à la fois la méthode et les outils de collecte de traces, mais aussi le workflow permettant d'obtenir des profils unifiés pour les traces capturées. La validation de nos propositions ont été faites d'une part sur des traces issues de cas d'usages proposés par STMicroelectronics, partenaire du projet, et d'autre part sur des traces issues de programmes de benchmarks. L'utilisation d'un format enrichi en sémantique a permis de mettre en évidence des anomalies d'exécutions, et ce de manière semi-automatique. L'utilisation de mécanismes de streaming au sein de notre infrastructure nous a permis de traiter des traces de plusieurs centaines de gigaoctets. Enfin, notre méthode d'analyse générique nous a permis de mettre en évidence, de manière automatique et sans connaissances a priori des programmes, le fonctionnement interne de ces différents benchmarks. La généricité de nos solutions a permis d'observer le comportement de programmes similaires sur des plates-formes et des architectures différentes, et d'en montrer leur impact sur les exécutions.

Validation process is a critical aspect of systems development. This process is a major concern for embedded systems, to assess their autonomous behavior, led by technical and physical constraints. The growth of embedded systems complexity during last years prevents the use of complex and costly development processes such as formal methods. Thus, post-conception validations must be applied. Execution traces are effective for validation and understanding as they allow the capture of systems behavior during their executions. However, trace analysis tools face two major challenges. First, the management of huge execution traces. Second, the ability to retrieve relevant metrics, from the low-level information the trace contains. This thesis was done as part of the SoC-TRACE projet, and presents three contributions. Our first contribution is a definition of a generic execution trace format that expresses semantics. Our second contribution is a workflow-based infrastructure for generic and automatic trace analysis. This infrastructure addresses the problem of huge traces management using streaming mechanisms. It allows modular and configurable analyses, as well as automatic analyses execution. Our third contribution is about the definition of a generic performance analyses for Linux systems. This contribution provides methods and tools for trace recording, and also analysis workflow to obtain unified performance profiles. We validate our contributions on traces from use cases given by STMicroelectronics, partner of the project, and also on traces recorded from benchmarks executions. Our trace format with semantics allowed us to automatically bring out execution problems. Using streaming mechanisms, we have been able to analyze traces that can reach several hundreds of gigabytes. Our generic analysis method for systems let us to automatically highlight, without any prior knowledge, internal behavior of benchmark programs. Our generic solutions point out a similar execution behavior of benchmarks on different machines and architectures, and showed their impact on the execution.; La validation des systèmes est un des aspects critiques dans les phases de développement. Cette validation est d'autant plus importante pour les systèmes embarqués, dont le fonctionnement doit être autonome, mais aussi contraint par des limitations physiques et techniques. Avec la complexification des systèmes embarqués ces dernières années, l'applications de méthodes de validation durant le développement devient trop couteux, et la mise en place de mécanismes de vérification post-conception est nécessaire. L'utilisation de traces d'exécution, permettant de capturer le comportement du système lors de son exécution, se révèle efficace pour la compréhension et la validation des systèmes observés. Cependant, les outils d'exploitation de traces actuels se confrontent à deux défis majeurs, à savoir, la gestion de traces pouvant atteindre des tailles considérables, et l'extraction de mesures pertinentes à partir des informations bas-niveau contenues dans ces traces. Dans cette thèse, faite dans le cadre du projet FUI SoC-TRACE, nous présentons trois contributions. La première concerne la définition d'un format générique pour la représentation des traces d'exécution, enrichi en sémantique. La seconde concerne une infrastructure d'analyse utilisant des mécanismes de workflow permettant l'analyse générique et automatique de traces d'exécution. Cette infrastructure répond au problème de gestion des traces de tailles considérables textit{via} des mécanismes de streaming, permet la création d'analyses modulaires et configurables, ainsi qu'un enchainement automatique des traitements. Notre troisième contribution propose une méthode générique pour l'analyse de performances de systèmes Linux. Cette contribution propose à la fois la méthode et les outils de collecte de traces, mais aussi le workflow permettant d'obtenir des profils unifiés pour les traces capturées. La validation de nos propositions ont été faites d'une part sur des traces issues de cas d'usages proposés par STMicroelectronics, partenaire du projet, et d'autre part sur des traces issues de programmes de benchmarks. L'utilisation d'un format enrichi en sémantique a permis de mettre en évidence des anomalies d'exécutions, et ce de manière semi-automatique. L'utilisation de mécanismes de streaming au sein de notre infrastructure nous a permis de traiter des traces de plusieurs centaines de gigaoctets. Enfin, notre méthode d'analyse générique nous a permis de mettre en évidence, de manière automatique et sans connaissances a priori des programmes, le fonctionnement interne de ces différents benchmarks. La généricité de nos solutions a permis d'observer le comportement de programmes similaires sur des plates-formes et des architectures différentes, et d'en montrer leur impact sur les exécutions.