Search

National audience; L’environnement, rendu intelligent par la pervasivité des systèmes embarqués se miniaturisant et s’insinuant jusque dans les objets du quotidien, offre autant de potentiels que de contraintes. En effet, l’intelligence ambiante (AmI) et l’intelligence artificielle (IA) sont intrinsèquement liées. L’augmentation de l’autonomie des dispositifs de l’AmI a encouragé le déploiement massif d’objets connectés produisant toujours plus de données exploitable pour l’IA. D’un autre côté, les besoins énergétiques actuels de calcul pour l’IA sont assez peu compatibles avec les faibles ressources des dispositifs de l’AmI et avec les enjeux sociétaux et planétaires.

National audience; The instrumentation of housing is a potential for technological and industrial developments identified for more than thirty years, which has progressively displayed several ambitions: from the idea of home automation to that of smart home. This article focuses on the securing of goods and people, particularly considering the case of “frail” people monitoring at home. Two stages of development are reminded and characterized: the nonobtrusive instrumentation of the housing, then the mixing of a coupled instrumentation of the housing and the user. The technological principles are described and it can be concluded that the technologies are ready for a wide and rapid diffusion, if the social organization agrees to meet the needs of 24 h/7 d security surveillance, with all the guarantees that it offers. The article then considers more prospectively the paths of progress that R&D is taking through the implementation of Artificial Intelligence (AI) technologies to model the behavioral and decision-making habits of the user and their integration on a mobile phone. It could be considered, in practice, as an embedded auxiliary robot for decision support, whose function could be complementary and usefully embedded on a companion robot to exploit the capabilities of autonomous and directed mobility.; L’instrumentation de l’habitat est un potentiel de développements technologiques et industriels identifié depuis plus de trente ans, qui a progressivement affiché plusieurs ambitions : de l’idée de domotique à celle d’habitat intelligent. Cet article s’attache au volet « sécurisation des biens et des personnes » en considérant particulièrement le cas de la nécessaire surveillance des personnes « fragiles » à domicile. Deux étapes de développements sont rappelées et caractérisées : l’instrumentation non intrusive de l’habitat, puis le mixage d’une instrumentation couplée de l’habitat et de l’usager. Les principes technologiques sont décrits et l’on peut conclure que les technologies sont prêtes pour une diffusion large et rapide, si l’organisation sociale accepte de répondre aux besoins d’une surveillance sécuritaire fonctionnant 24 h/24, avec toutes les garanties qui s’imposent. L’article envisage ensuite plus prospectivement les chemins de progrès que la R&D est en train d’emprunter via la mise en œuvre des technologies de l’Intelligence Artificielle (IA) pour modéliser les habitudes comportementales et décisionnelles de l’usager et les porter sur le téléphone portable. Celui-ci deviendrait, dans la pratique, un robot auxiliaire porté d’aide aux décisions, dont la fonction pourrait être complémentairement et utilement embarquée sur un robot compagnon pour y exploiter les capacités de mobilités autonomes et dirigées.

Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) have been broadly used in many fields such as computer vision, natural language processing and signal processing. Nevertheless, the computational workload and the heavy memory bandwidth involved in deep neural networks inference often prevents their deployment on low-power embedded devices. Moreover, deep neural networks vulnerability towards small input perturbations questions their deployment for applications involving high criticality decisions. This PhD research project objective is twofold. On the one hand, it proposes compression methods to make deep neural networks more suitable for embedded systems with low computing resources and memory requirements. On the other hand, it proposes a new strategy to make deep neural networks more robust towards attacks based on crafted inputs with the perspective to infer on edge. We begin by introducing common concepts for training neural networks, convolutional neural networks, recurrent neural networks and review the state of the art neural on deep neural networks compression methods. After this literature review we present two main contributions on compressing deep neural networks: an investigation of lottery tickets on RNNs and Disentangled Loss Quantization Aware Training (DL-QAT) on CNNs. The investigation of lottery tickets on RNNs analyze the convergence of RNNs and study its impact when subject to pruning on image classification and language modelling. Then we present a pre-processing method based on data sub-sampling that enables faster convergence of LSTM while preserving application performance. With the Disentangled Loss Quantization Aware Training (DL-QAT) method, we propose to further improve an advanced quantization method with quantization friendly loss functions to reach low bit settings like binary parameters where the application performance is the most impacted. Experiments on ImageNet-1k with DL-QAT show improvements by nearly 1\% on the top-1 accuracy of ResNet-18 with binary weights and 2-bit activations, and also show the best profile of memory footprint over accuracy when compared with other state-of-the art methods. This work then studies neural networks robustness toward adversarial attacks. After introducing the state of the art on adversarial attacks and defense mechanisms, we propose the Ensemble Hash Defense (EHD) defense mechanism. EHD enables better resilience to adversarial attacks based on gradient approximation while preserving application performance and only requiring a memory overhead at inference time. In the best configuration, our system achieves significant robustness gains compared to baseline models and a loss function-driven approach. Moreover, the principle of EHD makes it complementary to other robust optimization methods that would further enhance the robustness of the final system and compression methods. With the perspective of edge inference, the memory overhead introduced by EHD can be reduced with quantization or weight sharing. The contributions in this thesis have concerned optimization methods and a defense system to solve an important challenge, that is, how to make deep neural networks more robust towards adversarial attacks and easier to deployed on the resource limited platforms. This work further reduces the gap between state of the art deep neural networks and their execution on edge devices.; Les réseaux de neurones convolutifs et les réseaux neurones récurrents (RNN) ont été largement utilisés dans de nombreux domaines tels que la vision par ordinateur, le traitement naturel du langage et le traitement du signal. Néanmoins, la charge de calcul et le besoin en bande passante mémoire impliqués dans l'inférence des réseaux de neurones profonds empêchent souvent leur déploiement sur des cibles embarquées à faible ressources. De plus, la vulnérabilité des réseaux de neurones profonds à de petites perturbations sur les entrées remet en question leur déploiement pour des applications impliquant des décisions de haute criticité. Pour relever ces défis, cette thèse propose deux principales contributions. D'une part, nous proposons des méthodes de compression pour rendre les réseaux de neurones profonds plus adaptés aux systèmes embarqués ayant de faibles ressources. D'autre part, nous proposons une nouvelle stratégie pour rendre les réseaux de neurones profonds plus robustes aux attaques adverses en tenant compte des ressources limitées des systèmes embarqués. Dans un premier temps, nous présentons une revue de la littérature sur des principes et des outils de bases de l'apprentissage profond, des types de réseaux de neurones reconnus et un état de l'art sur des méthodes de compression de réseaux de neurones. Ensuite, nous présentons deux contributions autour de la compression des réseaux de neurones profonds : une étude de transférabilité du Lottery Ticket sur les RNN et une méthode de quantification à l’apprentissage. L’étude de transférabilité du Lottery Ticket sur les RNN analyse la convergence des RNN et étudie son impact sur l'élagage des paramètres pour des taches de classification d'images et de modélisation du langage. Nous proposons aussi une méthode de prétraitement basée sur le sous-échantillonnage des données qui permet une convergence plus rapide des LSTM tout en préservant les performances applicatives. Avec la méthode Disentangled Loss Quantization Aware Training (DL-QAT), nous proposons d'améliorer une méthode de quantification avancée avec des fonctions de coût favorables à la quantification afin d'atteindre des paramètres binaires. Les expériences sur ImageNet-1k avec DL-QAT montrent une amélioration de près de 1 % sur la précision du score de ResNet-18 avec des poids binaires et des activations de 2 bits. Il apparaît clairement que DL-QAT fournit le meilleur profil du compromis entre l'empreinte mémoire et la performance applicative. Ce travail étudie ensuite la robustesse des réseaux de neurones face aux attaques adverses. Après avoir présenté l'état de l'art sur les attaques adverses et les mécanismes de défense, nous proposons le mécanisme de défense Ensemble Hash Defense (EHD). EHD permet une meilleure résistance aux attaques adverses basées sur l'approximation du gradient tout en préservant les performances de l'application et en ne nécessitant qu'une surcharge de mémoire au moment de l'inférence. Dans la meilleure configuration, notre système réalise des gains de robustesse significatifs par rapport aux modèles de base et à une approche de robustesse basée sur la fonction de coût. De plus, le principe de l'EHD la rend complémentaire à d'autres méthodes d'optimisation robuste qui permettraient d'améliorer encore la robustesse du système final. Dans la perspective de l'inférence sur cible embarquée, la surcharge mémoire introduite par l'EHD peut être réduite par la quantification ou le partage de poids. En conclusion, les travaux de cette thèse ont proposé des méthodes de compression de réseaux de neurones et un système de défense pour résoudre des défis importants, à savoir comment rendre les réseaux de neurones profonds plus robustes face aux attaques adverses et plus faciles à déployer sur les plateformes à ressources limitées. Ces travaux réduisent davantage l'écart entre l'état de l'art des réseaux neurones profonds et leur exécution sur des cibles embarquées à faible ressources.

In the context of mobile robotics, this work reports research addressing scene understanding using embedded multi-modal perception systems. Scene understanding remains a complex problem, essential for high society impact applications such as Intelligent Transportation Systems, involving in particular ADAS and Autonomous Vehicles. Results and outlook based on the conducted research are detailed and structured following two research perspectives., Dans le domaine de la robotique mobile, mes travaux de recherche portent sur l’analyse de scènes dynamiques par des systèmes de perception multimodale embarqués. Ceci demeure un verrou scientifique complexe, mais essentiel pour des applications avec un fort impact sociétal telles que les systèmes de transport intelligents où se situent les systèmes d’assistance à la conduite et les voitures à conduite automatisée. Une synthèse et des perspectives structurées sur deux axes thématiques sont présentés.

The Internet of Things is constituted of devices that are exponentially growing in number and in complexity. They utilize a variety of customized software and firmware without consideration of security concerns, making them an appealing target for cybercriminals. Malware detection relying on static and dynamic features still have various difficulties such as packer or obfuscation techniques, or sandbox monitoring can be evaded. Unlike computer systems and servers, embedded cyber physical system may lack resources or accessibility for anti-malware tools. We will present methods that do not require device alteration while they can be deployed independently without any overhead by leveraging electromagnetic emanation over the air. The contributions of this PhD thesis are separated into two different parts. First, we present a novel approach that a malware analyst can use to gather exact information about the type and identity of malware, even in the presence of obfuscation techniques that may hinder analysis. Further we present low-cost ULTRA framework which is the first wave-and-play solution, where one can simply wave a probe over the device to instantly see what rootkit is infected. ULTRA has a specification that facilitates the discovery of rootkits in a system in real-time without the need for device alteration or software requirements by monitoring two distinct types of baits that are capable of exposing the behavior of stealthy rootkits.; L'Internet des objets est constitué de périphériques dont le nombre et la complexité augmentent de manière exponentielle. Ils utilisent une variété de logiciels et de micrologiciels personnalisés sans tenir compte des problèmes de sécurité, ce qui en fait une cible attrayante pour les cybercriminels. La détection des malware reposant sur des caractéristiques statiques et dynamiques se heurte encore à diverses difficultés, telles que les techniques d'empaquetage ou d'obfuscation, ou la possibilité d'échapper à la surveillance sandbox. Contrairement aux systèmes informatiques et aux serveurs, les systèmes cyber-physiques embarqués peuvent manquer de ressources ou d'accessibilité pour les outils anti-malware. Nous présenterons des méthodes qui ne nécessitent pas d'altération du dispositif et qui peuvent être déployées de manière indépendante sans aucune surcharge en exploitant l'émanation électromagnétique par radio. Les contributions de cette thèse de doctorat sont séparées en deux parties différentes. Premièrement, nous présentons une nouvelle approche qu'un analyste malware peut utiliser pour recueillir des informations exactes sur le type et l'identité des malwares, même en présence de techniques d'obfuscation qui peuvent entraver l'analyse. De plus, nous présentons le système ULTRA à faible coût, qui est la première solution de type "wave-and-play", où il suffit d'agiter une sonde sur le dispositif pour voir instantanément quel rootkit est infecté. ULTRA a une spécification qui facilite la découverte des rootkits dans un système en temps réel sans qu'il soit nécessaire de modifier le dispositif ou d'exiger des logiciels en surveillant deux types distincts d'appâts qui sont capables d'exposer le comportement des rootkits furtifs.

National audience; The miniaturization of electronic components was one of the major improvements that happened during the last decades. Space agencies followed this trend and satellites became more and more complex. However, by reducing the size of their components, satellites became subject to space radiation. Indeed, satellites aren't protected by the atmosphere and defects caused by energetic particles can happen. These events are called "Single Event Effect" (SEE). Their consequences range from a functional interruption of the component to its destruction. Therefore it is important to protect the satellites against them. However, Single Event Effects are random and can take many forms, thus detecting and preventing them is complicated. Nowadays, protection methods are based on hardening methods, that modify the fabrication process of a component. The major inconvenience is that hardened components are complex to design, and heavy engineering studies are mandatory. As a consequence, the price increased significantly. Moreover, the use of hardened components decreased significantly with the new space era that prevails since the 21st century. Alternatively, a threshold protection method exists to prevent destructive single event effects to harm the component. However, not all faults can be detected by the sole use of this method. In conclusion, new technics need to be developed to detect single event effects.Anomaly detection is a sub-field of artificial intelligence and machine learning. Its aims at detecting patterns that deviate from a well-defined normal behaviour. To do so, a model is trained on known data to be able to generalise and predict the system's future behaviour. It is then possible to pinpoint abnormal observations occurring in the system. These approaches are called data-based methods, and differ from model-based approaches, as they do not require an overall knowledge of the system. These methods proved to be efficient in many fields, but are yet to be applied to single event effects detection.This manuscript details a work done to evaluate the performance of machine learning on the detection of single event effects for space applications. For this purpose, two distinctive types of research were conducted. First, single event effects characteristics are studied on an ATMEL SAM3X8E microcontroller. A significant database has been created, mixing both experimentation and simulation data. In addition, a thorough analysis of the impact of single event effects on the supply current is made to extract the most meaningful features.Following the groundwork laid by the first study, machine learning performance are thoroughly studied for the detection of single event effects. A proof of concept is done by using most common anomaly detection methods. It is demonstrated that the performance of machine learning is on par with today's threshold methods, outperforming it for the detection of non-destructive single event effects. From there, a specific algorithm is developed. Called Dynamic Double anomaly Detection (DyD²), this algorithm meets space applications requirements. Extensive experiments have been conducted to test DyD² on simulated data, as well as real-time on-board application with the ATMEL SAM3X8E, that proved that DyD² is a valid alternative to today's detection methods.; Les satellites n'étant pas protégés par l'atmosphère terrestre sont soumis aux radiations spatiales. L'un des effets est l'apparition de perturbations liées à une particule isolées. D'un arrêt temporaire du composant, jusqu'à la destruction de celui-ci, les effets sont variés, et c'est pourquoi il est important de protéger les composants électroniques utilisés lors d'une mission spatiale. Aujourd'hui, la méthode de prédilection se base sur le durcissement des composants. Un composant durci voit sa conception modifiée pour se prémunir des perturbations liées à une particule isolés. Cependant, une ingénierie complexe est nécessaire, ce qui se répercute sur le prix des composants. Avec la nouvelle ère spatiale qui a débuté au 21ème siècle, L'utilisation de composants durcis diminue, au profit de composants moins couteux. Une alternative au durcissement consiste en une méthode de détection à seuil. Plus générale et moins couteuse, elle ne peut néanmoins pas détecter tous les types de défauts. De ce fait, de nouvelles méthodes sont nécessaires pour préserver l’intégrité des composants lors de missions spatiales.La détection d’anomalies est un domaine appartenant à l’intelligence artificielle et à l’apprentissage automatique. L’objectif est de mettre en évidence des comportements qui dévient du fonctionnement nominal d’un système. Pour ce faire, un algorithme est entrainé sur des données d’apprentissage afin de modéliser et prédire le comportement du système. A partir de ce modèle, il est possible d’identifier les comportements anormaux, et d’agir en conséquence. Cette approche basée données se distingue du fait qu’elle ne nécessite pas de connaissances préalables du système étudié. Avec la montée en popularité des méthodes d’intelligence artificielle, de nombreuses applications ont démontrées l‘efficacité de ces méthodes de détection d’anomalies.Ce manuscrit détaille le travail réalisé visant à démontrer l’intérêt des méthodes d’apprentissages automatiques pour la détection des défauts provoqués par des particules isolées. Dans ce but, deux travaux de recherches ont été menés. Premièrement, l’impact des radiations a été étudié sur le microcontrôleur ATMEL SAM3X8E. En conséquence, une base de données a été créé, contenant des données obtenues par simulation, ainsi que des données expérimentales réalisées lors de ces travaux de thèse. De plus, une étude a été réalisé afin de déterminer les caractéristiques principales des fautes induites par des particules isolées.Grâce à cette première partie, il a été possible démarrer la deuxième étude portant sur l’apprentissage automatique. La première étape a été d’établir une démonstration de faisabilité. Différents algorithmes de détection d’anomalies ont été mis à l’essai. Il a ainsi été démontré l’efficacité de ces méthodes pour cette problématique. À la suite de cela, un algorithme a été développé afin de répondre aux spécifications du domaine spatial. Nommé « Double Détection d’anomalies Dynamique » (DyD²), cette nouvelle méthode permet la détection en temps réel des défauts liés aux particules isolées. Des études sur des données de simulations, ainsi que des expériences embarquant DyD² sur microcontrôleur ont permis de prouver que DyD² est une alternative solide aux méthodes de détection actuellement utilisées par l’industrie spatiale.

This document presents my research activities since my recruitment at the University of Nantes in September 2004. These activities were successively carried out within the IREENA laboratory (Institute for Research in Electronics and Electrotechnics of Nantes Atlantique) until 2012, then within the IETR laboratory (Institute of Electronics and Digital Technologies). The scope of these activities corresponds to the design of hardware and software architectures of embedded electronic systems. In this context, my research activities have focused on the definition of methods favouring the modelling and simulation of hardware and software architectures in order to optimize them under time, cost and energy constraints.In this document, during the presentation of each of the covered topics, I report on the framework of this work, the nature of the contributions made and the approach undertaken. In doing so, I also explain my role in the supervision of the students who participated and contributed to this work and more broadly the collaborations set up. This synthesis tries to reconcile clarity and precision of the explanations. This document has three main parts. The first part corresponds to a detailed CV, summarizing in particular my professional experience with regard to the various activities carried out in research and teaching. The second part details in five chapters the research activities carried out since obtaining the doctoral degree, retracing the most significant results. Finally, the third part presents an assessment of the activities carried out and establishes a potential research program taking into account the identified prospects. Attached to this document is a detailed list of my publications.

Real-time systems must provide functionalities that need to produce their results within predefined time windows. Some of these functionalities may be critical: if they produce wrong results or produce good results too late, failures occur which, in some extreme case, may cause the loss of human lives.Intelligent transportation systems are a good example of real-time systems with critical functionalities. These vehicles embed complex features to enhance the driving experience, like the so-called Advanced Driver-Assistance Systems (ADAS). Such complex functionalities possess non-functional requirements, as the fact that they must produce results within precise time windows, or that must be robust to transient hardware faults. For example, the automatic obstacle detection feature assists the driver by alerting on obstacles on the vehicle path, so preventing accidents dues to inattention or fatigue: however the recognition of an obstacle must be performed in due time, otherwise the vehicle will harm someone or destroy itself.Thus, a precise analysis of the temporal behavior of these systems is required to guarantee that all the timing constraints are respected. For modern vehicles, the electronic boards chosen for these systems need to provide high performance, since there is a pressure to integrate all the critical and non-critical functionalities on the same board and reduce cost. Moreover, with the miniaturization of electronic components and with the reduction in voltage, systems may be subject to transient faults during their lifetime, provoking unexpected failures. Thus, there is a need to have analysis taking into account both reliability and the respect of the timing constraints. In this thesis, we have proposed a set of solutions that are positioned at two levels:1. We have developed models to analyze the execution time of real-time systems that integrate caches. The major scientific contribution of the thesis at this level is an improved analysis of the effect of preemptions on memory access times in a system scheduled by Earliest Deadline First.2. We have also designed techniques to increase the reliability of real-time systems integrating caches. Our approach is novel in the sense that we propose a method to protect tasks code from transient faults in the cache by adding protection mechanisms to the tasks code while respecting the timing constraints.As can be seen, our work is original in that it lies at the intersection of several areas:1. The domain of real-time critical systems;2. The field of processor system architectures in general and that of programmable embedded systems integrating caches in particular;3. The field of reliability and robustness of real-time critical systems.; Les systèmes temps réel implémentent des fonctionnalités qui doivent produire leurs résultats dans une fenêtre de temps donnée. Certaines de ces fonctionnalités peuvent être critiques. Si une fonctionnalité critique produit un résultat erroné ou produit un bon résultat au-delà d'une certaine limite temporelle, une défaillance se produit. Lorsqu'une défaillance se produit, des événements catastrophiques peuvent s'ensuivre, comme la perte d'une vie humaine. Les systèmes de transport intelligents sont un bon exemple de systèmes temps réel dotés de fonctionnalités critiques. Ces véhicules intègrent des fonctionnalités qui améliorent la conduite en aidant le conducteur, comme les systèmes avancés d'assistance au conducteur (ADAS). Ces fonctionnalités doivent produire de bons résultats dans une fenêtre de temps précise comme pour la détection d'objets pour éviter de blesser des usagers de la route. Une analyse précise du comportement de ces systèmes est par conséquent nécessaire pour garantir que les contraintes de temps sont respectées. Pour les véhicules modernes, les cartes électroniques choisies pour ces systèmes doivent être très performantes, et doivent intégrer toutes les fonctionnalités critiques et non critiques sur la même carte afin de réduire les coûts. Avec la miniaturisation des circuits électronique et la réduction de la tension électrique, les systèmes peuvent subir des fautes transitoires pendant leur durée de vie, provoquant des erreurs dans leurs comportements. Il est donc nécessaire d'avoir une analyse prenant en compte à la fois la fiabilité et le respect des contraintes temporelles. Dans cette thèse, nous avons proposé un ensemble de solutions qui se positionnent à deux niveaux :1. Nous avons mis au point des modèles d'analyse de temps d'exécution des systèmes temps-réels intégrants des mémoires caches. La contribution scientifique majeure de la thèse à ce niveau est une meilleure analyse de l'impact des préemptions entre les tâches sur les temps d'accès à la mémoire dans un système ordonnancé par Earliest Deadline First.2. Nous avons aussi conçu des techniques pour augmenter la fiabilité des systèmes temps-réel intégrant des mémoires caches. Notre approche est nouvelle dans le sens où nous proposons une méthode qui permet de protéger le code des tâches des fautes transitoires dans la mémoire cache en ajoutant des mécanismes de protection au code des tâches tout en respectant les contraintes temporelles.Comme on peut le voir, notre travail est original du fait qu'il se trouve à l'intersection de plusieurs domaines :1. Le domaine des systèmes temps-réel critiques;2. Le domaine des architectures de systèmes de processeurs en général et celui des systèmes embarqués programmables intégrant des mémoires caches en particulier;3. Le domaine de la fiabilité et de la robustesse des systèmes temps-réels critiques.

A quantum computer powerful enough to run Shor's algorithm could emerge and thus threaten the security provided by the currently deployed asymmetric cryptography. Such a computer can break the entire cryptography based on the hardness of integer factorization or discrete logarithm. In order to anticipate this threat, national agencies have initiated standardization processes of quantum-safe cryptography: the post-quantum cryptography. The most followed standardization by the international community is the one of the National Institute of Standards and Technology (NIST) launched in 2016. This one aims to determine the future Key Encapsulation Mechanisms (KEMs) and signatures standards. In july 2020, the third round of selection of this standardization started with seven finalists cryptosystems remaining. Among these candidates, five are based on lattice problems. Currently, lattice-based cryptography provides the best trade-off between efficiency, security and compactness.The future post-quantum standards will be deployed on several devices, like the embedded ones. These components are widely used but they are very limited in terms of memory and computing power. Moreover, they are threatened by physical attacks, which requires additional security. Therefore, implement lattice-based cryptography in such devices is a real challenge.In this thesis we focus on the deployment of lattice-based cryptography in embedded devices. More precisely, we are interested in the lattice-based cryptosystems introduced during the NIST standardization. In a first step, we optimize these schemes by re-purposing existing asymmetric coprocessors. Such optimizations are then implemented and assessed on an embedded device. In a second step, we investigate the security and the resilience of the lattice-based schemes against physical attacks. To do so, we introduce new masking countermeasures which find applications to several KEMs. Moreover, we assess the security of several implementations against fault injection orside-channel attacks.; Un ordinateur quantique suffisamment puissant pour exécuter l'algorithme de Shor pourrait voir le jour et ainsi menacer la sécurité apportée par la cryptographie asymétrique actuellement déployée. En effet, un tel ordinateur pourrait casser l'ensemble de la cryptographie dont la sécurité repose sur le problème de factorisation ou du logarithme discret. Pour anticiper une telle menace, les agences gouvernementales ont commencé des processus de standardisation de cryptosystèmes résistants à la puissance quantique: la cryptographie post-quantique. La standardisation la plus suivie par la communauté internationale est celle du National Institute of Standards and Technology (NIST) lancée en 2016. Elle a pour objectif de définir les futurs standards post-quantiques en termes de Key Encapsulation Mechanisms (KEMs) et de signatures. En Juillet 2020, cette standardisation en est à son troisième tour de sélection avec sept candidats finalistes restants. Parmi les candidats restants, cinq basent leur sécurité sur des problèmes mathématiques reliés aux réseaux euclidiens. A l'heure actuelle, les cryptosystèmes basés sur les réseaux euclidiens présentent le meilleur compromis entre efficacité, sécurité et taille des clés.Les standards ont pour objectif d'être déployés massivement et dans différents composants. Parmi eux, il y a les composants embarqués. Ces composants sont très répandus mais limités en terme de mémoire et de puissance de calcul. De plus, ils sont menacés par des attaques physiques, ce qui demande un ajout de sécurité supplémentaire. Ainsi, déployer les cryptosystèmes basés sur les réseaux euclidiens dans les composants embarqués est un véritable défi.Dans cette thèse, nous nous intéressons au déploiement des cryptosystèmes basés sur les réseaux euclidiens dans le contexte des systèmes embarqués. Plus particulièrement, ceux présents lors de la standardisation du NIST. Dans un premier temps, nous optimisons ces schémas à l'aide des coprocesseurs asymétriques existants. Les optimisations proposées sont implémentées et évaluées sur un composant embarqué. Par la suite, nous nous intéressons à la sécurisation et l'évaluation de la résilience contre les attaques physiques de ces schémas. Nous proposons ainsi des nouvelles contremesures de masquage applicables à plusieurs KEMs. De plus, nous évaluons les implémentations de certains cryptosystèmes contre des attaques par injection de fautes et des attaques par canaux auxiliaires.

International audience; In a virtualized server, a page cache (which caches I/O data) is managed in both the hypervisor and the guest Operating System (OS). This leads to a well-known issue called double caching. Double caching is the presence of the same data in both the hypervisor page cache and guest OS page caches. Some experiments we performed show that almost 64% of the hypervisor page cache content is also present in guest page caches.Therefore, double caching is a huge source of memory waste in virtualized servers, particularly when I/O disk-intensive workloads are executed (which is common in today’s data centers). Knowing that memory is the limiting resource for workload consolidation, double caching is a critical issue.This paper presents a novel solution (called Cacol) to avoid double caching. Unlike existing solutions, Cacol is not intrusive as it does not require guest OS modification and induces very little performance overhead for user applications. We implemented Cacol in KVM hypervisor, a very popular virtualization system. We evaluated Cacol and compared it with Linux default solutions. The results confirm the advantages (no guest modification and no overhead) of Cacol against existing solutions.

There are many models of distributed computing, and no unifying mathematical framework for considering them all. One way to sidestep this issue is to start with simple communication and fault models, and use them as building blocks to derive the complex models studied in the field. We thus define operations like union, succession or repetition, which makes it easier to build complex models from simple ones while retaining expressivity. To formalize this approach, we abstract away the complex models and operations in the Heard-Of model. This model relies on (possibly asynchronous) rounds; sequence of digraphs, one for each round, capture which messages sent at a given round are received before the receiver goes to the next round. A set of sequences, called a heard-of predicate,defines the legal communication behaviors -- that is to say, a model of communication. Because the proposed operations behave well with this transformation of operational models into heard-of predicates, we can derive bounds, characterizations, and implementations of the heard-of predicates for the constructions., Full version of a paper accepted to FORTE 2020

International audience; With the rapid surge of M-Health and smart city systems, the need to accommodate sensors and actuators to achieve effective automation turns out to be imposed, for an efficient machine-to-machine communication to be maintained. In this regard, the key elements necessary for a successful M-Health system to take place are discovered to be the power consumption and interoperability maintaining factors. In this context, the present study is conducted to devise a special elderly tracking and monitoring system, closely connected to a walking stick device. The proposed design involves a cane cased transmitter node, enabling to send data related to the position and the state of the elderly to a base station, through implementation of the LoRa technology. The latter would then apply the message queuing telemetry transport (MQTT) protocol to interact with the environment once a fall proves to take place. For the purpose of evaluating the advanced design associated coverage range and power consumption rate, as enhanced via LoRa network, several experimental tests have been administered. The achieved results appear to reveal that the suggested architecture recorded average covered area turns out to be of the rate of 6 km2.

As the quest for ever more powerful computing systems faces ever-increasing material constraints, major advances in computing efficiency are expected to benefit from unconventional approaches and new computing models such as brain-inspired computing. The brain is a massively parallel computing architecture with dense interconnections between computing units. Neurobiological systems are therefore a natural source of inspiration for computer science and engineering. Rapid technological improvements in computing media have recently reinforced this trend through two complementary but seemingly contradictory consequences: on the one hand, by providing enormous computing power, they have made it possible to simulate very large neural structures such as deep networks, and on the other hand, by reaching their technological and conceptual limits, they have motivated the emergence of alternative computing paradigms based on bio-inspired concepts. Among these, the principles of unsupervised learning are receiving increasing attention.We focus here on two main families of neural models, self-organizing maps and dynamic neural fields. Inspired by the modeling of the self-organization of cortical columns, self-organizing maps have shown their ability to represent a complex stimulus in a simplified and interpretable form, thanks to excellent performances in vector quantization and to the respect of topological proximity relationships present in the input space. More inspired by competition mechanisms in cortical macro-columns, dynamic neural fields allow the emergence of simple cognitive behaviours and find more and more applications in the field of autonomous robotics.In this context, the first objective of this thesis is to combine self-organizing maps and dynamic neural fields for the exploration and categorisation of real environments perceived through visual sensors of different natures. The second objective is to prepare the porting of this neuromorphic computation on a digital hardware substrate. These two objectives aim to define a hardware computing device that can be coupled to different sensors in order to allow an autonomous system to construct its own representation of the perceptual environment in which it operates. Therefore, we proposed and evaluated a novelty detection model based on self-organising maps. Hardware considerations then led us to significant algorithmic optimisations SOM operations. Finally, we complemented the model with dynamic neural fields to increase the level of abstraction with an attentional target tracking mechanism.; Tandis que la quête pour des systèmes de calcul toujours plus puissants se confronte à des contraintes matérielles de plus en plus fortes, des avancées majeures en termes d’efficacité de calcul sont supposées bénéficier d’approches non conventionnelles et de nouveaux modèles de calcul tels que le calcul inspiré du cerveau. Le cerveau est une architecture de calcul massivement parallèle avec des interconnexions denses entre les unités de calcul. Les systèmes neurobiologiques sont donc une source d'inspiration naturelle pour la science et l'ingénierie informatiques. Les améliorations technologiques rapides des supports de calcul ont récemment renforcé cette tendance à travers deux conséquences complémentaires mais apparemment contradictoires : d’une part en offrant une énorme puissance de calcul, elles ont rendu possible la simulation de très grandes structures neuronales comme les réseaux profonds, et d’autre part en atteignant leurs limites technologiques et conceptuelles, elles ont motivé l'émergence de paradigmes informatiques alternatifs basés sur des concepts bio-inspirés. Parmi ceux-ci, les principes de l’apprentissage non supervisé retiennent de plus en plus l’attention. Nous nous intéressons ici plus particulièrement à deux grandes familles de modèles neuronaux, les cartes auto-organisatrices et les champs neuronaux dynamiques. Inspirées de la modélisation de l’auto-organisation des colonnes corticales, les cartes auto-organisatrices ont montré leur capacité à représenter un stimulus complexe sous une forme simplifiée et interprétable, grâce à d’excellentes performances en quantification vectorielle et au respect des relations de proximité topologique présentes dans l’espace d’entrée. Davantage inspirés des mécanismes de compétition dans les macro-colonnes corticales, les champs neuronaux dynamiques autorisent l’émergence de comportements cognitifs simples et trouvent de plus en plus d’applications dans le domaine de la robotique autonome notamment.Dans ce contexte, le premier objectif de cette thèse est de combiner cartes auto-organisatrices (SOM) et champs neuronaux dynamiques (DNF) pour l’exploration et la catégorisation d’environnements réels perçus au travers de capteurs visuels de différentes natures. Le second objectif est de préparer le portage de ce calcul de nature neuromorphique sur un substrat matériel numérique. Ces deux objectifs visent à définir un dispositif de calcul matériel qui pourra être couplé à différents capteurs de manière à permettre à un système autonome de construire sa propre représentation de l’environnement perceptif dans lequel il évolue. Nous avons ainsi proposé et évalué un modèle de détection de nouveauté à partir de SOM. Les considérations matérielles nous ont ensuite amené à des optimisations algorithmiques significatives dans le fonctionnement des SOM. Enfin, nous complémenté le modèle avec des DNF pour augmenter le niveau d'abstraction avec un mécanisme attentionnel de suivi de cible.

As the quest for ever more powerful computing systems faces ever-increasing material constraints, major advances in computing efficiency are expected to benefit from unconventional approaches and new computing models such as brain-inspired computing. The brain is a massively parallel computing architecture with dense interconnections between computing units. Neurobiological systems are therefore a natural source of inspiration for computer science and engineering. Rapid technological improvements in computing media have recently reinforced this trend through two complementary but seemingly contradictory consequences: on the one hand, by providing enormous computing power, they have made it possible to simulate very large neural structures such as deep networks, and on the other hand, by reaching their technological and conceptual limits, they have motivated the emergence of alternative computing paradigms based on bio-inspired concepts. Among these, the principles of unsupervised learning are receiving increasing attention.We focus here on two main families of neural models, self-organizing maps and dynamic neural fields. Inspired by the modeling of the self-organization of cortical columns, self-organizing maps have shown their ability to represent a complex stimulus in a simplified and interpretable form, thanks to excellent performances in vector quantization and to the respect of topological proximity relationships present in the input space. More inspired by competition mechanisms in cortical macro-columns, dynamic neural fields allow the emergence of simple cognitive behaviours and find more and more applications in the field of autonomous robotics.In this context, the first objective of this thesis is to combine self-organizing maps and dynamic neural fields for the exploration and categorisation of real environments perceived through visual sensors of different natures. The second objective is to prepare the porting of this neuromorphic computation on a digital hardware substrate. These two objectives aim to define a hardware computing device that can be coupled to different sensors in order to allow an autonomous system to construct its own representation of the perceptual environment in which it operates. Therefore, we proposed and evaluated a novelty detection model based on self-organising maps. Hardware considerations then led us to significant algorithmic optimisations SOM operations. Finally, we complemented the model with dynamic neural fields to increase the level of abstraction with an attentional target tracking mechanism., Tandis que la quête pour des systèmes de calcul toujours plus puissants se confronte à des contraintes matérielles de plus en plus fortes, des avancées majeures en termes d’efficacité de calcul sont supposées bénéficier d’approches non conventionnelles et de nouveaux modèles de calcul tels que le calcul inspiré du cerveau. Le cerveau est une architecture de calcul massivement parallèle avec des interconnexions denses entre les unités de calcul. Les systèmes neurobiologiques sont donc une source d'inspiration naturelle pour la science et l'ingénierie informatiques. Les améliorations technologiques rapides des supports de calcul ont récemment renforcé cette tendance à travers deux conséquences complémentaires mais apparemment contradictoires : d’une part en offrant une énorme puissance de calcul, elles ont rendu possible la simulation de très grandes structures neuronales comme les réseaux profonds, et d’autre part en atteignant leurs limites technologiques et conceptuelles, elles ont motivé l'émergence de paradigmes informatiques alternatifs basés sur des concepts bio-inspirés. Parmi ceux-ci, les principes de l’apprentissage non supervisé retiennent de plus en plus l’attention. Nous nous intéressons ici plus particulièrement à deux grandes familles de modèles neuronaux, les cartes auto-organisatrices et les champs neuronaux dynamiques. Inspirées de la modélisation de l’auto-organisation des colonnes corticales, les cartes auto-organisatrices ont montré leur capacité à représenter un stimulus complexe sous une forme simplifiée et interprétable, grâce à d’excellentes performances en quantification vectorielle et au respect des relations de proximité topologique présentes dans l’espace d’entrée. Davantage inspirés des mécanismes de compétition dans les macro-colonnes corticales, les champs neuronaux dynamiques autorisent l’émergence de comportements cognitifs simples et trouvent de plus en plus d’applications dans le domaine de la robotique autonome notamment.Dans ce contexte, le premier objectif de cette thèse est de combiner cartes auto-organisatrices (SOM) et champs neuronaux dynamiques (DNF) pour l’exploration et la catégorisation d’environnements réels perçus au travers de capteurs visuels de différentes natures. Le second objectif est de préparer le portage de ce calcul de nature neuromorphique sur un substrat matériel numérique. Ces deux objectifs visent à définir un dispositif de calcul matériel qui pourra être couplé à différents capteurs de manière à permettre à un système autonome de construire sa propre représentation de l’environnement perceptif dans lequel il évolue. Nous avons ainsi proposé et évalué un modèle de détection de nouveauté à partir de SOM. Les considérations matérielles nous ont ensuite amené à des optimisations algorithmiques significatives dans le fonctionnement des SOM. Enfin, nous complémenté le modèle avec des DNF pour augmenter le niveau d'abstraction avec un mécanisme attentionnel de suivi de cible.

Edge computing is a recent paradigm of distributed computing that addresses the problem of massive data, particularly in the context of connected objects. These objects are becoming increasingly important in our lives. Examples include connected watches, smart homes, and connected cars. For reasons of reactivity due to network overload and energy efficiency, the processing of data generated by these objects has progressively moved from centralized infrastructures in the cloud to distributed systems integrating powerful servers and embedded systems that can be used as close as possible to the data sources. Today, the data processing is gradually integrating more and more artificial intelligence algorithms (typically for data analysis and decision making) in edge computing. To make this viable on embedded systems, it is important to study new architectures with sufficient performance and low power consumption. This thesis addresses the issue of embedded computing dedicated to edge computing. In particular, it focuses on the design of low-power architectures for processing machine learning algorithms. First, it explores a solution based on a heterogeneous multicore architecture in order to see to what extent it can meet a large algorithmic demand. This innovative architecture is based on the processor technology proposed by the French company Cortus S.A. Then, the thesis focuses on the acceleration of deep networks by proposing a new MAC (multiplyaccumulate) unit that is both flexible and energy efficient. The gains provided by this MAC unit are evaluated through high-level modeling in convolutional neural network accelerators architectures. More generally, the work presented in this thesis offers interesting insights into the choice between general-purpose multicore architectures and dedicated artificial intelligence accelerators architectures for energy-efficient edge computing nodes.; L’informatique en périphérie ou edge computing est un paradigme de calcul distribué récent permettant d’adresser la problématique des données massives, notamment dans le contexte des objets connectés. Ces derniers prennent une place toujours plus prépondérante dans nos vies. Les exemples vont de la montre connectée à la maison intelligente, en passant par les voitures connectées. Pour des raisons de réactivité due à la surcharge du réseau et d’efficacité énergétique, les traitements des données ainsi générées par ces objets sont passés progressivement d’infrastructures centralisées dans le cloud à des systèmes distribués intégrant des serveurs puissants et des systèmes embarqués utilisables au plus près des sources de données. Aujourd’hui, le traitement de ces dernières intègre de plus en plus d’algorithmes d’intelligence artificielle (typiquement, pour l’analyse de données et la prise de décision) dans le edge computing. Pour rendre cela viable sur les supports embarqués, il est important d’étudier de nouvelles architectures suffisamment performantes et peu gourmandes en énergie. Cette thèse aborde la problématique du calcul embarqué dédié au edge computing. En particulier, elle se focalise sur la conception d’architectures à faible consommation permettant de traiter des algorithmes d’apprentissage machine. Dans un premier temps, elle explore une piste basée sur une architecture multicoeur hétérogène afin de voir dans quelle mesure cela permet de répondre à une large demande algorithmique. Cette architecture innovante repose sur la technologie de processeur proposée par la société française Cortus S.A. Ensuite, la thèse se concentre sur l’accélération des réseaux profonds en proposant une nouvelle unité MAC (multiply-accumulate) à la fois flexible et efficace en énergie. Les gains fournis par cette unité MAC sont évalués à travers une modélisation de haut niveau dans des architectures d’accélérateurs de réseau de neurones convolutif. Plus généralement, le travail présenté dans cette thèse offre des enseignements intéressants quant au choix entre des architectures multicoeurs généralistes et des architectures dédiées de type accélérateur d’intelligence artificielle, pour des noeuds de calcul efficaces en énergie pour le edge computing.

The rise of machine learning techniques and algorithms and their use in a large variety of domains show often surprising capabilities -- in the interpretation of input data and the ability to build relevant abstract representations (e.g. supervised learning), but also in the dynamic control of complex systems (e.g. reinforcement learning).Optimizing the energy efficiency of computing systems has become a major issue. From hardware design to software control, different levers exist to act on the execution of calculations. We consider in this thesis the optimization of parallel computing, running on complex architectures, from multicore processors to computing clusters. These systems present a large number of design and control parameters, giving rise to a number of combinations often too large to be considered exhaustively.Thus, this thesis aims at using recent machine learning techniques, based on neural networks, to build solutions for the control and design of computing systems. These techniques can consider a significant set of parameters in order to propose optimal solutions. The proposed techniques are intended to be multi-level and can therefore be applied to embedded systems or various sub-components but also at the scale of a distributed system, such as a computing cluster. Promising solutions are proposed along two distinct research axes. The first axis addresses the dynamic control of parallel computing. It deals with the real-time optimization of the energy efficiency of a system running an application parallelized with OpenMP. Among others, a control based on reinforcement learning is proposed. The second axis concerns the design of optimized communication networks. Indeed, communication networks represent a significant part of the energy consumption of computing systems. Thus, we propose a design tool based on generative AI, for the generation of optimized networks according to user criteria such as energy efficiency.; L’essor des techniques et algorithmes d’apprentissage (i.e. Machine Learning) et leur utilisation dans des domaines de plus en plus variés montrent des capacités souvent surprenantes -- dans l’interprétation des données d’entrée et la capacité de construire des représentations abstraites pertinentes (e.g. apprentissage supervisé), mais aussi dans le contrôle dynamique de systèmes complexes (e.g. apprentissage par renforcement).L'optimisation de l'efficacité énergétique des systèmes de calcul est devenue un enjeu majeur. De la conception matérielle au contrôle logiciel, différents leviers existent pour agir sur l'exécution de calculs. Nous considérons dans cette thèse l'optimisation du calcul parallèle, s'exécutant sur des architectures complexes, du processeur multicœur au cluster de calcul. Ces systèmes possèdent un nombre de paramètres de conception et de contrôle important, donnant lieu à un nombre de combinaisons souvent trop large pour pouvoir être considérées de façon exhaustive.Ainsi, cette thèse a pour objectif de s'appuyer sur les techniques d'apprentissage automatique récentes, basées sur les réseaux de neurones, pour construire des solutions de contrôle et de conception de systèmes de calcul. Ces techniques peuvent considérer un ensemble significatif de paramètres afin de proposer des solutions optimales. Les techniques proposées ont vocation à être multi-niveaux et pourront à ce titre être appliquées à l’échelle d’un système embarqué ou de ses divers sous-composants mais aussi à l’échelle d'un système distribué, comme par exemple un cluster de calcul. Des solutions prometteuses sont proposées selon deux axes de recherche distincts. Le premier axe s'adresse au contrôle dynamique du calcul parallèle. Il est question de l'optimisation en temps réel de l'efficacité énergétique d'un système exécutant une application parallélisée avec OpenMP, à l'aide, entre autres, d'un apprentissage par renforcement. Le deuxième axe concerne la conception de réseaux de communication optimisés. En effet, les réseaux de communication représentent une part non négligeable de la consommation énergétique des systèmes de calcul. Ainsi nous proposons un outil d'aide à la conception basé sur une IA générative, pour la génération de réseaux optimisés selon des critères utilisateurs tels que l'efficacité énergétique.

Les drones multirotor ont un énorme potentiel d'application dans le milieu industriel. Un exemple pertinent est celui de la société Donecle, la première au monde à développer des drones d'inspection visuelle pour la maintenance aéronautique. Les freins au déploiement à plus grande échelle de ces drones (pour inspecter tout type de structure, et en toute condition) sont d'abord législatifs et ensuite technologiques. En effet, les interactions entre le vent, les hélices et le corps du drone créent des perturbations complexes qui peuvent dégrader la précision du suivi de trajectoire au point de rendre le vol à proximité des avions risqué et donc non certifiable. Cette thèse financée par Donecle vise à augmenter la capacité des contrôleurs de ses drones à résister aux perturbations aérodynamiques.L'approche adoptée pour répondre à ce problème a été motivée par l'objectif pratique de la thèse : fournir des techniques de contrôle qui peuvent être rapidement déployées sur des drones industriels existants sans apporter de modifications matérielles. L'idée fut alors de partir des contrôleurs PID, qui fonctionnent très bien dans la plupart des cas, de comprendre leurs limites en termes de rejet des perturbations et de les surpasser en apportant progressivement de nouvelles briques algorithmiques qui s'adaptent bien au cas d'utilisation de Donecle : un drone en configuration contrarotative coaxiale, des vols à basse vitesse et une carte autopilote à mémoire limitée.Deux contributions principales sont proposées : D'une part, une nouvelle stratégie d'allocation des commandes moteurs (mixage) qui ne néglige pas les interférences entre les hélices coaxiales. D'autre part, la généralisation d'une technique de contrôle robuste au cas d'un contrôleur avec un observateur de perturbations (à savoir le contrôle actif de rejet des perturbations ADRC) pour garantir que les incertitudes sur les paramètres du système (variant dans des plages préétablies) ne causeront pas de dégradation des performances ou ne conduiront pas à l'instabilité. Cette amélioration de l'ADRC permet de rendre le même algorithme, avec le même réglage initial, capable de gérer les changements de configurations et de régimes de vol. Les essais expérimentaux ont accompagné toutes les phases de cette thèse et forment de ce fait une part importante des contributions. Ils ont notamment permis d'orienter notre choix vers certaines techniques de contrôle. Multirotor UAVs have huge potential for industrial applications. A relevant example is Donecle, the first company in the world to develop visual inspection UAVs for aeronautical maintenance. The obstacles to a wider deployment of these UAVs (to inspect any type of structure and in any condition) are firstly legislative and secondly technological. Indeed, the interactions between the wind, the propellers and the UAV body create complex disturbances that can degrade the accuracy of the trajectory tracking to the point of making the flight close to aircraft risky and therefore non-certifiable. This Donecle-funded thesis aims to increase the ability of its UAV controllers to withstand aerodynamic disturbances.The approach adopted to address this problem was motivated by the practical purpose of the thesis: providing control techniques that can be rapidly deployed on existing industrial UAVs without making hardware modifications. The idea was then to start from PID controllers, which work very well in most cases, understand their limitations in terms of disturbance rejection and to outperform them by gradually bringing new algorithmic bricks that fit well to the Donecle use case: a drone with a contra-rotating coaxial configuration, low speed flights and a memory-limited autopilot board.Two main contributions are proposed: On the one hand, a new control allocation strategy (thrust mixing) that does not neglect interference between coaxial propellers. On the other hand, the generalisation of a robust control technique to the case of a controller with a disturbance observer (namely Active Disturbance Rejection Control ADRC) to ensure that uncertainties on the system parameters (varying in pre-established ranges) will not cause performance degradation or lead to instability. This ADRC enhancement allows making the same algorithm with the same initial setting capable of handling changes of drone configurations and flight regimes. Experimental tests have accompanied all phases of this thesis and thus form an important part of the contributions. In particular, they have helped steer our choice towards some control techniques.

International audience; The increasingly widespread use of sensor and actuator networks and in general of the Internet of Things (IoT) in several areas of precision, imposes upon localization systems that can often equip them with a robust and more precise localization. It is in this sense that UWB technology has proved to be one of the most powerful communication technologies for these localization systems; thanks, in particular to the bandwidth occupied instantaneously by the signal allowing a very fine temporal resolution. Constructors have set up localization kits based on various technologies. These kits facilitate in a way the work of localization of users. In this paper, we present results on the performance study of the Decawave PDoA Kit. This Kit uses the PDoA (Phase Difference of Arrival) to determine the Angle of Arrival (AoA) parameter with UWB technology. This study is in context of localization by AoA for an application to protect agricultural crops against grain-eating birds. The results of the study show overall AoA measurement errors around 10 degrees in an ideal environment.

International audience; A significant amount of apps submitted to mobile market places (MMP) are illegitimate, resulting in a negative publicity for these MMPs. To our knowledge, all scanning solutions in this domain only focus on the detection of illegitimate apps which mimic existing ones. However, recent attack analysis reveal the appearance of a new category of victims: enterprises which did not yet publish their app on the MMP. Thereby, an attacker may be one step ahead and publish a malicious app using the graphic identity of a trusted enterprise. Famous enterprises such as Blackberry, Netflix, and Niantic (Pokemon Go) have been subject of such attacks. We designed and implemented a security check system called IMAD (IllegitimateMobile App Detector) which is able to limit aforementioned attacks. The evaluation results show that IMAD can protect companies from such attacks with an acceptable error rate and at a low cost for MMPs.

In continuity with other work of the binaural community we believe that spatialized sound can be an effective tool for guiding blind people, including for sports practice.A system for binaural audio guidance must be sufficiently accurate and responsive to be able to take into account every movement of the subject. This has led us to the development and implementation of a real-time localization system and a low-latency binaural spatialization software. Finally, we integrated the whole system into an embedded device.The advanced global satellite navigation techniques (augmented and multi-band) are not always available indoor or in urban environments. This is why we have been working on alternative methods of location and real-time tracking for indoor applications. First of all we have developed a robust real-time calibration and lateration method using an Ultra WideBand beacon network using a Kalman filter (UKF). We have also developed an original localization method using an unmodulated continuous wave Doppler radar array. We showed that it is possible to use the amplitude of the Doppler signal to estimate the distance to a moving object. We have then implemented a particle filter to allow real time localization by hybridization of distance data, measurements of radial Doppler velocity augmented by the heading provided by an inertial unit.In the field of acoustics and binaural audio, we have focused on understanding people's abilities to locate and track sound in motion. To do this we conducted experiments using natural and spatialized sounds using a binaural audio engine. These experiments showed that, on the azimuthal plane, spatialized audio stimuli allow for a localization comparable to natural sounds, even with non-individualized and interpolated HRTFs (head-related transfer function). Moreover, we were able to show that even in the azimuthal plane, the stimuli obtained by HRTF convolution are superior to panning (ITD+ILD) both for fixed and moving sounds. Based on the previous work of the team, we have implemented efficient algorithms for the real-time sound spatialization on embedded platforms with limited resources. For an efficient implementation, this real-time approach implied a thorough understanding of the sources of latency whether they are related to head-tracking or to the audio subsystem of modern operating systems.Finally, we used these localization methods and audio techniques to build a guidance device where a sound source continuously precedes the person to indicate the path to follow. It has been designed in collaboration with visually impaired people, in an iterative process and with an approach focused on the user needs. We then carried out guiding experiments with blind people in conjunction with our associative partners, which made it possible to evaluate different control strategies. We have thus been able to confirm that spatialized sound could constitute an effective tool for guiding blind people, without inducing any penalizing cognitive load, for practicing sports such as walking, running or rollerblading in partial autonomy, including the context of performance., Dans la continuité d’autres travaux de la communauté du son binaural, nous pensons que le son spatialisé peut constituer un outil efficace pour guider des personnes aveugles, y compris pour la pratique sportive.Un système destiné au guidage par audio binaural doit être suffisamment précis et réactif pour pouvoir prendre en compte chaque mouvement du sujet à guider, ce qui a impliqué le développement et la mise en œuvre d’un système de localisation temps réel et d'un logiciel de spatialisation binaural à faible latence. Enfin nous avons intégré l’ensemble dans un dispositif embarqué.Les techniques les plus avancées de navigation globale par satellite (augmenté et multibande) ne sont pas toujours disponibles en intérieur ou en environnement urbain. C’est pourquoi nous avons travaillé sur des méthodes alternatives de localisation et de suivi temps réel pour l’intérieur. Tout d’abord nous avons développé une méthode de calibration et de latération temps réel robuste par réseau de balises Ultra WideBand utilisant un filtre de Kalman (UKF). Nous avons également développé une méthode originale de localisation par réseau de radars Doppler à onde continue non modulée. Nous avons montré qu’il était possible d’utiliser l’amplitude du signal Doppler pour estimer la distance à un objet mobile. Nous avons alors implémenté un filtre particulaire qui permet la localisation en temps réel par hybridation des données de distance, des mesures de vitesse radiale Doppler et du cap fourni par une centrale inertielle.Dans le domaine de l’acoustique et de l’audio binaural, nous avons cherché à mieux comprendre les capacités des personnes à localiser et à suivre un son en mouvement. Pour cela nous avons mené des expériences en utilisant des sons naturels et des sons spatialisés par audio binaural. Nous avons pu montrer, que sur le plan azimutal, les stimuli audio spatialisés permettaient une localisation comparable aux sons naturels, y compris avec les HRTFs (head-related transfer function) non individualisées et interpolées. Par ailleurs, nous avons pu montrer que même sur le plan azimutal, les stimuli obtenus par convolution de HRTFs étaient supérieurs au panning (ITD+ILD) pour les sons fixes et pour les sons en mouvement. En nous appuyant sur les travaux antérieurs de l’équipe, nous avons implémenté des algorithmes efficaces pour la spatialisation sonore temps-réel sur des plateformes embarquées disposant de peu de ressources. Pour une mise en œuvre efficace, cette approche temps-réel a impliqué une compréhension approfondie des sources de latence qu’elles soient liées au head-tracking ou au sous-système audio des systèmes d’exploitation modernes.Finalement nous avons mis en œuvre ces méthodes de localisation et ces techniques audio pour construire un dispositif de guidage où la source sonore précède continuellement la personne pour lui indiquer le chemin à suivre.Il a été conçu en lien avec des personnes déficientes visuelles, dans une démarche itérative et avec une approche centrée sur les besoins utilisateurs. Nous avons alors mené des expériences de guidage avec des personnes aveugles, en lien avec nos partenaires associatifs, qui ont permis d’évaluer différentes stratégies de contrôle. Nous avons ainsi pu confirmer que le son spatialisé pouvait constituer un outil efficace pour guider des personnes aveugles sans induire de charge cognitive pénalisante pour des pratiques sportives comme la marche, la course à pied ou le roller en autonomie partielle, y compris dans un contexte de recherche de performances.

National audience

The aim of this study is to analyze, compare and retain the most relevant tracking methods likely to respect the constraints of embedded systems, such as Micro Aerial Vehicles (MAVs), Unmanned Aerial Vehicles (UAVs) and intelligent glasses, in order to find a new robust embedded tracking system. A typical VINS consists of a monocular camera that provides visual data (frames), and a low-cost Inertial Measurement Unit (IMU), a Micro-Electro-Mechanical System (MEMS) that measures inertial data. This combination is very successful in the system navigation field thanks to the advantages that the sesensors provide, mainly in terms of accuracy, cost and reactivity. Over thelast decade, various sufficiently accurate tracking algorithms and Visual Inertial Navigation Systems (VINS) have been developed, however, they require greater computational resources. In contrast, embedded systems are characterized by their high integration constraints and limited resources. Thus,in this thesis, a solution for embedded architecture, relaying on efficient algorithms and providing less computational load, is proposed.First, relevant tracking algorithms are studied focusing on their accuracy, robustness, and computational complexity. In parallel, numerous recent embedded tracking computation architectures are also discussed. Then, our robust visual-inertial tracking approach, called : "Context Adaptive Visual Inertial SLAM", is introduced. It alternates between visual KLT-ORB and EKF Visual-Inertial tracking, according to the navigation context, thanks to the proposed execution control module. The latter uses several parameters concerning the scene’s appearance, the motion types, etc. Consequently, tracking continuity, robustness and accuracy are improved, even in difficult conditions. Moreover, our proposal is suited to embedded systems integration, given the low algorithms computational complexity and the implemented PoIs management leading to decrease the number of PoIs as well as the occurrences of their detection. All our experiments and tests was performed using the different EuRoC dataset sequences.; Le suivi visuel-inertiel est une thématique d'actualité, difficile à traiter, notamment lorsqu’il s’agit de respecter les contraintes des systèmes embarqués, comme dans les drones autonomes (Unmanned Aerial Vehicles (UAVs)). Les questions relatives à la miniaturisation, la portabilité et la communication des systèmes électroniques s’inscrivent dans des problématiques actuelles en matière d'avancée technologique. Pour répondre de manière efficace à ces problématiques, il est nécessaire d’envisager des traitements complexes et des implémentations sur des supports contraignants en termes d’intégration et de consommation d’énergie, tels que les micro-véhicules aériens (MAVs), les lunettes et les caméras intelligentes.Au cours de cette dernière décennie, différents algorithmes performants de suivi ont été développés. En revanche, ils nécessitent des ressources calculatoires conséquentes, compte tenu des différentes formes d'utilisation possibles. Or, les systèmes embarqués imposent de fortes contraintes d'intégration, ce qui réduit leurs ressources, particulièrement en termes de capacité calculatoire. Ainsi, ce type de système nécessite de recourir à des approches efficaces avec moins de charge et de complexité calculatoire. L’enjeu de cette thèse réside dans cette problématique. L'objectif est d’apporter une solution embarquée de suivi qui permettrait d'assurer un fonctionnement robuste dans différents environnements de navigation. Une analyse des algorithmes pertinents de suivi, visuel et visuel-inertiel et des environnements de navigation ainsi qu’une étude de différentes architectures embarquées de calcul sont menées, afin de proposer notre solution nommée « système de suivi inertiel-visuel adaptatif à l'environnement de navigation~». Cette dernière consiste à alterner entre deux approches de suivi : KLT-ORB et EKF VI Tracking, selon les conditions de navigation du système, grâce au module de contrôle, tout en assurant la cohérence du système global en gérant le nombre de PoIs et l'occurrence de leur détection et en respectant les contraintes des systèmes embarqués. Tous nos expérimentations et tests ont été réalisées en utilisant le jeux de données EuRoC.

Over the past years, deep neural networks have proved to be an essential element for developing intelligent solutions. They have achieved remarkable performances at a cost of a large size with deeper layers and millions of parameters. Therefore utilising these networks for developing augmented reality applications on limited resource platforms such as embedded devices or mobile phones is a challenging task. In this context, this thesis addresses the problem of neural networks compression and optimisation in order to enhance the performance of these models on limited resource systems.In the first part of this manuscript, we present an overview of different compression methods present in the literature as well as their strengths, their weaknesses and a brief comparison of these techniques. We are also interested in the methods that are allowing the optimisation of deep neural networks structure design, from simple modules to autonomous models building.In the second part, we show the feasibility of an augmented reality application in real-time using a deep learning model in order to achieve a face parsing task. By using adapted frameworks and an optimised architecture, we achieve the segmentation of different face components in real-time with a high level of consistency on an iPhone X.The last two parts are focused on the development and the evaluation of a new deep convolutional neural networks compression method. Based on a regularisation term which is defined on the filter coefficients of the model, our approach is inducing sparsity among the weights of the network. Thus, our method is redistributing the information between the model filters, enabling us to remove the filters with the smaller values. We show the performance of our method on classic classification tasks. We are also introducing the efficiency of our technique on more complex models and tasks such as classification, segmentation and detection problems while specialising these models on a subset of categories on several databases., Au cours de ces dernières années, les réseaux de neurones profonds se sont montrés être des éléments centraux dans le développement de solutions intelligentes. Ils ont atteint des performances remarquables au détriment de la grande taille de leurs modèles avec de nombreuses couches profondes et des millions de paramètres. Ainsi, utiliser ces modèles pour des applications en réalité augmentée devant fonctionner sur des plateformes possédant des ressources limitées comme des systèmes embarqués ou des smartphones est une tâche loin d'être évidente. Dans ce contexte, cette thèse s'intéresse au problème de la compression et de l'optimisation de réseaux de neurones dans le but de réduire la taille de leur modèle sur des systèmes ayant des ressources limitées.Nous présentons dans une première partie différentes méthodes de compression de la littérature ainsi que leurs forces, leurs faiblesses et une brève comparaison entre elles. Nous nous intéressons également aux méthodes permettant d'optimiser la construction des architectures de réseaux de neurones profonds, allant de simples modules à la construction autonome de modèles.Nous montrons dans une deuxième partie la faisabilité technique d'une application en réalité augmentée et en temps réel utilisant un modèle d'apprentissage profond pour de l'analyse de visages. En utilisant des frameworks adaptés et une architecture optimisée, nous arrivons à segmenter différents composants du visage de manière robuste en temps réel sur un iPhone X.Les deux dernières parties sont consacrées au développement et à l'évaluation d'une nouvelle méthode de compression de réseaux de neurones convolutifs profonds. Basée sur un terme de régularisation défini sur les coefficients des filtres du modèle, notre approche permet d'introduire de la dispersion au sein des poids du réseau. Cela a pour effet de redistribuer l'information entre les filtres du modèle, nous permettant de supprimer les filtres ayant une valeur faible suite à cette opération. Nous évaluons les performances de notre méthode sur des tâches de classification classiques. Nous introduisons aussi l'efficacité de notre technique sur des modèles et des tâches de classification, segmentation et détection plus complexes en spécialisant les modèles sur certaines sous-catégories de jeux de données.

Nowadays, Artificial Intelligence (AI) is a widespread concept applied to many fields such as transportation, medicine and autonomous vehicles. The main AI algorithms are artificial neural networks, which can be divided into two families: Spiking Neural Networks (SNNs), which are bio-inspired models resulting from neuroscience, and Analog Neural Networks (ANNs), which result from machine learning. The ANNs are experiencing unprecedented success in research and industrial fields, due to their recent successes in many application contexts such as image classification and object recognition. However, they require considerable computational capacity for their deployment which is not adequate to very constrained systems such as 'embedded systems'. To overcome these limitations, many researchers are interested in brain-inspired computing, which would be the perfect alternative to conventional computers based on the Von Neumann architecture (CPU/GPU). This paradigm meets computing performance but not energy efficiency requirements. Hence, it is necessary to design neuromorphic hardware circuits adaptable to parallel and distributed computing. In this context, we have set criteria in terms of accuracy and hardware implementation cost to differentiate the two neural families (SNNs and ANNs). In the case of simple network topologies, we conducted a study that has shown that the spiking models have significant gains in terms of hardware cost when compared to the analog networks, with almost similar prediction accuracies. Therefore, the objective of this thesis is to design a generic neuromorphic architecture that is based on spiking neural networks. To this end, we have set up a three-level design flow for exploring and implementing neuromorphic architectures.In an energy efficiency context, a thorough exploration of different neural coding paradigms for neural data representation in SNNs has been carried out. Moreover, new derivative versions of rate-based coding have been proposed that aim to get closer to the activity produced by temporal coding, which is characterized by a reduced number of spikes propagating in the network. In this way, the number of spikes can be reduced so that the number of events to be processed in the SNNs gets smaller. The aim in doing this approach is to reduce the hardware architecture's energy consumption. The proposed coding approaches are: First Spike, which is characterized using at most one single spike to present an input data, and Spike Select, which allows to regulate and minimize the overall spiking activity in the SNN.In the RTL design exploration, we quantitatively compared three SNN architectural models having different levels of computing parallelism and multiplexing. Using Spike Select coding results in a distribution regulation of the spiking data, with most of them generated within the first layer and few of them propagate into the deep layers. Such distribution benefits from a so-called 'hybrid architecture' that includes a fully-parallel part for the first layer and multiplexed parts to the other layers. Therefore, combining the Spike Select and the Hybrid Architecture would be an effective solution for embedded AI applications, with an efficient hardware and latency trade-off.Finally, based on the architectural and neural choices resulting from the previous exploration, we have designed a final event-based architecture dedicated to SNNs supporting different neural network types and sizes. The architecture supports the most used layers: convolutional, pooling and fully-connected. Using this architecture, we will be able to compare analog and spiking neural networks on realistic applications and to finally conclude about the use of SNNs for Embedded Artificial Intelligence.; Dans le contexte actuel, l’Intelligence Artificielle (IA) est largement répandue et s’applique à de nombreux domaines tels que les transports, la médecine et les véhicules autonomes. Parmi les algorithmes d'IA, on retrouve principalement les réseaux de neurones, qui peuvent être répartis en deux familles : d'une part, les Réseaux de Neurones Impulsionnels (SNNs) qui sont issus du domaine des neurosciences ; d'autre part, les Réseaux de Neurones Analogiques (ANNs) qui sont issus du domaine de l'apprentissage machine. Les ANNs connaissent un succès inédit grâce à des résultats inégalés dans de nombreux secteurs tels que la classification d'images et la reconnaissance d'objets. Cependant, leur déploiement nécessite des capacités de calcul considérables et ne conviennent pas à des systèmes très contraints. Afin de pallier ces limites, de nombreux chercheurs s'intéressent à un calcul bio-inspiré, qui serait la parfaite alternative aux calculateurs conventionnels basés sur l'architecture de Von Neumann. Ce paradigme répond aux exigences de performance de calcul, mais pas aux exigences d'efficacité énergétique. Il faut donc concevoir des circuits matériels neuromorphiques adaptés aux calculs parallèles et distribués. Dans ce contexte, nous avons établi un certain nombre de critères en termes de précision et de coût matériel pour différencier les SNNs et ANNs. Dans le cas de topologies simples, nous avons montré que les SNNs sont plus efficaces en termes de coût matériel que les ANNs, et ce, avec des précisions de prédiction quasiment similaires. Ainsi, dans ce travail, notre objectif est de concevoir une architecture neuromorphique basée sur les SNNs. Dans cette perspective, nous avons mis en place un flot de conception composé de trois niveaux, qui permet la réalisation d’une architecture neuromorphique dédiée et adaptée aux applications d’IA embarquée.Dans un contexte d'efficacité énergétique, nous avons réalisé une étude approfondie sur divers paradigmes de codage neuronal utilisés avec les SNNs. Par ailleurs, nous avons proposé de nouvelles versions dérivées du codage fréquentiel, visant à se rapprocher de l'activité produite avec le codage temporel, qui se caractérise par un nombre réduit d'impulsions (spikes) se propageant dans le SNN. En faisant cela, nous sommes en mesure de réduire le nombre de spikes, ce qui se traduit par un SNN avec moins d'événements à traiter, et ainsi, réduire la consommation énergétique sous-jacente. Pour cela, deux techniques nouvelles ont été proposées : "First Spike", qui se caractérise par l'utilisation d’un seul spike au maximum par donnée ; "Spike Select", qui permet de réguler et de minimiser l'activité globale du SNN.Dans la partie d’exploration RTL, nous avons comparé de manière quantitative un certain nombre d’architectures de SNN avec différents niveaux de parallélisme et multiplexage de calculs. En effet, le codage "Spike Select" engendre une régulation de la distribution des spikes, avec la majorité générée dans la première couche et peu d'entre eux propagés dans les couches profondes. Nous avons constaté que cette distribution bénéficie d’une architecture hybride comportant une première couche parallèle et les autres multiplexées. Par conséquent, la combinaison du "Spike Select" et de l'architecture hybride serait une solution efficace, avec un compromis efficace entre coût matériel, consommation et latence.Enfin, en se basant sur les choix architecturaux et neuronaux issus de l'exploration précédente, nous avons élaboré une architecture évènementielle dédiée aux SNNs mais suffisamment programmable pour supporter différents types et tailles de réseaux de neurones. L'architecture supporte les couches les plus utilisées : convolution, pooling et entièrement connectées. En utilisant cette architecture, nous serons bientôt en mesure de comparer les ANNs et les SNNs sur des applications réalistes et enfin conclure sur l'utilisation des SNNs pour l'IA embarquée.

As embedded systems are more and more present in our lives, it is necessary to protect the personal data stored in such systems. Application developers can unintentionally introduce vulnerabilities that can be exploited by attackers to compromise the confidentiality or integrity of the system. One of the solutions to prevent this is to use reactive mechanisms to monitor the behavior of the system while it is running. In this thesis, we propose a generic anomaly detection approach combining hardware and software aspects, based on dynamic information flow tracking (DIFT). DIFT consists of attaching labels representing security levels to information containers, for example files, and specifying an information flow policy to describe the authorized flows. To implement such an approach, we first developed a DIFT monitor which is flexible and non-invasive for the processor, using ARM CoreSight trace components. To take into account the information flows that occur in the different layers, from the operating system to the processor instructions, we have developed different static analysis into the compiler. These analyses generate annotations, used by the DIFT monitor, that describe the dissemination of data in the system at run-time. We also developed a Linux security module to handle information flows involving files. The proposed approach can thus be used to detect different kinds of attacks.; Les systèmes embarqués étant de plus en plus présents dans nos vies, il est nécessaire de protéger les données personnelles qui y sont stockées. En effet, les concepteurs d’applications peuvent involontairement introduire des vulnérabilités pouvant être exploitées par un attaquant pour compromettre la confidentialité ou l’intégrité du système. Un des moyens de s’en prémunir est l’utilisation d’outils réactifs permettant de surveiller le comportement du système lors de son fonctionnement. Dans le cadre de cette thèse, nous proposons une approche générique de détection d'anomalies combinant des aspects matériels et logiciels et qui repose sur le suivi de flux d’information dynamique (DIFT). Le DIFT consiste à attacher des étiquettes représentant des niveaux de sécurité à des conteneurs d'information, par exemple des fichiers, et à spécifier une politique de flux d'information permettant de décrire les flux autorisés. Pour cela, nous avons tout d’abord développé un moniteur DIFT, flexible et non invasif pour le processeur, en utilisant les composants de traces ARM CoreSight. Pour prendre en compte les flux d’information qui se produisent dans les différentes couches, du système d’exploitation aux instructions processeur, nous avons élaboré des analyses statiques dans le compilateur. Ces analyses génèrent des annotations qui décrivent la dissémination des données dans le système lors de son exécution et qui sont utilisées par le moniteur DIFT. Nous avons également développé un module de sécurité pour le noyau Linux afin de prendre en compte les flux d’information à destination ou en provenance des fichiers. L’approche proposée permet ainsi de détecter un large spectre d'attaques de natures différentes.

As part of an ERC (European Research Council) project conducted at Geoazur from 2009 to 2015 by Guust Nolet, an autonomous profiler float equipped with a hydrophone and able to carry up to 8 sensors has been developed. It aims to acquire data in oceanic areas, poorly covered by current instrumentation. However, these data are necessary to carry out studies in various scientific fields, for example, to study the internal structure of the earth in geosciences (via the recording of seismic waves propagating inside the earth), the thermal balance of oceans in climatology, or the distribution of marine mammals in the oceans in biology. Most data must be processed before being transmitted by satellite because of the very limited transmission bandwidth. Data processing applications are usually developed by embedded systems specialists who have a good knowledge of the characteristics specific to the instrument. However, the need to involve these specialists greatly limits the flexibility, or even the ability of scientists to adapt the applications to their needs.In order to enable scientists to write applications for the instrument, we have created the MeLa (Mermaid Language) programming language, specifically designed for the Mermaid float. The language makes it possible to hide embedded systems specific aspects. It is based on computer models that allow computing the resources usage of the instrument (i.e., processor, power, satellite transmission) in order to ensure that the instrument limits are not exceeded. Models are also used to compose (i.e., combine) several applications to be installed on the same instrument and to ensure that they are compatible. Finally, models are used to generate reliable and efficient code (i.e., without bugs and efficient), on the one hand, to simulate applications on a personal computer and verify their behavior, and, on the other hand, to generate the embedded code used to program the instruments.This thesis is organized into four chapters. In the first chapter, we start by presenting the scientific and social issues involved in the acquisition of data in the oceans, then we introduce the Mermaid float and how it can respond to these issues and end by presenting different programming approaches for this type of instrument. The second chapter corresponds to an article published in the OCEANS 2019 conference proceedings. It shows the technical aspects of the MeLa language and in particular how we use models and how the approach is validated on an Arduino development board. The third chapter corresponds to an article published in the Sensors journal and is more focused on the use of language, a development method is proposed, and two applications are developed for the detection of earthquakes and the detection of blue whales. In the final chapter, we summarize the conclusions and offer a perspective of future developments., Dans le cadre d’un projet ERC (European Research Council) mené à Geoazur de 2009 à 2015 par Guust Nolet, un flotteur profileur autonome équipé d’un hydrophone et pouvant accueillir jusqu’à 8 capteurs a été développé. Il vise à acquérir des données en zones océaniques, faiblement couvertes par l’instrumentation actuelle. Ces données sont pourtant nécessaires pour réaliser des études dans différents domaines scientifiques, par exemple, pour étudier la structure interne de la terre en géosciences (via l’enregistrement d’ondes sismiques ayant traversées l’intérieur de la terre), le bilan thermique des océans en climatologie, ou encore la répartition des cétacés dans les océans en biologie. Toutes ces données doivent être traitées avant leur transmission à cause des capacités de transmission par satellite qui sont très limités. Les applications de traitement des données sont usuellement développées par des spécialistes en systèmes embarqués ayant une bonne connaissance des caractéristiques spécifiques à l’instrument. Cependant, passer par ces spécialistes limite grandement les capacités d’adaptation des applications en fonction des besoins des scientifiques.Afin de permettre aux scientifiques d’écrire des applications pour l’instrument, nous avons créé le langage de programmation MeLa (Mermaid Language), spécifiquement conçu pour le flotteur Mermaid. Le langage permet de cacher les aspects propres aux systèmes embarqués. Il est basé sur des modèles informatiques à partir desquels nous calculons l’utilisation des ressources de l’instrument (i.e., processeur, énergie, transmission satellite) afin de s’assurer que les limites de l’instrument ne soient pas dépassées. Les modèles sont aussi utilisés pour composer (i.e., combiner) plusieurs applications devant être installées sur un même instrument et s’assurer qu’elles sont compatibles. Finalement, les modèles sont utilisés pour générer du code fiable et efficace (i.e., sans bugs et performant), d’une part pour simuler les applications sur un ordinateur personnel et vérifier leurs comportements, et d’autre part pour générer le code embarqué servant à la programmation des instruments.Ce manuscrit de thèse est organisé en quatre chapitres. Dans le premier chapitre, nous commençons par la présentation des différentes problématiques scientifiques et sociales concernées par l’acquisition de données dans les océans, nous introduisons ensuite le flotteur Mermaid et la manière dont il peut répondre à ces problématiques et terminons par présenter les différentes approches de programmation de ce type d’instruments. Le deuxième chapitre correspond à un article publié à l’occasion de la conférence OCEANS 2019. Il décrit les aspects techniques du langage MeLa et en particulier la manière dont nous utilisons les modèles et validons cette approche sur une carte de développement Arduino. Le troisième chapitre correspond à un article publié dans la revue Sensors et est plus axé sur l’utilisation du langage, une méthode de développement est proposée et deux applications sont présentées pour la détection de séismes et la détection de baleines bleues. Dans le chapitre final, nous récapitulons les conclusions et offrons une perspective des développements futurs.

The objective of this work, in the context of the European RADSAGA project, is to propose a new methodology for radiation hardness assurance of digital systems. We investigate the possibility to define an intermediate approach that would combine the concept of system-level testing with the existing knowledge and best practices of component-level methods. Our methodology is developed and applied to two recent generations of system-on-modules based on 28-nm Planar and 16nm FinFET system-on-chips. A specific instrumentation was designed and added to the case study software and firmware application to improve the observability of the failures during system-level test campaigns performed with atmospheric-like neutrons, high-energy protons, pulsed laser and X-rays. The results are analyzed and the lessons learned from the experimental campaigns are summarized. Finally, the methodology limitations and possible improvements are reviewed.; L'objectif de ce travail, réalisé dans le cadre du projet Européen RADSAGA, est de proposer une nouvelle méthodologie pour l’évaluation de la tenue aux radiations des systèmes numériques. Nous étudions la possibilité de définir une approche intermédiaire combinant le test au niveau système avec les connaissances et les méthodes connues au niveau composant. La méthodologie proposée est construite et appliquée à deux générations récentes de systèmes-sur-modules basés sur des systèmes-sur-puce en technologie 28nm et 16nm FinFET. Une instrumentation spécifique est développée et intégrée à l’application logicielle testée afin d’améliorer l’observabilité des évènements durant des campagnes de test au niveau système menées avec différents types de faisceaux : neutrons atmosphériques, protons de haute énergie, impulsions laser et rayons X. Les résultats sont présentés et analysés, et les retours d’expérience sont résumés. La méthodologie passerelle proposée est alors détaillée et ses limitations et possibilités d’amélioration sont discutées.

The increasing complexity of embedded systems renders them more vulnerable to software bugs, design errors and security flaws. Therefore, there is a growing need for verification and validation activities. To execute and analyze models of these systems, transformations are usually required to obtain (i) the executable code that can be deployed on embedded targets as well as (ii) analysismodels used to apply formal verification techniques (e.g., model-checking). However, these typically unproven transformations are responsible for semantic gaps and require to establish an equivalence relation between executable code and analysis models to ensure that what is executed is what has been verified. To unify analysis activities and embedded execution of these models, the EMI approach (= embedded model interpreter approach) relies on a controllable model interpreter that uses a unique pair (model + semantics) for all software development activities. To evaluate this approach, a UML model interpreter has been designed and applied on different case studies of embedded systems to perform multiple analysis activities (e.g., simulation, animation, debugging, model-checking, monitoring).; La complexité croissante des systèmes embarqués les expose à davantage de bogues logiciels, d’erreurs de conception et de failles de sécurité. Les besoins en vérification et en validation sont donc de plus en plus importants. Pour exécuter et analyser des modèles de ces systèmes, des transformations sont généralement nécessaires pour obtenir (i) le code exécutable pouvant être déployé sur une cible embarquée et (ii) des modèles d’analyse permettant d’appliquer des techniques de vérification formelle (p. ex. de model-checking). Cependant, ces transformations typiquement non-prouvées sont à l’origine de fossés sémantiques et nécessitent d’établir une relation d’équivalence entre le code exécutable et les modèles d’analyse afin de garantir que ce qui est exécuté est bien ce qui a été vérifié. Pour unifier les activités d’analyse et l’exécution embarquée de modèles, l’approche EMI (= embedded model interpreter) repose sur un interpréteur de modèles pilotable permettant d’utiliser un unique couple (modèle + sémantique) pour toutes les activités de développement logiciel. Pour évaluer cette approche, un interpréteur de modèles UML a été conçu et appliqué à différents cas d’études de systèmes embarqués afin de mettre en oeuvre diverses activités d’analyse (p. ex. simulation, animation, débogage, model-checking, monitoring).

We are interested in the programming and compilation of reactive, real-time systems. More specifically, we would like to understand the fundamental principles common to generalpurpose and synchronous languages—used to model reactive control systems—and from this to derive a compilation flow suitable for both high-performance and reactive aspects of a modern control application. To this end, we first identify the key operational mechanisms of synchronous languages that SSA does not cover: synchronization of computations with an external time base, cyclic I/O, and the semantic notion of absent value which allows the natural representation of variables whose initialization does not follow simple structural rules such as control flow dominance. Then, we show how the SSA form in its MLIR implementation can be seamlessly extended tocover these mechanisms, enabling the application of all SSA-based transformations and optimizations. We illustrate this on the representation and compilation of the Lustre dataflow synchronous language. Most notably, in the analysis and compilation of Lustre embedded into MLIR, theinitialization-related static analysis and code generation aspects can be fully separated from memory allocation and causality aspects, the latter being covered by the existing dominance-based algorithms of MLIR/SSA, resulting in a high degree of conceptual and code reuse. Our work allowsthe specification of both computational and control aspects of high-performance real-time applications. It paves the way for the definition of more efficient design and implementation flows where real-time ressource allocation drives parallelization and optimization.; Nous traitons de la programmation et de la compilation de systèmes réactifs, temps-réel. En particulier, nous cherchons à comprendre les principes fondamentaux communs à la programmation généraliste et aux langages synchrones—utilisés pour modéliser les systèmes de contrôle—et de là nous dérivons une méthode de compilation adaptée aux aspects réactifs et haute performance d’une application moderne. À cette fin, nous commençons par identifier les mécanismes des langages synchrones que SSA n’implémente pas : la synchronisation des calculs avec une base de temps externe, les entrées-sorties cycliques, et la notion sémantique de valeur absente, qui permet la représentation naturelle de variables dont l’initialisation ne suit pas de simples règles structurelles. Ensuite, nous montrons de quelle manière la forme SSA, dans l’implémentation de MLIR, peut être étendue pour implémenter ces mécanismes et leur appliquer toutes les transformations et optimisations basées sur SSA. Nous illustrons ces mécanismes par la représentation et la compilation du langage synchrone, flot de données Lustre. Nous montrons que les problèmes d’analyse statique pour l’initialisation, de génération de code, peuvent être entièrement distingués des problèmes d’allocation mémoire et de causalité, ces derniers étant pris en charge par les algorithmes d’analyse de la dominance de MLIR/SSA, ce qui permet un haut niveau de réutilisation du code et des concepts. Notre travail permet la spécification d’applications temps-réel, du point de vue du contrôle comme du calcul. Il ouvre la voie à ladéfinition de processus de conception et d’implémentation plus efficaces, où la parallélisation et l’optimisation procèdent de l’allocation des ressources temps-réel.

High dynamic range (HDR) image generation using temporal exposure bracketing is widely used to recover the whole dynamic range of a filmed scene by fusion of two or more low dynamic range (LDR) images. Temporal exposure bracketing technique should be employed for static scenes and it cannot be applied directly for dynamic scenes. Motions introduced by moving objects in the LDR stack images create ghosts artifacts in the reconstructed HDR image. In this thesis, we have studied and evaluated a large nuber of algorithms used to correct or avoid these artifacts and we mad a trade-off between robustness and complexity in order to propose a real-time HDR video generation system.The real-time HDR image generation system is implemented on a FPGA circuit. This FPGA-based smart camera is presented with some experimental results to demonstrate the selected method and design efficiency. The proposed system enables HDR video streams, including ghost removal processing, to be generated at 60 f ps for a full sensor resolution (1280 × 1024).; La génération d’images à grande gamme de dynamique (HDR) à l’aide de plusieurs expositions est largement utilisée pour récupérer la gamme de dynamique entière d’une scène filmée. La technique se base sur la fusion de deux images (ou plus) à faibles gamme de dynamique(LDR). Cependant, cette technique doit être utilisée pour les scènes statiques et elle ne peut pas être appliquée directement pour les scènes contenant du mouvement. Les mouvements introduits par les objets dans les images de pile d’images LDR créent des artefacts fantômes dans l’image HDR reconstruite.Dans cette thèse, nous avons étudié et évalué un grand nombre d’algorithmes utilisés pour corriger ou éviter ces artefacts. Nous avons fait un compromis entre robustesse et complexité dans le choix de la méthode permettant la suppression de cet artefact afin de proposer un système de générationde vidéo HDR en temps réel (caméra intelligente). Ce dernier est implémenté sur un circuit FPGA.Cette caméra intelligente basée sur un FPGA est présentée avec des résultats expérimentaux de la conception démontrant l’efficacité de la méthode sélectionnée. Le système proposé permet de générer des flux vidéo HDR, y compris le processus de suppression des artefacts fantômes, à 60images/s pour une résolution de capteur complète (1280 × 1024).

High dynamic range (HDR) image generation using temporal exposure bracketing is widely used to recover the whole dynamic range of a filmed scene by fusion of two or more low dynamic range (LDR) images. Temporal exposure bracketing technique should be employed for static scenes and it cannot be applied directly for dynamic scenes. Motions introduced by moving objects in the LDR stack images create ghosts artifacts in the reconstructed HDR image. In this thesis, we have studied and evaluated a large nuber of algorithms used to correct or avoid these artifacts and we mad a trade-off between robustness and complexity in order to propose a real-time HDR video generation system.The real-time HDR image generation system is implemented on a FPGA circuit. This FPGA-based smart camera is presented with some experimental results to demonstrate the selected method and design efficiency. The proposed system enables HDR video streams, including ghost removal processing, to be generated at 60 f ps for a full sensor resolution (1280 × 1024)., La génération d’images à grande gamme de dynamique (HDR) à l’aide de plusieurs expositions est largement utilisée pour récupérer la gamme de dynamique entière d’une scène filmée. La technique se base sur la fusion de deux images (ou plus) à faibles gamme de dynamique(LDR). Cependant, cette technique doit être utilisée pour les scènes statiques et elle ne peut pas être appliquée directement pour les scènes contenant du mouvement. Les mouvements introduits par les objets dans les images de pile d’images LDR créent des artefacts fantômes dans l’image HDR reconstruite.Dans cette thèse, nous avons étudié et évalué un grand nombre d’algorithmes utilisés pour corriger ou éviter ces artefacts. Nous avons fait un compromis entre robustesse et complexité dans le choix de la méthode permettant la suppression de cet artefact afin de proposer un système de générationde vidéo HDR en temps réel (caméra intelligente). Ce dernier est implémenté sur un circuit FPGA.Cette caméra intelligente basée sur un FPGA est présentée avec des résultats expérimentaux de la conception démontrant l’efficacité de la méthode sélectionnée. Le système proposé permet de générer des flux vidéo HDR, y compris le processus de suppression des artefacts fantômes, à 60images/s pour une résolution de capteur complète (1280 × 1024).

Aircraft operability characterizes the ability of anaircraft to meet operational requirements in terms of reliability, availability, risks and costs. Airlines policy must cope with operational decision-making and maintenance planning to handle the impacts of any event that generates a maintenance demand during operations. Aircraft operability is therefore considereda major requirement by each airline. The subject reaches a complexity level that deserves investigations in a Model-Based System Engineering (MBSE) approach enabling abstractions, as well as simulation and formal verification of models. In this paper, aircraft operability is modeled using Finite State Machines(FSM) supported by SysML. Simulation and model checking techniques are used to evaluate the impact of an event on airline operations using operability Key Performance Indicators (KPIs)such as reliability, availability and cost. The modeling frameworkis demonstrated on a case study of air-conditioning pack. This kind of operability analysis helps to project the potential impactof aircraft design on airline operations early in the aircraft development.

The rise of Internet of Things (IoT) in recent years has profoundly changed our relationship with technology. Industriesare experiencing new technological and economic models while households are opening up to new uses for them. IoT isseen as a new market opportunity and the approach adopted for the management of these things is mainly based on thecentralization of processing and data in datacenter. However, numerous studies have shown the advantages offered bydecentralization in this area: better fault tolerance, increased mobility, greater scalability, and easier deployment. Ourwork focuses on the analysis of organizational choices so that connected things can carry their data and processing in adecentralized way. The multi-agent paradigm offers multiple vehicles to facilitate the response to this approach. Itdescribes the behavior of autonomous entities acting in a common environment. For this, we propose an approach thatallows agents to be adapted to the complexity of different hardware architectures. The goal is to consider objects as"Internet of Things - agent", IoT-a. Each element progresses autonomously and has sufficient means to interact withothers in order to create new kinds of behavior. We have focused on communication issues, with heterogeneousembedded systems, by presenting a dynamic communication model. This model allows the active sharing ofinformation at different levels of application and hardware between agents. We have defined the notions of localcentralization and collective decentralization of IoT-a constellations, allowing the autonomous evolution of things agentin a proactive environment. We have experimented our proposal through the real implementation of a set of IoT-a,forming a wall of screens, capable of responding to several types of applications in a decentralized way. For itsvalidation and evaluation, a scenario focuses on the interoperability of the system. The removal and addition of plugand play screens during the diffusion of visuals allows to adapt the video flows to the screen surface available. Severalprototypes of dynamic visualization tools have been proposed within the context of a CIFRE thesis partnership with thecompany SARP-VEOLIA.; L'essor des objets connectés (Internet of Things, IoT) depuis ces dernières années change profondément nos liens avecla technologie. Les industries connaissent de nouveaux modèles technologiques et économiques pendant que les foyerss'ouvrent à des usages inédits. L'IoT est vu comme une nouvelle opportunité de marché et l'approche adoptée pour lagestion de ces objets repose principalement sur la centralisation des traitements et des données dans des fermes deserveurs. Pourtant de nombreux travaux montrent les atouts offerts par la décentralisation dans ce domaine : meilleuretolérance aux pannes, mobilité accrue, gain en évolutivité, ou encore déploiement facilité. Nos travaux portent surl'analyse des choix d'organisations afin que les objets connectés puissent porter leurs données et leurs traitements defaçon décentralisée. Le paradigme multi-agents offre de multiples leviers facilitant la réponse à cette approche. Il décritle comportement d'entités autonomes agissant dans un environnement commun. Pour cela, nous proposons uneapproche permettant d'adapter des agents à la complexité des architectures matérielles. L'objectif est de considérer lesobjets comme des « Internet of Things - agent », IoT-a. Chaque élément progresse de façon autonome et dispose desmoyens suffisants pour interagir avec d'autres afin de créer de nouveaux comportements. Nous nous concentrons sur lesproblématiques de communication, avec des systèmes embarqués hétérogènes, en présentant un modèle decommunication dynamique. Il permet le partage actif d'informations à différents niveaux applicatifs et matériels entreles agents. Nous définissons les notions de centralisation locale et décentralisation collective de constellations d'IoT-a,permettant l'évolution autonome des objets agents dans un environnement proactif. Nous expérimentons notreproposition au travers de la mise en œuvre réelle d'un ensemble d'IoT-a, formant un mur d'écrans, capable de répondreà plusieurs types d'applications de façon décentralisée. Pour sa validation et son évaluation, un scénario se focalise surl'interopérabilité du système. Le retrait et l'ajout d'écrans, à la volée, durant la diffusion de visuels permet d'adapter lesflux vidéos à la surface d'écrans disponible. Plusieurs prototypes d'outils de visualisation dynamique ont été proposésdans le cadre d'un partenariat de thèse CIFRE avec l'entreprise SARP-VEOLIA.

We present PCach, a smartphone-based approach for relieving the congestion in cellular network resulting from the exponential growth in mobile data traffic. The basic idea underlying PCach is simple: use WiFi to proactively cache content on the smartphone's memory, which otherwise would have been delivered through the cellular network. However, it leads to several challenging questions, including how much mobile data actually flows through cellular networks, how much data can be pre-cached, and when and what to pre-cache. We address these questions progressively using a thorough analysis of user data collected from our purpose-built crowdsensing Android application, actively utilized by 45 users for periods dating back to July 2014. Our analysis shows that the median smartphone user transfers 15% of their data via the cellular network and that 80\% of it can be pre-cached via WiFi. To capitalize on these results, we draw on a careful analysis of the measurement data to introduce an algorithm that can run stand-alone on off-the-shelf smartphones and predict with good accuracy when and what to pre-cache., Comment: To appear as a 4p paper in the proceedings of the 43nd IEEE Conference on Local Computer Networks (LCN), Chicago, USA, October 1-4, 2018

International audience; We consider single-server scheduling to minimize holding costs where the capacity, or rate of service, depends on the number of jobs in the system, and job sizes become known upon arrival. In general, this is a hard problem, and counter-intuitive behavior can occur. For example, even with linear holding costs the optimal policy may be something other than SRPT or LRPT, it may idle, and it may depend on the arrival rate. We first establish an equivalence between our problem of deciding which jobs to serve when completed jobs immediately leave, and a problem in which we have the option to hold on to completed jobs and can choose when to release them, and in which we always serve jobs according to SRPT. We thus reduce the problem to determining the release times of completed jobs. For the clearing, or transient system, where all jobs are present at time 0, we give a complete characterization of the optimal policy and show that it is fully determined by the cost-to-capacity ratio. With arrivals, the problem is much more complicated, and we can obtain only partial results. We show that if the cost-to-capacity ratio is linear, then all non-idling policies yield the same average cost. We further characterize the optimal policy in some special cases. For example, we show that as long as capacity is increasing in the number of jobs, LRPT stochastically minimizes the mean busy period.

AUTOSAR (AUTomotive Open System ARchitecture) has been created by automotive manufacturers, suppliers and tools developers in order to establish an open industry standard for automotive E/E(Electrical/Electronic) architectures. AUTOSAR provides a set of concepts and defines a common methodology to develop automotive software platforms. The key features of this standard are modularity and configurability of automotive software; this allows functional reuse of software modules provided by different suppliers and guarantees interoperability of these modules through standardized interfaces. However, the development of an embedded application according to AUTOSAR necessitates configuring a lot of parameters related to the large number of Software Components (SWCs), their allocations to the hardware platform and then, the configurationof each Electronic Control Unit (ECU). Different alternatives are possible during the design of such systems. Each implementation decision may impact system performance and needs therefore to be evaluated and compared against performance constraints and optimization goals. In this thesis, we introduce a holistic optimization approach to synthesizearchitecture E/E of an embedded AUTOSAR system. This approach is based on heuristic and metaheuristic methods. The metaheuristics (e.g. genetic algorithm) has the role to find the most satisfactory allocations of SWCs to ECUs. Each allocation step, two heuristics are developed to solve the problem of the ECU configuration (the number of tasks and priorities, allocation of runnables to tasks, etc.) and networks configuration (the number of messagesand priorities, allocation of data-elements to messages, etc.). In order to evaluate the performance of each allocation, we propose a new analysis method to calculate the response time of tasks, runnables, and end-to-end paths. The architectural exploration approach proposed by this thesis considers the model for periodic applications and is evaluated using generic and industrial applications.; AUTOSAR (AUTomotive Open System Architecture) est un standard industriel mondial créé en 2003 dans le but de standardiser le développement des architectures logicielles automobiles. Il fournit un ensemble de concepts et définit une méthodologie commune pour le développement des logiciels embarqués automobiles. Les principales caractéristiques de ce standard sont la modularité et la « configurabilité» de logiciels qui permettent la réutilisation fonctionnelle des modules logiciels fournis par des fournisseurs différents. Cependant,le développement d’une application embarquée AUTOSAR nécessite la configuration d’un grand nombre de paramètres liés principalement au grand nombre de composants logiciels (software component« SWC ») de l’application. Cette configuration commence par l’étape d’allocation des SWCs à la plateforme matérielle (calculateursconnectés par des réseaux), jusqu’à l’étape de configuration de chaque calculateur et du réseau de communication. Différentes alternatives sont possibles pendant ces étapes de configuration etc chaque décision de conception peut impacter les performances temporelles du système, d’où la nécessité d’automatiser ces étapes de configuration et de développer un outil d’évaluation d’architectures.Dans ce travail de thèse, nous introduisons une approche holistique d’optimisation afin de synthétiser l’architecture E/E d’un système embarqué AUTOSAR. Cette approche se base sur des méthodes métaheuristique et heuristique. La méthode métaheuristique (i.e. algorithme génétique) a le rôle de trouver les allocations les plus satisfaisantes des SWCs aux calculateurs. A chaque allocation proposée, deux méthodes heuristiques sont développées afin de résoudre le problème de la configuration des calculateurs (le nombre de tâches et ses priorités, allocation des runnables aux tâches, etc.) et des réseaux de communication (le nombre de messages et ses priorités, allocation des « data-elements » aux messages,etc.). Afin d’évaluer les performances de chaque allocation, nous proposons une nouvelle méthode d’analyse pour calculer le temps de réponse des tâches, des runnables, et de bout-en-bout de tâches/runnables. L’approche d’exploration architecturale proposée par cette thèse considère le modèle des applications périodiques et elle est évaluée à l’aide d’applications génériques et industrielles.

Preprint; International audience; As the power demand of datacenters is increasing sharply, a promising solution is to power datacenters locally by renewable energies. However, one of the main challenges when operating such green datacenters is to conciliate the intermittent power supply and the power demand. To deal with this problem, we view the green datacenter as two sub-systems, namely, Information Technology (IT) sub-system which consumes energy, and electrical sub-system which supplies energy. The objective is to find an efficient trade-off between the power demand and power supply, respecting the operational requirements of both sub-systems (i.e., the requirements on utility, or monetary gain, which includes monetary revenue and monetary cost). First, we analyze the problem by a black-box approach. In this approach, the models of the two sub-systems are unknown to each other, and the two sub-systems negotiate by exchanging their power preferences. However, we found that the black-box approach cannot guarantee stable solutions in term of execution time and generational distance (which is the distance between a solution and the Pareto front). Then we introduce a semi black-box approach, in which the two sub-systems are modeled as the buyer and the supplier in a buyer–supplier negotiation game. We propose an algorithm that allows the buyer and supplier to negotiate, seeking for an efficient trade-off between the power demand and power supply. The analytical results show that the semi black-box algorithm converges to equilibrium, and these results are then confirmed by experimental results. We conduct the experiments by implementing a middleware of a datacenter powered by renewable energies. The experimental results show that the semi black-box algorithm improves significantly the stability, quality of service (QoS) and utility of the datacenter, compared to other algorithms. In term of stability, compared to the black-box algorithm, the semi black-box algorithm reduces the standard deviation of execution time and generational distance by 23 and 27 times, respectively. In term of QoS and utility, the semi black-box algorithm outperforms the algorithms that do not consider joint IT-energy management, as well as the algorithms that do not utilize a semi black-box design

Round-based models are very common message-passing models; combinatorial topology applied to distributed computing provides sweeping results like general lower bounds. We combine both to study the computability of k-set agreement. Among all the possible round-based models, we consider oblivious ones, where the constraints are given only round per round by a set of allowed graphs. And among oblivious models, we focus on closed-above ones, that is models where the set of possible graphs contains all graphs with more edges than some starting graphs. These capture intuitively the underlying structure required by some communication model, like containing a ring. We then derive lower bounds and upper bounds in one round for k-set agreement, such that these bounds are proved using combinatorial topology but stated only in terms of graph properties. These bounds extend to multiple rounds when limiting our algorithms to be oblivious - recalling only pairs of processes and initial value, not who send what and when.

Model-Based Testing (MBT) relies on models of a System Under Test (SUT) to derive test cases for said system. While Finite State Machine (FSM), workflow, etc. are widely used to derive test cases for WIMP applications (i.e. applications depending on 2D widgets such as menus and icons), these notations lack the expressive power to describe the interaction techniques and behaviors found in post-WIMP applications. In this paper, we aim at demonstrating that thanks to ICO, a formal notation for describing interactive systems, it is possible to generate test cases that go beyond the state of the art by addressing the MBT of advanced interaction techniques in post-WIMP applications., (undefined)

This thesis is dedicated to the improvement of dynamic analysis techniques allowing the verification of software designed for embedded systems, commonly called firmware. It is clear that the increasing pervasiveness and connectivity of embedded devices significantly increase their exposure to attacks. The consequences of a security issue can be dramatic not least in the economical field, but on the technical stage as well. Especially because of the difficulty to patch some devices. For instance, offline devices or code stored in a mask rom which are read only memory programmed during the chip fabrication. For all these reasons, it is important to thoughtfully test firmware program before the manufacturing process. This thesis presents analysis methods for system-wide testing of security and hardware components. In particular, we propose three impvrovements for partial emulation. First, Inception a dynamic analysis tool to test the security of firmware programs even when mixing different level of semantic (e.g., C/C++ mixed with assembly). Second, Steroids a high performance USB 3.0 probe that aims at minimizing the latency between the analyzer and the real device. Finally, HardSnap a hardware snapshotting method that offers higher visibility and control over the hardware peripherals. It enables testing concurently different execution paths without corrupting the hardware peripherals state., Cette thèse se consacre à l'amélioration des techniques d'analyse dynamiques permettant la vérification de logiciels conçus pour des systèmes embarqués, couramment appelé micrologiciel. Au vu de l'augmentation significative de la connectivité des appareils électroniques, les préoccupations concernant leur sécurité s'intensifient. Les conséquences d'une faille de sécurité sur ces appareils peuvent impliquer des répercussions économiques non négligeables et des difficultés techniques importantes pour appliquer un correctif. C’est le cas notamment des amorceurs de code qui sont généralement stockés sur des mémoires mortes et intégrées dans les couches physiques qui constituent le microcontrôleur. Par conséquent, l’analyse de code source spécifique aux systèmes embarqués pendant la phase de production des micro-contrôleurs est cruciale. Cette thèse présente des techniques d'analyse afin de tester la sécurité de composants logiciel et matériel à l'échelle du système. En particulier, nous nous intéressons aux techniques de test basé sur l'émulation partielle dont nous améliorons les capacités avec trois nouvelles approches. Premièrement, Inception un outil d’analyse dynamique permettant d’appliquer des méthodes de tests exhaustifs (exécution symbolique) sur le code source de micrologiciel même lorsque ce dernier dépend de code plus bas niveau (exemple, code binaire ou assembleur). Deuxièmement, une sonde haute performance basé sur le protocol USB 3.0 afin de réduire la latence lors des communications entre l'outil d'analyse et le vrai matériel. Troisièmement, HardSnap une méthode permettant de générer des instantanés des périphériques matériel afin d'augmenter le contrôle et la visibilité lors de l'exécution symbolique. Cet outil permet de réaliser une exploration concurrente de plusieurs chemins d'exécution sans inconsistance.

Les outils de programmation sont des programmes informatiques qui aident les humains à programmer des ordinateurs. Les outils sont de toutes formes et tailles, par exemple les éditeurs, les compilateurs, les débogueurs et les profileurs. Chacun de ces outils facilite une tâche principale dans le flux de travail de programmation qui consomme des ressources cognitives lorsqu’il est effectué manuellement. Dans cette thèse, nous explorons plusieurs outils qui facilitent le processus de construction de systèmes intelligents et qui réduisent l’effort cognitif requis pour concevoir, développer, tester et déployer des systèmes logiciels intelligents. Tout d’abord, nous introduisons un environnement de développement intégré (EDI) pour la programmation d’applications Robot Operating System (ROS), appelé Hatchery (Chapter 2). Deuxièmement, nous décrivons Kotlin∇, un système de langage et de type pour la programmation différenciable, un paradigme émergent dans l’apprentissage automatique (Chapter 3). Troisièmement, nous proposons un nouvel algorithme pour tester automatiquement les programmes différenciables, en nous inspirant des techniques de tests contradictoires et métamorphiques (Chapter 4), et démontrons son efficacité empirique dans le cadre de la régression. Quatrièmement, nous explorons une infrastructure de conteneurs basée sur Docker, qui permet un déploiement reproductible des applications ROS sur la plateforme Duckietown (Chapter 5). Enfin, nous réfléchissons à l’état actuel des outils de programmation pour ces applications et spéculons à quoi pourrait ressembler la programmation de systèmes intelligents à l’avenir (Chapter 6)., Programming tools are computer programs which help humans program computers. Tools come in all shapes and forms, from editors and compilers to debuggers and profilers. Each of these tools facilitates a core task in the programming workflow which consumes cognitive resources when performed manually. In this thesis, we explore several tools that facilitate the process of building intelligent systems, and which reduce the cognitive effort required to design, develop, test and deploy intelligent software systems. First, we introduce an integrated development environment (IDE) for programming Robot Operating System (ROS) applications, called Hatchery (Chapter 2). Second, we describe Kotlin∇, a language and type system for differentiable programming, an emerging paradigm in machine learning (Chapter 3). Third, we propose a new algorithm for automatically testing differentiable programs, drawing inspiration from techniques in adversarial and metamorphic testing (Chapter 4), and demonstrate its empirical efficiency in the regression setting. Fourth, we explore a container infrastructure based on Docker, which enables reproducible deployment of ROS applications on the Duckietown platform (Chapter 5). Finally, we reflect on the current state of programming tools for these applications and speculate what intelligent systems programming might look like in the future (Chapter 6).

In many applications, noisy video can be a major problem. There are denoising methods with highly effective denoising capabilities but at the cost of a very high computational complexity. Other faster methods are limited in their applications since they does not handle high levels of noise correctly. For many applications, it is however very important to preserve a good image quality in every situation with sometimes strong embedding constraints. In this work, the goal is to propose an embedded solution for live video denoising. The method needs to remain efficient with even under high level of noise. We limit our work to embedded CPU under 30W of power consumption. This work led to a new video denoising algorithm called RTE-VD: Real-Time Embedded Video Denoising. RTE-VD is composed of 3 steps: stabilization, movement compensation by dense optical flow estimation and spatio-temporal filtering. On an embedded CPU (Jetson AGX), RTE-VD runs at 30 frame per seconds on qHD videos (960x580 pixels). In order to achieve such performance, many compromises and optimizations had to be done. We compare RTE-VD to other state-of-the-art methods in both terms of denoising capabilities and processing time. We show that RTE-VD brings a new relevant tradeoff between quality and speed., Pour beaucoup d'applications, la présence de bruit dans les vidéos peut être un problème majeur. Des algorithmes de débruitage existent, la plupart sont qualitativement très efficaces mais au prix d'un temps de traitement trop important pour pouvoir envisager une implémentation temps réel embarquée. D'autres méthodes, plus rares, peuvent être exécutées en temps réel mais gèrent mal les forts niveaux de bruit. Pour bon nombre d'applications, il est cependant important de conserver une bonne qualité d'images en toutes conditions avec parfois d'importantes contraintes d'embarquabilité. Dans ces travaux, nous cherchons à proposer une solution de débruitage vidéo qui permet un traitement en direct sur des systèmes embarqués. La solution proposée doit rester efficace même pour de forts niveaux de bruit. Ici, nous nous limitons à l'utilisation de CPU embarqués d'une consommation inférieure à 30W. Les travaux menés dans le cadre de cette thèse ont permis la mise en place d'une chaîne de débruitage nommée RTE-VD (Real-Time Embedded Video Denoising). RTE-VD se décompose en trois étapes : stabilisation, recalage temporel par flot optique et filtrage spatio-temporel. Sur un CPU embarqué (Jetson AGX), RTE-VD permet de traiter à une cadence de 30 images par seconde, des vidéos au format qHD (960x540 pixels). Afin de pouvoir atteindre ces performances, de nombreux compromis et optimisations ont dû être faits. Nous comparons RTE-VD à d'autres méthodes de référence de la littérature à la fois en termes de qualité du débruitage et de vitesse d'exécution. Nous montrons que RTE-VD apporte un nouveau positionnement pertinent au niveau du rapport qualité/vitesse.

Field-Programmable Gate Arrays (FPGAs) have been gaining popularity in heterogeneous architectures due to their high efficiency, reliability, low energy consumption and high performance. Such reconfigurable computing devices come with ever greater quantities of on-chip resources, allowing the development of more complex variety of applications. Therefore, the trend is that technique giants such as Amazon, Microsoft, and Baidu embrace FPGAs to meet their critical computing requirements. In addition, the ability to reprogram these devices in the field is being developed for reliability in application domains such as military, military, aerospace, and nuclear power stations. The management of reconfigurable FPGAs devices constitutes a hot topic in a lot of domains. In such devices, a reconfigurable fabric is generally combined with a processor to guarantee high computing performance with a limited amount of hardware resources. Most of these devices generally feature an operating system (OS) that requires to interact with hardware resources such as accelerators or Intellectual Property (IP) blocks. Software tasks that run on top of the OS may then access hardware resources concurrently and dedicated mechanisms have to be provided to manage resource sharing efficiently. The problem is even bigger if hardware resources are localized in a reconfigurable area that can implement various designs in time. Some IPs may be accessed from tasks with different priorities and preemption mechanisms have to be imagined, as in software. In case of preemption, one issue consists in suspending the IPs and restart them from the very same point of preemption at another time and/or in another position of the reconfigurable part of the FPGA. An hardware accelerator must be able to preserved its internal state and its memory contents so that when it is resumed later, its execution can continue from its preemption point. However, one challenge of partial reconfiguration and context saving/restoring is that it is time consuming, especially as IPs are constantly being reconfigured. In this thesis, we deal with the problem of sharing hardware resources in a reconfigurable device. First, we present simple examples related to hardware resources management and describe how users may benefit from the hardware part to accelerate the access to resources. Second, we proposed new preemption mechanisms on the Reconfigurable System-on-Chip (RSoC) to efficiently and safely manage these reconfigurable resources, which may reduce the reconfiguration time overhead to be compatible with the timing constraints of most embedded applications., Les Field-Programmable GateArrays (FPGA) sont de plus en plus présents dans les architectures hétérogènes en raison de leur grande efficacité, de leur fiabilité, de leur faible consommation d'énergie et de leurs performances élevées. Ces dispositifs logiques reconfigurables sont dotés de quantités toujours plus importantes de ressources sur puce, ce qui permet de développer une variété d'applications de plus en plus complexes. La croissance est telle que des géants du numérique tels qu'Amazon, Microsoft et les opérateurs adoptent les FPGA pour répondre à leurs besoins informatiques critiques. En outre, la capacité de reprogrammer ces dispositifs in situ est développée pour assurer la fiabilité dans des domaines d'application tels que l'armée, l'aérospatiale et les centrales nucléaires. La gestion de la reconfiguration des dispositifs FPGA constitue un sujet brûlant dans ces domaines. Dans ces dispositifs, une structure reconfigurable est généralement associée à un processeur pour garantir des performances de calcul élevées avec une quantité limitée de ressources matérielles. La plupart de ces dispositifs sont généralement dotés d'un système d'exploitation (OS) qui nécessite d'interagir avec des ressources matérielles telles que des accélérateurs ou des blocs de propriété intellectuelle (IP). Les tâches logicielles qui s'exécutent sur le système d'exploitation peuvent alors accéder simultanément aux ressources matérielles et des mécanismes dédiés doivent être prévus pour gérer efficacement le partage des ressources. Le problème est encore plus important si les ressources matérielles sont localisées dans une zone reconfigurable qui peut mettre en œuvre différentes IP dans le temps. Certains IP peuvent être accessibles à partir de tâches ayant des priorités différentes et des mécanismes de préemption doivent être imaginés, comme pour les systèmes d"'exploitation logiciels. En cas de préemption, un des problèmes consiste à suspendre les IP et à les redémarrer à partir du même point de préemption, à un autre instant et/ou dans une autre zone reconfigurable du FPGA. Un accélérateur matériel doit pouvoir conserver son état interne et le contenu de sa mémoire afin que, lorsqu'il est repris ultérieurement, son exécution puisse continuer à partir de son point de préemption. Cependant, l'un des défis de la reconfiguration partielle et de la sauvegarde/restauration du contexte est qu'elle introduit des délais supplémentaires, d'autant plus que les IP sont constamment reconfigurés. Dans cette thèse, nous abordons le problème du partage des ressources matérielles dans un dispositif reconfigurable. Tout d'abord, nous présentons des exemples simples liés à la gestion des ressources matérielles et décrivons comment les utilisateurs peuvent bénéficier de la partie matérielle pour accélérer l'accès aux ressources. Ensuite, nous proposons de nouveaux mécanismes de préemption sur le système sur puce reconfigurable (RSoC) pour gérer efficacement et en toute sécurité ces ressources reconfigurables, ce qui peut réduire le temps de reconfiguration pour être compatible avec les contraintes de temps de la plupart des applications embarquées.

Agile heterogeneous embedded computing refers to the consideration of platform architectures as a first class design variable in deploying applications on heterogeneous platforms, which constitute one or more of the following compute engines: FPGA, GPU and CPU. Design flows for agile heterogeneous computing are in the early phases of development. Few state of the art design flows that consider variable platform architectures have the following drawbacks: (1) restricted template-based representations, which cannot express all possible architectural topologies, (2) limited support for concurrent tasks on all three compute engines and (3) design space exploration approaches indirectly consider variable platform architectures, because they are derived from fixed platform design flows, where different platform architectures are iteratively evaluated without closely considering the application's computational needs. This research explores solutions to these three major issues that have yet to be addressed in agile heterogeneous computing design flows. The solutions to these issues are encapsulated into a new design flow called agile heterogeneous computing flow (AhcFlow) that can support both design space exploration and deployment. In order to realise AhcFlow, a new representation to express variable platform architectures called parameterised platform graph (PPG) is conceived, a new intermediate data structure called augmented synchronous dataflow (ArcSDF) is created and a new design space exploration algorithm called agile mapping and scheduling algorithm (AMS) is developed. PPG is a constraint based representation, which unlike template-based representations has higher expressive capabilities to represent the different topologies of agile heterogeneous computing. ArcSDF is a new dataflow based intermediate data structure, which is built on the well-known synchronous dataflow graphs (SDF) to express the architectural decisions together with the application. ArcSDF extends the capabilities of the dataflow paradigm to incorporate computation resource analysis and capital cost analysis. Due to these extra analysis capabilities, ArcSDF is used within design space exploration. The design space exploration algorithm is AMS that considers the variable platform architecture in a fully integrated way together with mapping and scheduling decisions. A prototype of the new design flow (AhcFlow) has been created and shown to be valid both for an exhaustive number of synthetic test cases and for a large real life embedded multi-object visual tracking application. The new analysis capabilities of ArcSDF have been validated through its integration within the design flow prototype. The prototype also consists of a deployment module, which is used to validate the design space exploration predictions with the actual deployment results. The results from the real life tracking application show that design space exploration estimates closely match the deployment results. The new mapping and scheduling algorithm, that also makes architecture topology decisions, has shown to be competitive with published results of applications implemented manually to hand crafted architectures., L'informatique embarquée hétérogène agile fait référence à la prise en compte des architectures de plate-forme en tant que variable de conception de première classe dans le déploiement d'applications sur des plates-formes hétérogènes, qui constituent un ou plusieurs des moteurs de calcul suivants: FPGA, GPU et CPU. Les flux de conception pour l'informatique hétérogène agile en sont aux premières phases de développement. Peu de flux de conception de pointe qui prennent en compte les architectures de plate-forme variables présentent les inconvénients suivants: (1) des représentations basées sur des modèles restreintes, qui ne peuvent pas exprimer toutes les topologies architecturales possibles, (2) une prise en charge limitée des tâches simultanées sur les trois moteurs de calcul et (3 ) Les approches d'exploration de l'espace de conception considèrent indirectement les architectures de plate-forme variables, car elles sont dérivées de flux de conception de plate-forme fixes, où différentes architectures de plate-forme sont évaluées de manière itérative sans prendre en compte de près les besoins de calcul de l'application.Cette recherche explore des solutions à ces trois problèmes majeurs qui n'ont pas encore été abordés dans les flux de conception informatique hétérogène agile. Les solutions à ces problèmes sont encapsulées dans un nouveau flux de conception appelé flux de calcul hétérogène agile (AhcFlow) qui peut prendre en charge à la fois l'exploration et le déploiement de l'espace de conception. Afin de réaliser AhcFlow, une nouvelle représentation pour exprimer des architectures de plate-forme variables appelée graphique de plate-forme paramétrée (PPG) est conçue, une nouvelle structure de données intermédiaire appelée flux de données synchrone augmenté (ArcSDF) est créée et un nouvel algorithme d'exploration de l'espace de conception appelé cartographie et planification agiles algorithme (AMS) est développé. PPG est une représentation basée sur des contraintes qui, contrairement aux représentations basées sur des modèles, a des capacités expressives plus élevées pour représenter les différentes topologies de l'informatique hétérogène agile. ArcSDF est une nouvelle structure de données intermédiaires basée sur un flux de données, qui est construite sur les graphiques de flux de données synchrones (SDF) bien connus pour exprimer les décisions architecturales avec l'application. ArcSDF étend les capacités du paradigme de flux de données pour incorporer l'analyse des ressources de calcul et l'analyse des coûts d'investissement. En raison de ces capacités d'analyse supplémentaires, ArcSDF est utilisé dans l'exploration de l'espace de conception. L'algorithme d'exploration de l'espace de conception est AMS qui considère l'architecture de plate-forme variable de manière entièrement intégrée avec les décisions de cartographie et de planification.Un prototype du nouveau flux de conception (AhcFlow) a été créé et s'est révélé valable à la fois pour un nombre exhaustif de cas de test synthétiques et pour une grande application de suivi visuel multi-objets embarquée dans la vie réelle. Les nouvelles capacités d'analyse d'ArcSDF ont été validées grâce à son intégration dans le prototype de flux de conception. Le prototype se compose également d'un module de déploiement, qui est utilisé pour valider les prédictions d'exploration de l'espace de conception avec les résultats réels du déploiement. Les résultats de l'application de suivi réel montrent que les estimations de l'exploration spatiale de conception correspondent étroitement aux résultats du déploiement. Le nouvel algorithme de cartographie et de planification, qui prend également les décisions de topologie d'architecture, s'est révélé compétitif avec les résultats publiés des applications implémentées manuellement sur des architectures artisanales.

Incorporating touchscreen interaction into cockpit flight systems offers several potential advantages to aircraft manufacturers, airlines, and pilots. However, vibration and turbulence are challenges to reliable interaction. We examine the design space for braced touch interaction, which allows users to mechanically stabilise selections by bracing multiple fingers on the touchscreen before completing selection. Our goal is to enable fast and accurate target selection during high levels of vibration, without impeding interaction performance when vibration is absent. Three variant methods of braced touch are evaluated, using doubletap, dwell, or a force threshold in combination with heuristic selection criteria to discriminate intentional selection from concurrent braced contacts. We carried out an experiment to test the performance of these methods in both abstract selection tasks and more realistic flight tasks. The study results confirm that bracing improves performance during vibration, and show that doubletap was the best of the tested methods.

Since the early days of the DARPA challenge, the design of self-driving cars is catching increasing interest. This interest is growing even more with the recent successes of Machine Learning algorithms in perception tasks. While the accuracy of thesealgorithms is irreplaceable, it is very challenging to harness their potential. Realtime constraints as well as reliability issues heighten the burden of designing efficient platforms.We discuss the different implementations and optimization techniques in this work. We tackle the problem of these accelerators from two perspectives: performance and reliability. We propose two acceleration techniques that optimize time and resource usage. On reliability, we study the resilience of Machine Learning algorithms. We propose a tool that gives insights whether these algorithms are reliable enough forsafety critical systems or not. The Resistive Associative Processor accelerator achieves high performance due to its in-memory design which remedies the memory bottleneck present in most Machine Learning algorithms. As for the constant multiplication approach, we opened the door for a new category of optimizations by designing instance specific accelerators. The obtained results outperforms the most recent techniques in terms of execution time and resource usage. Combined with the reliability study we conducted, safety-critical systems can profit from these accelerators without compromising its security.; Depuis les débbuts du défi DARPA, la conception de voitures autonomes suscite unintérêt croissant. Cet intéreêt grandit encore plus avec les récents succès des algorithmesd'apprentissage automatique dans les tâches de perception. Bien que laprécision de ces algorithmes soit irremplaçable, il est très diffcile d'exploiter leurpotentiel. Les contraintes en temps réel ainsi que les problèmes de fiabilité alourdissentle fardeau de la conception de plateformes matériels efficaces. Nous discutonsles différentes implémentations et techniques d'optimisation de ces plateformes dansce travail. Nous abordons le problème de ces accélérateurs sous deux perspectives: performances et fiabilité. Nous proposons deux techniques d'accélération qui optimisentl'utilisation du temps et des ressources. Sur le voletfiabilité, nous étudionsla résilience des algorithmes de Machine Learning face aux fautes matérielles. Nousproposons un outil qui indique si ces algorithmes sont suffisamment fiables pour êtreemployés dans des systèmes critiques avec de fortes critères sécuritaire ou non. Unaccélérateur sur processeur associatif résistif est présenté. Cet accélérateur atteint desperformances élevées en raison de sa conception en mémoire qui remédie au goulotd'étranglement de la mémoire présent dans la plupart des algorithmes d'apprentissageautomatique. Quant à l'approche de multiplication constante, nous avons ouvertla porte à une nouvelle catégorie d'optimisations en concevant des accélérateursspécifiques aux instances. Les résultats obtenus surpassent les techniques les plusrécentes en termes de temps d'exécution et d'utilisation des ressources. Combinés àl'étude de fiabilité que nous avons menée, les systèmes ou la sécurité est de prioritépeuvent profiter de ces accélérateurs sans compromettre cette dernière.

Since the early days of the DARPA challenge, the design of self-driving cars is catching increasing interest. This interest is growing even more with the recent successes of Machine Learning algorithms in perception tasks. While the accuracy of thesealgorithms is irreplaceable, it is very challenging to harness their potential. Realtime constraints as well as reliability issues heighten the burden of designing efficient platforms.We discuss the different implementations and optimization techniques in this work. We tackle the problem of these accelerators from two perspectives: performance and reliability. We propose two acceleration techniques that optimize time and resource usage. On reliability, we study the resilience of Machine Learning algorithms. We propose a tool that gives insights whether these algorithms are reliable enough forsafety critical systems or not. The Resistive Associative Processor accelerator achieves high performance due to its in-memory design which remedies the memory bottleneck present in most Machine Learning algorithms. As for the constant multiplication approach, we opened the door for a new category of optimizations by designing instance specific accelerators. The obtained results outperforms the most recent techniques in terms of execution time and resource usage. Combined with the reliability study we conducted, safety-critical systems can profit from these accelerators without compromising its security.; Depuis les débbuts du défi DARPA, la conception de voitures autonomes suscite unintérêt croissant. Cet intéreêt grandit encore plus avec les récents succès des algorithmesd'apprentissage automatique dans les tâches de perception. Bien que laprécision de ces algorithmes soit irremplaçable, il est très diffcile d'exploiter leurpotentiel. Les contraintes en temps réel ainsi que les problèmes de fiabilité alourdissentle fardeau de la conception de plateformes matériels efficaces. Nous discutonsles différentes implémentations et techniques d'optimisation de ces plateformes dansce travail. Nous abordons le problème de ces accélérateurs sous deux perspectives: performances et fiabilité. Nous proposons deux techniques d'accélération qui optimisentl'utilisation du temps et des ressources. Sur le voletfiabilité, nous étudionsla résilience des algorithmes de Machine Learning face aux fautes matérielles. Nousproposons un outil qui indique si ces algorithmes sont suffisamment fiables pour êtreemployés dans des systèmes critiques avec de fortes critères sécuritaire ou non. Unaccélérateur sur processeur associatif résistif est présenté. Cet accélérateur atteint desperformances élevées en raison de sa conception en mémoire qui remédie au goulotd'étranglement de la mémoire présent dans la plupart des algorithmes d'apprentissageautomatique. Quant à l'approche de multiplication constante, nous avons ouvertla porte à une nouvelle catégorie d'optimisations en concevant des accélérateursspécifiques aux instances. Les résultats obtenus surpassent les techniques les plusrécentes en termes de temps d'exécution et d'utilisation des ressources. Combinés àl'étude de fiabilité que nous avons menée, les systèmes ou la sécurité est de prioritépeuvent profiter de ces accélérateurs sans compromettre cette dernière.