Search

International audience; Dans cet article, nous dérivons des bornes de généralisation basées sur la théorie de l’information. Nous prouvons une borne dépendant de l’information mutuelle qui est plus générale que celle de Xu et Raginsky. Cependant, cette borne étant en espérance, nous apportons, à partir d’une technique de preuve simple, la possibilité de dériver une borne PAC-Bayésienne et désintégrée à partir de celle-ci.

This HDR manuscript presents recent Information-Theoretic tools that bring new insights into Game Theoretical problems, such as the coordination of players’ actions and the processing of strategic information. Although Information Theory and Game Theory have distinct fields of application, these two theories rely on similar mathematical tools. Such problems arise for the design of autonomous devices and for the study of the behavior of rational agents. New generations of communication networks involve devices that take decisions with greater autonomy. These machines observe their environment, interact, cooperate with other machines or with humans, adapt dynamically to their environment and to the topology of the network. The lossy source coding theorem of Shannon (1959) is the cornerstone of our study. Given a communication capacity constraint, this theorem characterizes the optimal coding scheme to compress an information source. The coding performances are evaluated via a fidelity criterion which we interpret as a cost function to be minimized. We revisit this coding problem by adopting a Game-Theoretical point of view, in which each player optimizes his own cost function which depends on the actions of other players. First, we investigate the capacity of an encoder and a decoder to coordinate their actions with the symbols of an information source. For this purpose, the action sequence of the encoder encapsulates a degraded version of the source symbols, which serves to coordinate the future actions of the decoder. We characterize the solutions of several instances of the coordination problem in Chap. IV, and in Chap. V, we extend these results in several directions, i.e. for channel state leakage problems, for decentralized control problems and for strong coordination problems. The strategic nature of the information transmission is studied in Chap. VI when the communication is passed through a noisy channel. We consider that the encoder commits to implementing a signalling strategy before it observes the source symbols, as in the Bayesian persuasion game. As perspectives, we will study the impact of communication constraints on the transmission of strategic information in mechanism design problems, as in Jackson and Sonnenschein (2007), and in cheap talk games, see Crawford and Sobel (1982). Another direction of research consists in deepening optimization problems that arise in strategic coding, by using tools from Graph Theory and Convex Optimization. We believe that these results will also bring a new point of view on open problems in repeated games with imperfect observation and incomplete information. The goal is to build a theory that encompasses the standard coding results in Information Theory, and the results for the sender-receiver games., Ce manuscrit d’HDR présente des résultats récents de Théorie de l’Information qui apportent un éclairage nouveau sur des problèmes de Théorie des Jeux, tels que la coordination des actions des joueurs ou le traitement de l’information stratégique. Bien que la Théorie de l’Information et la Théorie des Jeux aient des champs d’application distincts, ces deux théories s’appuient sur des outils mathématiques similaires. Les problèmes de coordination et d’information stratégique se posent pour la conception de réseaux d’appareils autonomes et pour l’étude du comportement d’agents rationnels. Les nouvelles générations de réseaux de communication intègrent des appareils qui prennent des décisions avec une plus grande autonomie. Ces machines observent leur environnement, interagissent, coopèrent avec d’autres machines ou avec des humains, s’adaptent dynamiquement à leur environnement et à la topologie du réseau. Le théorème de codage de source avec perte de Shannon (1959) est la pierre angulaire de notre étude. Étant donnée une contrainte de capacité de communication, ce théorème caractérise le schéma de codage optimal pour compresser une source d’information. Les performances du codage sont évaluées via un critère de fidélité que nous interprétons comme une fonction de coût à minimiser. Nous revisitons ce problème de codage en adoptant le point de vue de la Théorie des Jeux, dans lequel chaque joueur optimise sa propre fonction de coût qui dépend des actions des autres joueurs. Tout d’abord, nous étudions la capacité d’un encodeur et d’un décodeur à coordonner leurs actions avec les symboles générés par une source d’information. A cet effet, la suite d’actions de l’encodeur encapsule une version dégradée des symboles de source, qui sert à coordonner les futures actions du décodeur. Nous caractérisons les solutions de plusieurs instances du problème de coordination au Chap. IV, et au Chap. V, nous étendons ces résultats dans plusieurs directions, pour des problèmes de fuite d’état de canal, pour des problèmes de contrôle décentralisé et pour des problèmes de coordination forte. Le caractère stratégique de la transmission de l’information est étudié au Chap. VI lorsque les joueurs communiquent à travers un canal bruité. Nous considérons un encodeur s’engage à mettre en œuvre une stratégie, avant que les symboles de sources soient tirés, comme dans le jeu de persuasion Bayésienne. En guise de perspectives, nous étudierons l’impact des contraintes de communication sur la transmission d’informations stratégiques dans les problèmes de “mechanism design” de Jackson and Sonnenschein (2007), et dans les jeux de “cheap talk” de Crawford and Sobel (1982). Une autre direction de recherche consiste à approfondir les problèmes d’optimisation qui apparaissent pour le codage stratégique, en utilisant des outils issus de la Théorie des Graphes et de l’Optimisation Convexe. Nous pensons que ces résultats apporteront un point de vue nouveau sur les problèmes ouverts en jeux répétés avec observation imparfaite et information incomplète. L’objectif est de construire une théorie qui englobe les résultats de codage standard en théorie de l’information et les résultats pour les jeux “sender-receiver”.

In this report, sparse stealth attack constructions that minimize the mutual information between the state variables and the observations are proposed. The attack construction is formulated as the design of a multivariate Gaussian distribution aiming to minimize the mutual information while limiting the Kullback-Leibler divergence between the distribution of the observations under attack and the distribution of the observations without attack. The sparsity constraint is incorporated as a support constraint of the attack distribution. Two heuristic greedy algorithms for the attack construction are proposed. The first algorithm assumes that the attack vector consists of independent entries, and therefore, requires no communication between different attacked locations. The second algorithm considers correlations between the attack vector entries, which results in larger disruption and smaller probability of detection. A performance analysis of the proposed attack constructions on IEEE test systems is presented. Using a numerical example, it is shown that it is feasible to construct stealth attacks that generate significant disruption with a low number of compromised sensors.; Dans ce rapport, des constructions d’attaques furtives ciblant un sous-ensemble des capteurs qui minimisent l’information mutuelle entre les variables d’état et les observations sont proposées. La construction d’attaque est formulée comme la conception d’une distribution gaussienne multivariée visant à minimiser l’information mutuelle tout en limitant la divergence de Kullback-Leibler entre la distribution des observations sous attaque et la distribution des observations sans attaque. La contrainte pour modeliser le fait que l’attaque cible uniquement un sous-ensemble des capteurs est incorporée en tant que contrainte sur le support de la distribution de probabilité de l’attaque. Deux algorithmes heuristiques gloutons pour la construction d’attaques sont proposés. Le premier algorithme suppose que le vecteur d’attaque se compose d’entrées indépendantes et, par conséquent, ne nécessite aucune communication entre les différents emplacements attaqués. Le deuxième algorithme prend en compte les corrélations entre les entrées du vecteur d’attaque, ce qui entraîne une perturbation plus importante et une probabilité de détection plus faible. Une analyse des performances des constructions d’attaque proposées sur les systèmes de test IEEE est présentée. À l’aide d’un exemple numérique, il est démontré qu’il est possible de construire des attaques furtives qui génèrent des perturbations importantes avec un faible nombre de capteurs compromis.

International audience; Les avancées récentes dans le domaine des empreintes de réseaux profonds détectent des instances de modèles placées dans une boîte noire. Les entrées utilisées en tant qu'empreintes sont spécifiquement conc ¸ues pour chaque modèle à vérifier. Bien qu'efficace dans un tel scénario, il en résulte néanmoins un manque de garantie après une simple modification (e.g. réentraînement, quantification) d'un modèle. Cet article s'attaque aux défis de proposer i) des empreintes qui résistent aux modifications significatives des modèles, en généralisant la notion de familles de modèles et leurs variantes, ii) une extension de la tâche d'empreinte à des scénarios o ù l'on souhaite un modèle précis (précédemment appelé tâche de detection), mais aussi d'identifier la famille de modèles qui se trouve dans la boîte noire (tâche d'identification). Nous atteignons ces deux objectifs en démontrant que des entrées authentiques (non modifiées) sont un matériau suffisant pour les deux tâches. Nous utilisons la théorie de l'information pour la tâche d'identification et un algorithme glouton pour la tâche de détection. Les deux approches sont validées expérimentalement sur un ensemble inédit de plus de 1 000 réseaux.

Dans cette thèse, nous examinons le canal wiretap de Wyner dans la pratique, pour atteindre la sécurité en terme de théorie de l'information. Ce type d'approche de la sécurité a longtemps été écarté des applications pratiques. Ceci est principalement dû à une définition légèrement différente de la sécurité (Sécurité forte vs sécurité sémantique), en plus du fait que ces méthodes sont étudiées de manière asymptotique, donc pas en pratique. Les spécialistes ont donc préféré des solutions cryptographiques sur les couches supérieures du réseau afin d'assurer la sécurité. Cependant, il a été montré que ces définitions de la sécurité sont en fait équivalentes les unes aux autres. De plus, nous montrons que le comportement asymptotique des codes polaires, utilisés sur un canal wiretap, appelés codes polaires wiretap, est compatible avec son comportement asymptotique, ce qui rend les codes polaires wiretap utiles pour des applications pratiques. Un autre avantage principal de l'utilisation de la sécurité de la couche physique est que les types de réseaux émergents tels que les réseaux de capteurs, les réseaux ad hoc qui passent par plusieurs intermédiaires de la source à la destination, ou les réseaux d'identification par radiofréquence (RFID), sont de faible complexité, sur lesquels la gestion des clés cryptographiques, ainsi que la complexité de calcul rendent l'utilisation des techniques cryptographiques typiques difficile. Nous nous appuyons principalement sur les schémas présentés par Vardy et al. pour obtenir un secret faible et fort. Étant donné que nous utilisons ces schémas dans des longueurs de bloc finies, des fuites d'informations peuvent se produire. Il existe des méthodes dans la littérature pour calculer et estimer cette fuite d'information, mais nous montrons comment ces méthodes sont soit infaisables en pratique, soit simplement inexactes. De plus, nous introduisons une nouvelle méthode, pour estimer cette fuite, qui s'avère être très précise et plus légère en calcul que les méthodes connues. D'autre part, nous étudions également la construction pratique de codes polaires wiretap à longueur de bloc finie et examinons l'impact des principaux paramètres de construction sur le taux de code réalisable et la fuite d'information. Enfin, nous présentons notre banc d'essai, utilisé pour mettre en œuvre les codes polaires wiretap en pratique, en utilisant un émetteur et deux récepteurs, simulant le récepteur légitime et l'espion. Nous montrons que plus l'espion est éloigné de l'émetteur, plus il y a de bruit, et donc une moins bonne capacité de décodage, et qu'au-delà d'une certaine distance, il est incapable de décoder quoi que ce soit, et reçoit une image très bruyante, de laquelle aucune information utile ne peut être extraite. In this thesis we look into Wyner's wiretap channel in practice, for achieving information theoretic security. This kind of approach to security has long been discarded for practical applications. This is mainly due to a slightly different definition of security (Strong security vs semantic security), in addition to the fact that these methods are studied asymptotically, hence not practically. So specialists preferred cryptographic solutions on higher layers of the network in order to ensure security. However, it has been showed that these definitions of security are actually equivalent to one another. Furthermore, we show that the asymptotic behavior of polar codes, used over a wiretap channel, referred to as wiretap polar codes, is compatible with its asymptotic behavior, rendering wiretap polar codes useful for practical applications. Another main advantage of using physical layer security, is that emerging types of networks such as sensor networks, ad hoc networks that go through several intermediate from source to destination, or Radio-Frequency Identification (RFID) networks, are of low complexity, over which the cryptographic key management, as well as computational complexity render the use of typical cryptographic techniques difficult. We mainly rely on the schemes presented by Vardy et al. for achieving weak and strong secrecy. Due to the fact that we use these schemes in finite block lengths, information leakage can occur. There are methods in literature for computing and estimating this information leakage, but we show how these methods are either infeasible in practice, or simply inaccurate. In addition, we introduce a new method, for estimating this leakage, that turned out to be very precise and computationally lighter than known methods. On the other hand, we also study the practical construction of finite-blocklength wiretap polar codes and investigate the impact that the main construction parameters have on the achievable code rate and the information leakage. Finally, we show our test bed, used to implement wiretap polar codes in practice, using one transmitter and two receivers, simulating the legitimate receiver and the eavesdropper. We show how the eavesdropper's farther distance from the transmitter, leads to more noise, hence worse decoding capacity, and that beyond a certain distance, it is unable to decode anything, and receives a very noisy image, from which no useful information can be extracted.

This thesis extends by theoretical and experimental studies our understanding of the dynamics of systems ruled by thermal fluctuations, in order to better control them and in particular use them as 1-bit logic gates. This work falls within the framework of out-of-equilibrium statistical physics, and of thermodynamics of information based on stochastic thermodynamics. In that respect, we study the minimal work required to perform irreversible operations on 1-bit of information ([RESET] to 0 or 1), or reversible ones ([NOT] operation), and we aim to optimise the energetic cost and the speed of these processes. Our strategy to enhance the processing efficiency and speed consists in using as 1-bit memory a low dissipation micro-mechanical oscillator, there- fore evolving at much smaller time-scales than the over-damped test systems (colloidal particles in solution) used to date. The feedback control designed to create a virtual energy potential in which evolves the micro-resonator is a major step forward in coding and handling the 1-bit information: it represents the fastest and most energy-efficient device among those which perform logic operations at the thermal energy scale. We furthermore provide a solid theoretical basis, validated by experimental and numerical simulation results, to model energy exchanges. Taken as a whole, this work results in the theoretical prediction of the energetic cost of any logical operation and opens perspectives for information processing optimisation in term of reliability, speed and energy saving., Cette thèse approfondit par des études expérimentales et théoriques les connaissances sur la dynamique de systèmes soumis au bruit thermique, afin de pouvoir mieux les manipuler et notamment les utiliser comme porte logique à 1-bit. Ces travaux relèvent de la physique statistique hors équilibre, et de la thermodynamique stochastique appliquée à la théorie de l’information. Nous étudions ainsi l’énergie minimale qu'un opérateur doit fournir pour manipuler 1 bit d’information de manière irréversible (effacement ou écriture), ou réversible (opération non), et cherchons à optimiser le coût et la durée de ces opérations. Notre stratégie pour gagner en efficacité et en rapidité est d’utiliser comme mémoire un micro levier à faible dissipation, évoluant à des échelles de temps bien plus rapides que les systèmes modèles sur-amortis (colloïdes en solution) utilisés jusqu'ici. La conception d’une rétroaction pour créer un potentiel d'énergie virtuel dans lequel évolue le micro-oscillateur constitue une avancée expérimentale majeure, permettant de coder et manipuler le bit d’information: il s’agit de la porte logique classique la plus économe et la plus rapide démontrée à ce jour. Nous déployons par ailleurs une base théorique solide, validée par les résultats d’expériences et de simulations numériques, pour modéliser les échanges énergétiques. Ces travaux dans leur ensemble permettent de prédire théoriquement le coût de toute opération logique, et ouvrent de nombreuses perspectives d’optimisation du traitement de l’information en terme de fiabilité, rapidité et coût énergétique.

The sensation of effort, from an evolutionary point of view, could be understood as a mechanism for signalling the expenditure of scarce resources and which allows their efficient allocation. Understanding the decision making processes that are involved in effort allocation is crucial if one is to gain insight into human behaviour.One type of effort that is observed and reported in humans, and is the central subject of this thesis, is cognitive effort. Although there is still no general consensus over the true nature of the resources that cognitive effort was developed to safeguard, its aversiveness and involvement in decision-making are widely agreed upon. The principle of least action, entailing the minimisation of effort, provides a rational account for seemingly sub-optimal behaviours.Nevertheless, there are major obstacles to overcome in studying cognitive effort, many of which are associated with complications and biases associated with the measurement of subjective experiences. In response to these limitations, some recent work has focused instead on the influence that these subjective experiences have over observable, free choices of engagement. Notably, a neuroeconomic approach was employed to establish preference functions that express cognitive effort costs and task rewards in a common currency.Following this line of research, an information theoretic model of cognitive effort is proposed in this thesis work. The motivation for such a model is three-fold.Firstly, the mathematical framework of information theory provides a natural common currency, that is information, for quantifying task difficulty, engagement and performance. This could provide a more direct interpretation of the relationship between task demand, effort expenditure and associated gains.Secondly, information theoretic measures derived from first principles set bounds on the information rate associated with automatic and controlled behaviours.Lastly, information theory provides the common framework in which the interpretation of cognitive effort can be linked to well-established theories regarding computational efficiency in the brain such as efficient coding and/or predictive coding theorems.In this thesis work, a series of experiments were designed to validate the proposed model of cognitive effort. The main task used in these experiments is a continuous visual-motor tracking task with joystick control. In the first study, information theoretic measures representing information rate of the feed-back (controlled) and feed-forward (automatic) processing of the signal were derived from first principles and were validated through simulated tracking data from a linear quadratic regulator (LQR) model. These measures were subsequently applied to real tracking data to gain insight of their engagement in the task in terms of real-time information processing rate.The second study aims at investigating and comparing the effect that different task attributes, including signal speed, predictability and joystick delay have on feed-back and feed-forward information rate, as well as on performance.The third and fourth studies were dual-task experiments designed to investigate cross-task interactions in information rate and to infer global limits in the brain in terms of computational resources.Lastly, a model is built by modifying an intermittent controller to include an information bottleneck objective to provide a normative account of the cost/value trade-off in human tracking performance. This model is then applied to behavioral data to study the principles of allocation of information rate and the optimality of human motor control., La sensation d'effort, d'un point de vue évolutif, peut être comprise comme un mécanisme qui permet de signaler la dépense de ressources rares et qui rend possible leur allocation efficace. Il est essentiel de comprendre les processus décisionnels qui interviennent dans l'allocation de l'effort si l'on veut mieux comprendre le comportement humain. Un type d'effort observé chez les humains, est l'effort cognitif. Bien qu'il n'y ait toujours pas de consensus général sur la véritable nature des ressources que l'effort cognitif serait chargé de protéger, son aversivité et son implication dans la prise de décision sont largement reconnues. Le principe de moindre action, qui implique la minimisation de l'effort, fournit une explication rationnelle de comportements apparemment sous-optimaux. Néanmoins, il existe des obstacles majeurs à surmonter dans l'étude de l'effort cognitif, dont beaucoup sont liés aux complications et aux biais associés à la mesure des expériences subjectives. En réponse à ces limitations, certains travaux récents se sont plutôt concentrés sur l'influence que ces expériences subjectives ont sur les choix d'engagement observables. Une approche neuroéconomique a notamment été utilisée pour établir des fonctions de préférence qui expriment les coûts de l'effort cognitif et les récompenses de la tâche dans une monnaie commune. En suivant cette ligne de recherche, un modèle théorique de l'information de l'effort cognitif est proposé dans ce travail de thèse. La motivation d'un tel modèle est triple. Premièrement, le cadre mathématique de la théorie de l'information fournit une monnaie commune naturelle, à savoir l'information, pour quantifier la difficulté de la tâche, l'engagement et la performance. Cela permet une interprétation plus directe de la relation entre la demande de la tâche, la dépense d'effort et les gains associés. Deuxièmement, les mesures théoriques de l'information dérivées de principes premiers fixent des limites au taux d'information associé aux comportements automatiques et contrôlés. Enfin, la théorie de l'information fournit le cadre commun dans lequel l'interprétation de l'effort cognitif peut être liée à des théories bien établies concernant l'efficacité computationnelle dans le cerveau, comme les théorèmes de codage efficace et/ou de codage prédictif. Dans ce travail de thèse, une série d'expériences a été conçue pour valider le modèle proposé de l'effort cognitif. La tâche principale utilisée dans ces expériences est une tâche de suivi visuo-moteur continu avec contrôle par joystick. Dans la première étude, des mesures théoriques de l'information représentant le taux d'information du traitement feed-back (contrôlé) et feed-forward (automatique) du signal ont été dérivées à partir des premiers principes et ont été validées par des données de suivi simulées à partir d'un modèle de régulateur linéaire quadratique (LQR). Ces mesures ont ensuite été appliquées à des données de suivi réelles afin de mieux comprendre leur engagement dans la tâche en termes de taux de traitement de l'information en temps réel. La deuxième étude vise à examiner et à comparer l'effet de différents attributs de la tâche, notamment la vitesse du signal, la prévisibilité et le retard du joystick, sur le taux d'information en feed-back et en feed-forward, ainsi que sur la performance. Les troisième et quatrième études sont des expériences à double tâche conçues pour étudier les interactions entre les tâches sur le taux d'information et pour déduire les limites globales du cerveau en termes de ressources computationnelles. Enfin, un modèle est construit en modifiant un contrôleur intermittent pour inclure un objectif d’“information bottleneck” afin de fournir un compte rendu normatif du compromis coût/valeur dans les performances de suivi humain. Ce modèle est ensuite appliqué à des données comportementales pour étudier les principes d'allocation du taux d'information et l'optimalité du contrôle moteur humain.

Natural language processing (NLP) allows for the automatic understanding and generation of natural language. NLP has recently received growing interest from both industry and researchers as deep learning (DL) has leveraged the staggering amount of available text (e.g web, youtube, social media) and reached human-like performance in several tasks (e.g translation, text classification). Besides, Information theory (IT) and DL have developed a long-lasting partnership. Indeed, IT has fueled the adoption of deep neural networks with famous principles such as Minimum Description Length (MDL), Information Bottleneck (IB) or the celebrated InfoMax principle. In all these principles, different measures of information (e.g entropy, MI, divergences) are one of the core concepts. In this thesis, we address the interplay between NLP and measures of information. Our contributions focus on two types of NLP problems : natural language understanding (NLU) and natural language generation (NLG). NLU aims at automatically understand and extract semantic information from an input text where NLG aims at producing natural language that is both well-formed (i.e grammatically correct, coherent) and informative. Building spoken conversational agents is a challenging issue and dealing with spoken conversational data remains a difficult and overlooked problem. Thus, our first contributions, are turned towards NLU and we focus on learning transcript representations. Our contribution focuses on learning better transcript representations that include two important characteristics of spoken human conversations : namely the conversational and the multi-modal dimension. To do so, we rely on various measures of information and leverage the mutual information maximization principle. The second group of contributions addresses problems related to NLG. This thesis specifically focuses on two core problems. First, we propose a new upper bound on mutual information to tackle the problem of controlled generation via the learning of disentangled representation (i.e style transfer and conditional sentence generation). Secondly, we address the problem of automatic evaluation of generated texts by developing a new family of metrics using various measuresof information.; Le traitement du langage naturel (NLP) permet de traiter et de générer automatiquement du langage naturel. Le NLP a récemment fait l'objet d'un intérêt croissant de la part de l'industrie et des chercheurs, car l'apprentissage profond (AD) a permis d'exploiter la quantité stupéfiante de données textuelles disponibles (e.g web, youtube, médias sociaux) et d'atteindre des performances similaires à celles de l'homme dans plusieurs tâches (e.g traduction, classification de textes). La théorie de l'information (TI) et l'apprentissage profond constituent un partenariat de longue date. En effet, l'informatique a favorisé l'adoption des réseaux neuronaux profonds grâce à des principes célèbres tels que la longueur minimale de description (LMD), le goulot d'étranglement de l'information (GIO) ou le célèbre principe InfoMax. Dans tous ces principes, différentes mesures de l'information (e.g entropie, MI, divergences) sont l'un des concepts fondamentaux. Dans cette thèse, nous abordons l'interaction entre le NLP et les mesures d'information. Nos contributions se concentrent sur deux types de problèmes PNL : la compréhension du langage naturel (NLU) et la génération du langage naturel (NLG). L'objectif de la NLU est de comprendre et d'extraire automatiquement des informations sémantiques d'un texte d'entrée, tandis que la NLG vise à produire un langage naturel à la fois bien formé (c'est-à-dire grammaticalement correct, cohérent) et informatif. La construction d’agents conversationnels parlés est un défi et le traitement des données conversationnelles parlées reste un problème difficile et négligé. Ainsi, nos premières contributions sont tournées vers l’UAL et nous nous concentrons sur l’apprentissage de représentations de transcriptions. Notre contribution se concentre sur l’apprentissage de meilleures représentations de transcriptions qui incluent deux caractéristiques importantes des conversations humaines parlées : la dimension conversationnelle et la dimension multimodale. Pour ce faire, nous nous appuyons sur diverses mesures d’information et nous tirons parti du principe de maximisation de l’information mutuelle. Le deuxième groupe de contributions aborde les problèmes liés au NLG. Cette thèse se concentre spécifiquement sur deux problèmes centraux. Premièrement, nous proposons une nouvelle limite supérieure de l’information mutuelle pour aborder le problème de la génération contrôlée via l’apprentissage de la représentation démêlée (transfert de style i.e et génération de phrases conditionnelles). Deuxièmement, nous abordons le problème de l’évaluation automatique des textes générés en développant une nouvelle famille de métriques utilisant diverses mesures d’information.

The performance of wireless networks can be substantially enhanced by allowing cooperation among geographically distributed transmitters. However, in order to capitalize on transmitter cooperation in a scalable and cost-effective manner, future generation networks are expected to decentralize an increasing number of operations which were originally conceived for centrally controlled systems. On the physical layer side, decentralizing the transmission opens a Pandora's box of research problems dealing with the possibly limited sharing of crucial control information, e.g., about the channel state. Unfortunately, as of today, very little is known on how to optimally design decentralized transmission techniques operating under asymmetry of information. Therefore, for transmitter cooperation to find its rightful place within future wireless standards, it is imperative to place the understanding of these techniques on a more solid ground.; Les performances des réseaux sans fil peuvent être considérablement améliorées en permettant la coopération entre des émetteurs géographiquement distribués. Toutefois, afin de profiter de la coopération entre émetteurs de manière évolutive et avec un bon rapport coût-efficacité, les réseaux de la future génération devraient décentraliser un nombre croissant d'opérations conçues à l'origine pour des systèmes à contrôle centralisé. Du côté de la couche physique, la décentralisation de la transmission ouvre une boîte de Pandore pleine de problèmes de recherche concernant le partage potentiellement limité d'informations de contrôle cruciales, par exemple sur l'état du canal. Malheureusement, à ce jour, on sait très peu sur comment concevoir de manière optimale des techniques de transmission décentralisées opérant avec asymétrie d'information. Par conséquent, pour que la coopération entre émetteurs trouve la place qui lui revient dans les futures spécifications des réseaux sans fil, il est impératif de donner à la compréhension de ces techniques une base plus solide.

This PhD thesis explores the principles of “polytopic musical recomposition” under musicological, algorithmic and perceptual aspects. Polytopic musical recompositions are defined as a type of musical variations which consists in creating new musical content by rearranging the temporal order of musical segments from an original material, while preserving some of its structural properties. The structural properties are described as a polytopic graph accounting for the similarities between segments at different time scales, according to the “System & Contrast” (S&C) model proposed by (Bimbot et al. 2012, 2016).Based on a creative approach, this work aims at proposing new paradigms for musical re-composition, but also to assess the relevance of the assumptions behind the polytopic model, as of how it accounts for musical structure.After a detailed presentation of the polytopic model and its usability to recompose musical contents, this PhD thesis evaluates the relevance of polytopic recompositions as opposed to random recompositions, by means of a perceptual test carried out on a population of listeners (Gillot et al., 2019). A first series of tests suggests a clear advantage of polytopic recompositions over comparable random recompositions, as regards the time-line disturbances. A second series of tests studies a set of algorithmic variants for estimating the optimal melodic segments for polytopic recompositions, so as to optimize them with respect to the melodic surface. The algorithms are based on the minimization of a complexity criterion relying on the S&C model combined with Optimal Transport principles. The set of algorithmic methods are compared to human annotations, but also evaluated in the context of perceptual tests on a panel of listeners, so as to assess their musical acceptability. Results indicate a relative agreement between the level of acceptability of the algorithmic methods versus human annotations, but they show relatively small differences between variants of automatic methods. The new concept of polytopic recompositions can be used interactively for creative purposes, and a prototype for mobile devices has been developed for music in MIDI format in partnership with the Kercodex SME.; Cette thèse explore sous différents aspects musicologiques, algorithmiques et perceptifs le principe des recompositions musicales dite « polytopiques ». Il s’agit d’un procédé de génération de variations musicales consistant à créer un nouveau contenu en réorganisant l’ordre temporel des motifs musicaux à partir d’un matériau d’origine, tout en préservant certaines propriétés de leurs relations structurelles. Ces relations structurelles sont décrites par un graphe polytopique qui rend compte des similarités entre motifs à différentes échelles de temps, sur la base du modèle « Système & Contraste » (S&C) proposé par (Bimbot et al. 2012, 2016). À travers une démarche créative, cette thèse vise à offrir de nouveaux paradigmes de recomposition musicale, mais également à évaluer la pertinence des hypothèses sousjacentes au modèle polytopique, en ce qu’il rend compte de la structure musicale. Après une présentation détaillée du modèle polytopique et de son utilisation pour recomposer des contenus musicaux, cette thèse évalue la pertinence des recompositions polytopiques par rapport à des recompositions aléatoires, grâce à un test perceptif mené sur un ensemble d’auditeurs (Gillot et al., 2019). Une première série de tests suggère un avantage net des recompositions polytopiques vis-à-vis de recompositions aléatoires comparables en terme de perturbations de l’ordonnancement temporel. Une seconde série de tests étudie différentes variantes d’algorithmes destinées à estimer la délimitation optimale des motifs mélodiques permettant d’obtenir des recompositions polytopiques satisfaisantes vis-à-vis de la surface musicale. Ces algorithmes sont basés sur la minimisation d’un critère de complexité alliant le modèle Système & Contraste et des principes de Transport Optimal. Cet ensemble de méthodes sont non seulement comparées à des annotations humaines, mais elles sont également soumises à une batterie de tests perceptifs sur un panel d’auditeurs, pour évaluer leur acceptabilité musicale. Les résultats indiquent une relative concordance entre les niveaux d’acceptabilité des méthodes testées et des annotations produites, avec toutefois de faibles écarts entre variantes des méthodes automatiques. Ce nouveau concept de recompositions polytopiques peut être utilisé de façon interactive à des fins créatives et un prototype pour applications mobiles a été développé en partenariat avec la PME Kercodex pour la musique au format MIDI.

The past decade saw an intensification of the deluge of data available to learning algorithms, which allowed for the development of modern artificial intelligence techniques. These methods rely on the optimization of a very large number of internal parameters using gigantic amounts of data, and now provide state-of-the-art algorithms for tasks as diverse as image classification, natural language processing, or speech recognition, and regularly achieve super-human performances. This exacerbated research efforts to build a mathematically sound theory of data science able to explain the extraordinary efficiency of these procedures, and has led to a surge of interest for high-dimensional statistics (i.e. when the amount of data and the number of parameters are both very large). In this dissertation we analyze a few pieces of this immense puzzle through the prism of statistical physics, borrowing also often from probability and random matrix theory, and we propose three approaches to the high-dimensional learning problem. In the first one, we revisit high-temperature expansions, an archetypal method of statistical physics. We show how this classical approach is related to modern algorithms, and use it to pave the way towards an exact theory of extensive-rank matrix factorization. Our theory leverages the intimate relation between the statistical physics of disordered systems and high-dimensional statistics, a connection which has been a growing subject of research since the 1990s. Our second approach pushes further this correspondence as we leverage heuristic tools of theoretical physics such as the replica method, along with modern probabilistic methods and message-passing algorithms, to describe the fundamental limits of a wide class of high-dimensional learning problems. We apply our analysis to neural networks, phase retrieval, and to study the influence of data structure on the optimal learning procedures. In a third part, we take an alternative route and consider a topological approach to the problem of learning in high dimension. Using tools of random differential geometry and random matrix theory, we prove exact formulas describing the structure of the high-dimensional landscapes optimized by learning algorithms.; Le déluge croissant de données qui a rythmé la dernière décennie a donné naissance à des techniques modernes dans le domaine de l’intelligence artificielle. Ces méthodes sont basées sur l’optimisation d’un très grand nombre de paramètres par l’exploitation d’une quantité gargantuesque de données, et ces algorithmes sont désormais l’état de l’art pour des tâches aussi diverses que la classification d’images, le traitement automatique des langues, ou la reconnaissance vocale, et leurs performances excèdent régulièrement les capacités humaines. En conséquence, de nombreuses recherches se sont concentrées sur la construction d’une théorie mathématique qui pourrait expliquer l’efficacité de ces algorithmes, créant un fort gain d’intérêt pour les statistiques en haute dimension, où la quantité de données et le nombre de paramètres sont tous deux très grands. Nous analysons ici quelques pièces de cet immense puzzle à travers le prisme de la physique statistique, en empruntant également aux probabilités et à la théorie des matrices aléatoires. Ces outils nous permettent de proposer trois approches au problème de l’apprentissage statistique en haute dimension. Dans la première, nous revisitons un classique de la physique statistique, les expansions de haute température. Nous expliquons comment cette méthode est liée à des algorithmes modernes, et nous l’utilisons pour proposer les prémices d’une théorie exacte de la factorisation de matrices à rang extensif. Pour cela nous exploitons la connexion forte qui relie la physique des systèmes désordonnés et les statistiques en grande dimension, un sujet de recherche qui suscite un intérêt croissant depuis les années 1990. Dans une seconde partie, nous poussons cette correspondance plus loin et utilisons des outils heuristiques de physique théorique, comme la méthode des répliques, associés à des outils probabilistes et des algorithmes de passage de message, pour décrire les limites fondamentales d’une grande catégorie de problèmes d’apprentissage. Nous appliquons cette analyse à des réseaux de neurones, à l’extraction de phase, ainsi que pour étudier l’influence de la structure des données sur les procédures d’inférence. Enfin nous proposons une direction alternative, une approche topologique au problème d’inférence en haute dimension : en utilisant des outils de géométrie différentielle stochastique et de matrices aléatoires, nous prouvons des formules exactes décrivant la structure des paysages d’énergie optimisés par les algorithmes d’apprentissage.

The problem of data privacy - protecting sensitive or personal data from discovery - has been a long-standing research issue. In this regard, differential privacy, introduced in 2006, is considered to be the gold standard. Differential privacy was designed to protect the privacy of individuals in statistical datasets such as census datasets. Its widespread popularity has led to interest in applying differential privacy to new domains for which it was not originally designed, such as text documents. This raises questions regarding the interpretability of differential privacy's guarantees, which are usually expressed in the language of statistical disclosure control. In addition, it escalates the need for answers to core issues currently debated in the differential privacy community: how does the application of differential privacy protect against inference attacks? How can the use of noise-adding mechanisms guarantee the release of useful information? And how can this privacy-utility balance be achieved?The goal of this thesis is to address these foundational questions. Firstly, we approach the problem of interpretability by exploring a generalisation of differential privacy for metric domains known as metric differential privacy or d-privacy. Metric differential privacy abstracts away from the particulars of statistical databases and permits reasoning about privacy on more general domains endowed with a metric. This allows differential privacy's guarantees to be understood in more general terms which can be applied to arbitrary domains of interest, including text documents. Secondly, we propose to study the key questions surrounding privacy and utility in differential privacy using the Quantitative Information Flow (QIF) framework, an information-theoretic framework currently used to analyse threats to secure systems. In this thesis, we repurpose QIF to analyse the privacy and utility guarantees provided by differentially private systems modelled as probabilistic channels. Using information flow analysis we examine the privacy characteristics of d-private mechanisms, finding new ways to compare them with respect to the protection they afford against arbitrary adversarial threats; we examine the utility characteristics of d-private mechanisms, discovering a new characterisation for optimal mechanisms and a proof of the universal optimality of the Laplace mechanism; and we re-examine the well-known privacy-utility trade-off for d-private mechanisms, finding new models for describing the relationship between privacy and utility via correlations.The second part of this thesis is dedicated to the demonstration of the practical applicability of d-privacy to novel and complex domains. We present three new sample applications of d-privacy: to text document privacy, statistical utility and private nearest neighbour search. In each of these applications, we show how the use of d-privacy, and an understanding of the metrics on the domain, permit reasoning about privacy and utility. This opens up new methods of exploring privacy in these domains, as well as providing guidelines for further applications of differential privacy to new domains., Le problème de la confidentialité des données – la protection des données sensibles ou personnelles – est un problème de recherche de longue date. La confidentialité différentielle, intro- duite en 2006, est considéré comme la référence en la matière. Elle a été conçue pour protéger la confidentialité des données privées dans des jeux de données statistiques tels que les ceux de recensement. Sa grande popularité a conduit à un interêt à l’appliquer dans de nouveaux domaines pour lesquels elle n’était pas originellement conçue, tels que des documents de texte. Cela soulève des questions sur l’interprétabilité des garanties apportées par la confidentialité différentielle, qui sont en général exprimées dans le language de contrôle statistique de la divulgation. De plus, cela accentue le besoin de répondre à des problèmes centraux au débat actuel au sein de la communauté de la confidentialité différentielle: comment l’application de la confidentialité différentielle protège-t-elle contre les attaques d’inférence? Comment l’utilisation de mécanismes d’ajout de bruit peut-elle garantir la publication d’information utile? Et comment l’équilibre "privacy-utility" peut-il être obtenu?Le but de cette thèse est de répondre à ces questions de fond sur la confidentialité différentielle. Tout d’abord, nous abordons le problème de l’interprétabilité en explorant une généralisation de la confidentialité différentielle pour des espaces métriques, connue sous le nom de confidentialité différentielle métrique, ou "d-privacy". La confidentialité différentielle métrique fait abstraction des détails des bases de données statistiques et permet de raisonner sur la confidentialité de domaines plus généralisés, dotés d’une distance. Cela permet une compréhension plus générale des garanties de la confidentialité différentielle, qui peut être appliquée à des domaines d’interêt arbitraire, y compris les documents de texte.Deuxièmement, nous proposons l’étude des questions clés autour de la confidentialité et la "utility" pour la confidentialité différentielle, en utilisant le système de Flot d’Information Quantitative (Quantitative Information Flow, QIF), un système de théorie de l’information actuellement utilisé pour l’analyse de menaces sur des systèmes de sécurité. Dans cette thèse, nous réutilisons QIF pour analyser les garanties de confidentialité et de "utility" fournies par des systems de confidentialité différentielle modélisés sous forme de canaux probabilistiques. En utilisant l’analyse de flot d’information, nous examinons les caractéristiques de confidentialité des mécanismes d-privacy, trouvant de nouveaux moyens de les comparer sur le plan de la protection qu’ils offrent contre des menaces arbitraires; nous examinons les caractéristiques de "utility" des mécanismes d-privacy, découvrant une nouvelle caractérisation pour les mécanismes optimaux et une preuve de l’optimalité universelle du mécanisme de Laplace; et nous examinons de nouveau le fameux compromis "privacy-utility" pour les mécanismes d-privacy, trouvant de nouveaux modèles pour décrire la relation entre confidentialité et "utility" via des correlations. La deuxième partie de cette thèse est consacrée à la démonstration de l’applicabilité pratique de la d-privacy dans des domaines nouveaux et complexes. Nous présentons trois nouveaux domaines d’application de la d-privacy: la confidentialité des document de texte, l’utilité statistique et la recherche confidentielle de plus proche voisin. Dans chacune de ces applications, nous montrons comment l’utilisation de la d-privacy, et une compréhension de la métrique sur le domaine, permet de raisonner sur la confidentialité et l’utilité. Cela ouvre à de nouvelles méthodes pour explorer la confidentialité dans ces domaines, et pour guider l’application de la confidentialité différentielle à de nouveaux domaines.

Nous argumentons que l'estimation de l'information mutuelle entre des ensembles de variables aléatoires continues de hautes dimensionnalités peut être réalisée par descente de gradient sur des réseaux de neurones. Nous présentons un estimateur neuronal de l'information mutuelle (MINE) dont la complexité croît linéairement avec la dimensionnalité des variables et la taille de l'échantillon, entrainable par retro-propagation, et fortement consistant au sens statistique. Nous présentons aussi une poignée d'application ou MINE peut être utilisé pour minimiser ou maximiser l'information mutuelle. Nous appliquons MINE pour améliorer les modèles génératifs adversariaux. Nous utilisons aussi MINE pour implémenter la méthode du goulot d'étranglement de l'information dans un cadre de classification supervisé. Nos résultats montrent un gain substantiel en flexibilité et performance., We argue that the estimation of mutual information between high dimensional continuous random variables can be achieved by gradient descent over neural networks. We present a Mutual Information Neural Estimator (MINE) that is linearly scalable in dimensionality as well as in sample size, trainable through back-prop, and strongly consistent. We present a handful of applications on which MINE can be used to minimize or maximize mutual information. We apply MINE to improve adversarially trained generative models. We also use MINE to implement the Information Bottleneck, applying it to supervised classification; our results demonstrate substantial improvement in flexibility and performance in the settings.

The work in this thesis follows the theory primarily developed by Judea Pearl on causal diagrams; graphical models that allow all causal quantities of interest to be derived formally and intuitively. We address the problem of causal network inference from observational data alone, i.e., without any intervention from the experimenter. In particular, we propose to improve existing methods to make them more suitable for analyzing real-world data, by freeing them as much as possible from constraints on data distributions, and by making them more interpretable. We propose an extension of MIIC, a constraint-based information-theoretic approach to recover the equivalence class of the causal graph from observations. Our contribution is an optimal discretization algorithm based on the minimum description length principle to simultaneously estimate the value of mutual (and multivariate) information and evaluate its significance between samples of variables of any nature: continuous, categorical or mixed. We use these developments to analyze mixed datasets of clinical (medical records of patients with cognitive disorders; or breast cancer and being treated by neoadjuvant chemotherapy) or biological interest (gene regulation networks of hematopoietic stem and precursor cells)., Les travaux de cette thèse s’inscrivent dans la théorie principalement développée par Judea Pearl sur les diagrammes causaux; des modèles graphiques qui permettent de dériver toutes les quantités causales d’intérêt formellement et intuitivement. Nous traitons le problème de l’inférence de réseau causal à partir uniquement de données d’observation, c’est-à-dire sans aucune intervention de la part de l’expérimentateur. En particulier, nous proposons d’améliorer les méthodes existantes pour les rendre plus aptes à analyser des données issues du monde réel, en nous affranchissant le plus possible des contraintes sur les distributions des données, et en les rendant plus interprétables. Nous proposons une extension de MIIC, une approche basée sur les contraintes et la théorie de l’information pour retrouver la classe d’équivalence du graphe causal à partir d’observations. Notre contribution est un algorithme de discrétisation optimale basé sur le principe de description minimale pour simultanément estimer la valeur de l’information mutuelle (et multivariée) et évaluer sa significativité entre des échantillons de variables de n’importe quelle nature : continue, catégorique ou mixte. Nous mettons à profit ces développements pour analyser des jeux de données mixtes d'intérêt clinique (dossiers médicaux de patients atteints de troubles cognitifs; ou du cancer du sein) ou biologique (réseaux de régulation génique de cellules précurseur hématopoïétiques).

This thesis investigates the theory of robust classification under adversarial perturbations (a.k.a. adversarial attacks). An adversarial attack refers to a small (humanly imperceptible) change of an input specifically designed to fool a machine learning model. The vulnerability of state-of-the-art classifiers to these attacks has genuine security implications especially for deep neural networks used in AI-driven technologies (e.g. for self-driving cars). Besides security issues, this shows how little we know about the worst-case behaviors of models the industry uses daily. Accordingly, it became increasingly important for the machine learning community to understand the nature of this failure mode to mitigate the attacks. One can always build trivial classifiers that will not change decision under adversarial manipulation (e.g. constant classifiers) but this comes at odds with standard accuracy of the model. This raises several questions. Among them, we tackle the following one: Can we build a class of models that ensure both robustness to adversarial attacks and accuracy?We first provide some intuition on the adversarial classification problem by adopting a game theoretical point of view. We present the problem as an infinite zero-sum game where classical results (e.g. Nash or Sion theorems) do not apply. We then demonstrate the non-existence of a Nash equilibrium in this game when the classifier and the adversary both use deterministic strategies. This constitutes a negative answer to the above question in the deterministic regime. Nonetheless, the question remains open in the randomized regime. We tackle this problem by showing that randomized classifiers outperform deterministic ones in term robustness against realistic adversaries. This gives a clear argument for further studying randomized strategies as a defense against adversarial example attacks.Consequently, we present an analysis of randomized classifiers (i.e. classifiers that output random variables) through the lens of statistical learning theory. To do so, we first define a new notion of robustness for randomized classifiers using probability metrics. This definition boils down to forcing the classifier to be locally Lipschitz. We then devise bounds on the generalization gap of any randomized classifier that respects this new notion of robustness. Finally, we upper-bound the adversarial gap (i.e. the gap between the risk and the worst-case risk under attack) of these randomized classifiers.Finally, we highlight some links between our line of research and another emerging topic in machine learning called differential privacy. Both notions build upon the same theoretical ground (i.e. stability of probability metrics). Therefore, results from one domain can be transferred to the other. Based on this idea, we use the differential privacy literature to design a simple noise injection method. The scheme allows us to build a class of robust randomized classifiers out of a deterministic hypothesis class, making our previous findings applicable to a wide range of machine learning models.Open questions and perspectives for future research conclude this work.; Cette thèse étudie la théorie de la classification robuste aux attaques adverses. Une attaque adverse est une modification imperceptible de l’entrée d’un algorithme, spécifiquement conçue pour provoquer un dysfonctionnement de celui-ci. La vulnérabilité des modèles d’intelligence artificielle à ces attaques pose de véritables problèmes en matière de sécurité, notamment en ce qui concerne les réseaux neuronaux profonds utilisés dans les nouvelles technologies, par exemple pour les voitures autonomes. Outre les questions de sécurité, cela montre à quel point nous en savons peu sur le comportement des modèles que l’industrie utilise quotidiennement. Par conséquent, il devient de plus en plus important pour la communauté scientifique de comprendre d’où proviennent ces défaillances. Parmi les nombreuses questions que soulèvent les attaques adverses, nous abordons la suivante : Pouvons-nous construire une classe de modèles qui garantissent à la fois la robustesse aux attaques adverses et la précision dans des taches classiques?Nous donnons d’abord quelques intuitions en abordant le problème sous l’angle de la théorie des jeux. Nous formalisons la classification robuste comme un jeu à somme nulle infini et démontrons la non-existence d’un équilibre de Nash dans ce jeu lorsque le modèle et l’adversaire utilisent tous les deux des stratégies déterministes. Ceci constitue une réponse négative à la question ci- dessus dans le cas déterministe. Néanmoins, la question reste ouverte si l’on prend en compte des stratégies aléatoires. Nous abordons ensuite ce problème en montrant que les modèles aléatoires, c’est-à-dire des modèles qui produisent des variables aléatoires, obtiennent de meilleurs résultats que les modèles déterministes en termes de robustesse aux attaques. Cela donne un argument fort en faveur des stratégies aléatoires.Par conséquent, nous présentons une analyse approfondie des modèles aléatoires. Pour ce faire, nous définissons une nouvelle notion de robustesse à l’aide de métriques/divergences sur les espaces des distributions de probabilité. Ensuite, nous étudions le comportement en terme d’erreur de généralisation de tout modèle aléatoire qui respecte cette nouvelle notion de robustesse. Enfin, nous adaptons notre analyse à la généralisation adverse, c’est-à-dire l’écart entre le risque théorique et le risque adverse de ces modèles.Enfin, nous mettons en évidence certains liens entre notre champ de recherche et un autre sujet émergent dans le domaine de l’apprentissage automatique, à savoir la protection des données personnelles. Ces deux notions reposent sur le même fondement théorique. Par conséquent, les résultats d’un domaine peuvent être transférés dans l’autre. Sur la base de ce constat, nous utilisons la littérature sur la protection des données personnelles pour concevoir une méthode simple d’injection de bruit. Cette méthode nous permet de construire une classe de modèles aléatoires robustes à partir d’une classe de modèles (déterministes) précis dans des tâches classiques.Nous concluons se manuscrit par des questions ouvertes et des perspectives de recherche.

Ageing is a complex phenomenon; 30% of the French population is considered as older adults. The diagnosis in geriatrics is therefore becoming a major issue for our society to prevent and cure age-related pathologies. Technological developments, in particular with virtual reality, offer new opportunities to propose more entertaining diagnostic methods. Cycléo is a bike simulator, adapted to the older adults, currently used for the entertainment in institutions dedicated to older adults. During the ride, the bike records various behavioral data. In this thesis our goal is to answer the following question: Is it possible to transform this recreational device into a diagnosis tool for geriatricians? In our study we used different signal processing methods (entropy, cross-correlation, cross-entropy, empirical mode decomposition, Bland-Altman diagram, ...) on the data recorded by the bike. This preliminary work is divided into two parts. In the first part, we considered the Cycléo data during recreational use to study several use conditions and the role of age on the results. In the second part, we performed dual-task tests with Cycléo, using a clinical trial protocol. Our goal was to study the possible matches between the results obtained using Cycleo and those obtained using a treadmill (gold-standard).; Le vieillissement est un phénomène complexe ; 30% de la population française en 2020 est considérée comme âgée. Le diagnostic en gériatrie devient donc un enjeu majeur pour notre société pour prévenir et guérir les pathologies liées à l'âge. L'évolution des technologies, avec notamment la réalité virtuelle, permet de développer de nouvelles méthodes de diagnostic plus ludiques. Cycléo est un simulateur de vélo, adapté aux personnes âgées, utilisé actuellement de manière récréative dans des établissements pour seniors. Au cours de son utilisation, le vélo enregistre différentes données comportementales. Dans cette thèse, nous souhaitons répondre à la question suivante : est-il possible de transformer cet appareil de loisir en un outil d'aide au diagnostic gériatrique ? Pour ce faire, nous avons utilisé différentes méthodes de traitement du signal (entropie, corrélation croisée, entropie croisée, décomposition modale empirique, diagramme de Bland-Altman, ...) sur les données enregistrées par le vélo. Ce travail préliminaire se structure en deux parties. Dans un premier temps, nous avons considéré les données de Cycléo lors d'un usage récréatif afin d'étudier le rôle de différentes conditions d'utilisation et l'influence de l'âge sur nos résultats. Dans un second temps, nous avons intégré Cycléo dans un protocole d'essai clinique. Notre objectif était d'étudier les éventuelles correspondances entre nos résultats et ceux obtenus grâce à l'utilisation du tapis de marche couramment employé dans les diagnostics gériatriques.

Ageing is a complex phenomenon; 30% of the French population is considered as older adults. The diagnosis in geriatrics is therefore becoming a major issue for our society to prevent and cure age-related pathologies. Technological developments, in particular with virtual reality, offer new opportunities to propose more entertaining diagnostic methods. Cycléo is a bike simulator, adapted to the older adults, currently used for the entertainment in institutions dedicated to older adults. During the ride, the bike records various behavioral data. In this thesis our goal is to answer the following question: Is it possible to transform this recreational device into a diagnosis tool for geriatricians? In our study we used different signal processing methods (entropy, cross-correlation, cross-entropy, empirical mode decomposition, Bland-Altman diagram, ...) on the data recorded by the bike. This preliminary work is divided into two parts. In the first part, we considered the Cycléo data during recreational use to study several use conditions and the role of age on the results. In the second part, we performed dual-task tests with Cycléo, using a clinical trial protocol. Our goal was to study the possible matches between the results obtained using Cycleo and those obtained using a treadmill (gold-standard).; Le vieillissement est un phénomène complexe ; 30% de la population française en 2020 est considérée comme âgée. Le diagnostic en gériatrie devient donc un enjeu majeur pour notre société pour prévenir et guérir les pathologies liées à l'âge. L'évolution des technologies, avec notamment la réalité virtuelle, permet de développer de nouvelles méthodes de diagnostic plus ludiques. Cycléo est un simulateur de vélo, adapté aux personnes âgées, utilisé actuellement de manière récréative dans des établissements pour seniors. Au cours de son utilisation, le vélo enregistre différentes données comportementales. Dans cette thèse, nous souhaitons répondre à la question suivante : est-il possible de transformer cet appareil de loisir en un outil d'aide au diagnostic gériatrique ? Pour ce faire, nous avons utilisé différentes méthodes de traitement du signal (entropie, corrélation croisée, entropie croisée, décomposition modale empirique, diagramme de Bland-Altman, ...) sur les données enregistrées par le vélo. Ce travail préliminaire se structure en deux parties. Dans un premier temps, nous avons considéré les données de Cycléo lors d'un usage récréatif afin d'étudier le rôle de différentes conditions d'utilisation et l'influence de l'âge sur nos résultats. Dans un second temps, nous avons intégré Cycléo dans un protocole d'essai clinique. Notre objectif était d'étudier les éventuelles correspondances entre nos résultats et ceux obtenus grâce à l'utilisation du tapis de marche couramment employé dans les diagnostics gériatriques.

Developing computer-based measures for applications in medical field helps to improve prognostic, diagnostic, follow up, and predictive abilities. It provides objective assessment for the data and aids medical doctors in making decisions, identifying abnormalities, and eventually saving lives. In this thesis manuscript, we developed entropy measures based on the information theory concept. These methods were illustrated to possess an ability to analyze irregularity of gray scale images, colored images, and finally volumes. Several common validation tests were performed for the developed methods, in addition to the specially designed tests for each. The measures were validated upon: changes in the initial parameters, their ability to quantify the increasing irregularity degrees in thebidimensional and tridimensional levels, and their complexity evaluation ability in images and volumes through the multiscale approach. Our proposed algorithms found promising applications in texture analysis for different medical cases such as melanoma, pseudoxanthoma elasticum, and cutaneous microcirculation analysis. Furthermore, after the successful findings on gray scale images, we employed the colored approach to reveal the information hidden within the color componentsof our studied dermoscopic images. Finally, to expand the medical applications,we used our tridimensional entropy measure and its multiscale approach to study volumetric scans. These methods were employed to study CT scans, HRCT scans, and MRI scans for COVID-19, idiopathic pulmonary fibrosis, and uterine fibroma cases, respectively.; Le développement de mesures informatisées pour les applications dans le domaine médical contribue à améliorer la capacité de diagnostic, de pronostic et de suivi.Cela fournit une évaluation objective des données et aide les médecins à prendre des décisions, à identifier les anomalies et, éventuellement, à sauver des vies. Dans ce manuscrit de thèse, nous avons développé des mesures d’entropie basées sur le concept de théorie de l’information. Nous montrons que ces méthodes ont la capacité d’analyser l’irrégularité des images en niveaux de gris, des images couleurs, et enfin des volumes. En plus des tests classiques de validation, des tests spécifiques à chaque méthode ont été mis au point. Nos méthodes ont ainsi été analysées par rapport aux modifications de leurs paramètres initiaux, à leur capacité à quantifier les degrés d’irrégularité et de complexité des images et des volumes à travers une approche multi échelle. Nos algorithmes ont trouvé des applications prometteuses dans l’analyse de texture pour différents cas médicaux : traitement des images de mélanome, de pseudoxanthome élastique et l’analyse de la micro circulation cutanée. En outre, après des résultats concluants sur des images en niveaux de gris, nous avons utilisé l’approche couleurs pour extraire des informations cachées dans les composantes couleurs d’images de dermoscopie. Enfin, pour étendre nos applications médicales, nous avons utilisé nos mesures d’entropie tridimensionnelles et leur approche multi échelle pour étudier des acquisitions volumétriques. Ces méthodes ont permis d’étudier des tomographies, des tomographies haute résolution et des volumes IRM dans des cas cliniques de COVID-19, de fibrose pulmonaire idiopathique et de fibrome utérin, respectivement.

Developing computer-based measures for applications in medical field helps to improve prognostic, diagnostic, follow up, and predictive abilities. It provides objective assessment for the data and aids medical doctors in making decisions, identifying abnormalities, and eventually saving lives. In this thesis manuscript, we developed entropy measures based on the information theory concept. These methods were illustrated to possess an ability to analyze irregularity of gray scale images, colored images, and finally volumes. Our proposed algorithms found promising applications in texture analysis for different medical cases such as melanoma, pseudoxanthoma elasticum, and cutaneous microcirculation analysis. Furthermore, after the successful findings on gray scale images, we employed the colored approach for dermoscopic images. Finally, to expand the medical applications, we used our tridimensional entropy measure to study volumetric scans. These methods were employed to study CT scans, HRCT scans, and MRI scans for COVID-19, idiopathic pulmonary fibrosis, and uterine fibroma cases, respectively.; Le développement de mesures informatisées pour le domaine médical contribue à améliorer la capacité de diagnostic, de pronostic et de suivi. Cela fournit une évaluation objective des données et aide les médecins à identifier des anomalies et à prendre des décisions.Dans ce manuscrit de thèse, nous avons développé des mesures d’entropie basées sur la théorie de l’information. Nous montrons que ces méthodes ont la capacité de quantifier l’irrégularité des images en niveaux de gris, des images couleurs, et enfin des volumes. Nos algorithmes ont trouvé des applications prometteuses dans l’analyse de texture pour différents cas cliniques: traitement d'images de dermoscopie de mélanome, de pseudoxanthome élastique et l’analyse de la microcirculation cutanée. En outre, après des résultats concluants sur des images en niveaux de gris, nous avons utilisé l’approche couleurs sur l’images de dermoscopie. Enfin, pour étendre nos applications médicales, nous avons utilisé nos mesures d’entropie tridimensionnelles pour analyser des acquisitions volumétriques. Ces méthodes ont permis d’étudier des tomographies, des tomographies haute résolution et des volumes IRM dans des cas cliniques de COVID-19, de fibrose pulmonaire idiopathique et de fibrome utérin, respectivement.

During the last decade, the security of multimedia data, such as images, videos and 3D data, has become a major issue. With the development of the Internet, more and more images are transmitted over networks and stored in the cloud. This visual data is usually personal or may have a market value. Thus, computer tools have been developed to ensure their security.The purpose of encryption is to guarantee the visual confidentiality of images by making their content random. Moreover, during the transmission or archiving of encrypted images, it is often necessary to analyse or process them without knowing their original content or the secret key used during the encryption phase. This PhD thesis proposes to address this issue. Indeed, many applications exist such as secret images sharing, data hiding in encrypted images, images indexing and retrieval in encrypted databases, recompression of crypto-compressed images, or correction of noisy encrypted images.In a first line of research, we present a new method of high-capacity data hiding in encrypted images. In most state-of-the-art approaches, the values of the least significant bits are replaced to achieve the embedding of a secret message. We take the opposing view of these approaches by proposing to predict the most significant bits. Thus, a significantly higher payload is obtained, while maintaining a high quality of the reconstructed image. Subsequently, we showed that it was possible to recursively process all bit planes of an image to achieve data hiding in the encrypted domain.In a second line of research, we explain how to exploit statistical measures (Shannon entropy and convolutional neural network) in small pixel blocks (i.e. with few samples) to discriminate a clear pixel block from an encrypted pixel block in an image. We then use this analysis in an application to correct noisy encrypted images.Finally, the third line of research developed in this thesis concerns the recompression of crypto-compressed images. In the clear domain, JPEG images can be recompressed before transmission over low-speed networks, but the operation is much more complex in the encrypted domain. We then proposed a method for recompressing crypto-compressed JPEG images directly in the encrypted domain and without knowing the secret key, using a bit shift of the reorganized coefficients.; Durant cette dernière décennie, la sécurité des données multimédia, telles que les images, les vidéos et les données 3D, est devenue un problème majeur incontournable. Avec le développement d’Internet, de plus en plus d’images sont transmises sur les réseaux et stockées sur le cloud. Ces données visuelles sont généralement à caractère personnel ou peuvent avoir une valeur marchande. Ainsi, des outils informatiques permettant d’assurer leur sécurité ont été développés.Le but du chiffrement est de garantir la confidentialité visuelle des images en rendant aléatoire leur contenu. Par ailleurs, pendant la transmission ou l'archivage des images chiffrées, il est souvent nécessaire de les analyser ou de les traiter sans connaître leur contenu original, ni la clé secrète utilisée pendant la phase de chiffrement. Ce sujet de thèse propose de se pencher sur cette problématique. En effet, de nombreuses applications existent telles que le partage d’images secrètes, l'insertion de données cachées dans des images chiffrées, l’indexation et la recherche d’images dans des bases de données chiffrées, la recompression d'images crypto-compressées, ou encore la correction d’images chiffrées bruitées.Dans un premier axe de recherche, nous présentons tout d’abord une nouvelle méthode d’insertion de données cachées haute capacité dans le domaine chiffré. Dans la plupart des approches de l’état-de-l’art, les valeurs des bits de poids faible sont remplacées pour réaliser l’insertion d’un message secret. Nous prenons ces approches à contre-pied en proposant de prédire les bits de poids fort. Ainsi, une charge utile nettement supérieure est obtenue, tout en conservant une haute qualité de l’image reconstruite. Par la suite, nous montrons qu’il est en effet possible de traiter récursivement tous les plans binaires d’une image pour réaliser l’insertion de données cachées dans le domaine chiffré.Dans un second axe de recherche, nous expliquons comment exploiter des mesures statistiques (entropie de Shannon et réseau neuronal convolutif) dans des blocs de pixels de petite taille (i.e. avec peu d’échantillons) pour différencier un bloc en clair d’un bloc chiffré dans une image. Nous utilisons alors cette analyse dans une application à la correction d’images chiffrées bruitées.Enfin, le troisième axe de recherche développé dans ces travaux de thèse porte sur la recompression d’images crypto-compressées. Dans le domaine clair, les images JPEG peuvent être recompressées avant leur transmission sur des réseaux bas débit, mais l’opération est bien plus complexe dans le domaine chiffré. Nous proposons alors une méthode de recompression des images JPEG crypto-compressées directement dans le domaine chiffré et sans connaître la clé secrète, en s’appuyant sur un décalage binaire des coefficients réorganisés.

International audience; In the French intellectual context of the early 1960s, where American linguistics, in particular its mathematization, is still largely unknown, Jean Dubois largely contributed to the introduction in France of Harris’s distributional analysis and discourse analysis, of information theory and generative grammar. In this article, we will examine how Jean Dubois’s early works in the 1960-70s contributed to this dissemination, and try to assess his role in the introduction of American linguistic theories in France. In this perspective, we will examine his PhD dissertation on the lexicon where distributional analysis was applied for the first time in France, his work inspired by Roman Jakobson's conception of information theory, finally his work on discourse analysis largely inspired by Zellig S. Harris; those works were supplemented by his intense activity of publishing translations of American works. In order to assess his role in the introduction of American linguistic theories in France, we will study the way in which his immediate disciples resumed or continued his work in the area of ​​discourse analysis.; Dans le contexte intellectuel français du début des années 1960, où la linguistique américaine, en particulier sa mathématisation, est encore largement méconnue, Jean Dubois a largement contribué à l’introduction en France de l’analyse distributionnelle et de l’analyse de discours harrissiennes, de la théorie de l’information, enfin de la grammaire générative. Dans cet article, nous retracerons les premiers travaux de Jean Dubois des années 1960-70 ayant contribué à cette diffusion, en tentant d’évaluer son rôle en tant que passeur ou bien plus simplement de facilitateur. Dans cette perspective, nous examinerons sa thèse sur le lexique où l’analyse distributionnelle est appliquée pour la première fois en France, ses travaux inspirés des travaux de la conception de Roman Jakobson de la théorie de l’information, enfin ses travaux sur l’analyse de discours largement inspirés par ceux de Zellig S. Harris ; travaux alimentés et complétés par son important travail d’édition des traductions des travaux américains. Afin d’évaluer son rôle de passeur, nous étudierons la façon dont ses disciples immédiats ont repris ou poursuivi ses travaux dans le domaine de l’analyse de discours.

The new generation of wireless systems 5G aims not only to convincingly exceed its predecessor (LTE) data rate but to work with more dimensions. For instance, more user classes were introduced associated with different available operating points on the trade-off of data rate, latency, reliability. New applications, including augmented reality, autonomous driving, industry automation and tele-surgery, push the need for reliable communications to be carried out under extremely stringent latency constraints. How to manage the physical level in order to successfully meet those service guarantees without wasting valuable and expensive resources is a hard question. Moreover, as the permissible communication latencies shrink, allowing retransmission protocol within this limited time interval is questionable. In this thesis, we first pursue to answer those two questions. Concentrating on the physical layer and specifically on a point to point communication system, we aim to answer if there is any resource allocation of power and blocklength that will render an Hybrid Automatic ReQuest (HARQ) protocol with any number of retransmissions beneficial. Unfortunately, the short latency requirements force only a limited number of symbols to possibly be transmitted which in its turn yields the use of the traditional Shannon theory inaccurate. Hence, the more involved expression using finite blocklength theory must be employed rendering the problem substantially more complicate. We manage to solve the problem firstly for the additive white gaussian noise (AWGN) case after appropriate mathematical manipulations and the introduction of an algorithm based on dynamic programming. Later we move on the more general case where the signal is distorted by a Ricean channel fading. We investigate how the scheduling decisions are affected given the two opposite cases of Channel State Information (CSI), one where only the statistical properties of the channel is known, i.e. statistical CSI, and one where the exact value of the channel is provided to the transmitter, i.e., full CSI.Finally we ask the same question one layer above, i.e. the Medium Access Contron (MAC). The resource allocation must be performed now accross multiple users. The setup for each user remains the same, meaning that a specific amount of information must be delivered successfully under strict latency constraints within which retransmissions are allowed. As 5G categorize users to different classes users according to their needs, we model the traffic under the same concept so each user belongs to a different class defining its latency and data needs. We develop a deep reinforcement learning algorithm that manages to train a neural network model that competes conventional approaches using optimization or combinatorial algorithms. In our simulations, the neural network model actually manages to outperform them in both statistical and full CSI case.; La nouvelle génération de systèmes de communication sans fil 5G vise non seulement à dépasser le débit de données du prédécesseur (LTE), mais à améliorer le système sur d'autres dimensions. Dans ce but, davantage de classes d'utilisateurs ont été introduites afin de fournir plus de choix de types de service. Chaque classe est un point différent sur le compromis entre le débit de données, la latence et la fiabilité. Maintenant, beaucoup de nouvelles applications, notamment la réalité augmentée, la conduite autonome, l'automatisation de l'industrie et la téléchirurgie, poussent vers un besoin de communications fiables avec une latence extrêmement faible. Comment gérer la couche physique afin de garantir ces services sans gaspiller des ressources précieuses et coûteuses est une question difficile. En outre, comme les latences de communication autorisées diminuent, l'utilisation d'un protocole de retransmission est contestable. Dans cette thèse, nous tentons de répondre à ces deux questions. En particulier, nous considérons un système de communication point à point, et nous voulons répondre s'il existe une allocation de ressources de puissance et de bande passante qui pourrait rendre le protocole Hybrid Automatic ReQuest (HARQ) avec n'importe quel nombre de retransmissions avantageux. Malheureusement, les exigences de très faible latence obligent à transmettre qu'un nombre limité de symboles. Par conséquent, l'utilisation de la théorie traditionnelle de Shannon est inadaptée et une autre beaucoup plus compliquée doit être employée, qui s'appelle l'analyse à bloc fini. Nous parvenons à résoudre le problème dans le cas du bruit additif blanc gaussien (AWGN) en appliquant des manipulations mathématiques et l'introduction d'un algorithme basé sur la programmation dynamique. À l'étape suivante, nous passons au cas plus général où le signal est déformé par un évanouissement de Rice. Nous étudions comment l'allocation de ressources est affectées étant donné les deux cas opposés d'informations sur l'état du canal (CSI), l'un où seules les propriétés statistiques du canal sont connues (CSI statistique), et l'autre où la valeur exacte du canal est fournie au émetteur(CSI complet).Finalement, nous posons la même question concernant le couche au-dessus, c'est-à-dire le Medium Access Control (MAC). L'allocation des ressources est maintenant effectuée sur plusieurs utilisateurs. La configuration pour chaque utilisateur reste la même, c'est-à-dire qu'une quantité précise de données doit être délivrée sous des contraintes de latence stricte et il y a toujours la possibilité d'utiliser des retransmissions. Comme la 5G classe les utilisateurs en classes d'utilisateurs différentes selon leurs besoins, nous modélisons le trafic d'utilisateurs avec le même concept. Chaque utilisateur appartient à une classe différente qui détermine sa latence et ses besoins en données. Nous développons un algorithme d'apprentissage par renforcement profond qui réussit à entraîner un modèle de réseau de neurones artificiels que nous comparons avec des méthodes conventionnelles en utilisant des algorithmes d'optimisation ou d'approches combinatoires. En fait, dans nos simulations le modèle de réseau de neurones artificiels parvient à les surpasser dans les deux cas de connaissance du canal (CSI statistique et complet).

The new generation of wireless systems 5G aims not only to convincingly exceed its predecessor (LTE) data rate but to work with more dimensions. For instance, more user classes were introduced associated with different available operating points on the trade-off of data rate, latency, reliability. New applications, including augmented reality, autonomous driving, industry automation and tele-surgery, push the need for reliable communications to be carried out under extremely stringent latency constraints. How to manage the physical level in order to successfully meet those service guarantees without wasting valuable and expensive resources is a hard question. Moreover, as the permissible communication latencies shrink, allowing retransmission protocol within this limited time interval is questionable. In this thesis, we first pursue to answer those two questions. Concentrating on the physical layer and specifically on a point to point communication system, we aim to answer if there is any resource allocation of power and blocklength that will render an Hybrid Automatic ReQuest (HARQ) protocol with any number of retransmissions beneficial. Unfortunately, the short latency requirements force only a limited number of symbols to possibly be transmitted which in its turn yields the use of the traditional Shannon theory inaccurate. Hence, the more involved expression using finite blocklength theory must be employed rendering the problem substantially more complicate. We manage to solve the problem firstly for the additive white gaussian noise (AWGN) case after appropriate mathematical manipulations and the introduction of an algorithm based on dynamic programming. Later we move on the more general case where the signal is distorted by a Ricean channel fading. We investigate how the scheduling decisions are affected given the two opposite cases of Channel State Information (CSI), one where only the statistical properties of the channel is known, i.e. statistical CSI, and one where the exact value of the channel is provided to the transmitter, i.e., full CSI.Finally we ask the same question one layer above, i.e. the Medium Access Contron (MAC). The resource allocation must be performed now accross multiple users. The setup for each user remains the same, meaning that a specific amount of information must be delivered successfully under strict latency constraints within which retransmissions are allowed. As 5G categorize users to different classes users according to their needs, we model the traffic under the same concept so each user belongs to a different class defining its latency and data needs. We develop a deep reinforcement learning algorithm that manages to train a neural network model that competes conventional approaches using optimization or combinatorial algorithms. In our simulations, the neural network model actually manages to outperform them in both statistical and full CSI case., La nouvelle génération de systèmes de communication sans fil 5G vise non seulement à dépasser le débit de données du prédécesseur (LTE), mais à améliorer le système sur d'autres dimensions. Dans ce but, davantage de classes d'utilisateurs ont été introduites afin de fournir plus de choix de types de service. Chaque classe est un point différent sur le compromis entre le débit de données, la latence et la fiabilité. Maintenant, beaucoup de nouvelles applications, notamment la réalité augmentée, la conduite autonome, l'automatisation de l'industrie et la téléchirurgie, poussent vers un besoin de communications fiables avec une latence extrêmement faible. Comment gérer la couche physique afin de garantir ces services sans gaspiller des ressources précieuses et coûteuses est une question difficile. En outre, comme les latences de communication autorisées diminuent, l'utilisation d'un protocole de retransmission est contestable. Dans cette thèse, nous tentons de répondre à ces deux questions. En particulier, nous considérons un système de communication point à point, et nous voulons répondre s'il existe une allocation de ressources de puissance et de bande passante qui pourrait rendre le protocole Hybrid Automatic ReQuest (HARQ) avec n'importe quel nombre de retransmissions avantageux. Malheureusement, les exigences de très faible latence obligent à transmettre qu'un nombre limité de symboles. Par conséquent, l'utilisation de la théorie traditionnelle de Shannon est inadaptée et une autre beaucoup plus compliquée doit être employée, qui s'appelle l'analyse à bloc fini. Nous parvenons à résoudre le problème dans le cas du bruit additif blanc gaussien (AWGN) en appliquant des manipulations mathématiques et l'introduction d'un algorithme basé sur la programmation dynamique. À l'étape suivante, nous passons au cas plus général où le signal est déformé par un évanouissement de Rice. Nous étudions comment l'allocation de ressources est affectées étant donné les deux cas opposés d'informations sur l'état du canal (CSI), l'un où seules les propriétés statistiques du canal sont connues (CSI statistique), et l'autre où la valeur exacte du canal est fournie au émetteur(CSI complet).Finalement, nous posons la même question concernant le couche au-dessus, c'est-à-dire le Medium Access Control (MAC). L'allocation des ressources est maintenant effectuée sur plusieurs utilisateurs. La configuration pour chaque utilisateur reste la même, c'est-à-dire qu'une quantité précise de données doit être délivrée sous des contraintes de latence stricte et il y a toujours la possibilité d'utiliser des retransmissions. Comme la 5G classe les utilisateurs en classes d'utilisateurs différentes selon leurs besoins, nous modélisons le trafic d'utilisateurs avec le même concept. Chaque utilisateur appartient à une classe différente qui détermine sa latence et ses besoins en données. Nous développons un algorithme d'apprentissage par renforcement profond qui réussit à entraîner un modèle de réseau de neurones artificiels que nous comparons avec des méthodes conventionnelles en utilisant des algorithmes d'optimisation ou d'approches combinatoires. En fait, dans nos simulations le modèle de réseau de neurones artificiels parvient à les surpasser dans les deux cas de connaissance du canal (CSI statistique et complet).

International audience; Meeting tenant performance requirements through data replication while ensuring an economic profit is very challenging for cloud providers. For this purpose, we propose a data Replication Strategy that satisfies Performance tenant objective and provider profit in Cloud data centers (RSPC). Before the execution of each tenant query Q, data replication is considered only if: (i) the estimated Response Time of Q (RTQ) exceeds a critical RT threshold (per-query replication), or (ii) more often, if RTQ exceeds another (lower) RT threshold for a given number of times (replication per set of queries). Then, a new replica is really created only if a suitable replica placement is heuristically found so that the RT requirement is satisfied again while ensuring an economic profit for the provider. Both the provider's revenues and expenditures are also estimated while penalties and replication costs are taken into account. Furthermore, the replica factor is dynamically adjusted in order to reduce the resource consumption. Compared to four other strategies, RSPC best satisfies the RT requirement under high loads, complex queries and strict RT thresholds. Moreover, penalty and data transfer costs are significantly reduced, which impacts the provider profit.

Contextuality is one way of capturing the non-classicality of quantum theory. The contextual nature of a theory is often witnessed via the violation of non-contextuality inequalities---certain linear inequalities involving probabilities of measurement events. Using the exclusivity graph approach (one of the two main graph theoretic approaches for studying contextuality), it was shown [PRA 88, 032104 (2013); Annals of mathematics, 51-299 (2006)] that a necessary and sufficient condition for witnessing contextuality is the presence of an odd number of events (greater than three) which are either cyclically or anti-cyclically exclusive. Thus, the non-contextuality inequalities whose underlying exclusivity structure is as stated, either cyclic or anti-cyclic, are fundamental to quantum theory. We show that there is a unique non-contextuality inequality for each non-trivial cycle and anti-cycle. In addition to the foundational interest, we expect this to aid the understanding of contextuality as a resource to quantum computing and its applications to local self-testing. Ministry of Education (MOE) National Research Foundation (NRF) Published version A.S.A. and J.R. acknowledge financial support from the Belgian Fonds de la Recherche Scientifique (FNRS) under Grants No. F.4515.16 (QUICTIME) and No. R.50.05.18.F (QuantAlgo). A.S.A. further acknowledges the FNRS for support through Grant No. F3/5/5–MCF/XH/FC– 16749 FRIA. K.B. acknowledges the Centre for Quantum Technologies (CQT) Graduate Scholarship. K.B. and L.C.K. are grateful to the National Research Foundation and the Ministry of Education, Singapore for financial support.

Research on migrant transnationalism has mostly focused on particular transnational activities, their salience in various contexts and populations, and their relationship with migrant incorporation. Less attention has been paid to the interplay between the different domains of transnationalism (economic, political, and socio-relational) and to the way in which they affect migrants’ identity. This study investigates whether and how one domain of migrant transnationalism—transnational entrepreneurship—influences migrants’ (1) transnational involvement in other domains and (2) sense of belonging to different social groups and places. Focusing on the case of Moroccan entrepreneurs in Amsterdam, the Netherlands, and Milan, Italy, we compare transnational migrant entrepreneurs, whose business is based on cross-border relationships and exchanges, with domestic migrant entrepreneurs, who are active exclusively in the destination country. Combining quantitative and qualitative data, we find that transnational entrepreneurs differ from domestic entrepreneurs mostly in terms of socio-relational transnational involvement. On the other hand, transnational entrepreneurship does not substantially change transnational practices in other domains or sense of belonging among Moroccan migrants., info:eu-repo/semantics/published

Information propagation on online social network focuses much attention in various domains as varied as politics, fact checking, or marketing. Modeling information diffusion in such growing communication media is crucial in order both to understand information propagation and to better control it. Our research aims at predicting whether a post is going to be forwarded or not. Moreover, we aim at predicting how much it is going to be diffused. Our model is based on three types of features: user-based, time-based and content-based. Using three collections corresponding to a total of about 16 millions of tweets, we show that our model improves of about 5% F-measure compared to the state of the art, both when predicting if a tweet is going to be re-tweeted and when predicting how popular it will be. F-measure in our model is between 70% and 82%, depending on the collection. We also show that some features we introduced are very important to predict retweetability such as the numbers of followers and number of communities that a user belongs to. Our contribution in this paper is twofold: firstly we defined new features to represent tweets in order to predict their possible propagation; secondly we evaluate the model we built on top of both features from the literature and features we defined on three collections and show the usefulness of our features in the prediction.

In this thesis, I will mainly focus on variational inference and probabilistic models. In particular, I will cover several projects I have been working on during my PhD about improving the efficiency of AI/ML systems with variational techniques. The thesis consists of two parts. In the first part, the computational efficiency of probabilistic graphical models is studied. In the second part, several problems of learning deep neural networks are investigated, which are related to either energy efficiency or sample efficiency, Dans cette thèse, je me concentrerai principalement sur l’inférence variationnelle et les modèles probabilistes. En particulier, je couvrirai plusieurs projets sur lesquels j'ai travaillé pendant ma thèse sur l'amélioration de l'efficacité des systèmes AI / ML avec des techniques variationnelles. La thèse comprend deux parties. Dans la première partie, l’efficacité des modèles probabilistes graphiques est étudiée. Dans la deuxième partie, plusieurs problèmes d’apprentissage des réseaux de neurones profonds sont examinés, qui sont liés à l’efficacité énergétique ou à l’efficacité des échantillons

Future networks will become more dense and heterogeneous due to the inevitable increase in the number of communicated devices and the coexistence of numerous independent networks. One of the consequences is the significant increase in interference. Many studies have shown the impulsive nature of such an interference that is characterized by the presence of high amplitudes during short time durations. In fact, this undesirable phenomenon cannot be captured by the Gaussian model but more properly by heavy-tailed distributions. Beyond networks, impulsive noises are also found in other contexts. They can be generated naturally or be man-made. Systems lose their robustness when the environment changes, as the design takes too much into account the specificities of the model. The problem is that most of the communication systems implemented are based on the Gaussian assumption.Several techniques have been developed to limit the impact of interference, such as interference alignment at the physical layer or simultaneous transmission avoidance techniques like CSMA at the MAC layer. Finally, other methods try to suppress them effectively at the receiver as the successive interference cancellation (SIC). However, all these techniques cannot completely cancel interference. This is all the more true sincewe are heading towards dense networks such as LoRa, Sigfox, 5G or in general the internet of things (IoT) networks without centralized control or access to theradio resources or emission powers. Therefore, taking into account the presence of interference at the receiver level becomes a necessity, or even an obligation.Robust communication is necessary and making a decision at the receiver requires an evaluation of the log-likelihood ratio (LLR), whose derivation depends on the noise distribution. In the presence of additive white Gaussian noise (AWGN) the performance of digital communication schemes has been widely studied, optimized and simply implemented thanks to the linear-based receiver. In impulsive noise, the LLR is not linear anymore and it is computationally prohibitive or even impossible when the noise distribution is not known. Besides, the traditional linear behaviour of the optimal receiver exhibits a significant performance loss. In this study, we focus on designing a simple, adaptive and robust receiver that exhibits a near-optimal performance over Gaussian and non-Gaussian environments. The receiver must strive for universality by adapting automatically and without assistance in real conditions.We prove in this thesis that a simple module between the channel output and the decoder input allows effectively to combat the noise and interference that disrupt point-to-point (P2P) communications in a network. This module can be used as a front end of any LLR-based decoder and it does not require the knowledge of the noise distribution including both thermal noise and interference. This module consists of a LLR approximation selected in a parametric family of functions, flexible enough to be able to represent many communication contexts (Gaussian or non-Gaussian).Then, the judicious use of an information theory criterion allows to search effectively for the LLR approximation function that matches the channel state. Two different methods are proposed and investigated for this search, either using supervised learning or with an unsupervised approach. We show that it is even possible to use such a scheme for short packet communications with a performance close to the true LLR, which is computationally prohibitive. Overall, we believe that our findings can significantly contribute to many communication scenarios and will be desired in different networks wireless or wired, point to point or dense networks.; Le nombre croissant des appareils communicants et lacoexistence de réseaux indépen- dants toujours plus abondantsen augmenteront dans le futur la densité et l'hétérogén- éitéavec pour conséquence une accentuation des interférences. Denombreuses études en ont montré leur nature impulsive qui secaractérise par des événements de fortes intensités sur decourtes périodes. Toutefois, ces phénomènes ne sont pascorrectement capturés par un modèle gaussien et nécessiteplutôt le recours à des distributions à queues lourdes. Cesbruits impulsifs ne sont pas l'apanage des réseaux et seretrouvent aussi dans d'autres contextes d'originesnaturelles ou humaines. Les systèmes perdent leur robustesselorsque leur environnement se modifie et lorsqu'ils reposenttrop fortement sur les spécificités de leur modèle. Laplupart des systèmes de communications étant basés sur lemodèle gaussien souffrent de tels problèmes en milieuimpulsif.Plusieurs techniques ont été développées pour limiterl'impact des interférences comme l'alignementd'interférences au niveau de la couche physique ou par destechniques d'évitement de transmissions simultanées comme leCSMA au niveau de la couche MAC. Enfin, d'autres méthodesessaient de les supprimer efficacement au niveau durécepteur à l'instar de l'annulation successivesd'interférences. Toutes ces techniques ne peuventparfaitement annuler toutes les interférences; d'autant plusque nous nous dirigeons vers des réseaux denses comme LoRa,Sigfox, la 5G ou en général l'Internet des objets sanscontrôle centralisé ni d'accès à la ressource radio ni auxpuissances des émissions. Par conséquent, prendre en comptela présence des interférences au niveau du récepteur devientune nécessité, voire une obligation.La robustesse des communications est nécessaire et prendrede bonnes décisions au niveau du récepteur requiertl'évaluation du log rapport de vraisemblance (LLR) quidépend de la distribution du bruit. Le cas du bruit blancgaussien additif est bien connu avec son récepteur linéaireet ses performances bien étudiées. Les non-linéaritésapparaissent avec le bruit impulsif et le LLR devient alorsdifficilement calculable lorsque la distribution de bruitn'est pas parfaitement connue. Malheureusement, dans cettesituation, les récepteurs classiques montrent des pertes deperformances significatives. Nous nous concentrons ici surla conception d'un récepteur adaptatif simple et robuste quiaffiche des performances proches de l'optimum sous bruitgaussien ou non. Ce récepteur aspire à être suffisammentgénérique pour s'adapter automatiquement en situation réel.Nous montrons par nos travaux qu'un simple module entre lasortie du canal et le décodeur de canal permet de combattreefficacement le bruit impulsif et améliore grandement lesperformances globales du système. Ce module approche le LLRpar une fonction adéquate sélectionnée parmi une familleparamétrée qui reflète suffisamment de conditions réelles ducanal allant du cas gaussien au cas sévèrement impulsif.Deux méthodes de sélection sont proposées et étudiées: lapremière utilise une séquence d'apprentissage, la secondeconsiste en un apprentissage non supervisé. Nous montronsque notre solution reste viable même pour des communicationsen paquets courts tout en restant très efficace en terme decoût de calcul. Nos contributions peuvent être amenéesà être appliquées à d'autres domaine que les communicationsnumériques.

Future networks will become more dense and heterogeneous due to the inevitable increase in the number of communicated devices and the coexistence of numerous independent networks. One of the consequences is the significant increase in interference. Many studies have shown the impulsive nature of such an interference that is characterized by the presence of high amplitudes during short time durations. In fact, this undesirable phenomenon cannot be captured by the Gaussian model but more properly by heavy-tailed distributions. Beyond networks, impulsive noises are also found in other contexts. They can be generated naturally or be man-made. Systems lose their robustness when the environment changes, as the design takes too much into account the specificities of the model. The problem is that most of the communication systems implemented are based on the Gaussian assumption.Several techniques have been developed to limit the impact of interference, such as interference alignment at the physical layer or simultaneous transmission avoidance techniques like CSMA at the MAC layer. Finally, other methods try to suppress them effectively at the receiver as the successive interference cancellation (SIC). However, all these techniques cannot completely cancel interference. This is all the more true sincewe are heading towards dense networks such as LoRa, Sigfox, 5G or in general the internet of things (IoT) networks without centralized control or access to theradio resources or emission powers. Therefore, taking into account the presence of interference at the receiver level becomes a necessity, or even an obligation.Robust communication is necessary and making a decision at the receiver requires an evaluation of the log-likelihood ratio (LLR), whose derivation depends on the noise distribution. In the presence of additive white Gaussian noise (AWGN) the performance of digital communication schemes has been widely studied, optimized and simply implemented thanks to the linear-based receiver. In impulsive noise, the LLR is not linear anymore and it is computationally prohibitive or even impossible when the noise distribution is not known. Besides, the traditional linear behaviour of the optimal receiver exhibits a significant performance loss. In this study, we focus on designing a simple, adaptive and robust receiver that exhibits a near-optimal performance over Gaussian and non-Gaussian environments. The receiver must strive for universality by adapting automatically and without assistance in real conditions.We prove in this thesis that a simple module between the channel output and the decoder input allows effectively to combat the noise and interference that disrupt point-to-point (P2P) communications in a network. This module can be used as a front end of any LLR-based decoder and it does not require the knowledge of the noise distribution including both thermal noise and interference. This module consists of a LLR approximation selected in a parametric family of functions, flexible enough to be able to represent many communication contexts (Gaussian or non-Gaussian).Then, the judicious use of an information theory criterion allows to search effectively for the LLR approximation function that matches the channel state. Two different methods are proposed and investigated for this search, either using supervised learning or with an unsupervised approach. We show that it is even possible to use such a scheme for short packet communications with a performance close to the true LLR, which is computationally prohibitive. Overall, we believe that our findings can significantly contribute to many communication scenarios and will be desired in different networks wireless or wired, point to point or dense networks., Le nombre croissant des appareils communicants et lacoexistence de réseaux indépen- dants toujours plus abondantsen augmenteront dans le futur la densité et l'hétérogén- éitéavec pour conséquence une accentuation des interférences. Denombreuses études en ont montré leur nature impulsive qui secaractérise par des événements de fortes intensités sur decourtes périodes. Toutefois, ces phénomènes ne sont pascorrectement capturés par un modèle gaussien et nécessiteplutôt le recours à des distributions à queues lourdes. Cesbruits impulsifs ne sont pas l'apanage des réseaux et seretrouvent aussi dans d'autres contextes d'originesnaturelles ou humaines. Les systèmes perdent leur robustesselorsque leur environnement se modifie et lorsqu'ils reposenttrop fortement sur les spécificités de leur modèle. Laplupart des systèmes de communications étant basés sur lemodèle gaussien souffrent de tels problèmes en milieuimpulsif.Plusieurs techniques ont été développées pour limiterl'impact des interférences comme l'alignementd'interférences au niveau de la couche physique ou par destechniques d'évitement de transmissions simultanées comme leCSMA au niveau de la couche MAC. Enfin, d'autres méthodesessaient de les supprimer efficacement au niveau durécepteur à l'instar de l'annulation successivesd'interférences. Toutes ces techniques ne peuventparfaitement annuler toutes les interférences; d'autant plusque nous nous dirigeons vers des réseaux denses comme LoRa,Sigfox, la 5G ou en général l'Internet des objets sanscontrôle centralisé ni d'accès à la ressource radio ni auxpuissances des émissions. Par conséquent, prendre en comptela présence des interférences au niveau du récepteur devientune nécessité, voire une obligation.La robustesse des communications est nécessaire et prendrede bonnes décisions au niveau du récepteur requiertl'évaluation du log rapport de vraisemblance (LLR) quidépend de la distribution du bruit. Le cas du bruit blancgaussien additif est bien connu avec son récepteur linéaireet ses performances bien étudiées. Les non-linéaritésapparaissent avec le bruit impulsif et le LLR devient alorsdifficilement calculable lorsque la distribution de bruitn'est pas parfaitement connue. Malheureusement, dans cettesituation, les récepteurs classiques montrent des pertes deperformances significatives. Nous nous concentrons ici surla conception d'un récepteur adaptatif simple et robuste quiaffiche des performances proches de l'optimum sous bruitgaussien ou non. Ce récepteur aspire à être suffisammentgénérique pour s'adapter automatiquement en situation réel.Nous montrons par nos travaux qu'un simple module entre lasortie du canal et le décodeur de canal permet de combattreefficacement le bruit impulsif et améliore grandement lesperformances globales du système. Ce module approche le LLRpar une fonction adéquate sélectionnée parmi une familleparamétrée qui reflète suffisamment de conditions réelles ducanal allant du cas gaussien au cas sévèrement impulsif.Deux méthodes de sélection sont proposées et étudiées: lapremière utilise une séquence d'apprentissage, la secondeconsiste en un apprentissage non supervisé. Nous montronsque notre solution reste viable même pour des communicationsen paquets courts tout en restant très efficace en terme decoût de calcul. Nos contributions peuvent être amenéesà être appliquées à d'autres domaine que les communicationsnumériques.

The work presented here is for a first part at the cross section of deep learning and anonymization. A full framework was developed in order to identify and remove to a certain extant, in an automated manner, the features linked to an identity in the context of image data. Two different kinds of processing data were explored. They both share the same Y-shaped network architecture despite components of this network varying according to the final purpose. The first one was about building from the ground an anonymized representation that allowed a trade-off between keeping relevant features and tampering private features. This framework has led to a new loss. The second kind of data processing specified no relevant information about the data, only private information, meaning that everything that was not related to private features is assumed relevant. Therefore the anonymized representation shares the same nature as the initial data (e.g. an image is transformed into an anonymized image). This task led to another type of architecture (still in a Y-shape) and provided results strongly dependent on the type of data. The second part of the work is relative to another kind of relevant information: it focuses on the monitoring of predictor behavior. In the context of black box analysis, we only have access to the probabilities outputted by the predictor (without any knowledge of the type of structure/architecture producing these probabilities). This monitoring is done in order to detect abnormal behavior that is an indicator of a potential mismatch between the data statistics and the model statistics. Two methods are presented using different tools. The first one is based on comparing the empirical cumulative distribution of known data and to be tested data. The second one introduces two tools: one relying on the classifier uncertainty and the other relying on the confusion matrix. These methods produce concluding results.; Le travail présenté ici est pour une première partie à l'intersection de l'apprentissage profond et anonymisation. Un cadre de travail complet est développé dans le but d'identifier et de retirer, dans une certaine mesure et de manière automatique, les caractéristiques privées d'une identité pour des données de type image. Deux méthodes différentes de traitement des données sont étudiées. Ces deux méthodes partagent une même architecture de réseau en forme de Y et cela malgré des différences concernant les types de couches de neurones utilisés conséquemment à leur objectif d'utilisation. La première méthode de traitement des données concerne la création ex nihilo de représentations anonymisées permettant un compromis entre la conservation des caractéristiques pertinentes et l'altération des caractéristiques privées. Ce cadre de travail a abouti à une nouvelle fonction de perte.Le deuxième type de traitement des données ne fait usage d'aucune information pertinente sur ces données et utilise uniquement des informations privées; ceci signifie que tout ce qui n'est pas une caractéristiques privées est supposé pertinent. Par conséquent les représentations anonymisées sont de même nature que les données initiales (une image est transformée en une image anonymisée). Cette tâche a conduit à un autre type d'architecture (toujours en forme de Y) et a fourni des résultats fortement sensibles au type des données. La seconde partie de mon travail concerne une autre sorte d'information utile : cette partie se concentre sur la surveillance du comportement des prédicteurs. Dans le cadre de l'analyse de "modèle boîte noire", on a uniquement accès aux probabilités que le prédicteur fournit (sans aucune connaissance du type de structure/architecture qui produit ces probabilités). Cette surveillance est effectuée pour détecter des comportements anormaux. L'étude de ces probabilités peut servir d'indicateur d'inadéquation potentiel entre les statistiques des données et les statistiques du modèle. Deux méthodes utilisant différents outils sont présentées. La première compare la fonction de répartition des statistiques de sortie d'un ensemble connu et d'un ensemble de données à tester. La seconde fait intervenir deux outils : un outil reposant sur l'incertitude du classifieur et un autre outil reposant sur la matrice de confusion. Ces méthodes produisent des résultats concluants.

Statistical inference plays a major role in the development of new technologies and inspires a large number of algorithms dedicated to detection, identification and estimation tasks. However, there is no theoretical guarantee for the performance of these algorithms. In this thesis we try to understand how sensors can best share their information in a network with communication constraints to detect the same or distinct events. We investigate different aspects of detector cooperation and how conflicting needs can best be met in the case of detection tasks. More specifically we study a hypothesis testing problem where each detector must maximize the decay exponent of the Type II error under a given Type I error constraint. As the detectors are interested in different information, a compromise between the achievable decay exponents of the Type II error appears. Our goal is to characterize the region of possible trade-offs between Type II error decay exponents. In massive sensor networks, the amount of information is often limited due to energy consumption and network saturation risks. We are therefore studying the case of the zero rate compression communication regime (i.e. the messages size increases sub-linearly with the number of observations). In this case we fully characterize the region of Type II error decay exponent. In configurations where the detectors have or do not have the same purposes. We also study the case of a network with positive compression rates (i.e. the messages size increases linearly with the number of observations). In this case we present subparts of the region of Type II error decay exponent. Finally, in the case of a single sensor single detector scenario with a positive compression rate, we propose a complete characterization of the optimal Type II error decay exponent for a family of Gaussian hypothesis testing problems.; L’inférence statistique prend une place prépondérante dans le développement des nouvelles technologies et inspire un grand nombre d’algorithmes dédiés à des tâches de détection, d’identification et d’estimation. Cependant il n’existe pas de garantie théorique pour les performances de ces algorithmes. Dans cette thèse, nous considérons un réseau simplifié de capteurs communicant sous contraintes pour tenter de comprendre comment des détecteurs peuvent se partager au mieux les informations à leur disposition pour détecter un même événement ou des événements distincts. Nous investiguons différents aspects de la coopération entre détecteurs et comment des besoins contradictoires peuvent être satisfaits au mieux dans le cas de tâches de détection. Plus spécifiquement nous étudions un problème de test d’hypothèse où chaque détecteur doit maximiser l’exposant de décroissance de l’erreur de Type II sous une contrainte d’erreur de Type I donnée. Comme il y a plusieurs détecteurs intéressés par des informations distinctes, un compromis entre les vitesses de décroissance atteignables va apparaître. Notre but est de caractériser la région des compromis possibles entre exposants d’erreurs de Type II. Dans le cadre des réseaux de capteurs massifs, la quantité d’information est souvent soumise à des limitations pour des raisons de consommation d’énergie et de risques de saturation du réseau. Nous étudions donc, en particulier, le cas du régime de communication à taux de compression nul (i.e. le nombre de bits des messages croit de façon sous-linéaire avec le nombre d’observations). Dans ce cas, nous caractérisons complètement la région des exposants d’erreurs de Type II dans les configurations où les détecteurs peuvent avoir des buts différents. Nous étudierons aussi le cas d’un réseau avec des taux de compressions positifs (i.e. le nombre de bits des messages augmente de façon linéaire avec le nombre d’observations). Dans ce cas, nous présentons des sous-parties de la région des exposants d’erreur de Type II. Enfin, nous proposons dans le cas d’un problème point à point avec un taux de compression positif une caractérisation complète de l’exposant de l’erreur de Type II optimal pour une famille de tests gaussiens.