Search

Cette thèse fait des petits pas dans la construction et la compréhension des systèmes d'apprentissage des représentations neuronales et des modèles génératifs pour le traitement du langage naturel. Il est présenté comme une thèse par article qui contient quatre travaux. Dans le premier article, nous montrons que l'apprentissage multi-tâches peut être utilisé pour combiner les biais inductifs de plusieurs tâches d'apprentissage auto-supervisées et supervisées pour apprendre des représentations de phrases distribuées de longueur fixe à usage général qui obtiennent des résultats solides sur les tâches d'apprentissage par transfert en aval sans tout modèle de réglage fin. Le deuxième article s'appuie sur le premier et présente un modèle génératif en deux étapes pour le texte qui modélise la distribution des représentations de phrases pour produire de nouveaux plongements de phrases qui servent de "contour neuronal" de haut niveau qui est reconstruit en mots avec un récurrent neuronal autorégressif conditionnel décodeur. Le troisième article étudie la nécessité de représentations démêlées pour la génération de texte contrôlable. Une grande partie des systèmes de génération de texte contrôlables reposent sur l'idée que le contrôle d'un attribut (ou d'un style) particulier nécessite la construction de représentations dissociées qui séparent le contenu et le style. Nous démontrons que les représentations produites dans des travaux antérieurs qui utilisent la formation contradictoire du domaine ne sont pas dissociées dans la pratique. Nous présentons ensuite une approche qui ne vise pas à apprendre des représentations démêlées et montrons qu'elle permet d'obtenir des résultats nettement meilleurs que les travaux antérieurs. Dans le quatrième article, nous concevons des modèles de langage de transformateur qui apprennent les représentations à plusieurs échelles de temps et montrent que ceux-ci peuvent aider à réduire l'empreinte mémoire importante de ces modèles. Il présente trois architectures multi-échelles différentes qui présentent des compromis favorables entre la perplexité et l'empreinte mémoire., This thesis takes baby steps in building and understanding neural representation learning systems and generative models for natural language processing. It is presented as a thesis by article that contains four pieces of work. In the first article, we show that multi-task learning can be used to combine the inductive biases of several self-supervised and supervised learning tasks to learn general-purpose fixed-length distributed sentence representations that achieve strong results on downstream transfer learning tasks without any model fine-tuning. The second article builds on the first and presents a two-step generative model for text that models the distribution of sentence representations to produce novel sentence embeddings that serves as a high level ``neural outline'' that is reconstructed to words with a conditional autoregressive RNN decoder. The third article studies the necessity of disentangled representations for controllable text generation. A large fraction of controllable text generation systems rely on the idea that control over a particular attribute (or style) requires building disentangled representations that separate content and style. We demonstrate that representations produced in previous work that uses domain adversarial training are not disentangled in practice. We then present an approach that does not aim to learn disentangled representations and show that it achieves significantly better results than prior work. In the fourth article, we design transformer language models that learn representations at multiple time scales and show that these can help address the large memory footprint these models typically have. It presents three different multi-scale architectures that exhibit favorable perplexity vs memory footprint trade-offs.

Graphs are ubiquitous as most real-world data can be naturally represented in the form of graphs. Capturing information from graph-structured data, i.e. graph mining or graph representation learning, has thus long become and remains an important topic. In this dissertation, we present a series of research contributions on subjects of machine learning on graphs using kernel methods and the emerging graph neural networks (GNNs).In the first part, we present a novel framework for constructing a valid optimal assignment graph kernel that computes the similarity between two graphs by computing a correspondence of their node embeddings residing in the same space. Using a clustering algorithm, we construct a hierarchy of the vertices in this space, through which the proposed kernel can find an optimal matching of the vertices that maximises the overall similarity of all the pairs. This framework is not limited to graphs. It can be used to compare any objects that are set of vectors. Moreover, the kernel feature map is a more expressive node embedding than the original embedding methods. We demonstrate the efficiency of the proposed kernel empirically on graph classification, link prediction and text categorisation tasks.The second part of this dissertation is devoted to the GNNs, particularly the Message-Passing Neural Networks (MPNNs), a dominating class of GNNs. As an emerging model, the MPNN soon became a leading tool for graph representation learning, mainly due to its power of projecting attributed graphs into high-level embeddings, making it versatile to different types of graphs and different application areas.We first demonstrate the power of MPNNs by an application in the field of temporal networks. We tackle the evolution prediction of dynamic graphs by proposing a sequential framework. Precisely, we use MPNNs to encode the sequence of evolving graphs into a sequence of embeddings in a latent space correlated by time. A recurrent architecture then generates the prediction of embedding at the next timestep. Finally, a generative model is employed to re-construct the graph instance corresponding to that prediction of embedding in the latent space. GNNs significantly improve the performance against traditional models such as random graph models on predicting the topology of evolving graphs.The following two works move closer to the fundamentals of MPNNs by addressing their limitations in terms of computational cost and robustness against structural noise. We notice that the MPNN can be divided into two disjoint steps: one is related to the graph structure, namely the aggregation step, and the other only concerns node features, namely the update step. Through extensive experiments, we found that the update step seems to play a less important role in model performance, as it can be substantially simplified by sparsifying, or in some cases, even omitting the whole, as long as the non-linear activation stays.This finding indicates that the MPNN might be vulnerable to graph-structural noise. Indeed, if the main contribution to model performance comes from the aggregation step, then the impact of structural noise would also be amplified. This work proposes a theoretical model based on random matrix theory to analyse the interaction between graph structure information and node feature information, precisely when graph structure is heavily perturbed. The main result is that graph structural noise will heavily overshadow node feature information. When a graph is structurally perturbed enough, node feature information will have no contribution to model performance, even itself might be informative. This theoretical finding inspires us to robustify MPNNs against graph structural noise with a node feature kernel. Empirical evaluations show the effectiveness of our proposed kernel as it improves the model performance significantly when the graph structure is heavily perturbed., Les graphes sont omniprésents: la plupart des données du monde réel peuvent être naturellement représentées sous forme de graphes. La capture d'informations à partir de données structurées en graphes est donc devenue et reste un sujet important. Dans cette thèse, nous présentons une série de contributions de recherche sur les sujets de l'apprentissage automatique sur les graphes en utilisant des méthodes à noyau et les réseaux neuronaux de graphes (GNNs).Dans la première partie, nous présentons un nouveau modèle pour construire un noyau de graphe d'affectation optimale qui calcule la similarité entre deux graphes en calculant une correspondance de leurs plongements de nœuds résidant dans le même espace. En utilisant un algorithme de clustering, nous construisons une hiérarchie des sommets dans cet espace, à travers laquelle le noyau proposé peut trouver une correspondance optimale des sommets qui maximise la similarité globale. Ce modèle n'est pas limité aux graphes. Il peut être utilisé pour comparer tout objet qui est un ensemble de vecteurs. De plus, la carte de caractéristiques du noyau est un plongement de nœuds plus expressif que les approches de plongement originales. Nous démontrons l'efficacité du noyau proposé de manière empirique sur des tâches de classification de graphes, de prédiction de liens et de catégorisation de textes.La deuxième partie de cette thèse est consacrée aux GNN, en particulier aux réseaux de neurones de passage de messages (MPNN), une classe dominante de GNN. En tant que modèle émergent, le MPNN est rapidement devenu un des premiers outils pour l'apprentissage de la représentation de graphes.Nous démontrons d'abord la puissance des MPNNs par une application dans le domaine des réseaux temporels. Nous nous attaquons à la prédiction de l'évolution de graphes dynamiques en proposant un modèle séquentiel. Précisément, nous utilisons les MPNNs pour encoder la séquence de graphes en évolution en une séquence de plongements dans un espace latent. Une architecture récurrente génère ensuite la prédiction du plongement au prochain pas. Enfin, un modèle génératif est utilisé pour reconstruire l'instance de graphe correspondant à cette prédiction de plongement dans l'espace latent. Les GNNs améliorent considérablement les performances par rapport aux modèles traditionnels, tels que les modèles de graphes aléatoires, pour la prédiction de la topologie des graphes évolutifs.Les deux travaux suivants se rapprochent des principes fondamentaux des MPNNs en abordant leurs limites en termes de coût de calcul et de robustesse au bruit structurel. Nous remarquons que le MPNN peut être divisé en deux étapes disjointes : l'étape d'agrégation et l'étape de mise à jour. Grâce à des expériences extensives, nous avons constaté que l'étape de mise à jour semble jouer un rôle moins important en terme de performance du modèle, car elle peut être considérablement simplifiée en sparsifiant, ou dans certains cas, même en omettant l'ensemble.Ensuit, on propose un modèle théorique basé sur la théorie des matrices aléatoires pour analyser l'interaction entre l'information sur la structure du graphe et l'information sur les caractéristiques des nœuds, précisément lorsque la structure du graphe est fortement perturbée. Le résultat principal est que le bruit structurel du graphe éclipse fortement l'information sur les caractéristiques des nœuds. Lorsqu'un graphe est structurellement suffisamment perturbé, l'information sur les caractéristiques des nœuds ne contribuera pas à la performance du modèle, même si elle peut être informative. Cette découverte théorique nous inspire à renforcer les MPNNs contre le bruit structurel du graphe avec un noyau de caractéristiques de nœuds. Les évaluations empiriques montrent l'efficacité du noyau que nous proposons, car il améliore de manière significative les performances du modèle lorsque la structure du graphe est fortement perturbée.

The focus of visual content is often people. Automatic analysis of people from visual data is therefore of great importance for numerous applications in content search, autonomous driving, surveillance, health care, and entertainment. The goal of this thesis is to learn visual representations for human understanding. Particular emphasis is given to two closely related areas of computer vision: human body analysis and human action recognition. In summary, our contributions are the following: (i) we generate photo-realistic synthetic data for people that allows training CNNs for human body analysis, (ii) we propose a multi-task architecture to recover a volumetric body shape from a single image, (iii) we study the benefits of long-term temporal convolutions for human action recognition using 3D CNNs, (iv) we incorporate similarity training in multi-view videos to design view-independent representations for action recognition., Le contenu visuel se concentre souvent sur les humains. L’analyse automatique des humains à partir de données visuelles revêt donc une grande importance pour de nombreuses applications. Le but de cette thèse est d’apprendre des représentations visuelles pour l’analyse des humains. Un accent particulier est mis sur deux domaines étroitement liés de la vision artificielle : l’analyse du corps humain et la reconnaissance des actions. En résumé, nos contributions sont les suivantes : (i) nous générons des données synthétiques photoréalistes de personnes permettant l’entraînement de CNNs pour l’analyse du corps humain, (ii) nous proposons une architecture multitâche permettant d’obtenir une représentation volumétrique du corps à partir d’une seule image, (iii) nous étudions les avantages des convolutions temporelles à long terme pour la reconnaissance de l’action humaine à l’aide de CNNs 3D, (iv) nous incorporons une fonction de coût de similarité des vidéos multi-vues pour concevoir des représentations invariantes au changement de vue.

Nowadays, social media has widely affected every aspect of human life. The most significant change in people's behavior after emerging Online Social Networks (OSNs) is their communication method and its range. Having more connections on OSNs brings more attention and visibility to people, where it is called popularity on social media. Depending on the type of social network, popularity is measured by the number of followers, friends, retweets, likes, and all those other metrics that is used to calculate engagement. Studying the popularity behavior of users and published contents on social media and predicting its future status are the important research directions which benefit different applications such as recommender systems, content delivery networks, advertising campaign, election results prediction and so on. This thesis addresses the analysis of popularity behavior of OSN users and their published posts in order to first, identify the popularity trends of users and posts and second, predict their future popularity and engagement level for published posts by users. To this end, i) the popularity evolution of ONS users is studied using a dataset of 8K Facebook professional users collected by an advanced crawler. The collected dataset includes around 38 million snapshots of users' popularity values and 64 million published posts over a period of 4 years. Clustering temporal sequences of users' popularity values led to identifying different and interesting popularity evolution patterns. The identified clusters are characterized by analyzing the users' business sector, called category, their activity level, and also the effect of external events. Then ii) the thesis focuses on the prediction of user engagement on the posts published by users on OSNs. A novel prediction model is proposed which takes advantage of Point-wise Mutual Information (PMI) and predicts users' future reaction to newly published posts. Finally, iii) the proposed model is extended to get benefits of representation learning and predict users' future engagement on each other's posts. The proposed prediction approach extracts user embedding from their reaction history instead of using conventional feature extraction methods. The performance of the proposed model proves that it outperforms conventional learning methods available in the literature. The models proposed in this thesis, not only improves the reaction prediction models to exploit representation learning features instead of hand-crafted features but also could help news agencies, advertising campaigns, content providers in CDNs, and recommender systems to take advantage of more accurate prediction results in order to improve their user services, De nos jours, les médias sociaux ont largement affecté tous les aspects de la vie humaine. Le changement le plus significatif dans le comportement des gens après l'émergence des réseaux sociaux en ligne (OSNs) est leur méthode de communication et sa portée. Avoir plus de connexions sur les OSNs apporte plus d'attention et de visibilité aux gens, où cela s'appelle la popularité sur les médias sociaux. Selon le type de réseau social, la popularité se mesure par le nombre d'adeptes, d'amis, de retweets, de goûts et toutes les autres mesures qui servaient à calculer l'engagement. L'étude du comportement de popularité des utilisateurs et des contenus publiés sur les médias sociaux et la prédiction de leur statut futur sont des axes de recherche importants qui bénéficient à différentes applications telles que les systèmes de recommandation, les réseaux de diffusion de contenu, les campagnes publicitaires, la prévision des résultats des élections, etc. Cette thèse porte sur l'analyse du comportement de popularité des utilisateurs d'OSN et de leurs messages publiés afin, d'une part, d'identifier les tendances de popularité des utilisateurs et des messages et, d'autre part, de prévoir leur popularité future et leur niveau d'engagement pour les messages publiés par les utilisateurs. A cette fin, i) l'évolution de la popularité des utilisateurs de l'ONS est étudiée à l'aide d'un ensemble de données d'utilisateurs professionnels 8K Facebook collectées par un crawler avancé. L'ensemble de données collectées comprend environ 38 millions d'instantanés des valeurs de popularité des utilisateurs et 64 millions de messages publiés sur une période de 4 ans. Le regroupement des séquences temporelles des valeurs de popularité des utilisateurs a permis d'identifier des modèles d'évolution de popularité différents et intéressants. Les grappes identifiées sont caractérisées par l'analyse du secteur d'activité des utilisateurs, appelé catégorie, leur niveau d'activité, ainsi que l'effet des événements externes. Ensuite ii) la thèse porte sur la prédiction de l'engagement des utilisateurs sur les messages publiés par les utilisateurs sur les OSNs. Un nouveau modèle de prédiction est proposé qui tire parti de l'information mutuelle par points (PMI) et prédit la réaction future des utilisateurs aux messages nouvellement publiés. Enfin, iii) le modèle proposé est élargi pour tirer profit de l'apprentissage de la représentation et prévoir l'engagement futur des utilisateurs sur leurs postes respectifs. L'approche de prédiction proposée extrait l'intégration de l'utilisateur de son historique de réaction au lieu d'utiliser les méthodes conventionnelles d'extraction de caractéristiques. La performance du modèle proposé prouve qu'il surpasse les méthodes d'apprentissage conventionnelles disponibles dans la littérature. Les modèles proposés dans cette thèse, non seulement déplacent les modèles de prédiction de réaction vers le haut pour exploiter les fonctions d'apprentissage de la représentation au lieu de celles qui sont faites à la main, mais pourraient également aider les nouvelles agences, les campagnes publicitaires, les fournisseurs de contenu dans les CDN et les systèmes de recommandation à tirer parti de résultats de prédiction plus précis afin d'améliorer leurs services aux utilisateurs