Search

Tensors or multi-way arrays are useful tools to identify unknown quantitiesthanks to the uniqueness of their decomposition. Tensor decompositionshave been widely applied to obtain unknown components with physicalmeanings in many applications such as medical image and signal processing,hyperspectral images analysis, chemometrics, etc.In this thesis, we investigate the application of tensor decompositionfor probability estimations, which are required for some targeted data/textmining tasks such as unsupervised clustering of data/documents. Besidescriticizing utilized tensor decomposition algorithms for probability estimations,we propose to apply some proper constrained tensor decompositions,which result in more reliable and accurate estimations. Moreover, we introducean algorithm for constrained tensor decomposition, called SimpleForward-Backward Splitting (SFBS), which is based on proximal minimizationapproach. SFBS performs better than state-of-the-art in decomposingnoisy tensors while computationally less expensive.In addition, to evaluate the performance of tensor decomposition algorithms,we introduce an index called CorrIndex, which provides interpretableperformance bounds, while keeping computational complexity to a reasonablelevel. Furthermore, we propose a method of moment estimation (standardaveraging), which estimates the second and third order moments, withthe same performance of state-of-the-art, but based on a much simpler concept,i.e. weighted averaging. Moreover, standard averaging performs betterin small dimensions, and does not have strong limitation on the minimumnumber of observed data, unlike state-of-the-art.Keywords — Tensor decomposition, Text mining, Unsupervised clustering,Hidden/latent variable, Third order moments, Forward-Backward Splitting,Proximal operator, Performance index, Permutation and scale ambiguity, Les tenseurs - ou les tableaux multi-indices - sont des outils utiles pour identifier des quantités inconnues grâce à l'unicité de leur décomposition. Les décompositions tensorielles ont été largement utilisées pour obtenir des composantes inconnues ayant une signification physique dans de nombreuses applications, telles que le traitement d'images et de signaux médicaux, l'analyse d'images hyperspectrales, la chimiométrie, etc.Dans cette thèse, nous étudions l'application de la décomposition tensorielle pour l'estimation de probabilités, qui sont nécessaires pour certaines tâches ciblées de fouille de données/textes telles que le groupement non supervisé de données/documents. En plus de critiquer les algorithmes de décomposition tensorielle utilisés pour l'estimation de probabilités, nous proposons des décompositions tensorielles sous des contraintes appropriées, qui donnent lieu à des estimations plus fiables et plus précises. De plus, nous introduisons un algorithme de décomposition tensorielle contrainte, appelé Simple Forward-Backward Splitting (SFBS), qui est basé sur une approche de minimisation proximale. SFBS est plus performant que l'état de l'art dans la décomposition des tenseurs bruités tout en étant moins coûteux en calcul.En outre, pour évaluer la performance des algorithmes de décomposition tensorielle, nous introduisons un indice appelé CorrIndex, qui fournit des limites de performance interprétables, tout en maintenant la complexité de calcul à un niveau raisonnable. De plus, nous proposons une méthode d'estimation des moments (moyenne standard), qui estime les moments d'ordre deux et trois, avec les mêmes performances que l'état de l'art, mais basée sur un concept beaucoup plus simple, la moyenne pondérée. De plus, le calcul de la moyenne standard est plus performant dans les petites dimensions et n'est pas limité par le nombre minimum de données observées, contrairement à l'état de l'art.Mots clés — Décomposition tensorielle, Fouille de texte, Clustering non-supervisé, Variable cachée/latente, Moment de troisième ordre, Fractionnement avant-arrière,Opérateur proximal, Indice de performance, Ambiguïté d'échelle et de permutation

International audience; The Canonical Polyadic (CP) tensor decomposition has become an attractive mathematical tool in several fields during the last ten years. This decomposition is very powerful for representing and analyzing multidimensional data. The most attractive feature of the CP decomposition is its uniqueness, contrary to rank-revealing matrix decompositions, where the problem of rotational invariance remains. This paper presents the performance analysis of iterative descent algorithms for calculating the CP decomposition of tensors when columns of factor matrices are almost collineari.e. swamp problems arise. We propose in this paper a new and efficient proximal algorithm based on the Forward Backward splitting method. More precisely, the existence of the best low-rank tensor approximation is ensured thanks to a coherence constraint implemented via a logarithmic regularized barrier. Computer experiments demonstrate the efficiency and stability of the proposed algorithm in comparison to other iterative algorithms in the literature for the normal case, and also producing significant results even in difficult situations.; La décomposition du tenseur polyadique canonique (CP) est devenue un outil mathématique intéressant dans plusieurs domaines au cours des dix dernières années. Cette décomposition est très puissante pour représenter et analyser des données multidimensionnelles. La caractéristique la plus attrayante de la décomposition CP est son caractère unique, contrairement aux décompositions matricielles, où le problème de l'invariance de rotation demeure. Cet article présente l'analyse des performances des algorithmes de descente itérative pour le calcul de la décomposition CP des tenseurs lorsque les colonnes des matrices de facteurs sont presque colinéaires, c'est-à-dire lorsque des problèmes de marais surviennent. Nous proposons dans cet article un nouveau algorithme proximal, basé sur la méthode de décomposition Avant et Arrière. Plus précisément, l'existence de la meilleure approximation des tenseurs de rang inférieur est assurée grâce à une contrainte de cohérence mise en œuvre via une barrière logarithmique régularisée. Les expériences réalisées sur ordinateur démontrent l'efficacité et la stabilité de l'algorithme proposé par rapport aux autres algorithmes itératifs de la littérature pour le cas normal, et produisant également des résultats significatifs même dans des situations difficiles.

Tensors may be seen as multi-dimensional arrays that generalize vectors and matrices to more than two dimensions. Among tensor decompositions, we are especially interested in the Canonical Polyadic tensor decomposition, which is important in various real-world applications, for its uniqueness and ease of interpretation of its factor matrices. In this research, we consider the estimation of factor matrices of the Nonnegative Canonical Polyadic (NCP) decomposition in a simultaneous way. Two proximal algorithms are proposed, the Monotone Accelerated Proximal Gradient (M-APG) and the Non-monotone Accelerated Proximal Gradient (Nm-APG) algorithms. These algorithms are implemented through a regularization function that incorporates previous iterations while using a monitoring capable of efficiently conducting this incorporation. Simulation results demonstrate better performance of the two proposed algorithms in terms of accuracy for the normal situation as well as for the bottleneck case when compared to other NCP algorithms in the literature.