Search

Ce mémoire porte sur l’étude des modèles autorégressifs avec variables exogènes et sélection d’indices. La littérature classique regorge de textes concernant la sélection d’indices dans les modèles autorégressifs. Ces modèles sont particulièrement utiles pour des données macroéconomiques mesurées sur des périodes de temps modérées à longues. Effectivement, la lourde paramétrisation des modèles complets peut souvent être allégée en utilisant la sélection d’indices aboutissant ainsi à des modèles plus parcimonieux. Les modèles à variables exogènes sont très intéressants dans le contexte où il est connu que les variables à l’étude sont affectées par d’autres variables, jouant le rôle de variables explicatives, que l’analyste ne veut pas forcément modéliser. Ce mémoire se propose donc d’étudier les modèles autorégressifs vectoriels avec variables exogènes et sélection d’indices. Ces modèles ont été explorés, entre autres, par Lütkepohl (2005), qui se contente cependant d’esquisser les développements mathématiques. Nous concentrons notre étude sur l’inférence statistique sous des conditions précises, la modélisation ainsi que les prévisions. Notre objectif est de comparer les modèles avec sélection d’indices aux modèles autorégressifs avec variables exogènes complets classiques. Nous désirons déterminer si l’utilisation des modèles avec sélection d’indices est marquée par une différence favorable au niveau du biais et de l’écart-type des estimateurs ainsi qu’au niveau des prévisions de valeurs futures. Nous souhaitons également comparer l’efficacité de la sélection d’indices dans les modèles autorégressifs ayant des variables exogènes à celle dans les modèles autorégressifs. Il est à noter qu’une motivation première dans ce mémoire est l’estimation dans les modèles autorégressifs avec variables exogènes à sous-ensemble d’indices. Dans le premier chapitre, nous présentons les séries temporelles ainsi que les diverses notions qui y sont rattachées. De plus, nous présentons les modèles linéaires classiques multivariés, les modèles à variables exogènes puis des modèles avec sélection d’indices. Dans le deuxième chapitre, nous exposons le cadre théorique de l’estimation des moindres carrés dans les modèles autorégressifs à sous-ensemble d’indices ainsi que le comportement asymptotique de l’estimateur. Ensuite, nous développons la théorie pour l’estimation des moindres carrés (LS) ainsi que la loi asymptotique des estimateurs pour les modèles autorégressifs avec sélection d’indices (SVAR) puis nous faisons de même pour les modèles autorégressifs avec variables exogènes et tenant compte de la sélection des indices (SVARX). Spécifiquement, nous établissons la convergence ainsi que la distribution asymptotique pour l’estimateur des moindres carrés d’un processus autorégressif vectoriel à sous-ensemble d’indices et avec variables exogènes. Dans le troisième chapitre, nous appliquons la théorie spécifiée précédemment lors de simulations de Monte Carlo. Nous évaluons de manière empirique les biais et les écarts-types des coefficients trouvés lors de l’estimation ainsi que la proportion de fois que le modèle ajusté correspond au vrai modèle pour différents critères de sélection, tailles échantillonnales et processus générateurs des données. Dans le quatrième chapitre, nous appliquons la théorie élaborée aux chapitres 1 et 2 à un vrai jeu de données provenant du système canadien d’information socioéconomique (CANSIM), constitué de la production mensuelle de fromage mozzarella, cheddar et ricotta au Canada, expliquée par les prix mensuels du lait de bovin non transformé dans les provinces de Québec, d’Ontario et de la Colombie-Britannique pour la période allant de janvier 2003 à juillet 2021. Nous ajustons ces données à un modèle autorégressif avec variables exogènes complet puis à un modèle autorégressif avec variables exogènes et sélection d’indices. Nous comparons ensuite les résultats obtenus avec le modèle complet à ceux obtenus avec le modèle restreint. Mots-clés : Processus autorégressif à sous-ensemble d’indices, variables exogènes, esti mation des moindres carrés, sélection de modèle, séries chronologiques multivariées, processus stochastiques, séries chronologiques., This Master’s Thesis focuses on the study of subset autoregressive models with exoge nous variables. Many texts from the classical literature deal with the selection of indexes in autoregressive models. These models are particularly useful for macroeconomic data measured over moderate to long periods of time. Indeed, the heavy parameterization of full models can often be simplified by using the selection of indexes, thus resulting in more parsimonious models. Models with exogenous variables are very interesting in the context where it is known that the variables under study are affected by other variables, playing the role of explanatory variables, not necessarily modeled by the analyst. This Master’s Thesis therefore proposes to study vector subset autoregressive models with exogenous variables. These models have been explored, among others, by Lütkepohl (2005), who merely sketches proofs of the statistical properties. We focus our study on statistical inference under precise conditions, modeling and forecasting for these models. Our goal is to compare restricted models to full classical autoregressive models with exogenous variables. We want to determine whether the use of restricted models is marked by a favorable difference in the bias and standard deviation properties of the estimators as well as in forecasting future values. We also compare the efficiency of index selection in autoregressive models with exogenous variables to that in autoregressive models. It should be noted that a primary motivation in this Master’s Thesis is the estimation in subset autoregressive models with exogenous variables. In the first chapter, we present time series as well as the various concepts which are attached to them. In addition, we present the classical multivariate linear models, models with exogenous variables and then we present subset models. In the second chapter, we present the theoretical framework for least squares estimation in subset autoregressive models as well as the asymptotic behavior of the estimator. Then, we develop the theory for the estimation of least squares (LS) as well as the asymptotic distribution of the estimators for the subset autoregressive models (SVAR), and we do the same for the subset autoregressive models with exogenous variables (SVARX). Specifically, we establish the convergence as well as the asymptotic distribution for the least squares estimator of a subset autoregressive process with exogenous variables. In the third chapter, we apply the theory specified above in Monte Carlo simulations. We evaluate empirically the biases and the standard deviations of the coefficients found during the estimation as well as the proportion of times that the adjusted model matches the true model for different selection criteria, sample size and data generating processes. In the fourth chapter, we apply the theory developed in chapters 1 and 2 to a real dataset from the Canadian Socio-Economic Information System (CANSIM) consisting of the monthly production of mozzarella, cheddar and ricotta cheese in Canada, explained by the monthly prices of unprocessed bovine milk in the provinces of Quebec, Ontario and British Columbia from January 2003 to July 2021. We fit these data with a full autoregressive model with exogenous variables and then to a subset autoregressive model with exogenous variables. Afterwards, we compare the results obtained with the complete model to those obtained with the subset model. Keywords : Subset autoregressive process, exogenous variables, least squares estimation, model selection, multivariate time series, stochastic process, time series.

Recording measurements about various phenomena and exchanging information about it, participate in the emergence of a type of data called time series. Today humongous quantities of those data are often collected. A time series is characterized by numerous points and interactions can be observed between those points. A time series is multivariate when multiple measures are recorded at each timestamp, meaning a point is, in fact, a vector of values. Even if univariate time series, one value at each timestamp, are well-studied and defined, it’s not the case of multivariate one, for which the analysis is still challenging. Indeed, it is not possible to apply directly techniques of classification developed on univariate data to the case of multivariate one. In fact, for this latter, we have to take into consideration the interactions not only between points but also between dimensions. Moreover, in industrial cases, as in Michelin company, the data are big and also of different length in terms of points size composing the series. And this brings a new complexity to deal with during the analysis. None of the current techniques of classifying multivariate time series satisfies the following criteria, which are a low complexity of computation, dealing with variation in the number of points and good classification results. In our approach, we explored a new tool, which has not been applied before for MTS classification, which is called M-histogram. A M-histogram is a visualization tool using M axis to project the density function underlying the data. We have employed it here to produce a new representation of the data, that allows us to bring out the interactions between dimensions. Searching for links between dimensions correspond particularly to a part of learning techniques called multi-view learning. A view is an extraction of dimensions of a dataset, which are of same nature or type. Then the goal is to display the links between the dimensions inside each view in order to classify all the data, using an ensemble classifier. So we propose a multi-view ensemble model to classify multivariate time series. The model creates multiple M-histograms from differents groups of dimensions. Then each view allows us to get a prediction which we can aggregate to get a final prediction. In this thesis, we show that the proposed model allows a fast classification of multivariate time series of different sizes. In particular, we applied it on aMichelin use case., La mesure des différents phénomènes terrestres et l’échange d’informations ont permis l’émergence d’un type de données appelé série temporelle. Celle-ci se caractérise par un grand nombre de points la composant et surtout par des interactions entre ces points. En outre, une série temporelle est dite multivariée lorsque plusieurs mesures sont captées à chaque instant de temps. Bien que l’analyse des séries temporelles univariées, une mesure par instant, soit très développée, l’analyse des séries multivariées reste un challenge ouvert. En effet, il n’est pas possible d’appliquer directement les méthodes univariées sur les données multivariées, car il faut tenir compte des interactions entre séries de mesures.De plus, dans le cadre d’applications industrielles, les séries temporelles ne sont pas composées d’un même nombre de mesures, ce qui complique encore leur analyse. Or les méthodes mises à disposition, aujourd’hui, pour la classification supervisée de ces séries, ne permettent pas de répondre de manière satisfaisante à cette problématique en plus d’une gestion rapide et efficace des données. Cette approche emploie donc un nouvel outil, qui n’a jamais été utilisé dans le domaine de la classification de séries temporelles multivariées, qui est le M-histogramme pour répondre à cette question.Un M-histogramme est à la base une méthode de visualisation sur M axes de la fonction de densité sous-jacente à un échantillon de données. Son utilisation ici permet de produire une nouvelle représentation de nos données afin de mettre en évidence les interactions entre dimensions.Cette recherche de liens entre dimensions correspond aussi tout particulièrement à un sous-domaine d’apprentissage, appelé l’apprentissage multi-vues. Où une vue est une extraction de plusieurs dimensions d’un ensemble de données, de même nature ou type. L’objectif est alors d’exploiter le lien entre ces dimensions afin de mieux classifier les dites données, au travers d’un modèle ensembliste permettant d’agréger les prédictions émises à partir de chaque vue. Dans cette thèse, nous proposons donc une méthode multi-vues ensembliste de M-histogrammes afin de classifier les Séries Temporelles Multivariées (STM). Cela signifie que plusieurs M-histogrammes sont créés à partir de plusieurs vues des STM exploitées. Une prédiction est ensuite réalisée grâce à chaque M-histogramme. Enfin ces prédictions sont ensuite agrégées afin de produire une prédiction finale.Il est montré dans la suite que la méthode ainsi créée est capable de répondre au problème général de la classification supervisée de STM et son efficacité est exposée sur un cas applicatif Michelin.

Analysing multivariate time series created by sensors during a flight or a bench test represents a new challenge for aircraft engineers. Each time series can be decomposed univariately into a series of stabilised phases, well known by the expert, and transient phases that are merely explored but very informative when the engine is running. Our project aims at converting these time series into a succession of labels, designing transient and stabilised phases in a bivariate context. This transformation of the data will allow several perspectives: tracking similar behaviours or bivariate patterns seen during a flight, finding similar curves from a given curve, identifying the atypical curves, detecting frequent or rare sequences of labels during a flight, discovering hidden multivariate structures, modelling a representative flight, and spotting unusual flights. This manuscript proposes : methodology to automatically identify transient and stabilized phases, cluster all engine transient phases, label multivariate time series and analyse them. All algorithms are applied on real flight measurements with a validation of the results from expert knowledge.; L'analyse de séries temporelles multivariées, créées par des capteurs présents sur le moteur d'avion durant un vol ou un essai, représente un nouveau challenge pour les experts métier en aéronautique. Chaque série temporelle peut être décomposée de manière univariée en une succession de phases transitoires, très connues par les experts, et de phases stabilisées qui sont moins explorées bien qu'elles apportent beaucoup d'informations sur le fonctionnement d'un moteur. Notre projet a pour but de convertir ces séries temporelles en une succession de labels, désignant des phases transitoires et stabilisées dans un contexte bivarié. Cette transformation des données donne lieu à plusieurs perspectives : repérer dans un contexte univarié ou bivarié les patterns similaires durant un vol, trouver des tronçons de courbes similaires à une courbe donnée, identifier les phases atypiques, détecter ses séquences de labels fréquents et rares durant un vol, trouver le vol le plus représentatif et déterminer les vols «volages». Ce manuscrit propose une méthodologie pour automatiquement identifier les phases transitoires et stabilisées, classer les phases transitoires, labelliser des séries temporelles et les analyser. Tous les algorithmes sont appliqués à des données de vols et les résultats sont validés par les experts.

Analysing multivariate time series created by sensors during a flight or a bench test represents a new challenge for aircraft engineers. Each time series can be decomposed univariately into a series of stabilised phases, well known by the expert, and transient phases that are merely explored but very informative when the engine is running. Our project aims at converting these time series into a succession of labels, designing transient and stabilised phases in a bivariate context. This transformation of the data will allow several perspectives: tracking similar behaviours or bivariate patterns seen during a flight, finding similar curves from a given curve, identifying the atypical curves, detecting frequent or rare sequences of labels during a flight, discovering hidden multivariate structures, modelling a representative flight, and spotting unusual flights. This manuscript proposes : methodology to automatically identify transient and stabilized phases, cluster all engine transient phases, label multivariate time series and analyse them. All algorithms are applied on real flight measurements with a validation of the results from expert knowledge., L'analyse de séries temporelles multivariées, créées par des capteurs présents sur le moteur d'avion durant un vol ou un essai, représente un nouveau challenge pour les experts métier en aéronautique. Chaque série temporelle peut être décomposée de manière univariée en une succession de phases transitoires, très connues par les experts, et de phases stabilisées qui sont moins explorées bien qu'elles apportent beaucoup d'informations sur le fonctionnement d'un moteur. Notre projet a pour but de convertir ces séries temporelles en une succession de labels, désignant des phases transitoires et stabilisées dans un contexte bivarié. Cette transformation des données donne lieu à plusieurs perspectives : repérer dans un contexte univarié ou bivarié les patterns similaires durant un vol, trouver des tronçons de courbes similaires à une courbe donnée, identifier les phases atypiques, détecter ses séquences de labels fréquents et rares durant un vol, trouver le vol le plus représentatif et déterminer les vols «volages». Ce manuscrit propose une méthodologie pour automatiquement identifier les phases transitoires et stabilisées, classer les phases transitoires, labelliser des séries temporelles et les analyser. Tous les algorithmes sont appliqués à des données de vols et les résultats sont validés par les experts.

This thesis presents a method for the multiple change-points detection in multivariate time series, and exploits the results to estimate the relationships between the components of the system. The originality of the model, called the Bernoulli Detector, relies on the combination of a local statistics from a robust test, based on the computation of ranks, with a global Bayesian framework. This non parametric model does not require strong hypothesis on the distribution of the observations. It is applicable without modification on gaussian data as well as data corrupted by outliers. The detection of a single change-point is controlled even for small samples. In a multivariate context, a term is introduced to model the dependencies between the changes, assuming that if two components are connected, the events occurring in the first one tend to affect the second one instantaneously. Thanks to this flexible model, the segmentation is sensitive to common changes shared by several signals but also to isolated changes occurring in a single signal. The method is compared with other solutions of the literature, especially on real datasets of electrical household consumption and genomic measurements. These experiments enhance the interest of the model for the detection of change-points in independent, conditionally independent or fully connected signals. The synchronization of the change-points within the time series is finally exploited in order to estimate the relationships between the variables, with the Bayesian network formalism. By adapting the score function of a structure learning method, it is checked that the independency model that describes the system can be partly retrieved through the information given by the change-points, estimated by the Bernoulli Detector., Cette thèse présente une méthode pour la détection hors-ligne de multiples ruptures dans des séries temporelles multivariées, et propose d'en exploiter les résultats pour estimer les relations de dépendance entre les variables du système. L'originalité du modèle, dit du Bernoulli Detector, réside dans la combinaison de statistiques locales issues d'un test robuste, comparant les rangs des observations, avec une approche bayésienne. Ce modèle non paramétrique ne requiert pas d'hypothèse forte sur les distributions des données. Il est applicable sans ajustement à la loi gaussienne comme sur des données corrompues par des valeurs aberrantes. Le contrôle de la détection d'une rupture est prouvé y compris pour de petits échantillons. Pour traiter des séries temporelles multivariées, un terme est introduit afin de modéliser les dépendances entre les ruptures, en supposant que si deux entités du système étudié sont connectées, les événements affectant l'une s'observent instantanément sur l'autre avec une forte probabilité. Ainsi, le modèle s'adapte aux données et la segmentation tient compte des événements communs à plusieurs signaux comme des événements isolés. La méthode est comparée avec d'autres solutions de l'état de l'art, notamment sur des données réelles de consommation électrique et génomiques. Ces expériences mettent en valeur l'intérêt du modèle pour la détection de ruptures entre des signaux indépendants, conditionnellement indépendants ou complètement connectés. Enfin, l'idée d'exploiter les synchronisations entre les ruptures pour l'estimation des relations régissant les entités du système est développée, grâce au formalisme des réseaux bayésiens. En adaptant la fonction de score d'une méthode d'apprentissage de la structure, il est vérifié que le modèle d'indépendance du système peut être en partie retrouvé grâce à l'information apportée par les ruptures, estimées par le modèle du Bernoulli Detector.

L'objectif du présent mémoire vise à présenter des modèles de séries chronologiques multivariés impliquant des vecteurs aléatoires dont chaque composante est non-négative. Nous considérons les modèles vMEM (modèles vectoriels et multiplicatifs avec erreurs non-négatives) présentés par Cipollini, Engle et Gallo (2006) et Cipollini et Gallo (2010). Ces modèles représentent une généralisation au cas multivarié des modèles MEM introduits par Engle (2002). Ces modèles trouvent notamment des applications avec les séries chronologiques financières. Les modèles vMEM permettent de modéliser des séries chronologiques impliquant des volumes d'actif, des durées, des variances conditionnelles, pour ne citer que ces applications. Il est également possible de faire une modélisation conjointe et d'étudier les dynamiques présentes entre les séries chronologiques formant le système étudié. Afin de modéliser des séries chronologiques multivariées à composantes non-négatives, plusieurs spécifications du terme d'erreur vectoriel ont été proposées dans la littérature. Une première approche consiste à considérer l'utilisation de vecteurs aléatoires dont la distribution du terme d'erreur est telle que chaque composante est non-négative. Cependant, trouver une distribution multivariée suffisamment souple définie sur le support positif est plutôt difficile, au moins avec les applications citées précédemment. Comme indiqué par Cipollini, Engle et Gallo (2006), un candidat possible est une distribution gamma multivariée, qui impose cependant des restrictions sévères sur les corrélations contemporaines entre les variables. Compte tenu que les possibilités sont limitées, une approche possible est d'utiliser la théorie des copules. Ainsi, selon cette approche, des distributions marginales (ou marges) peuvent être spécifiées, dont les distributions en cause ont des supports non-négatifs, et une fonction de copule permet de tenir compte de la dépendance entre les composantes. Une technique d'estimation possible est la méthode du maximum de vraisemblance. Une approche alternative est la méthode des moments généralisés (GMM). Cette dernière méthode présente l'avantage d'être semi-paramétrique dans le sens que contrairement à l'approche imposant une loi multivariée, il n'est pas nécessaire de spécifier une distribution multivariée pour le terme d'erreur. De manière générale, l'estimation des modèles vMEM est compliquée. Les algorithmes existants doivent tenir compte du grand nombre de paramètres et de la nature élaborée de la fonction de vraisemblance. Dans le cas de l'estimation par la méthode GMM, le système à résoudre nécessite également l'utilisation de solveurs pour systèmes non-linéaires. Dans ce mémoire, beaucoup d'énergies ont été consacrées à l'élaboration de code informatique (dans le langage R) pour estimer les différents paramètres du modèle. Dans le premier chapitre, nous définissons les processus stationnaires, les processus autorégressifs, les processus autorégressifs conditionnellement hétéroscédastiques (ARCH) et les processus ARCH généralisés (GARCH). Nous présentons aussi les modèles de durées ACD et les modèles MEM. Dans le deuxième chapitre, nous présentons la théorie des copules nécessaire pour notre travail, dans le cadre des modèles vectoriels et multiplicatifs avec erreurs non-négatives vMEM. Nous discutons également des méthodes possibles d'estimation. Dans le troisième chapitre, nous discutons les résultats des simulations pour plusieurs méthodes d'estimation. Dans le dernier chapitre, des applications sur des séries financières sont présentées. Le code R est fourni dans une annexe. Une conclusion complète ce mémoire., The objective of this master thesis is to present models for multivariate time series involving random vectors where each component is non-negative. We consider vMEM models (vector multiplicative error models) presented by Cipollini, Engle and Gallo (2006) and Cipollini and Gallo (2010). These models represent a generalization to the multivariate case of MEM models introduced by Engle (2002). These models are applied especially with financial time series. The vMEM models can be used to model time series involving asset volumes, durations, conditional variances, among these applications. It is also possible to model the variables jointly and to study the dynamics between these time series forming the system under study. To model multivariate time series with non-negative components, several specifications for the term vector error have been proposed in the literature. One approach is to consider the use of random vectors where the distribution of the error term is such that each component is non-negative. However, finding a sufficiently flexible multivariate distribution defined on the positive support is rather difficult, at least with the applications mentioned above. As indicated by Cipollini, Engle and Gallo (2006), a possible candidate is the multivariate gamma distribution, which however imposes severe restrictions on the contemporaneous correlations between variables. Since the possibilities are limited, one possible approach is to use the theory of copulas. Thus, according to this approach, margins can be specified, such that the distributions in question have non-negative supports, and a copula function takes into account the dependency between components. A possible estimation technique is the method of maximum likelihood. An alternative approach is the generalized method of moments (GMM). This latter method has the advantage of being semi-parametric in the sense that unlike the approach imposing a multivariate distribution, it is not necessary to specify a multivariate distribution for the error term. Generally, estimating vMEM models is complicated. Existing algorithms must take into account the large number of parameters and the elaborate nature of the likelihood function. In the case of the GMM estimation method, solving the system requires the use of solvers for non linear systems. In this project, considerable energy has been devoted to the development of computer code (in the R language) to estimate the different parameters of the model. In the first chapter, we define the stationary processes, autoregressive processes, the autoregressive conditional heteroskedasticity processes (ARCH) and the generalized ARCH processes (GARCH). We also present duration models ACD and MEM models. In the second chapter, we present the theory of copulas needed for our work, under the vector multiplicative error models vMEM. We also discuss the possible estimation methods. In the third chapter, we discuss the simulation results for several estimation methods. In the last chapter, applications to financial time series are presented. The R code is provided in an Appendix. A conclusion completes this thesis.

Le présent mémoire porte sur les séries chronologiques qui en plus d’être observées dans le temps, présentent également une composante spatiale. Plus particulièrement, nous étudions une certaine classe de modèles, les modèles autorégressifs spatio-temporels généralisés, ou GSTAR. Dans un premier temps, des liens sont effectués avec les modèles vectoriels autorégressifs (VAR). Nous obtenons explicitement la distribution asymptotique des autocovariances résiduelles pour les modèles GSTAR en supposant que le terme d’erreur est un bruit blanc gaussien, ce qui représente une première contribution originale. De ce résultat, des tests de type portemanteau sont proposés, dont les distributions asymptotiques sont étudiées. Afin d’illustrer la performance des statistiques de test, une étude de simulations est entreprise où des modèles GSTAR sont simulés et correctement ajustés. La méthodologie est illustrée avec des données réelles. Il est question de la production mensuelle de thé en Java occidental pour 24 villes, pour la période janvier 1992 à décembre 1999., In this master thesis, time series models are studied, which have also a spatial component, in addition to the usual time index. More particularly, we study a certain class of models, the Generalized Space-Time AutoRegressive (GSTAR) time series models. First, links are considered between Vector AutoRegressive models(VAR) and GSTAR models. We obtain explicitly the asymptotic distribution of the residual autocovariances for the GSTAR models, assuming that the error term is a Gaussian white noise, which is a first original contribution. From that result, test statistics of the portmanteau type are proposed, and their asymptotic distributions are studied. In order to illustrate the behaviour of the test statistics, a simulation study is conducted where GSTAR models are simulated and correctly fitted. The methodology is illustrated with monthly real data concerning the production of tea in west Java for 24 cities from the period January 1992 to December 1999., Dans ce mémoire, nous avons utilisé le logiciel R pour la programmation.