Search

Supplemental material, sj-docx-1-tam-10.1177_17588359221112696 for The economic value of liquid biopsy for genomic profiling in advanced non-small cell lung cancer by Doreen A. Ezeife, Eldon Spackman, Rosalyn A. Juergens, Janessa J. Laskin, Jason S. Agulnik, Desiree Hao, Scott A. Laurie, Jennifer H. Law, Lisa W. Le, Lesli A. Kiedrowski, Barbara Melosky, Frances A. Shepherd, Victor Cohen, Paul Wheatley-Price, Rachel Vandermeer, Janice J. Li, Roxanne Fernandes, Aria Shokoohi, Richard B. Lanman and Natasha B. Leighl in Therapeutic Advances in Medical Oncology

This thesis develops algorithms for stochastic optimization problems such as Markov Decision Processes (MDPs) or Partially Observable Markov Decision Processes (POMDPs), and uses them to give solution for the airplane maintenance problem at Air France. The research was conducted throughout a scientific chair between Air France and École des Ponts Paristech.We introduce a generic predictive maintenance problem for systems with several components evolving over time when a decision maker chooses dynamically which components to maintain at each maintenance slot. His actions are based on partial observations of each component and are linked by capacity constraints. The objective is to find a “memoryless” policy,which is a mapping from observations to actions, minimizing the expected failure costs and maintenance costs over a finite horizon. We formalize such a problem as a weakly coupled POMDP, that models each component as a POMDP. Finding an optimal memoryless policy for the weakly coupled POMDP is difficult for two reasons. First, even when the system has a single component, the problem is already NP-hard. Second, due to the curse of dimensionality, when the number of components grows the POMDP becomes quickly intractable. Our main contributions are mixed integer linear formulations for POMDPs that give an optimal memoryless policy, as well as valid inequalities that are based on a probabilistic interpretation of the dependencies between the random variables. In addition, we introduce a mixed integer linear formulation that breaks the curse of dimensionality and that induces a “good” policy for weakly coupled POMDP.In fact, the MDPs and POMDPs lie in the broad class of stochastic optimization problems where the uncertainty is assumed to satisfy a given structure called influence diagram. More precisely, given random variables considered as vertices of an acyclic digraph, a probabilistic graphical model defines a joint probability distribution via the conditional probability distribution of vertices given their parents. In influence diagrams, the random variables are represented by a probabilistic graphical model whose vertices are partitioned into three types: chance, decision and utility vertices. The decision maker chooses the probability distribution of the decision vertices conditionally to their parents in order to maximize his expected utility. Ourmain contributions are mixed integer linear formulations for solving the maximum expected utility problem in influence diagrams, as well as valid inequalities, which lead to a computationally efficient algorithm. It generalizes our results on POMDPs to any influence diagrams.We also show that the linear relaxation yields an optimal integer solution for instances that can be solved by the “single policy update”, the default algorithm for addressing the maximum expected utility problem in influence diagrams.The airplane maintenance problem at Air France is a predictive maintenance problem with capacity constraints. Applying the weakly coupled POMDP policy produced by our algorithm on the airplane maintenance problem at Air France requires to estimate the weakly coupled POMDP parameters. Based on a dataset of historical sensor data, we propose a statistical methodology to cast the airplane maintenance problem as a weakly coupled POMDP. Our approach has the advantage of being interpretable by the maintenance engineers. The numerical experiments show that our approach reduces the number of failures and maintenance costs, Cette thèse développe des algorithmes pour des problèmes d’optimisation stochastiques tels que les processus de décision de Markov (MDPs) ou les processus de décision de markoviens partiellement observables (POMDPs), 1 et les utilise pour donner une solution au problème de maintenance des avions chez Air France. Cette recherche a été menée dans le cadre d’une chaire scientifique entre Air France et l’École des Ponts Paristech. Nous introduisons un problème générique de maintenance prédictive d’un système à plusieurs composants évoluant dans le temps où un décideur choisit dynamiquement les composants à réparer à chaque plage de maintenance. Basées sur des observations partielles de chaque composant, ses actions sont couplées par des contraintes de capacité. L’objectif est de trouver une politique “sans mémoire,” c’est-à-dire une application qui associe à l’observation courante une action, qui minimise les coûts de pannes et les coûts de maintenance espérés sur un horizon fini. Nous formalisons ce problème sous la forme de POMDPs faiblement couplés où chaque composant est modélisé comme un POMDP. Trouver une politique optimale sans mémoire pour les POMDPs faiblement couplés est difficile pour deux raisons. Premièrement, même lorsque le système ne comporte qu’un seul composant, le problème est déjà NP-difficile. Deuxièmement, en raison de la malédiction de la dimension, lorsque le nombre de composants augmente, le POMDP devient rapidement insoluble. Nos principales contributions sont des formulations linéaires en nombres entiers pour les POMDPs qui donnent des politiques optimales sans mémoire, ainsi que des inégalités valides qui sont basées sur une interprétation probabiliste des dépendances entre les variables aléatoires du problème. De plus, nous introduisons une formulation linéaire en nombres entiers qui casse la malédiction de la dimension et qui induit une “bonne” politique pour les POMDPs faiblement couplés. En réalité les MDPs et les POMDPs font partie d’une large classe de problèmes d’optimisation stochastiques où l’incertitude satisfait une certaine structure qu’on appelle diagramme d’influence. Plus précisément, en considérant les variables aléatoires comme les sommets d’un graphe orienté acyclique, un modèle graphique probabiliste définit une distribution de probabilité jointe comme le produit des distributions de probabilité conditionnelles des sommets sachant leurs parents. Dans les diagrammes d’influence, les variables aléatoires sont représentées par un modèle graphique probabiliste dont les sommets sont divisés en trois types : les sommets chances, décisions et utilités. Le décideur choisit la distribution de probabilité des sommets décisions conditionnellement à leurs parents afin de maximiser son utilité espérée. Nos principales contributions sont des formulations linéaires en nombres entiers pour résoudre le problème de l’utilité maximum espérée dans un diagramme d’influence, ainsi que des inégalités valides. Cela généralise nos résultats sur les POMDPs à tous diagrammes d’influence. Nous prouvons également que la relaxation linéaire de notre programme donne une solution optimale en nombres entiers pour les cas qui peuvent être résolus par “single policy update”, l’algorithme par défaut pour résoudre le problème de l’utilité maximum espérée dans un diagramme d’influence. Le problème de maintenance des avions chez Air France est un problème de maintenance prédictive avec des contraintes de capacité. L’application de notre politique nécessite d’estimer les paramètres des POMDPs faiblement couplés. À partir d’un historique de données brutes enregistrées par des capteurs, nous introduisons une méthodologie statistique qui permet de transformer le problème de maintenance des avions en des POMDPs faiblement couplés. Notre approche a l’avantage d’être interprétable par les ingénieurs de la maintenance. Les résultats numériques montrent que notre approche réduit le nombre de pannes et les coûts de maintenance

Additional file 1: Table S1. Patient Groups based on PFS.

Additional file 3: Table S2. Top 15 proteins differentially detected between long-term and normal responders.