An approximate maximum likelihood algorithm with case studies

Die Likelihood-Funktion ist die Basis vieler statistischer Schätzmethoden, sowohl in der Bayesianischen wie auch in der klassischen Statistik. In vielen Anwendungsbereichen jedoch werden komplexe stochastische Modelle verwendet, für die die Likelihood nicht analytisch hergeleitet werden kann. Beispiele dafür sind stochastische Modelle in der Populationsgenetik, Systembiologie, Epidemiologie, Warteschlangentheorie und Spatial Statistics. Immer schnellere Computer führten in den letzten Jahren zur Entwicklung alternativer Schätzmethoden, die auf Simulationen basieren, wie zum Beispiel Indirect Inference und Approximate Bayesian Computation. In dieser Dissertation wird ein alternativer Algorithmus vorgeschlagen und untersucht, der den Maximum-Likelihood-Schätzer mit Hilfe von stochastischen Gradientenmethoden approximiert. Dabei werden die Anstiegsrichtungen durch Simulationen ermittelt. Der Algorithmus konvergiert gegen den Maximum-Likelihood-Schätzer (bzw. äquivalent dazu, gegen das Maximum der A-posteriori-Verteilung). Damit wird die Anzahl der Simulationen in Regionen des Parameterraumes mit sehr niedriger Likelihood reduziert. Außerdem ist der Algorithmus flexibel auf verschiedenste Modelle anwendbar. Es werden Bedingungen hergeleitet, unter denen der approximative Maximum-Likelihood-Algorithmus fast sicher gegen den Maximum-Likelihood-Schätzer konvergiert. Weiters wird die praktische Anwendbarkeit des Algorithmus untersucht. Zunächst wird der Algorithmus um Maßnahmen, die die Robustheit der Methode erhöhen, ergänzt. Nach ersten Untersuchungen der Eigenschaften des approximativen Maximum-Likelihood-Schätzers anhand von normalverteilten Daten wird er an zwei Beispiel\-en mit komplexen Likelihood-Funktionen angewandt. Das erste ist eine Anwendung zur Parameterschätzung eines Warteschlangenprozesses. Zweitens wird der Algorithmus dazu verwendet die evolutionäre Geschichte der Orang-Utan-Populationen aus Borneo und Sumatra zu rekonstruieren.
The likelihood function is the basis of many statistical inference procedures. However, in various areas like population genetics, systems biology, epidemiology, queuing systems and spatial statistics, complex statistical models are required for which the likelihood cannot be obtained analytically. In recent years, increasing computing power has allowed to circumvent this problem by simulation-based methods like Indirect Inference and Approximate Bayesian Computation. %In its most basic form, ABC involves sampling from the parameter space and keeping those parameters that produce data that fit sufficiently well to the actually observed data. Exploring the whole parameter space, however, makes this approach inefficient in high dimensional problems. This led to the proposal of more sophisticated iterative methods of inference such as particle filters. Here, we propose an alternative approach that is based on stochastic gradient methods. By moving along a simulated gradient, the algorithm produces a sequence of estimates that will eventually converge to the maximum likelihood estimate (or, equivalently, to the maximum of the posterior). This approach reduces the number of simulations in regions of low likelihood while being flexibly applicable to a large variety of problems. We present a set of conditions under which the algorithm converges to the maximum likelihood estimate \textit{w. p. 1} and we also explore the properties of the resulting estimator in practical applications. To this end we first propose a set of tuning guidelines that improve the robustness of the algorithm against too noisy simulation results. Then, we investigate the performance of our approach in simulation studies and apply our algorithm to two models with intractable likelihood functions. First, we present an application in the context of queuing systems. Second, we re-analyse population genetic data and estimate parameters describing the demographic history of Bornean and Sumatran orang-utan populations.