1. Tuning and Verification of Ensemble Forecasts
- Author
-
Ekblom, Madeleine, University of Helsinki, Faculty of Science, Institute for Atmospheric and Earth System Research/Physics, Doctoral Programme in Atmospheric Sciences, Helsingin yliopisto, matemaattis-luonnontieteellinen tiedekunta, Ilmakehätieteiden tohtoriohjelma, Helsingfors universitet, matematisk-naturvetenskapliga fakulteten, Doktorandprogrammet i atmosfärvetenskap, Buizza, Roberto, Järvinen, Heikki, and Laine, Marko
- Subjects
meteorologi - Abstract
Modern weather forecasting relies on complex numerical weather prediction (NWP) models that aim to simulate the flow of the atmosphere. The flow is described by mathematical formulations for the physics of the atmosphere that cannot be solved analytically but needs to be solved numerically using computer models. Furthermore, the initial value of the model, the best guess of the current state of the atmosphere, is not error-free. As a consequence, NWP models and its initial values are both imperfect leading to small errors accumulating over forecast time. By running ensemble forecasts consisting of 10-50 members with small differences in the initial values and model formulation it is possible to quantify the uncertainty of the forecasts and form probabilistic forecasts. To know whether an ensemble forecasting system gives reliable probabilistic forecasts, the forecasts need to be verified against analysis or observations using different verification metrics. This thesis studies two aspects of ensemble forecasting: (1) tuning of the underlying weather model and ensemble system and (2) verification of ensemble forecasts against observations. The first part of the thesis studies tuning of different model parameters: physics parameters and ensemble-specific parameters. Physics parameters appear in parameterisation schemes originating from the fact that small-scale phenomena are not explicitly present in NWP models. Ensemble-specific parameters are, on the other hand, related to the uncertainty of these parameters and the initial values. In this thesis, the aim is to tune these parameters algorithmically. The idealised Lorenz’95 model was used for studying the tuning of ensemble- specific parameters and the realistic model OpenIFS was used for the tuning of model physics parameters. The second part of the thesis studies verification of ensemble forecasts when observation errors are present. In this thesis, filter likelihood score is studied using OpenIFS ensemble forecasts and observations from radiosondes and satellites. Along with filter likelihood score, traditional verification metrics such as spread-skill relationship and Dawid-Sebastiani score are computed with consistent results. Furthermore, filter likelihood score can be computed over several variables into one single metric as a combined score. This thesis contributes to a better understanding on how to tune different parameters in NWP models and how to verify ensemble forecasts against observations while at the same time accounting for observation errors. Människan har alltid varit intresserad av väder och väderprognoser. Moderna väderprognoser bygger på komplexa väderprognosmodeller vilka strävar efter att simulera atmosfärens flöde. Flödet beskrivs med hjälp av matematiska ekvationer för atmosfärens fysik. Dessa ekvationer kan inte lösas anlaytiskt utan de löses numeriskt med hjälp av datorer. Den numeriska lösningen kan inte ta i beaktande alla detaljer relaterade till atmosfärens flöde och modellen är således en approximering av verkligheten. Modellen behöver dessutom ett initialvärde, en bästa uppskattning av atmosfärens nuläge, för att kunna göra en väderprognos framåt i tiden. Eftersom varken modellen eller initialvärdet är perfekta så leder det här till att även ett litet fel ackumuleras över tid, vilket i sin tur gör att en väderprognos enbart kan göras för en begränsad tid framåt. Olika vädersituationer är olika förutsägbara och det är därför viktigt att veta hur säker eller osäker en väderprognos är. En sannolikhetsprognos kan formuleras med hjälp av ensembleprognoser. En ensembleprognos består av ett flertal, ofta 10-50, prognoser med små, men representativa skillnader i initialvärdet och modellformuleringen, vilka sedan tillsammans används för att kvantifiera prognosens osäkerhet och forma sannolikhetsprognoser. För att kunna avgöra om ett ensembleprognossystem ger en tillförlitlig sannolikhetsprognos så måste ensembleprognosen verifieras mot observations- eller analysdata. Den här avhandligen studerar två aspekter relaterade till ensembleprognoser: (1) hur man kan optimera olika parametrar i väderprognosmodellen och dess ensemblesystem och (2) hur man kan verifiera ensembleprognoser mot observationer. Den första delen av avhandlingen behandlar optimering av olika sorters modellparametrar: fysikparametrar och ensemblespecifika parametrar. Detta studeras med hjälp av numeriska experiment med dels en idealiserad modell, Lorenz’95, och dels en realistisk atmosfärmodell, OpenIFS. Den andra delen av avhandlingen fokuserar på verifiering av ensembleprognoser mot observationer. Här studeras en verifieringsmetrik kallad ‘filter likelihood score’ genom att analysera ensembleprognoser från OpenIFS och observationsdata från satelliter och radiosonder. Analysen jämför även ‘filter likelihood score’ med traditionella verifieringsmetriker. Avhandlingen i sin helhet bidrar till ökad förståelse för hur man kan optimera olika sorters parameterar i numeriska modeller samt för hur man kan verifiera ensembleprognoser mot observationer.
- Published
- 2023