Search

Verification of ensemble forecasts for extreme events remains a challenging question. The general public as well as the media naturely pay particular attention on extreme events and conclude about the global predictive performance of ensembles, which are often unskillful when they are needed. Ashing classical verification tools to focus on such events can lead to unexpected behaviors. To square up these effects, thresholded and weighted scoring rules have been developed. Most of them use derivations of the Continuous Ranked Probability Score (CRPS). However, some properties of the CRPS for extreme events generate undesirable effects on the quality of verification. Using theoretical arguments and simulation examples, we illustrate some pitfalls of conventional verification tools and propose a different direction to assess ensemble forecasts using extreme value theory, considering proper scores as random variables.

International audience; SCHAPI and SPC (i.e. flood forecasting services) use day-to-day deterministic models, while taking into account rain forecasts and running hydrological and hydraulic forecast models. Each modelling step is affected by uncertainties, which impact the reliability of a deterministic forecast. An ensemble approach is an efficient way to understand forecast uncertainties. A PhD currently underway aims at implementing an ensemble prediction chain from rain forecasting to discharge forecasting, using Meteo France AROME ensemble rain forecast.We describe first the main characteristics that an ensemble forecast should verify to be valuable and the associated tools for assessing it. Raw ensembles from weather forecasting models tend to be underdispersive and biased. Thus they must be post-processed before using them as input of a hydrological model. According to Taillardat et al. (2016), four post-processing methods are used: a non-parametric method based on Quantile Regression Forests (QRF), a semi-parametric one (QRF_TAIL) and two parametric methods EMOS (CNORM and CGAMMA). The analysis of the raw ensemble and post-processed ensembles show that the raw ensemble has yet good qualities. The better results are provided by the QRF methods (QRF and QRF_TAIL).; Afin de réaliser les cartes de vigilance bi-quotidiennes, le SCHAPI (Service Central d’Hydrométéorologie et d’Appui à la Prévision des Inondations) et les 19 SPC (Services de Prévision des Crues) utilisent entre autres des résultats de modèles numériques généralement lancés de manière déterministe (prévisions de pluie et de débit hydrologique ou hydraulique). Étant donné le niveau d’incertitudes sur les trois modélisations en jeu, une prévision déterministe chaînée des trois modèles est peu fiable. Une thèse actuellement en cours a pour objectif de mettre en place une chaîne de prévision des crues ensembliste en utilisant les prévisions ensemblistes de pluie AROME. Cette approche devrait permettre de mieux appréhender les incertitudes et de fournir une prévision probabiliste à même de les représenter.Les prévisions brutes issues des modèles de prévision du temps étant le plus souvent sous-dispersives et biaisées, il est nécessaire de les post-traiter avant leur utilisation pour la prévision hydrologique. L’article présente les post-traitements effectués sur les PEAROME selon la méthodologie décrite dans Taillardat et al. (2016). Quatre méthodes de post-traitement sont testées : méthode non-paramétrique basée sur les Quantile Regression Forest (QRF), méthode semi-paramétrique (QRF_TAIL) et deux méthodes paramétriques EMOS (CNORM et CGAMMA). L’analyse des différents ensembles obtenus montre que les prévisions brutes présentent de relativement bonnes caractéristiques. Les méthodes de post-traitement qui donnent les meilleurs résultats sont les méthodes dites QRF.

In numerical weather prediction, ensemble forecasts systems have become an essential tool to quantifyforecast uncertainty and to provide probabilistic forecasts. Unfortunately, these models are not perfect and a simultaneouscorrection of their bias and their dispersion is needed.This thesis presents new statistical post-processing methods for ensemble forecasting. These are based onrandom forests algorithms, which are non-parametric.Contrary to state of the art procedures, random forests can take into account non-linear features of atmospheric states. They easily allowthe addition of covariables (such as other weather variables, seasonal or geographic predictors) by a self-selection of the mostuseful predictors for the regression. Moreover, we do not make assumptions on the distribution of the variable of interest. This new approachoutperforms the existing methods for variables such as surface temperature and wind speed.For variables well-known to be tricky to calibrate, such as six-hours accumulated rainfall, hybrid versions of our techniqueshave been created. We show that these versions (and our original methods) are better than existing ones. Especially, they provideadded value for extreme precipitations.The last part of this thesis deals with the verification of ensemble forecasts for extreme events. We have shown several properties ofthe Continuous Ranked Probability Score (CRPS) for extreme values. We have also defined a new index combining the CRPS and the extremevalue theory, whose consistency is investigated on both simulations and real cases.The contributions of this work are intended to be inserted into the forecasting and verification chain at Météo-France.; En prévision numérique du temps, les modèles de prévision d'ensemble sont devenus un outil incontournable pour quantifier l'incertitude des prévisions et fournir des prévisions probabilistes. Malheureusement, ces modèles ne sont pas parfaits et une correction simultanée de leur biais et de leur dispersion est nécessaire.Cette thèse présente de nouvelles méthodes de post-traitement statistique des prévisions d'ensemble. Celles-ci ont pour particularité d'être basées sur les forêts aléatoires.Contrairement à la plupart des techniques usuelles, ces méthodes non-paramétriques permettent de prendre en compte la dynamique non-linéaire de l'atmosphère.Elles permettent aussi d'ajouter des covariables (autres variables météorologiques, variables temporelles, géographiques...) facilement et sélectionnent elles-mêmes les prédicteurs les plus utiles dans la régression. De plus, nous ne faisons aucune hypothèse sur la distribution de la variable à traiter. Cette nouvelle approche surpasse les méthodes existantes pour des variables telles que la température et la vitesse du vent.Pour des variables reconnues comme difficiles à calibrer, telles que les précipitations sexti-horaires, des versions hybrides de nos techniques ont été créées. Nous montrons que ces versions hybrides (ainsi que nos versions originales) sont meilleures que les méthodes existantes. Elles amènent notamment une véritable valeur ajoutée pour les pluies extrêmes.La dernière partie de cette thèse concerne l'évaluation des prévisions d'ensemble pour les événements extrêmes. Nous avons montré quelques propriétés concernant le Continuous Ranked Probability Score (CRPS) pour les valeurs extrêmes. Nous avons aussi défini une nouvelle mesure combinant le CRPS et la théorie des valeurs extrêmes, dont nous examinons la cohérence sur une simulation ainsi que dans un cadre opérationnel.Les résultats de ce travail sont destinés à être insérés au sein de la chaîne de prévision et de vérification à Météo-France.