Non-Linearities, Model Uncertainty, and Macro Stress Testing

A distinguishing feature of macro stress testing exercises is the use of macroeconomic models in scenario design and implementation. It is widely agreed that scenarios should be based on "rare but plausible" events that have either resulted in vulnerabilities in the past or could do so in the future. This requirement, however, raises a number of difficult statistical and methodological problems. Economic models, as well as the statistical models of the relationships among economic variables, generally focus on capturing the average rather than the extreme behaviour, and frequently rely on the assumption of linearity. In this paper we show that these models are particularly ill-suited for stress-testing as they do not adequately capture past behaviour in extreme events, nor do they generate plausible responses to shocks under stress. Whereas one might argue that the use of these models is still preferable to no having no models, since they at least impose the consistency restrictions on the paths generated under the scenario, failing to deal with a large extent of uncertainty of these paths may lead to results that are non-informative, and potentially misleading. The paper illustrates both of these problems by a series of examples, but our conclusions have broader implications for the types of models that would be useful in these exercises.
La conduite de simulations de crise macrofinancière se distingue, entre autres, par l'emploi de modèles macroéconomiques dans la conception et le déroulement des scénarios. Il est généralement admis que ces scénarios doivent illustrer des événements « rares mais plausibles » qui ont déjà causé des vulnérabilités ou pourraient le faire. Cette condition pose toutefois certains problèmes statistiques et méthodologiques épineux. En effet, les modèles économiques, aussi bien que les modèles statistiques formalisant les relations entre les variables économiques, tendent à reproduire des évolutions ordinaires plutôt qu'extrêmes, et sont souvent construits à partir d'une hypothèse de linéarité. Les auteurs montrent que ces modèles sont très mal adaptés à la conduite de simulations de crise, parce qu'ils sont incapables de bien restituer les évolutions passées lors d'événements extrêmes et de produire des réactions crédibles aux chocs générés par les crises. Si d'aucuns estiment que, dans la mesure où ils soumettent au moins les trajectoires scénarisées à un critère de cohérence, de tels modèles valent mieux que rien, il reste que le fait de ne pas tenir compte de l'importante marge d'incertitude qui entoure les prévisions risque de mener à des résultats sans valeur informative, voire trompeurs. Les auteurs illustrent chacun de ces problèmes par une série d'exemples. De façon plus générale, leurs conclusions ont cependant des implications quant aux modèles susceptibles de servir aux simulations étudiées.