Star wars: The empirics strike back

Journals favor rejections of the null hypothesis. This selection upon results may distort the behavior of researchers. Using 50,000 tests published between 2005 and 2011 in the AER, JPE and QJE, we identify a residual in the distribution of tests that cannot be explained by selection. The distribution of p-values exhibits a camel shape with abundant p-values above :25, a valley between :25 and :10 and a bump slightly under :05. Missing tests are those which would have been accepted but close to being rejected (p-values between :25 and :10). We show that this pattern corresponds to a shift in the distribution of p-values: between 10% and 20% of marginally rejected tests are misallocated. Our interpretation is that researchers might be tempted to inflate the value of their tests by choosing the specification that provides the highest statistics. Note that Inflation is larger in articles where stars are used in order to highlight statistical significance and lower in articles with theoretical models.
Les journaux académiques ont tendance à préférer les articles rejetant l'hypothèse nulle. Cette sélection peut conduire les chercheurs à modifier leurs comportements. Grâce à un échantillon de 50 000 tests d'hypothèse publiés entre 2005 et 2011 dans l'AER, le JPE et le QJE, nous identifions un résidu dans la distribution de ces tests qui ne peut s'expliquer par la seule sélection. La distribution des valeurs p présente une forme en " bosse de chameaux " avec une surpopulation au dessus de 0,25, un creux entre 0,25 et 0,10 et enfin une nouvelle surabondance en-dessous de 0,10. Les tests absents de cette distribution sont ceux dont l'hypothèse nulle n'a pu être rejetée mais qui étaient proche du seuil de rejet (valeur p entre 0,25 et 0.10). Nous montrons que la forme particulière de cette distribution correspond à un déplacement des valeurs p : environ 10% à 20% des tests d'hypothèse marginalement rejetés sont mal situés. Nous interprétons cela comme la possibilité qu'en choisissant la spécification qui produit les statistiques les plus élevées, les chercheurs peuvent engendrer une inflation de la valeur des tests d'hypothèse. Cette inflation est plus importante dans les articles utilisant des étoiles dans le but de souligner la significativité statistique des résultats. En revanche, elle est moins présente dans les articles proposant un modèle théorique.