Search

L’obtention en 2019 du « Nobel » d’économie par Esther Duflo et ses collègues Abhijit Banerjee et Michael Kremer marque le sacre d’une méthode d’évaluation d’impact : les expérimentations aléatoires. Similaires aux essais cliniques randomisés, elles visent à mesurer l’effet d’un « traitement » à l’aide de la constitution aléatoire de groupes que l’on compare. Pour les promoteurs de cette méthode, elle serait le « gold standard de l’évaluation » Dans cet ouvrage, Arthur Jatteau s’interroge sur la nature de cette « preuve par le chiffre ». L’histoire – méconnue – des expérimentations aléatoires mérite d’être défrichée, car elle offre des pistes intéressantes pour comprendre leur succès aujourd’hui et, plus encore, leurs limites. Une attention particulière est accordée à la médecine, où la longue et vaste expérience en essais cliniques est riche d’enseignements. La construction de la « preuve par le chiffre » est explorée, en insistant sur ses effets heuristiques et politiques. Que vaut la preuve produite par les expérimentations aléatoires ? Pour y répondre, l’auteur mobilise une diversité de sources, s’appuyant sur de nombreux entretiens. Il montre qu’il convient d’investiguer comment, en pratique, sont élaborées les expérimentations aléatoires, pour saisir plus justement leur valeur. Les aspects politiques de ces dernières sont également analysés, non sans s’interroger sur le rôle plus général de la quantification dans nos sociétés.

Les deux chapitres de cette première partie avaient pour objectif de reconstituer l’histoire des expérimentations aléatoires. Cette tâche fut malaisée, tant il a fallu remettre en question des filiations pourtant considérées comme acquises par un certain nombre de chercheurs, y compris par nous-mêmes au début de notre travail. Les expérimentations aléatoires ne « descendent » pas des essais cliniques randomisés, que l’on considère la vague débutée dans les années 1960 ou celle d’aujourd’hui. ...

Dans cette deuxième partie, nous avons poursuivi notre investigation de la preuve par le chiffre randomisé, en nous interrogeant sur la façon dont on en produit et sur ce que l’on en fait. Notre chapitre 3 nous a permis de montrer que la preuve produite par les expérimentations aléatoires n’atteint pas le niveau de pureté espéré. D’abord, la question cruciale de la « validité externe » demeure irrésolue. Le passage d’une évaluation isolée à une généralisation à un territoire plus vaste n’a ri...

« Ce qui manque ne peut pas être compté. »Ecclésiaste, I, 15 Les randomistes produiraient de la « hard evidence » (« When we talk about hard evidence, we will therefore have in mind evidence from a RCT » écrit ainsi Abhijit Banerjee), c’est-à-dire des preuves « solides ». Situées au sommet de la hiérarchie des preuves, les expérimentations aléatoires constitueraient la meilleure méthode en matière de production de preuves. Nous allons partir de cette affirmation et tenter de l’investiguer, pr...

« Quasiment inconnue il y a 10 ans, l’évaluation aléatoire est désormais beaucoup plus courante. »Esther Duflo (2009) « Supposedly “new ideas” are often simply old ideas held by younger economists who are not familiar with the history of the discipline. »David Colander et Alfred Coats (1989) La méthode de l’évaluation par assignation aléatoire comme mode d’administration de la preuve n’est pas apparue avec Esther Duflo et ses collègues, comme on le lit parfois. Elle possède une histoire, que ...

I. Qu’est-ce que les expérimentations aléatoires ? Définir un objet suppose déjà de le nommer. C’est une première difficulté, avec celui qui nous occupe, car autant le terme paraît stabilisé en anglais, autant il est particulièrement fluctuant en français. La traduction n’est donc guère aisée et implique de faire des choix, en mettant l’accent sur tel ou tel aspect de ce que nous avons choisi de nommer les expérimentations aléatoires (A). La méthode elle-même des expérimentations aléatoires n...

« The United States and other modern nations should be ready for an experimental approach32 to social reform, an approach in which we try out new programs designed to cure specific social problems, in which we learn whether or not these programs are effective, and in which we retain, imitate, modify or discard them on the basis of apparent effectiveness on the multiple imperfect criteria available. »Donald T. Campbell (1969) « Creating a culture in which rigorous randomised evaluations are pr...

« Je tiens à signaler que les rapports “scientifiques” – c’est-à-dire basés sur l’observation des autres – sont faux et factices : pour connaître une population, il faut d’abord la “vivre” et la “regarder”. Ce pourquoi ceux qui vivent doivent apprendre à regarder et ceux qui regardent doivent apprendre à vivre. […]Il me semblait (il me semble de plus en plus) que, pour discourir sur les sciences humaines, l’érudition pure ne peut suffire, et qu’une expérience vécue, profonde et diverse, const...

Arrivés au terme de cette enquête au cœur de la « fabrique de la preuve » par les expérimentations aléatoires, il nous faut tirer quelques leçons en guise de conclusion. Dans un premier temps, nous reviendrons sur les idées importantes que nous avons développées dans ce travail (I). L’exploration de la sociogenèse des expérimentations aléatoires remet en cause leur histoire officielle. La sociologie des randomistes que l’on a menée explique en partie leur succès. L’approche originale des vali...

« La notion de gouvernement se simplifie : le nombre seul fait la loi et le Droit. Toute la politique se réduit à une question d’arithmétique. »Alexis de Tocqueville (1850) « L’évaluation n’est pas un mot, mais un mot d’ordre. »Jean-Claude Milner (2005) « Le gouvernement des hommes ne sera jamais un gouvernement des choses. »Danilo Martuccelli (2010) Dans le mouvement de l’evidence-based policy, c’est-à-dire de la politique basée sur des preuves, dans lequel les expérimentations aléatoires s’...