L’expérimentation aléatoire en plein « développement »

Comment les économistes du développement sont-ils arrivés à la conclusion que les traitements vermifuges sont l’un des moyens, si ce n’est le moyen, le plus efficace pour hausser le taux de scolarisation des enfants en Inde, plus encore qu’une augmentation de manuels scolaires fournis ou qu’une réduction des salles de classes ?

L’économie du développement s’intéresse principalement à deux enjeux majeurs : La santé et l’éducation. Afin de savoir quels sont les politiques, programmes et actions les plus efficaces, les économistes doivent tester leurs hypothèses théoriques sur le terrain et les expérimenter concrètement. C’est en cela que les RCTs représentent un point clé actuel et incontournable dans le domaine de l’économie du développement.

L’introduction d’une nouvelle méthodologie au service de l’évaluation d’impact

Les RCTs, « Randomised controlled trials », ou encore « l’approche expérimentale » représentent une méthodologie d’évaluation. Ces expériences permettent d’évaluer l’impact d’une politique publique ou plus généralement d’un mécanisme. En d’autres termes, une nouvelle politique, une action, un « traitement » est mis en place au sein d’un groupe et ses effets sur les comportements et actions de celui-ci sont évalués au fur et à mesure de l’expérimentation à l’aide de facteurs de contrôle (les variables suivies par les chercheurs telles que le budget, les dépenses, les émotions ressentis par les individus suivis…). Suivant les résultats obtenus après un certain laps de temps, s’ils sont significativement différents de la situation initiale, on pourra alors en déduire que la politique étudiée a eu un effet et un impact notable.

Si cette approche expérimentale fût d’abord principalement utilisée en médecine, pour mesurer les effets de certains traitements, elle s’impose désormais également dans le domaine de l’économie et de l’évaluation de politiques publique, et cela, depuis les années 90’s, notamment popularisé par les « randomistas », avec à leur tête Esther Duflo, lauréate du prix Nobel d’économie 2019. L’un de ses travaux les plus connus étudie l’impact du microcrédit sur les populations pauvres des pays en développement. Le microcrédit s’est en effet présenté, dans les années 2010 comme un moyen efficace dans la lutte contre la pauvreté, en permettant aux ménages les plus défavorisés de bénéficier de crédits. Si prometteur soient-ils, leur efficacité a été remise en question à de multiples reprises et notamment à la suite d’une expérimentation aléatoire mise en place en Inde par le J-Pal (Abdul Latif Jameel Poverty Action Lab, laboratoire, fondé par Esther Duflo et Abhijit Banerjee).

Les résultats de cette expérience ont ainsi mis en avant que l’introduction des micro-crédits, 15 à 18 mois plus tard, avaient eu un impact hétérogène sur les ménages. En effet, ceux-ci mettent principalement en avant le facteur « esprit d’entrepreneur » comme décisif pour la réussite et l’efficacité d’un micro-crédit. Ainsi, les ménages auparavant déjà indépendants, et/ou dotés d’une forte propension à l’entreprenariat ont pu investir dans des biens de consommation durables et créer des entreprises. Pour les autres types de ménages, l’effet du microcrédit était bien plus éphémère et modéré, et a surtout favorisé la consommation de biens non durables, ne favorisant pas la sortie d’une situation de pauvreté par la création et développement de projets d’entreprises et l’investissement dans le capital.

On comprend donc au travers de cet exemple, l’intérêt des RCTs dans la conception des politiques publiques. Ils permettent de mettre en avant les faiblesses de terrain des politiques, malgré leur intérêt théorique initial. De ce fait, à la suite d’une telle expérimentation, de nouvelles mesures peuvent-être proposées afin d’en améliorer et corriger la portée et l’efficacité pratique.

Les RCT’s en quête de causalité

Avant tout, l’objectif des RCT est de clarifier les notions de causalité et de corrélation. Celles-ci sont à différencier : Par causalité, on entend l’influence directe et fondée d’un traitement, là où la corrélation, elle, est une concordance possible dans l’évolution de deux variables. Par exemple, la hausse de la consommation de mozzarella par tête est corrélée, c’est à dire proportionnelle et de même ampleur avec le nombre d’ingénieurs civils récompensés (cf website « spurious correlations » (https://www.tylervigen.com/spurious-correlations)). Si à première vue on pourrait croire que l’un a un impact sur l’autre, il faut en réalité procéder à une évaluation concrète et le suivi de facteurs spécifiques pour prouver cela. Ainsi, les RCTs, cherchent avant tout à trouver et établir un lien de causalité entre un traitement (politique, action publique) et un effet sur une population, d’où l’évaluation d’impact.

Les RCTs en pratique 

Les RCT’s ciblent un paramètre précis, tels que le taux de présence à l’école, le taux de vaccination des enfants, etc. et l’expérimentation se construit ensuite selon le paramètre que l’on veut tester.  Aléatoirement, sont formés deux groupes au sein d’une population définie. Celle-ci doit rester homogène afin de pouvoir en tirer des conclusions correctes. En effet, si la population est hétérogène, l’effet trouvé ex-post pourrait être attribué autant à la politique testée car la différence des individus. Dans cette population homogène sont formées deux groupes : L’un d’entre eux constitue le groupe « test » : Il va recevoir un traitement, c’est à dire qu’il sera la cible du dispositif testé, tandis que le second ne recevra rien : Il s’agit du groupe « de contrôle ».  Celui-ci représente ce que l’on appelle le « contrefactuel », soit le comportement adopté par les individus s’il n’avait pas reçu le traitement. A. Jatteau, titulaire du premier prix de thèse par la Cours des comptes pour la thèse « Faire preuve par le chiffre ? Le cas des expérimentations aléatoires en économie », résume le concept de contrefactuel et groupe de contrôle comme l’idée de « savoir comment cela se serait passé [sans le traitement] ». Ainsi, la différence d’évolution entre ce groupe et le groupe traité, entre le temps pre-dispositif et post-dispositif, permettra de mesurer l’impact du traitement d’évaluer et comprendre ses effets.

En quoi représentent-elles un intérêt ?

L’intérêt des RCTs, réside dans la formation aléatoire des groupes : Cette condition aléatoire permet de neutraliser le biais de sélection se produisant lors de l’expérimentation en laboratoire, c’est à dire les effets conscients/inconscients lors de la formation de groupe-tests, les effets du choix des personnes participants, qui pourrait influencer l’expérience. En effet, une expérimentation se veut la plus neutre possible. Ici, il n’a pas de sélection, puisque les groupes sont construits aléatoirement : Il n’y a qu’un unique facteur qui changera, la mise en place du programme et c’est ce fait même qui permettra d’obtenir l’effet moyen de celui-ci pour une population donnée.

Plus généralement, ce principe d’expérimentation permet de tester des théories et voir si celles-ci fonctionnent, ou non. Par exemple, la distribution de moyens de contraception, gratuits et sans conditions, ont-ils un impact sur la transition démographique africaine ? La réponse est non ou un impact très faible (cf « Conversation avec Pauline Rossi, nominée au prix du Meilleur jeune économiste français 2023 » disponible sur Oeconomicus). Les résultats mis en avant par des RCTs peuvent se révéler très surprenants. Ce que l’on aurait pu penser efficaces ne semble pas toujours l’être. Toute l’importance réside dans la décision d’allouer les fonds publics pour certains projets de développement, qui semblent efficace dans la pratique. L’expérimentation “Incentives work : Getting teacher to come to school” menée par E. Duflo, R. Hanna, S. P Ryan, est une illustration intéressante de l’utilité des RCTs pour l’aide à la décision politique. Celle-ci étudie l’important taux d’absentéisme des professeurs en Inde et son impact sur le niveau scolaire des enfants. En effet, si à première vue, il semble exister un lien de causalité entre ces deux faits, il nécessite malgré tout une preuve expérimentale.

Cette expérience cherche donc à comparer les effets d’un plus grand taux de présence des professeurs sur le niveau scolaire des élèves par comparaison avec un faible taux de présence des enseignants. Pour cela il faut donc établir des incitations afin de faire venir les enseignants dans les écoles. Dans cette étude, ont donc été mises en place des incitations financières pour les professeurs, avec une hausse des salaires et une prime par journée complète enseignée. Aussi, des appareils photos ont été mises en place afin de suivre les professeurs tout au long de la journée : Les élèves avaient pour tâche de prendre en photo les professeurs, avec la date et heure pour preuves. Après une trentaine de mois d’expérimentation, les résultats mettaient en avant une nette réussite des élèves dans le groupe traité comparée au groupe de contrôle (le contrefactuel). De ce fait, on comprend l’intérêt des RCTs pour la conception de politiques : Une politique visant à améliorer les salaires des enseignants (et donc jouant sur les contraintes d’incitations) étant donc efficace, et méritant donc d’être déployée.

Limites notables

Néanmoins, les RCTs ne représentent pas une méthode miracle et rencontrent certaines limites. L’éthique en représente une. En effet, mettre en place un traitement potentiellement efficace et améliorer les conditions de vie à un groupe et pas à une autre relève d’un dilemme éthique. Se pose aussi le problème de l’assignation aléatoire ou effet d’Hawthorne. Le fait de se savoir participer à une expérimentation peut influencer les comportements des participants et réduire la validité pratique des RCTs (cf exemple précédent avec l’incitation financière des professeurs). Enfin, les RCTs sont difficilement généralisables, car mise en place au sein de groupes à taille réduite, et ont ainsi peu de crédit d’échelle. Ceci pose donc la question de sa généralisation et dépendance à l’environnement. En effet, rien ne peut nous dire qu’une politique efficace dans une certaine région d’Inde le sera également dans une région du Burkina Faso par exemple.

Sources :

– https://www.economie.gouv.fr/igpde-editions-publications/thearticle_n1

– Randomised controll trials in economics: A magic pill for public policymaking de Arthur Jatteau

– https://www.cairn.info/revue-d-economie-politique-2009-5-page-691.htm

– L’approche expérimentale en économie du développement de Banerjee et Duflo

– https://www.povertyactionlab.org/sites/default/files/research-paper/9%20Camera%20Monitoring%20AER.pdf

– Incentives Work: Getting Teachers to Come to School† By Esther Duflo, Rema Hanna, and Stephen P. Ryan

– Les expérimentations aléatoires, le “gold standard » des méthodes d’évaluations d’impact ? de Arthur Jattea

– Nouvelle économie du développement et essais cliniques randomisés : Une mise en perspective d’un outil de preuve et de gouvernement de Agnès Labrousse

– https://www.povertyactionlab.org/fr/evaluation/utilisation-dun-systeme-de-surveillance-par-photographie-comme-outil-de-controle-de