Hasta ahora, 2009 ha sido un momento fértil para los debates metodológicos en econometría. Un debate candente toca directamente los ensayos controlados aleatorios (ECA), una metodología que se utiliza a menudo en las evaluaciones de impacto de las intervenciones de desarrollo. Por un lado, el renombrado economista de desarrollo de Princeton Angus Deaton argumenta que los experimentos aleatorios están sobrevalorados y que otros métodos de aprendizaje sobre los impactos proporcionan una guía que a menudo está más estrechamente relacionada con la teoría. Por otro lado, Guido Imbens nos dice lectores de las razones por las que los experimentos aleatorios han ganado un gran número de seguidores. Otros métodos se basan en suposiciones que a menudo los hacen poco convincentes.

Los experimentos aleatorios son muy importantes en la investigación del desarrollo internacional y la evaluación del impacto porque ofrecen la promesa de obtener medidas limpias del impacto causal de las intervenciones. Angus Deaton, sin embargo, ofrece tres argumentos en contra. Primero, la evaluación de una intervención en particular es útil para sus promotores y beneficiarios, pero podría no generar mucha perspectiva teórica sobre por qué funcionó el proyecto. En segundo lugar, los experimentos proporcionan una estimación de la promedio impacto de la intervención, aunque puede que no sea la cantidad de mayor interés. El impacto mediano, o la distribución de impactos, puede ser tan interesante o incluso más. En tercer lugar, el análisis de los datos producidos por los experimentos a menudo implica estadísticas avanzadas y, por lo tanto, está sujeto a las mismas dificultades que los modelos estructurales, como los sesgos de muestras pequeñas o la búsqueda de especificaciones (también conocida como "minería de datos").

Guido Imbens responde en un nuevo documento de trabajo. Su primer argumento es que tener varias metodologías a nuestra disposición es mejor que restringir nuestras fuentes de evidencia a un solo método de análisis en particular. Más información, de más proyectos de investigación que emplean varias metodologías, argumenta, siempre será más útil que menos información de un número limitado de metodologías. Los analistas y los formuladores de políticas a los que se les proporciona un panorama más amplio pueden sopesar las ventajas y desventajas de las diversas pruebas, tanto en términos de validez interna (la confianza en que la intervención condujo al impacto medido) como de validez externa (la capacidad de generalizar los hallazgos). de un estudio a otros escenarios).

En segundo lugar, Imbens no está de acuerdo con la negativa de Deaton a otorgar a los experimentos aleatorios un lugar particular en la "jerarquía de la evidencia". Imbens argumenta enérgicamente que los experimentos aleatorios están en la parte superior de esa jerarquía en virtud de sus pretensiones de validez interna. Claramente, los experimentos aleatorios no pueden responder todas las preguntas interesantes en el desarrollo internacional y en la economía. Pero el tipo de trabajo que realizan los investigadores de la FAI muestra que pueden ser rigurosos y teóricamente interesantes (ver aquí, aquí, y aquí). 

El debate parece reducirse al peso que se le da a la validez interna de las estimaciones causales frente a su interés intrínseco y su aplicabilidad más amplia. Cuando se trata de empujar, sospechamos que Deaton estaría feliz de ver más RCT en general. Lo que no le gusta son los argumentos que dicen "si no es un RCT, la evidencia no cuenta". Me parece bien. Creemos que Imbens estaría de acuerdo.