Ha habido más actividad sobre la cuestión de la importancia de los ECA.  La semana pasada, Bill Easterly escribió sus pensamientos sobre los ensayos controlados aleatorios (RCT, por sus siglas en inglés) en su blogy Chris Blattman publicó un respuesta. Ambos parecen adoptar la perspectiva de que la investigación académica debe producir nueva teoría y/o crear importantes recomendaciones de política. El hecho de que cada ECA a menudo solo responda a una pregunta "pequeña", ya veces solo en un contexto determinado, les parece un gran inconveniente. No estoy de acuerdo.  

Trabajo como asistente personal en La Paz y estoy orgullosa y emocionada de todos nuestros proyectos, que en su mayoría tratan sobre “pequeñas” preguntas en el contexto boliviano. Me parece que popularizar los ECA en el contexto del desarrollo es la mejor manera de mejorar los bienes y servicios que se ofrecen a los pobres del mundo. Es posible que los RCT no nos enseñen las respuestas a muchas preguntas importantes, pero siguen siendo una herramienta importante que los académicos deben adoptar y promover.

Empresas de todo el mundo realizan experimentos aleatorios para saber qué tipo de servicios deberían ofrecer. Google basa prácticamente todas sus decisiones en experimentos aleatorios, y las compañías de tarjetas de crédito como Capital One también usan la metodología. Si bien las ONG (o los gobiernos) están más interesadas en el alivio de la pobreza que en los márgenes de ganancias, los métodos de investigación que mejor sirven a las empresas privadas pueden y deben adaptarse a las necesidades de la comunidad de desarrollo. Cada proyecto específico puede no tener un impacto en la vida de millones de personas (sometimes some do), pero el efecto general de enfatizar los RCT puede ser enorme si los proyectos y las organizaciones de todo el mundo comienzan a pensar realmente en la mejor manera de cumplir su misión. Se gastan miles de millones de dólares en desarrollo; tenemos la responsabilidad de tratar de optimizar la forma en que se gasta el dinero. Hay absolutamente otras formas de perseguir este objetivo (experimentos naturales/de laboratorio, teoría, etc.), pero los RCT son una herramienta valiosa que se está infrautilizando porque son difíciles de ejecutar y rara vez producen resultados de interés periodístico.

Es importante que los académicos participen en los ECA por dos razones. El membrete elegante da credibilidad a una técnica de evaluación que muchas organizaciones en el mundo en desarrollo pueden no entender. La mayoría de las organizaciones con las que he tratado están a favor de presentar y evaluar proyectos innovadores, pero no están seguras de querer o necesitar hacerlo de manera rigurosa. Ofrecer un servicio en particular en una ciudad pero no en otra que sea vagamente similar, o solo a los mejores clientes, no son formas de evaluación particularmente efectivas y, sin embargo, me han sugerido ambas como reemplazo de los RCT. Hacer tales cosas es más fácil de implementar y probablemente menos costoso, pero no son tan útiles. Organizaciones como IPA pueden obtener financiamiento porque nuestros PI son inteligentes y calificados, y hemos demostrado que desarrollamos proyectos creativos que aplicamos de manera inteligente y cuidadosa. Como resultado de estar afiliado a una organización académica como IPA, es mucho más fácil para las personas en el campo (¡como yo!) demostrar que podemos ayudar a descubrir nuevos y mejores proyectos, y mostrar por qué es importante evaluar las innovaciones con los mejores métodos. disponible.

También es importante que los académicos trabajen con ECA porque a menudo no está claro qué tipo de intervención se debe probar. Por ejemplo, gran parte del trabajo de IPA trata de averiguar cómo mejorar la salud en el mundo en desarrollo. No necesitamos necesariamente una teoría generalizada sobre lo que funciona en general, sino proyectos específicos y cuidadosamente pensados ​​que se aplican y pueden mejorar potencialmente lo que se ofrece en un contexto particular. El trabajo económico psicológico y del comportamiento ha producido teorías del comportamiento humano, y gran parte del trabajo del desarrollo moderno consiste en descubrir la mejor manera de aplicar esas teorías al desarrollo. Los académicos son probablemente los más calificados para pensar en formas de hacerlo, y los RCT son probablemente la mejor manera de probar lo que se les ocurre. El hecho de que los RCT no conduzcan a menudo a avances en la teoría académica general no significa que no conduzcan a avances importantes en el desarrollo.

Aquí en Bolivia, a través de una asociación con una IMF local con una misión social, nos estamos enfocando en el impacto de cambiar el tamaño de los bancos comunales. Sabemos que obligar a las personas a formar grupos de mil millones de personas es una idea terrible; nadie conseguiría nunca un préstamo. La respuesta correcta, el rango correcto de tamaños de garantía, obviamente es menos que eso. Encontrar la respuesta es una tarea empírica. Originalmente, el banco solo permitía asociaciones de 15 a 20 personas que se garantizaban entre sí. Queríamos ver el impacto de reducir la garantía a solo 5-7 personas, porque nuestros IP se dieron cuenta de que los clientes de microfinanzas potencialmente buenos podrían asustarse al tener que garantizar a tantos otros (y, a menudo, a varios extraños). El banco acordó que la innovación (una semi-réplica de una Estudio en Filipinas) era prometedor y una evaluación adecuada era importante. Los resultados de nuestro estudio hasta ahora han sido prometedores y continuamos trabajando con la IMF para tratar de identificar un tamaño óptimo para sus bancos comunales. No habían estado considerando esa táctica y están contentos de que IPA los haya ayudado a introducir un producto más flexible que claramente prefieren muchos clientes. Están considerando usar RCT para sus propias innovaciones, lo cual es un paso muy importante para garantizar que ofrecen los mejores servicios posibles.

¿Los resultados del estudio se publicarán alguna vez en una revista revisada por pares o conducirán a avances en el conocimiento sobre el comportamiento humano fundamental? Casi seguro que no. ¿Conducirá a un cambio en el paradigma crediticio dominante en todo el mundo?  Probablemente no. ¿Conducirá a un cambio en el contexto microfinanciero boliviano?  Tal vez. Nuestra organización asociada quiere ofrecer los mejores servicios posibles a sus clientes, y estar familiarizado con los RCT es importante para ese objetivo. Además, ellos (y otras IMF) tienen acceso a nuestros resultados y pueden decidir si han determinado el tamaño correcto de la asociación. De lo contrario, básicamente tienen que adivinar cuál sería el mejor producto, y creo que su trabajo es demasiado importante para eso.