Recientemente me encontré con algunos bocetos que hice hace unos años. Eran dibujos toscos con figuras de palitos de un pescador en un bote con muchas líneas en el agua. Pero a diferencia de un pescador normal, este nunca recogió el pez que enganchó. Su trabajo, como él lo veía, era experimentar con diferentes cebos, aparejos y técnicas para ver qué hacía que los peces mordieran. Pero nunca los enganchó.

Cuando hice los bocetos, había estado trabajando durante una década con IPA en docenas de evaluaciones de impacto aleatorias en América Latina y África, primero como coordinador de investigación y director de país y luego como investigador principal. Mi papel fue una pequeña parte del movimiento global para usar métodos experimentales para probar la efectividad de las intervenciones diseñadas para reducir la pobreza, pero me preocupaba que no estuviéramos haciendo lo suficiente para convertir las lecciones de esas pruebas en programas y políticas que realmente mejoraron la vida de las personas. vidas. Éramos buenos pescando con anzuelo, pero no conseguíamos suficientes en el bote y en los platos para que comieran las personas hambrientas.

... Me preocupaba que no estuviéramos haciendo lo suficiente para convertir las lecciones de esas pruebas en programas y políticas que realmente mejoraran la vida de las personas. Éramos buenos pescando con anzuelo, pero no conseguíamos suficientes en el bote y en los platos para que comieran las personas hambrientas.

Admito que en esta comparación de pescadores con evaluadores de impacto no es justo esperar que los evaluadores se aseguren de que la evidencia que generan se aplique para crear programas y políticas eficaces. Pero si no es su trabajo, ¿de quién es el trabajo? ¿Y qué se necesita para enrollar el pez?

De la innovación a la construcción de enfoques prometedores

En los últimos años, IPA ha redoblado sus esfuerzos para llevar intervenciones prometedoras basadas en evidencia de pilotos iniciales a programas y políticas escalables y adaptables. Como sabe cualquiera que trabaje en desarrollo internacional, este es un proceso complejo. Los resultados prometedores de la primera evaluación de impacto de una intervención no solo generan entusiasmo, sino que también pueden dar lugar a más preguntas que respuestas. ¿Qué tan confiables y sólidos son los hallazgos? ¿El estudio original fue internamente válido y con el poder estadístico adecuado? ¿Por qué funcionó el enfoque? ¿Cuál fue el mecanismo? ¿Qué tan dependiente del contexto fue el resultado? ¿Funcionaría la intervención a mayor escala, con otros implementadores? ¿Cómo podría mejorarse la rentabilidad de la intervención? Y hay muchos más.

Para abordar sistemáticamente estas preguntas, hemos comenzado a distinguir entre investigación de innovación—estudios de prueba de concepto para determinar si un enfoque funciona— y lo que hemos estado llamando investigación de ruta a escala— el amplio conjunto de investigaciones adicionales necesarias para adoptar enfoques prometedores desde la prueba de concepto hasta programas y políticas escalables. La investigación de ruta a escala comienza con enfoques basados ​​en evidencia que ya se han mostrado prometedores en evaluaciones de impacto rigurosas y se basa en estos enfoques prometedores al buscar evidencia adicional sobre qué tan sólidos son los hallazgos originales, cuándo, dónde y por qué se espera que un enfoque funcione. trabajo y formas de optimizar el diseño y la implementación del programa a escala. Los investigadores de innovación enganchan a los peces y utilizamos la investigación de ruta a escala para atraerlos.

Basándose en la innovación: el caso de los gráficos de crecimiento en Zambia

Para ilustrar este concepto, consideremos un caso de la vida real de un pez en la línea: tablas de crecimiento para reducir el crecimiento infantil vacilante en Zambia.

 

Gunther Fink, raquel levenson, Pedro rockerosy Sara Tembo probó tablas de crecimiento en el hogar en zonas rurales de Zambia para mejorar la nutrición infantil y reducir el retraso en el crecimiento. La intervención consistió en un cartel de gráfico de crecimiento de tamaño natural instalado en los hogares de las personas, codificado por colores para mostrar cuando el crecimiento de un niño estaba fallando. Los padres podían medir la estatura de su hijo periódicamente y ver de inmediato si la estatura del niño era saludable, midiendo en la zona verde o rezagándose, indicada en rojo en comparación con la población saludable de referencia de la OMS.

Los investigadores trabajaron con IPA para realizar un ECA de las tablas de crecimiento en el este de Zambia, donde casi la mitad de todos los niños tenían retraso en el crecimiento. Entre los niños que tenían retraso en el crecimiento antes de que se instalaran las tablas de crecimiento, los investigadores encontraron una reducción de 22 puntos porcentuales en el número de niños que todavía tenían retraso en el crecimiento diez meses después en comparación con el grupo de control. Esto se logró sin proporcionar complementos alimenticios ni recursos adicionales además de las tablas de crecimiento. También hubo un segundo brazo de tratamiento, usando monitoreo basado en la comunidad, que tuvo resultados nulos. Puedes leer sobre ambos brazos en el artículo académico y IPA's nota de política.

Este es un hallazgo emocionante. Las tablas de crecimiento parecen haber llevado a una reasignación de recursos dentro del hogar para beneficiar a los bebés y niños pequeños en un momento crucial de su desarrollo. Una nutrición inadecuada en los primeros 1,000 días de vida puede causar daños de por vida en el cerebro en desarrollo de un niño y contribuir a reducir la productividad y el bienestar en la edad adulta, por lo que la reducción del retraso en el crecimiento encontrada en este estudio tiene el potencial de tener un impacto duradero en estos la vida de los niños. Pero, ¿qué debemos hacer con este resultado? ¿Deberíamos gritarlo desde los tejados y comenzar a empapelar las paredes de las personas con carteles de gráficos de crecimiento en áreas con altas tasas de retraso en el crecimiento? Si hemos logrado enganchar un pez, ¿qué se necesita para enrollarlo?

Confiabilidad, robustez y potencial de escala

Para dar el salto de este estudio en el este de Zambia a un programa escalable basado en evidencia, hay varias preguntas que debemos responder. Primero, ¿qué tan confiables son estos hallazgos? El estudio fue un ensayo controlado aleatorio agrupado con un total de 336 niños en 85 pueblos divididos entre tratamiento y control. Eso no es pequeño, pero tampoco es enorme. Cuando reduce la muestra a solo los hogares con un niño con retraso en el crecimiento al inicio, es aún más pequeña. Entonces, el método de estudio es sólido, pero el tamaño del estudio hace que el resultado sea un poco menos convincente.

También queremos saber si alguien ha verificado de forma independiente el trabajo de los investigadores. El estudio fue publicado en una revista revisada por pares, así que es un buen comienzo, pero además de eso, IPA's transparencia de la investigación El equipo, que no participó en el análisis de los resultados del estudio, verificó de forma independiente el código de análisis del equipo de investigación para confirmar que produce los resultados publicados, lo cual hace. Luego hicieron la datos y codigo disponible públicamente en el Centro de datos para experimentos de campo en economía y políticas públicas, el depósito de datos seguro que utiliza IPA para publicar conjuntos de datos.

Una vez que estamos convencidos de la confiabilidad de un estudio, hay otro conjunto de preguntas de investigación para comprender cuán sólidos son los hallazgos, cuáles son los mecanismos específicos que impulsan el resultado, si la intervención podría ampliarse y cómo, y las condiciones del alcance. para adaptarse con éxito a nuevos contextos. Estos conforman lo que llamamos una agenda de investigación de ruta a escala.

Para dar el salto de este estudio en el este de Zambia a un programa escalable basado en evidencia, hay varias preguntas que debemos responder. Primero, ¿qué tan confiables son estos hallazgos?... [Luego] hay otro conjunto de preguntas de investigación para comprender qué tan sólidos son los hallazgos, cuáles son los mecanismos específicos que están impulsando el resultado, si la intervención podría ampliarse y cómo. , y condiciones de alcance para una adaptación exitosa a nuevos contextos. Estos conforman lo que llamamos una agenda de investigación de ruta a escala.

Nuestra Agenda Actual: Construyendo la Evidencia en Gráficas de Crecimiento

En el caso de las tablas de crecimiento, trabajamos con Günther Fink y Peter Rockers del estudio original para crear una agenda de investigación de camino a escala. Un conjunto de preguntas estaba relacionado con la comprensión del mecanismo detrás del éxito de la intervención. ¿Cómo interactuaron los participantes del estudio con los gráficos? ¿Sabían los padres cómo medir a sus hijos usando las tablas, alineándolos en la línea de edad apropiada? ¿Sabían cómo interpretar la medida? Había otros elementos en las tablas de crecimiento que no estaban relacionados con las medidas, como imágenes aspiracionales y descripciones de opciones de alimentos nutritivos disponibles localmente. ¿Qué papel jugaron estos otros elementos en el aparente éxito de la intervención?

Para tratar de responder a estas preguntas, llevamos a cabo una estudio de seguimiento cualitativo con participantes del grupo de tratamiento original. Llevamos a cabo catorce discusiones de grupos focales y 25 entrevistas en profundidad. Casi todas las casas que volvimos a visitar todavía tenían gráficos de crecimiento en sus paredes tres años después de que terminó el estudio. Descubrimos que las mujeres podían demostrar correctamente cómo medir a un niño e interpretar la medida, pero los hombres estaban mucho menos familiarizados con la forma en que se suponía que debían usarse las tablas.

Otras preguntas en nuestra agenda de investigación de ruta a escala incluyen: ¿Cuáles son los impactos a largo plazo de las tablas de crecimiento a medida que los niños crecen y para los hermanos menores nacidos después de la fase de implementación? ¿Tendrían los gráficos de crecimiento un efecto similar si se implementaran en otras regiones de Zambia a mayor escala y si estuvieran dirigidos por el gobierno? ¿Podría una versión adaptada de las tablas de crecimiento ser efectiva fuera de Zambia en países con tasas igualmente altas de desnutrición infantil?

Durante el último año y medio, hemos buscado oportunidades para seguir la agenda de investigación de camino a escala. La replicación del código con solo presionar un botón por parte del equipo de transparencia de investigación de IPA y el estudio de seguimiento cualitativo mencionado anteriormente fueron solo el punto de partida. También hemos obtenido fondos para dos nuevas pruebas de gráficos de crecimiento. Uno está en Zambia, trabajando con el Ministerio de Salud para ampliar y evaluar el enfoque en tres regiones. Para el segundo, nos hemos asociado con J-PAL Sudeste de Asia para adaptar y probar una intervención de gráfico de crecimiento en Indonesia.

Este es un ejemplo de cómo IPA está haciendo un seguimiento de la evidencia prometedora y tratando de responder sistemáticamente a las preguntas que conducen a programas y políticas escalables y adaptables. Si los resultados de la prueba de Zambia son positivos, nuestro socio gubernamental estará posicionado para ampliar el programa en todo el país, y si la prueba de Indonesia demuestra que el enfoque se puede adaptar a nuevos contextos, no solo buscaremos escalar el enfoque en Indonesia, sino también para introducirlo en otros países que luchan contra la desnutrición persistente y el desarrollo atrofiado.

Iniciativas de investigación de ruta a escala

Estamos organizando estas iniciativas de investigación alternativas a escala para resultados o temas específicos, como el crecimiento y desarrollo infantil y las pequeñas y medianas empresas. Cada una de estas iniciativas tiene tres componentes principales.

1. Identificar enfoques prometedores basados ​​en evidencia para priorizar la investigación de ruta a escala
2. Creación de agendas de investigación de ruta a escala para cada enfoque priorizado
3. Perseguir las agendas de investigación mediante el desarrollo de asociaciones y la recaudación de fondos para proyectos de investigación de ruta a escala para responder preguntas de la agenda y mover enfoques basados ​​en evidencia a soluciones escalables.

En una publicación futura, destacaré nuestra iniciativa de investigación de ruta a escala sobre el crecimiento y desarrollo infantil y explicaré lo que hemos estado haciendo en cada uno de estos tres componentes. Si es un investigador o financiador interesado en la investigación de la ruta a escala, no dude en comunicarse con el equipo de investigación de la ruta a escala en shenderson@poverty-action.org.