Generación de evidencia
Generación de evidencia
© Shutterstock
Imaginemos un programa de salud materna en la Kenia rural. Los financiadores quieren saber: "¿Cuál es el coste por vida salvada?". El equipo de implementación pregunta: "¿Cuánto costará ampliarlo a tres distritos más?". Mientras tanto, el equipo de seguimiento necesita saber: "¿Estamos utilizando nuestro presupuesto de forma eficiente en comparación con programas similares?". El mismo programa, tres preguntas distintas, y cada una requiere un enfoque de cálculo de costes fundamentalmente diferente.
Este escenario se repite a diario en el sector del desarrollo. En el actual contexto de financiación limitada, las organizaciones se enfrentan a una creciente presión para demostrar la rentabilidad de sus recursos. Sin embargo, muchas no utilizan la herramienta analítica adecuada para la pregunta específica que intentan responder. Por ejemplo, un análisis de coste por resultado puede indicar qué programa genera el mayor impacto por dólar invertido, pero no revela las dificultades prácticas de ampliarlo para atender a miles de personas más. Por otro lado, un presupuesto detallado que desglosa cada coste operativo proporciona una hoja de ruta para la implementación, pero no permite determinar si el programa ofrece una mejor relación calidad-precio que otras intervenciones que abordan el mismo problema.
En IPA, hemos aprendido que no existe una solución única para todos los casos en materia de costos. A través de nuestra colaboración con socios que se enfrentan a estos mismos dilemas —desde gobiernos que deciden entre intervenciones hasta ONG que planifican expansiones en varios países— hemos descubierto que adaptar el marco analítico adecuado al contexto de toma de decisiones correcto puede conducir a decisiones más informadas, una mejor asignación de recursos y una mayor eficacia. A continuación, describimos los principales marcos de costos que hemos desarrollado, junto con los problemas reales específicos que ayudan a resolver a nuestros socios.
La base de cualquier análisis fiable son los datos de costes precisos y completos. La recopilación detallada de costes cumple múltiples propósitos: ayuda a identificar los principales factores que determinan la eficiencia del programa, proporciona información crucial sobre cómo pueden cambiar los costes cuando los programas se replican o se amplían en diferentes contextos y, en última instancia, permite una comparación precisa de los programas.
Uno de los mayores obstáculos es la dificultad de recopilar datos de costos de múltiples fuentes. Los registros financieros suelen estar dispersos en diferentes sistemas, los costos pueden compartirse entre programas y los gastos pueden registrarse de forma inconsistente en los distintos lugares de implementación. Para abordar estos desafíos directamente, IPA ha desarrollado un herramienta automatizada que facilita la recopilación de datos de costos en tiempo real, un insumo fundamental para un análisis de costo-efectividad integral. Esta herramienta reduce la carga de trabajo del personal del programa y minimiza los errores y omisiones que pueden comprometer la precisión de nuestros análisis.
También estamos construyendo un biblioteca completa Estamos incorporando información de los análisis de costo-efectividad (ACE) que hemos realizado y comenzando a incluirla en nuestros resúmenes de investigación. Al compartir nuestros análisis, contribuimos al creciente conocimiento público sobre los costos y la efectividad de los programas.
Los análisis de costo-efectividad ayudan a los responsables de la toma de decisiones a identificar qué programas ofrecen la mejor relación costo-beneficio al elegir entre intervenciones que buscan el mismo resultado. Cuando se dispone de datos de evaluación de impacto, estos análisis proporcionan a los responsables de la toma de decisiones una base cuantitativa clara para comparar programas, mediante el análisis de la relación entre costos e impactos. Trabajamos regularmente con financiadores y responsables políticos que se enfrentan a un desafío específico en la asignación de recursos: elegir entre múltiples programas respaldados por evidencia que persiguen los mismos objetivos de desarrollo. Un ministerio de educación podría necesitar decidir si invertir en capacitación docente, suministro de libros de texto o programas de alimentación escolar para mejorar los resultados del aprendizaje. Una fundación podría evaluar si financiar transferencias monetarias, formación profesional o programas de microfinanzas para reducir la pobreza.
Cuando pensamos en qué intervención educativa proporcionará la mayor mejora en alfabetización por dólar invertido, o qué programa de salud ofrece el mejor valor para aumentar la cobertura de vacunación, recurrimos a los análisis de costo-efectividad (ACE).
El análisis de costo-efectividad (ACE) se utiliza para comparar intervenciones con una métrica de resultados común, lo que ayuda a los socios a elegir entre programas alternativos que persiguen el mismo objetivo. Sin embargo, reconocimos que los socios también necesitaban responder a una pregunta diferente: no solo "¿Qué programa debemos elegir?", sino también "¿Cuál es el valor total del programa que ya estamos considerando?".
Cuando un donante pregunta: "¿Deberíamos invertir en ampliar este programa de salud materna?", a menudo le preocupa algo más que las vidas salvadas. Quiere comprender el impacto del programa en la educación, la productividad económica, los costos del sistema de salud y otros resultados sociales. Aquí es donde el Retorno Social de la Inversión (RSI) cobra valor. El RSI está diseñado para captar el retorno social más amplio al agregar diversos impactos en un caso de inversión unificado, capturando así el valor que el enfoque de resultado único del análisis de costo-efectividad (ACE) no contemplaría.
El marco de SROI del IPA se basa en el enfoque analítico liderado por Michael Kremer (co-ganador del Premio Nobel de Economía 2019 y cofundador de USAID Development Innovation Ventures) y otros, que demostró cómo el análisis de SROI podía orientar las decisiones de inversión en desarrollo a gran escala al cuantificar el valor social total generado por cada dólar invertido. La metodología también se nutre de las directrices del fundador del IPA, Dean Karlan, para brindar a donantes y socios una visión integral del potencial retorno de la inversión de un programa específico al implementarse a diferentes escalas.
Este enfoque reconoce que tanto los costos como los impactos pueden cambiar drásticamente a medida que los programas pasan de la fase piloto a la implementación a gran escala. Lo que funciona en un ensayo controlado con 100 participantes podría tener costos e impactos completamente diferentes al aplicarse a 100 000 beneficiarios.
El objetivo del marco SROI de IPA es modelar tanto los costos como el impacto a gran escala con el mismo rigor. En cuanto a los costos, se consideran las economías de escala y las diferentes estructuras de costos en los distintos contextos de implementación. Algunos costos disminuyen por beneficiario a medida que los programas se amplían, mientras que otros pueden aumentar debido a dificultades de coordinación o requisitos de mantenimiento de la calidad.
En cuanto al impacto, el modelo de IPA aborda cuestiones sobre la calidad de la implementación, los desafíos de adaptación y la sostenibilidad. Los programas que muestran resultados sólidos en proyectos piloto cuidadosamente gestionados pueden experimentar una menor eficacia cuando se implementan a través de diferentes entidades o en diversos contextos geográficos.
La credibilidad de los modelos de SROI depende de formular supuestos realistas, documentar la metodología de forma transparente y mostrar a los responsables de la toma de decisiones cómo los cambios en los parámetros clave afectan a la inversión. Este enfoque garantiza que nuestros modelos de SROI sirvan como herramientas sólidas para la toma de decisiones, en lugar de ejercicios de proyecciones excesivamente optimistas.
Si bien los análisis de costo-efectividad (ACE) y los análisis de retorno social de la inversión (RSI) se basan en datos de impacto rigurosos provenientes de evaluaciones completas, la evaluación integrada de impacto (EII) suele colaborar con socios que necesitan tomar decisiones sobre programas prometedores que aún no se han sometido a evaluaciones de impacto a gran escala o para los que no existe una base de evidencia rigurosa. El modelado de costo-efectividad (MCE) utiliza los mejores datos disponibles —ya sean resultados preliminares de proyectos piloto, evidencia de contextos similares o proyecciones de expertos— junto con supuestos transparentes para proyectar la posible costo-efectividad. A diferencia del ACE, que analiza lo que ha sucedido y se basa en datos de evaluación de impacto existentes, el modelado de costo-efectividad ayuda a los socios a comprender qué podría suceder bajo diferentes escenarios y supuestos.
La naturaleza prospectiva de los modelos de rentabilidad los hace especialmente valiosos en las primeras etapas del desarrollo de un programa. Un socio que desarrolla una nueva plataforma de aprendizaje digital podría usar modelos para comprender si los costos de capacitación docente o la infraestructura tecnológica serán el factor determinante de la rentabilidad. Al variar los supuestos clave, el modelo revela qué factores y supuestos podrían ser más importantes, lo que permite a los implementadores centrar sus esfuerzos de diseño donde podrían tener el mayor impacto en la relación costo-beneficio general.
Estos modelos dependen intrínsecamente del contexto y de las decisiones específicas. Primero, aclaramos con nuestros socios el propósito del ejercicio de modelado y las decisiones que fundamentará. Estas decisiones podrían incluir la financiación de intervenciones específicas con alta probabilidad de ser rentables o la realización de estudios rigurosos para comprender la veracidad de las hipótesis generadas mediante el modelado. Los desarrollamos en estrecha colaboración con nuestros socios implementadores, asegurando que los supuestos reflejen la realidad sobre el terreno y manteniendo el rigor analítico. El resultado cierra la brecha entre el potencial teórico y una sólida base de evidencia, ayudando a nuestros socios a tomar decisiones informadas incluso cuando no disponen de información perfecta.
A medida que continuamos desarrollando estas herramientas y metodologías, nos comprometemos a compartir nuestros aprendizajes con la comunidad de desarrollo en general. Nuestra herramienta automatizada de análisis de costo-efectividad (ACE) y nuestra biblioteca de ACE representan solo el comienzo de nuestros esfuerzos para que el análisis riguroso de costo-efectividad sea más accesible y práctico. Asimismo, seguimos perfeccionando nuestro marco de retorno social de la inversión (RSI) con base en los comentarios de donantes y socios implementadores.
