Combinando la generación de evidencia y el soporte técnico para una transformación efectiva de los sistemas

Tipo(s) de servicios RFE: Recopilación directa de datos, ruta a escala, asistencia técnica
Socio(s) principal(es): Transformando la Educación en las Comunidades Cacaoteras (TRECC), Côte d'Ivoire
Línea de tiempo: 2016 - 2021
Descripción de una oración: La Unidad de Evidencia Right-Fit (RFE) de IPA proporciona datos y evidencia a la iniciativa Transforming Education in Cocoa Communities (TRECC) para apoyar la toma de decisiones en torno a proyectos de escala. Paralelamente, RFE apoya a los implementadores de proyectos en la creación exitosa de sistemas de monitoreo, evaluación y aprendizaje (MEL) que permiten el aprendizaje en tiempo real y pueden usarse para mejorar constantemente la efectividad de sus programas.

El Desafío

La iniciativa Transformando la Educación en las Comunidades Cacaoteras (TRECC) tiene como objetivo mejorar las condiciones de vida de todos los niños y jóvenes en Côte d'Ivoire a través de una educación de calidad. TRECC adapta intervenciones exitosas —enfocándose en la educación primaria y el desarrollo de la primera infancia (ECD)— al contexto de Côte d'Ivoire y las ayuda a avanzar hacia la escala.

Las intervenciones respaldadas por TRECC pasan por una serie de iteraciones a medida que avanzan hacia la escala, comenzando con una fase piloto y con el objetivo de ser finalmente adoptadas e implementadas por el gobierno nacional. Por lo tanto, es fundamental que TRECC y sus socios aborden su trabajo con la voluntad de aplicar las lecciones aprendidas mientras prueban sus programas en el campo. Los sistemas MEL de alta calidad son clave para recopilar esas lecciones. También es crucial que los sistemas MEL estén ajustados adecuadamente para responder las preguntas relevantes para la fase de cada socio en el camino hacia la escala. Estas preguntas pueden incluir: ¿Responde el proyecto a las necesidades en Côte d'Ivoire? ¿El implementador está entregando el proyecto al nivel esperado de calidad? ¿Existen sistemas efectivos para garantizar la sostenibilidad del proyecto más allá de las fases iniciales? ¿El gobierno está interesado y tiene suficientes recursos para eventualmente ampliar el proyecto? ¿Cuándo es apropiado llevar un proyecto de la fase piloto a escala? ¿Qué indicadores debemos monitorear para maximizar el aprendizaje y la rendición de cuentas en cada fase?

El Compromiso

RFE apoya a TRECC en respuesta a su necesidad de un entrenador de aprendizaje para ayudar a sus socios a llevar a cabo con éxito sus intervenciones a escala, y su necesidad de un amigo crítico para ayudar a evaluar el progreso de los socios en ese camino. Por lo tanto, el compromiso se compone de dos actividades principales:

1. Brindar asistencia técnica a MEL a los socios implementadores y organismos gubernamentales, para que puedan producir y utilizar evidencia basada en datos para mejorar sus intervenciones. Durante cuatro años de colaboración, el equipo de RFE participó en todos los comités operativos de los proyectos TRECC, reuniendo a todas las partes interesadas, enfatizando la importancia de un enfoque orientado al aprendizaje y brindando apoyo para lograrlo. Además, realizamos actividades para fortalecer la capacidad relacionada con MEL de cada organización. Como cada programa tiene su teoría de cambio única y un conjunto de preguntas prioritarias de aprendizaje, RFE adaptó el apoyo a cada organización.
2. Realización de una recopilación de datos independiente proporcionar evidencia confiable para informar las decisiones programáticas y financieras del Gobierno y las empresas de cacao y chocolate que cofinancian la intervención junto con la Fundación Jacobs y la Fundación Bernard van Leer. Para ello, RFE se apoya en el “path to scale” como marco orientador para la toma de decisiones. La principal ventaja de este marco es que fomenta la innovación al proporcionar un proceso claro para que los programas se prueben y prueben iterativamente antes de escalarlos. Además, el proceso permite el tiempo y la evidencia necesarios para la participación y propiedad del gobierno.

En los primeros años de la colaboración, trabajamos principalmente en la recopilación de datos independientes según lo solicitado por los donantes. Desde 2020, cambiamos nuestro enfoque para brindar soporte técnico MEL a las organizaciones y al gobierno, para acompañar la ampliación de las intervenciones más prometedoras.

Los resultados

Durante los últimos cuatro años de colaboración, observamos un cambio importante en el uso de datos y evidencia para tomar decisiones o mejorar los programas.

Los comentarios de los donantes (compañías de cacao y chocolate, la Fundación Jacobs y la Fundación Bernard van Leer) muestran que el marco de "camino a escala" y las evaluaciones independientes los ayudaron a tomar decisiones informadas sobre los próximos pasos de los proyectos: “Usamos los informes de evaluación independientes de IPA para decidir si extender o terminar los proyectos. Es un ejemplo concreto de la utilidad y relevancia del apoyo de IPA”. Helen Keller International y el Ministerio de Salud de Côte d'Ivoire pusieron a prueba un programa de educación para padres. La evaluación independiente de RFE mostró resultados mixtos: la intervención mejoró el conocimiento de los padres sobre varias buenas prácticas de crianza, pero hubo desafíos con las visitas domiciliarias y el componente de estimulación temprana del plan de estudios. Por ello, RFE recomendó una fase de ajuste. Esta nueva iteración no solo permitió un mayor aprendizaje y mejora en el camino, sino que también le dio tiempo suficiente al Ministerio de Salud para apropiarse más de la intervención.

Para los socios implementadores, trabajar con IPA significó conocimientos precisos y confiables para mejorar continuamente la gestión de proyectos. De hecho, la recopilación independiente de datos del experimentado equipo de IPA sobre varios aspectos del proceso de implementación (por ejemplo, observaciones en el aula, participación en la capacitación, etc.) condujo a la corrección del rumbo y el ajuste en la implementación. Después de cada recopilación de datos, los datos se utilizan para producir un informe cuyos hallazgos se comparten y discuten con todas las partes interesadas para encontrar explicaciones y soluciones a los problemas observados. En un caso, los datos independientes de IPA revelaron la existencia de malas relaciones entre un profesor responsable de una clase puente y su supervisor directo. Este último era nuevo y no sabía mucho sobre el enfoque pedagógico aplicado en la clase puente. La solución concertada fue dar roles pedagógicos limitados a los supervisores durante su año inicial en el proyecto. Esta sencilla solución garantiza una buena colaboración entre los animadores y directores rurales en todas las clases de puente, independientemente de la experiencia con el proyecto.

Finalmente, la asistencia técnica del equipo RFE local de IPA permitió a los socios tener datos mejores y de mayor calidad y ayudó a reforzar su capacidad y cultura MEL. El apoyo técnico de IPA abarca desde la facilitación de talleres para la creación de planes MEL que se alinean con los principios CART (Credibilidad, Accionabilidad, Responsabilidad y Transportabilidad), hasta asesoramiento sobre actividades MEL a través de reuniones regulares de verificación. Este apoyo no solo garantiza que los socios se enfoquen en indicadores procesables que pueden ayudar en la toma de decisiones, sino que también los empodera gradualmente para poner en marcha el plan MEL por sí mismos. Esa es la razón por la que un interlocutor comparó a IPA con un entrenador de natación: “IPA es como un entrenador de natación. Nos ayudan a mantener nuestra línea y seguir la dirección y mantener el ritmo que marcamos al principio” – Gerente de Proyecto, socio implementador de TRECC.

En general, los implementadores quedaron muy satisfechos con el apoyo brindado por IPA. En una escala de uno a diez, el 75 por ciento de los implementadores dieron 9 o 10 puntajes a la pregunta "¿Qué tan probable es que recomiende los servicios de Right-Fit Evidence a un amigo o colega?" Esto se traduce en un rendimiento de "clase mundial" (logrado por organizaciones como Apple o Google) en la calificación de referencia "Net Promoter Score". Los oficiales de MEL y los gerentes informaron que RFE los ayudó a mejorar sus sistemas MEL (en particular, la calidad de los datos que recopilan) y aumentar el interés de los gerentes de proyecto en estos datos. Los socios gubernamentales, que luego se incluyeron en el proceso, también reconocieron la calidad de los talleres dirigidos por IPA.

Los socios de TRECC, encabezados por la Fundación Jacobs, y el Gobierno de Côte d'Ivoire se están preparando para fortalecer sus asociaciones para escalar las soluciones más exitosas a través de los sistemas gubernamentales. Los comentarios muestran que los socios están interesados ​​​​en continuar aprovechando la experiencia de IPA para ayudar al gobierno a tener éxito en el proceso de escalamiento.