Nota del editor: esta es una publicación cruzada con el blog de RTI.

Contexto, mecanismos y resultados de la intervención de alfabetización HALI

 

Si la palabra "ciencia" en el término "ciencia social" significa lo que creo que significa, los científicos sociales deberíamos estar en el negocio de desarrollar modelos sobre cómo pensamos que funciona el mundo, probándolos con datos y refinándolos. Pero la gran cantidad de resultados de las evaluaciones de impacto en la educación internacional con frecuencia se siente como un catálogo (si tenemos suerte, un metanálisis) de los tamaños del efecto, no como un intento genuino de comprender los fenómenos que estudiamos. Para mejorar nuestra comprensión, debemos aprender mejor de las evaluaciones de impacto.

La fortaleza de las evaluaciones de impacto (especialmente las RCT) es su capacidad para sacar conclusiones causales sólidas sobre los resultados que resultan de un proyecto o programa. Ellos pueden decirle si las mejoras en el aprendizaje fueron porque de su intervención. La desventaja es que la conclusión causal solo se aplica a una versión específica del diseño del programa, implementada en un contexto. No sabe con certeza si el proyecto funcionaría en otro lugar o en una forma ligeramente modificada. Es importante comprender estos problemas de contexto y diseño al formular una política basada en evidencia. Necesitamos saber si un proyecto funcionará en diferentes contextos, por ejemplo, en otros países o en otras regiones del mismo país. Necesitamos saber si el contexto del proyecto piloto involucró ciertas condiciones favorables (por ejemplo, una gestión escolar sólida) que deben existir para que la intervención funcione. También necesitamos comprender los aspectos clave del diseño de un programa que son críticos para su éxito. Esto es útil, por ejemplo, si queremos que el programa sea más rentable al reducir los componentes periféricos. La comprensión de los elementos clave del diseño es particularmente crucial cuando un programa se amplía y se integra en un sistema educativo. En este caso, se requieren algunos cambios en el diseño del proyecto, por ejemplo, para adaptarse a una institución ejecutora con menos recursos y menor capacidad que la que estaba disponible en el piloto.

Necesitamos asegurarnos de que la “intervención” funcione cuando ya no sea una intervención sino una parte integral de la actividad rutinaria de un ministerio de educación.

Estos temas fueron diseccionados en el reciente lanzamiento del documento inicial de la Centro de Excelencia para el Impacto del Desarrollo y el Aprendizaje (CEDIL), una iniciativa financiada por DFID para desarrollar y probar métodos innovadores para la evaluación y síntesis de evidencia. Un artículo de Calum Davey, James Hargreaves y colegas¹ proporciona un excelente marco para pensar en el transporte de pruebas de un entorno a otro. Señalan que la mayoría de las intervenciones de desarrollo tienen como objetivo lograr la "fidelidad de la forma": implementar un conjunto de componentes según lo previsto. Sin embargo, la tensión entre replicar fielmente una intervención “probada” y adaptarla a un nuevo contexto genera problemas. En cambio, la "fidelidad de la función" puede ser un enfoque más importante. Esto implica asegurar que la intervención tenga el mismo efecto en el nuevo contexto. Este concepto es importante para transferir una intervención de un contexto a otro, y particularmente cuando se integra en un sistema. Sin embargo, lograr la fidelidad de la función solo es posible cuando se tiene una teoría informativa sobre cómo funciona la intervención. Una teoría nos ayuda a lograr la "fidelidad de la función", para ayudarnos a garantizar que una intervención tendrá el efecto deseado, al identificar el los mecanismos de por el cual funciona la intervención y características de la contexto que activará o permitirá que el mecanismo funcione. Las evaluaciones son más informativas cuando informan aspectos clave del contexto y los mecanismos, así como los resultados obtenidos. El enfoque de contexto-mecanismos-resultados de informar los resultados de la evaluación tiene una larga historia² así como su proponentes recientes.

Proyecto HALI y la teoría de las intervenciones de alfabetización

Usando el enfoque de contexto-mecanismos-resultados, intentamos agregar a la teoría de las intervenciones de instrucción de alfabetización en nuestra evaluación aleatoria de la Proyecto de alfabetización HALI. Anteriormente habíamos demostrado que un programa de el desarrollo profesional de los maestros con apoyo de mensajes de texto había mejorado los resultados de lectura de los niños. También habíamos identificado aspectos clave del contexto para esta intervención con observaciones en el aula previas a la línea de base que nos dijeron que Se priorizó el lenguaje oral sobre la interacción con el texto y la descomposición de las palabras en letras y sonidos.. En una reciente , con Sharon Wolf, Liz Turner y Peggy Dubeck, examinamos los mecanismos por los cuales actuó la intervención de alfabetización: ¿qué estaban haciendo de manera diferente los maestros y los estudiantes que condujo a un mejor aprendizaje? Descubrimos que la exposición al texto, en particular, mostrar más impresos en el aula y dar a los estudiantes más tiempo para leer, aumentó como resultado de la intervención y se asoció con un mejor aprendizaje. También encontramos que los maestros dedicaron más tiempo a concentrarse en las letras y los sonidos, pero este cambio no se asoció con los resultados del aprendizaje.

El enfoque de contexto-mecanismos-resultados permite, sugiero, una conclusión más útil y transportable de nuestro estudio. No ofrecemos una conclusión prescriptiva basada en la fidelidad de la forma, como "recomendamos que otros hagan lo que hicimos nosotros: implementar una intervención de capacitación docente con talleres bianuales, 186 planes de lecciones y soporte de mensajes de texto". En cambio, nuestra conclusión permite que otros apunten a la fidelidad de la forma: “donde la instrucción del lenguaje oral es dominante en las aulas (contexto), una intervención de instrucción de alfabetización que aumenta las interacciones con el texto (mecanismos) mejorará las habilidades de lectura (resultados)”. De alguna manera, esta es una contribución modesta a la teoría de las intervenciones de instrucción de alfabetización y los expertos no se sorprenderán con nuestra conclusión. Pero mejorar la alfabetización es complejo y pocas intervenciones en entornos de baja capacidad dan como resultado que los maestros implementen todo lo que aprenden en la capacitación. Con esto en mente, la evidencia empírica que nos ayude a centrar nuestros esfuerzos es seguramente bienvenida.

La construcción de teorías en la educación internacional

¿Cómo puede el campo de la educación internacional aprender mejor de las evaluaciones? Un desafío es que la mayoría de las evaluaciones están impulsadas por la rendición de cuentas. Los donantes, implementadores y otras partes interesadas (con razón) quieren saber en primer lugar si la intervención ha “funcionado”. Pero las extensiones relativamente simples de las evaluaciones para la rendición de cuentas pueden ayudarnos a aprender más. En el nivel más básico, las evaluaciones pueden hacer más para comprender si las intervenciones se implementan con la fidelidad adecuada antes de tratar de comprender su impacto. 

¿Por qué dedicar enormes recursos a evaluar el rendimiento de los estudiantes solo para descubrir que los maestros no estaban dispuestos a implementar su intervención en primer lugar?

El aumento de la exposición de los estudiantes al texto fue un factor crítico en la mejora de los resultados de alfabetización de los estudiantes en la intervención HALI.

Más allá de los problemas de implementación, podemos hacer más para comprender los mecanismos por los cuales actúan las intervenciones y los contextos que las habilitan o desencadenan. Esto se puede hacer a través de medidas cuantitativas de procesos clave (como en nuestro documento) o a través de enfoques de métodos mixtos, utilizando datos cualitativos para comprender cómo funcionaron las intervenciones. También podemos establecer estudios con el objetivo explícito de probar y desarrollar algunos elementos de una teoría, en lugar de realizar una evaluación integral del programa. También hay otros enfoques para comprender los mecanismos. Ensayos de múltiples brazos que varían sistemáticamente los parámetros para comprender cómo funcionan las cosas, casos de estudio y experimentos de mecanismos La caja de herramientas es grande y se está expandiendo.

Una barrera para el estudio de los mecanismos es que hay muchos de ellos. La creación de una teoría del cambio para intervenciones sociales complejas, y el término "intervención social compleja" se aplica a casi todo en educación, resulta en un bosque desconcertante de cajas y flechas o en una simplificación banal. Sin embargo, un poco de investigación y pensamiento previos a la línea de base pueden ayudar a identificar los mecanismos clave en los que enfocarse, al hacer preguntas como "¿Cuál es el cambio más grande que se requiere en el comportamiento?" y "¿Qué cambios es probable que marquen la mayor diferencia en los resultados?" También ayuda tener una teoría flexible que se pueda actualizar a medida que se recopilan datos y se informan las experiencias de los implementadores. Puede tomar algunas iteraciones, pero la identificación de mecanismos candidatos debería ser factible en cualquier evaluación.

Si necesitaba que lo convencieran, espero haberlo convencido de que debemos comprender mejor cómo funcionan las cosas, no solo si funcionan, y asegurarnos de que tenemos las herramientas para hacerlo. Además de proporcionar información para la rendición de cuentas, debemos investigar más a fondo, en la caja negra de los mecanismos. Si nos preocupamos por nuestras evaluaciones, debemos mirarlas a los ojos y decirles que son más que un simple tamaño del efecto. Necesitamos ser científicos curiosos que formulen teorías, prueben hipótesis. Esta orientación debe asegurar que las evaluaciones produzcan conocimiento genuino, generalizable y utilizable. Sobre la base de una comprensión de los mecanismos clave y los contextos que los desencadenan, los diseños de los programas podrían ser más eficaces y adaptarse mejor a las condiciones locales. En resumen, las evaluaciones basadas en la teoría mejoran la práctica. Al menos en teoría.