Por Mauricio Romero, Justin Sandefur y Wayne Aaron Sandholtz

Nota del editor: esta publicación cruzada apareció originalmente en el Blog del Centro para el Desarrollo Global

Respondemos a los críticos de nuestra evaluación del programa escolar de “asociación” de Liberia, distinguiendo las preocupaciones legítimas sobre el programa de estilo charter en sí mismo, que pueden convertirse en hipótesis comprobables, de las limitaciones metodológicas a lo que puede mostrar una evaluación de impacto.

Los tres estamos realizando una prueba de control aleatoria del programa "Escuelas de asociación para Liberia" (PSL), que es el esfuerzo de la presidenta Ellen Johnson Sirleaf para introducir algo similar a las escuelas chárter al estilo estadounidense o las academias del Reino Unido en el sistema educativo de bajo rendimiento de Liberia. Las escuelas chárter son controvertidas en casi todas partes y, en algunos círculos, también lo son los ensayos aleatorios.

Recientemente, dos grupos de defensa, Action Aid y Education International, hicieron circular un llamar para propuestas ofreciendo a los investigadores 30,000 € para "realizar una investigación cualitativa en profundidad" del programa de escuelas asociadas. El documento busca explícitamente descartar los resultados del RCT antes de que el estudio haya concluido, afirmando que "existen serias preocupaciones sobre si la evaluación [del programa] puede ser verdaderamente objetiva o generar algún aprendizaje útil".

Por supuesto, nos oponemos a este rechazo general de las pruebas y, a continuación, ofrecemos una respuesta punto por punto a las críticas. Desafortunadamente, Action Aid y Education International han sacado sus conclusiones políticas antes de recopilar datos. Su convocatoria de propuestas señala que la investigación que financian informará una "campaña contra la creciente privatización y comercialización de la educación" y que "el informe se utilizará para el trabajo de promoción... para desafiar las tendencias de privatización". Estamos de acuerdo en que lo que describen estas organizaciones es promoción, no investigación, ya que sus conclusiones se anuncian abiertamente con anticipación.

También estamos de acuerdo con Action Aid y Education International en asuntos más sustantivos. La iniciativa de la escuela asociada puede fracasar. Y muchas de las críticas planteadas a continuación se basan en sólidas premisas fácticas. La diferencia clave es que no leemos estos puntos como críticas a nuestro estudio. Más bien, muchos de los puntos a continuación son preocupaciones sobre el programa en sí, muchos de los cuales compartimos, y creemos que el Ministro de Educación de Liberia, George K. Werner, también los comparte, razón por la cual encargó una evaluación aleatoria. Replantearíamos estas preocupaciones como hipótesis que hemos diseñado explícitamente para probar la evaluación aleatoria. En algunos casos, las "críticas" reafirman la motivación principal del RCT.

Aquí están las críticas de Action Aid y Education International, palabra por palabra y sin editar (aunque reordenadas para agrupar comentarios similares), con nuestras respuestas.

1. Las escuelas asociadas son muy costosas de administrar

"Las escuelas de PSL están recibiendo significativamente más fondos ($50 por niño matriculado) que las escuelas de control del gobierno con las que se compararán".

"Las escuelas de PSL reciben mucha más atención política y administrativa del Ministerio".

¡Verdadero! A diferencia de las escuelas primarias gubernamentales normales, el Ministerio decretó que las escuelas PSL deben ser gratuita, en todos los grados, incluida la educación infantil. Brindar servicios gratuitos cuesta dinero, al igual que todos los libros, la capacitación de maestros y otras cosas que ofrece PSL. Fundamentalmente, hasta ahora todo el dinero extra gastado en el programa ha sido pagado por donantes filantrópicos, no por el Gobierno de Liberia.

El hecho de que el programa cueste dinero no es, en sí mismo, una falla del RCT. Si un ensayo clínico de un nuevo fármaco que cuesta $1,000 por paciente reduce la incidencia de enfermedades del corazón en un 20 por ciento, no declararíamos que el estudio fue un fracaso. Más bien, evaluaríamos el fármaco en función de su rentabilidad comparativa. ¿Hay formas más baratas de lograr la misma reducción del 20 por ciento en las enfermedades cardíacas? Si es así, los médicos deberían recetarlos en su lugar.

La misma lógica se aplica a las escuelas asociadas en Liberia. Incluso si el RCT muestra ganancias de aprendizaje, queda por preguntarse si las ganancias justifican el costo del programa.

Dos complicaciones surgen en nuestro caso. En primer lugar, se han probado rigurosamente muy pocos "tratamientos" alternativos para aumentar el aprendizaje en Liberia. En un mundo perfecto, podríamos probar intervenciones alternativas cara a cara con las escuelas asociadas como parte de nuestra evaluación. Si otros donantes de ayuda que están gastando mucho en la educación de Liberia quisieran someter sus programas a esa comparación directa, nos encantaría incluirlos. (En serio, USAID, UE y GPE: llámenos).

La segunda complicación es que medir los costos de este programa es muy complicado. Los filántropos han invertido millones en estas escuelas, con la suposición (algo optimista) de que estos costos se amortizarán durante muchos años y se mantendrán constantes bajo una expansión hipotética del programa. En terminología económica, los donantes acordaron pagar inversiones a largo plazo que representan costos fijos para PSL independientemente de su escala, y los operadores afirman que sus costos operativos (o variables) por alumno son bastante bajos. Como evaluadores, somos reacios a tomar la palabra de los implementadores al pie de la letra cuando reportan costos fijos muy altos y reclaman costos variables muy bajos, al igual que no tomaríamos su palabra al pie de la letra si reclaman grandes beneficios de su programa sin pruebas. Más por venir sobre esto en los próximos meses.

2. Los operadores privados pueden (ilegalmente) tratar de excluir a los estudiantes más lentos

"A las escuelas de PSL se les ha permitido limitar el tamaño de las clases a 45, por lo que tienen clases más pequeñas que las escuelas de control (y muchos niños inscritos anteriormente, probablemente aquellos de entornos más desfavorecidos, han sido excluidos con poca antelación)".

"Existe alguna evidencia de que los proveedores son selectivos con los niños: los inscritos llegaron por orden de llegada, pero la información disponible para los padres es asimétrica (es mejor que los padres lleguen primero). Todos los niños en las escuelas Bridge también fueron evaluados y potencialmente recalificado".

Es cierto que Bridge International Academies, que administra 24 de las 94 escuelas PSL, tiene un permiso especial para limitar el tamaño de las clases a 55 (no 45) alumnos, mientras que otros operadores pueden limitar las clases a 65 alumnos, aunque algunos permiten clases más grandes en la práctica. .. Para ser claros, las admisiones selectivas basadas en tarifas o aptitud académica están explícitamente prohibidas por las reglas de PSL, y la inscripción debe ser por orden de llegada.

¿Los operadores cumplen con estas reglas y los niños más pobres realmente obtienen el mismo acceso? Esta es una de las principales preocupaciones que el RCT fue diseñado para abordar; y diríamos que este problema destaca una fortaleza más que una debilidad de la evaluación.

La clave de nuestra estrategia aquí es algo llamado análisis por intención de tratar. La idea básica es rastrear a los alumnos que estaban en una escuela determinada antes de que se supiera si la escuela sería parte del programa PSL. Eso significa que seguimos a los alumnos que permanecen en la escuela, así como a los que se van o son expulsados. Todos los niños que estuvieron en una escuela de PSL el año pasado cuentan como parte del grupo de tratamiento para la evaluación. Por lo tanto, cualquier operador que piense que puede mejorar su rendimiento de evaluación al rechazar a los estudiantes débiles está lamentablemente equivocado. También significa que podemos rastrear exactamente quién se incluye y quién se excluye, y probar si los alumnos más pobres o más lentos pierden, como se alega.

Lo que sabemos hasta ahora es que, a pesar de los límites de inscripción en las escuelas de PSL, han aumentado significativamente la inscripción en relación con las escuelas públicas regulares. La matrícula gratuita parece ser popular, y aparentemente había un exceso de capacidad en las escuelas públicas que podría llenarse una vez que comenzara PSL.

Queda por ver en el análisis en curso de nuestros datos si los nuevos estudiantes que acuden en masa a las escuelas de PSL son (a) más ricos o están mejor preparados, y (b) si no estaban matriculados anteriormente o si se están transfiriendo de otras escuelas públicas.

3. Este modelo no se puede escalar

"A algunos proveedores se les permitió establecer condiciones sobre qué escuelas tomarían (por ejemplo, Bridge insistió en que las escuelas estuvieran en caminos accesibles, en ubicaciones agrupadas con electricidad y buena conectividad a Internet. Tales condiciones son muy atípicas)".

“También hay evidencia de selectividad de maestros y directores (permitiendo a los proveedores remover a aquellos que no consideran lo suficientemente buenos (que son transferidos a otras escuelas públicas)”

Esta es la primera vez que escuchamos sobre exigir electricidad por adelantado, pero los demás puntos son correctos, en particular la demanda de conectividad a Internet 2G en las escuelas Bridge (así como en las escuelas Omega) y la reasignación de maestros. Todos los “socios” privados en el programa de Liberia tenían algo que decir acerca de dónde operarían, y todos tenían alguna capacidad para reasignar a los maestros que no pudieron pasar una prueba del Ministerio. Tenga en cuenta que todas las escuelas asociadas en Liberia contratan a los docentes del servicio civil sindicalizados que ya trabajan en la escuela, y esos docentes no pueden ser despedidos.

En la jerga de evaluación, ambas preocupaciones hablan de una posible brecha entre validez interna y validez externa.

El RCT es internamente válido en el sentido de que proporcionará una estimación confiable del efecto sobre los resultados de aprendizaje para una población determinada de estudiantes al convertir una escuela pública normal en una escuela asociada durante el programa piloto 2016/17. Esto en sí mismo es información relevante para la política. El piloto es pequeño (menos del 3 por ciento de las escuelas públicas), pero más del 18 por ciento de la población se encuentra dentro de los 5 KM de una escuela PSL. Pero la pregunta política más importante en Liberia es si convertir aún más escuelas públicas regulares en escuelas asociadas aumentaría los puntajes.

Las escuelas en el piloto han tenido una ventaja porque pudieron reasignar a los maestros de bajo rendimiento y reclutar nuevos maestros entre los recién graduados de la universidad. Continuaremos rastreando las reasignaciones de maestros a través de la evaluación, pero los datos de referencia muestran que, en promedio, solo un maestro por escuela de la lista de maestros de 2015/16 ha sido reasignado a otra ubicación, y este número es el mismo en escuelas de tratamiento y de control. Bridge (que representa un poco más de una cuarta parte del total de escuelas de tratamiento) es la excepción aquí, ya que tiene un promedio de 3 reasignaciones por escuela.

Al igual que el tema de su ventaja financiera, la pregunta es si este privilegio podría extenderse a muchas más escuelas si se ampliara el programa. Si se trata de un juego de suma cero de barajar maestros poco calificados en todo el país, eso es motivo de preocupación, un problema que hemos planeado medir en la evaluación.

Del mismo modo, si las escuelas asociadas simplemente recogieron la fruta madura este año al trabajar en entornos más fáciles, eso también es un mal augurio para cualquier expansión futura. En realidad, esto no está claro. Algunos operadores, como Bridge y, en menor medida, Omega, insistieron fuertemente en trabajar en una gama limitada de escuelas con altas demandas de infraestructura. Pero otros operadores se ofrecieron como voluntarios para trabajar en áreas más remotas con menos recursos al inicio (en todos los casos, las escuelas de tratamiento se asignaron al azar entre una lista final de escuelas elegibles). El siguiente mapa muestra la distribución de las escuelas asociadas (es decir, de tratamiento) y públicas tradicionales (de control) en todo el país.

En general, las escuelas asociadas de Liberia no son una muestra aleatoria del país y se hicieron cargo de las escuelas públicas que eran un poco más grandes y tenían una mejor infraestructura que el promedio nacional. Sin embargo, se distribuyen en 13 de los 15 condados de Liberia y se concentran de manera desproporcionada fuera de Monrovia en los condados rurales más pobres, por lo que la evaluación piloto debería dar una buena idea de si este modelo puede tener éxito en entornos difíciles.

 

4. Las escuelas asociadas enseñarán para la prueba

“Los indicadores utilizados en la evaluación (probablemente sean variaciones de EGRA/EGMA - Evaluaciones de lectura/matemáticas de grado inicial) para medir la alfabetización y la aritmética probablemente sean predecibles para los proveedores privados, pero menos para las escuelas públicas (por lo que hay una riesgo de distorsión a través de la enseñanza para la prueba)"

Enseñar para la prueba es una preocupación válida en general, pero no una preocupación seria para la evaluación por dos razones. Primero, no estamos de acuerdo en que enseñar para el examen sea un riesgo exclusivo de las escuelas asociadas. Hay pocas razones por las que los proveedores privados sean más propensos que los directores de las escuelas públicas a concluir que las pruebas que se les darán para la evaluación intermedia en 2017 podrían parecerse a las pruebas que se les dieron durante la encuesta de referencia en 2016. Dicho esto, nos hemos reservado explícitamente el derecho de cambiar la evaluación de aprendizaje antes de esa fecha, o agregar módulos completamente nuevos, solo para mantener a todos en espera.

Conclusión

Para resumir, compartimos muchas de las preguntas que han planteado los críticos de la iniciativa de escuelas asociadas de Liberia. De hecho, las preocupaciones centrales planteadas por las organizaciones de defensa son una reformulación de las preguntas centrales de la evaluación: ¿es este modelo rentable en relación con otras posibles intervenciones educativas, estas escuelas favorecerán a los estudiantes más ricos o mejor preparados, y cuánto valor tienen estos las escuelas realmente suman una vez que tomamos en cuenta las diferencias en la composición de los estudiantes? Nuestra primera ronda de datos de la encuesta de seguimiento se recopilará en junio y podemos comenzar a responder esas preguntas.

Mientras tanto, la presidenta Sirleaf y el ministro Werner merecen crédito por comprometerse públicamente a retrasar cualquier expansión importante del programa hasta que se complete la evaluación. El ministro Werner dijo en un artículo de opinión reciente “…estos son los primeros días para PSL. Si bien creo que tiene un gran potencial, mi equipo y yo tenemos claro que el programa no se ampliará significativamente hasta que los datos demuestren que funciona y que tenemos la capacidad dentro del gobierno para administrarlo de manera efectiva”.

No somos lo suficientemente ingenuos como para pensar que cualquier tipo de datos aplacará a todos los críticos de iniciativas de estilo charter como esta, pero esperamos un debate en curso que esté cada vez más disciplinado por los hechos a medida que los datos provienen de estas escuelas piloto.