By Erik Andersen, Simon Graffy, Jason Kerwin y Monica Lambon-Quayefio 

IPA Alianza para la tecnología en la educación La iniciativa (P4T-Ed) apoya el uso de datos y evidencia para impulsar el aprendizaje y la mejora en el sector de la tecnología educativa. Como parte de la iniciativa P4T-Ed, IPA y la Fundación Jacobs Están apoyando tres ensayos controlados aleatorios (ECA) para ayudar a generar evidencia rigurosa sobre el impacto potencial de las intervenciones de tecnología educativa en los resultados del aprendizaje.

Esta es la segunda entrada de blog de una serie (ver la primera entrada del blogDestacando los hallazgos clave, las perspectivas y las lecciones aprendidas de los ensayos controlados aleatorios (ECA). La serie muestra cómo la evidencia está ayudando a cerrar la brecha entre la innovación, la implementación y el impacto en la tecnología educativa.

En esta publicación, el equipo de investigación, trabajando con Maestros inspiradores, comparte ideas extraídas de su trabajo para explorar el uso de la evaluación dirigida por el profesor.

Adaptar la enseñanza al nivel de cada estudiante mejora el aprendizaje. Para ello, los docentes necesitan saber en qué nivel se encuentra cada alumno, lo que requiere evaluaciones frecuentes. Las pruebas estandarizadas son demasiado mecánicas para esto, y las evaluaciones en papel consumen demasiado tiempo para realizarlas con la frecuencia necesaria. Las evaluaciones periódicas muestran a los docentes quiénes se están quedando atrás y qué habilidades han dominado los estudiantes o con cuáles aún tienen dificultades. Sin esta información, la enseñanza personalizada no puede ser efectiva. Las evaluaciones frecuentes también ayudan a los responsables de la implementación de programas, quienes pueden realizar pequeños cambios y comprobar rápidamente si estos son beneficiosos.

El principal obstáculo es el costo. El método tradicional consiste en enviar un equipo externo de recopilación de datos a las escuelas, lo cual es costoso y difícil de mantener. A medida que los programas crecen, el costo de la evaluación externa puede volverse prohibitivo, y con frecuencia los datos nunca llegan a los docentes.

Esto apunta a una alternativa. Si los propios docentes realizaran las evaluaciones, las escuelas podrían evaluar a los estudiantes con mayor frecuencia y a un costo mucho menor, sin necesidad de contratar evaluadores externos. La preocupación radica en la precisión. Los docentes conocen bien a sus estudiantes y tienen razones profesionales para desear que obtengan buenos resultados, lo que podría sesgar las calificaciones. La pregunta es si las evaluaciones dirigidas por los docentes son lo suficientemente precisas como para que tanto docentes como implementadores puedan confiar en ellas. De ser así, las escuelas podrían monitorear el aprendizaje con frecuencia a medida que los programas se desarrollan y orientar la instrucción con mayor precisión.

El desafío actual de las pruebas de alta frecuencia en los programas educativos

Las evaluaciones frecuentes ayudan a los docentes a identificar a los alumnos con dificultades y a adaptar sus clases en consecuencia. Sin embargo, enviar evaluadores externos a cada aula para realizar dichas evaluaciones es lento y costoso, y los resultados a menudo no llegan a los docentes que los necesitan. Una alternativa es que los propios docentes evalúen a sus alumnos. La preocupación obvia es la precisión, ya que los docentes conocen a sus alumnos y tienen motivos para desear que obtengan buenos resultados. Un nuevo estudio revela que esta preocupación es, en gran medida, infundada. En 40 escuelas, las evaluaciones de lectura realizadas por los docentes coincidieron casi exactamente con las realizadas por evaluadores independientes, a un costo mucho menor.

La iniciativa Partnership for Tech in Education (P4T-Ed) de IPA apoya el uso de datos y evidencia para mejorar el aprendizaje en el sector de la tecnología educativa. A través de P4T-Ed, IPA y la Fundación Jacobs financian tres ensayos controlados aleatorios (ECA) que evalúan cómo las herramientas de tecnología educativa afectan los resultados del aprendizaje. Esta es la segunda publicación de una serie sobre los hallazgos de estos ensayos. Esta entrega se basa en el ensayo realizado con Inspiring Teachers, que evaluó si los docentes pueden evaluar a sus propios estudiantes de manera confiable.

Para los docentes, las evaluaciones rápidas proporcionan la retroalimentación inmediata y regular necesaria para adaptar la enseñanza a las necesidades de sus alumnos. Evaluar a los estudiantes con frecuencia ayuda a identificar quiénes se están quedando atrás y qué habilidades dominan o con cuáles tienen dificultades. Sin esta información oportuna, los programas de instrucción dirigida están condenados al fracaso. Las evaluaciones rápidas también son un componente importante del seguimiento de la implementación. Los responsables de la implementación del programa pueden probar pequeños ajustes de diseño y recibir retroalimentación inmediata sobre su efectividad.

Sin embargo, realizar evaluaciones rápidas mediante el método tradicional de desplegar un equipo externo de recopilación de datos conlleva elevados costos logísticos y de personal. La dependencia de evaluaciones externas puede resultar prohibitiva y limitar los esfuerzos para ampliar los programas. En muchos casos, los datos de las evaluaciones externas nunca llegan a los docentes.

Esto crea una oportunidad: ¿qué pasaría si los docentes pudieran realizar las evaluaciones ellos mismos? Sin necesidad de trasladar recolectores de datos externos a las escuelas, las evaluaciones dirigidas por docentes son mucho más rentables y pueden realizarse con mayor frecuencia. La estrecha relación de los docentes con sus estudiantes, junto con los incentivos profesionales para tener estudiantes de alto rendimiento, aumenta el riesgo de que los docentes puedan influir en los resultados a su favor. Entonces, ¿pueden las evaluaciones dirigidas por docentes ser lo suficientemente precisas como para que docentes e implementadores confíen en ellas? Si lo son, docentes e implementadores podrían aprovechar los beneficios del monitoreo frecuente a medida que los programas se expanden y desarrollan, lo que podría brindar una instrucción mejor adaptada dentro de programas más consolidados.

Cómo funcionan las evaluaciones dirigidas por el profesor

El programa que estamos probando utiliza SmartCoach, una aplicación para teléfonos inteligentes desarrollada por Inspiring Teachers, para impartir materiales básicos de lectoescritura. Durante la clase, el profesor utiliza la aplicación para realizar a cada alumno una prueba de lectura oral de un minuto, basada en la Evaluación de Lectura en los Primeros Grados (EGRA), una medida ampliamente utilizada de fluidez lectora. El alumno lee un breve pasaje en voz alta mientras el profesor marca las palabras que lee incorrectamente. La aplicación registra el tiempo empleado y los errores, y luego calcula la velocidad y precisión lectora del alumno. El profesor repite la prueba con todos los alumnos de la clase. Registrar las respuestas en tiempo real reduce los errores de calificación y elimina la demora entre la prueba y la calificación. Dado que la prueba es digital, los resultados están disponibles de inmediato. SmartCoach clasifica a cada alumno según los estándares nacionales de lectura y resume el progreso de cada niño en habilidades fundamentales como la conciencia fonémica y el conocimiento de la correspondencia entre letras y sonidos. Los profesores utilizan estos resúmenes para completar los informes de los padres, identificar a los alumnos con dificultades y determinar qué habilidades de lectura requieren atención especial.

Los resultados de estas evaluaciones están disponibles de inmediato, ya que las pruebas son digitales y las puntuaciones de lectura se generan automáticamente. Los datos también permiten al profesor agrupar a los alumnos para brindarles instrucción personalizada y apoyo específico a quienes más lo necesitan. Con el tiempo, los profesores pueden monitorear el progreso de los alumnos e identificar quiénes se están quedando atrás y cuándo.

¿Las evaluaciones dirigidas por el profesorado producen resultados fiables?

Abrir en una pestaña nueva: Nuestro estudio Esto brindó una oportunidad perfecta para comprobar la precisión de las evaluaciones dirigidas por los docentes. El equipo de investigación asignó aleatoriamente 40 de 80 escuelas al programa de alfabetización básica de Inspiring Teachers. Los docentes de las 40 escuelas participantes realizaron evaluaciones de fluidez lectora a sus alumnos de primer grado como parte del programa. Posteriormente, el equipo contrató a consultores externos para que realizaran evaluaciones de alfabetización a esos mismos alumnos, obteniendo dos puntuaciones para cada estudiante: una obtenida de la evaluación del docente y otra de los consultores externos. 

Las evaluaciones dirigidas por los docentes coincidieron en gran medida con los resultados de las evaluaciones externas. Estadísticamente, las pruebas presentan una alta correlación de 0.72 (R cuadrado = 0.52). La Figura 1 ilustra esta correlación. Tanto los docentes como los evaluadores externos coincidieron en identificar a los estudiantes con un buen nivel de lectura y a aquellos con dificultades, aunque discreparon en el nivel de la puntuación obtenida. En promedio, los docentes calificaron a cada estudiante como lector más avanzado que los evaluadores externos. Dado que los textos de lectura no eran idénticos en ambas pruebas, esta diferencia podría deberse simplemente a que el texto de la versión dirigida por el docente era más fácil. 

Figura 1: Correlación entre la evaluación del profesor y las calificaciones de los exámenes de evaluación externa.

Investigaciones recientes han argumentado Dado que las puntuaciones brutas de lectura pueden variar por multitud de razones, las evaluaciones resultan más útiles para clasificar la capacidad lectora de los alumnos dentro de las clases. La concordancia es aún mayor si se tiene esto en cuenta. La correlación para la clasificación dentro del aula es de 0.89 (R² = 0.79), como se muestra en la Figura 2. Esto refuerza el valor de las evaluaciones dirigidas por el profesor como herramienta práctica para el seguimiento continuo del aula. Existe una correspondencia casi unívoca entre las clasificaciones del aula realizadas por el profesor y las evaluaciones externas. Esto sugiere que las evaluaciones dirigidas por el profesor identifican qué alumnos dentro de una clase tienen mayor o menor capacidad lectora, al igual que las evaluaciones externas, lo que refuerza su valor como herramienta práctica para el seguimiento continuo del aula.

Figura 2: Correlación entre la evaluación del profesor y la evaluación externa del rango dentro de la clase.

¿Qué significan estos resultados para las escuelas y los programas educativos?   

Estos resultados son muy alentadores y abren opciones más económicas para la evaluación de programas y las pruebas A/B en cualquier programa educativo, incluyendo nuestra propia investigación en curso. Los programas y las escuelas pueden evaluar los efectos de ajustar las características de diseño o implementar intervenciones sencillas dentro de programas de alfabetización fundamentales más amplios, utilizando las evaluaciones internas que los docentes ya realizan, sin necesidad de costosos trabajos de campo. Otros tipos de programas educativos también podrían incorporar evaluaciones dirigidas por los docentes para aprovechar los beneficios de las pruebas económicas.

Además, la fiabilidad de las evaluaciones dirigidas por docentes permite extender las pruebas A/B a escuelas del programa Inspiring Teachers que no participan en los ensayos controlados aleatorios. La adopción de evaluaciones dirigidas por docentes permite a los programas generar evidencia crucial para su mejora continua. La retroalimentación inmediata de las evaluaciones respalda una instrucción personalizada y permite a los responsables de la implementación del programa responder con mayor eficacia y asignar recursos donde más se necesitan y donde es más probable que tengan el mayor impacto.

Las evaluaciones externas siguen siendo cruciales. Al garantizar periódicamente la honestidad de las mediciones, las evaluaciones dirigidas por el profesorado proporcionan a docentes y centros educativos datos oportunos, fiables y útiles, sin necesidad de recurrir a pruebas externas que consumen mucho tiempo y son prohibitivamente costosas. Las evaluaciones dirigidas por el profesorado ofrecen una forma práctica de fomentar la mejora continua y de ampliar la enseñanza basada en la evidencia de manera rentable.