Tipo(s) de servicios RFE: Pruebas A/B, Monitoreo de asistencia técnica

Las organizaciones se enfrentan al reto de fomentar una cultura y desarrollar la capacidad institucional para el aprendizaje continuo que impulse el perfeccionamiento de sus programas. Las organizaciones de tecnología educativa están bien posicionadas para abordar este reto aprovechando su infraestructura digital para generar y utilizar datos útiles para la toma de decisiones que conduzcan a mejores resultados de aprendizaje. Mentu desarrolló Shaia, una plataforma web que ayuda a los docentes a ser más eficaces y eficientes en su trabajo diario, proporcionando recursos basados ​​en IA que contribuyen a mejorar las prácticas en el aula y los resultados de aprendizaje. El reto residió en desarrollar un enfoque estructurado y la infraestructura tecnológica necesaria para realizar rigurosos ciclos de pruebas A/B que permitieran el perfeccionamiento continuo de Shaia.

A través de los Alianza para la Tecnología en la Educación (P4T-Ed) En el marco de esta iniciativa, IPA se asoció con Mentu para desarrollar la capacidad interna y los sistemas de datos necesarios para realizar ciclos rápidos de pruebas A/B. La colaboración siguió un enfoque por fases, comenzando con el diseño de una hoja de ruta de aprendizaje para identificar las necesidades clave y guiar la experimentación, y luego estableciendo los sistemas y procesos necesarios para su implementación.

La fase inicial consistió en crear la teoría del cambio de Shaia, priorizar las ideas de pruebas A/B mediante un marco de rentabilidad e identificar las deficiencias en la infraestructura de datos existente de Mentu para facilitar la experimentación. Durante la implementación de la Hoja de Ruta de Aprendizaje, IPA ayudó a Mentu a seleccionar e integrar una herramienta de pruebas A/B, brindó orientación sobre el análisis y la visualización de datos, y la interpretación de los resultados de los experimentos para fundamentar decisiones basadas en la evidencia.

La colaboración generó una teoría del cambio que describió cómo las funciones de Shaia podrían conducir a mejores prácticas docentes y, en última instancia, a mejores resultados estudiantiles. Para verificar si los resultados clave se estaban cumpliendo según lo previsto, IPA definió un conjunto de indicadores de seguimiento e identificó fuentes de datos dentro del sistema de Mentu que posteriormente permitieron la experimentación. Sobre esta base, elaboramos una hoja de ruta de cuatro experimentos centrados en ampliar el alcance de los usuarios, maximizar el impacto de la plataforma y optimizar la rentabilidad.

La integración de una plataforma de pruebas A/B y el desarrollo de un panel de control permitieron a Mentu diseñar, ejecutar, supervisar y analizar rigurosamente las pruebas A/B. Mediante la implementación guiada de su primera prueba A/B, centrada en aumentar el uso de una función de la plataforma por parte del profesorado, Mentu adquirió experiencia práctica en todo el ciclo de pruebas y estableció protocolos para futuras pruebas. Los resultados de esta prueba A/B se tradujeron directamente en mejoras tangibles para Shaia.

Mentu cuenta ahora con procesos y sistemas institucionalizados para probar continuamente las innovaciones, medir los resultados iniciales en relación con su impacto y tomar decisiones basadas en evidencia. Esta capacidad les permite maximizar la rentabilidad de Shaia al invertir en mejoras que mejoran de forma demostrable los resultados de más docentes y estudiantes en toda Latinoamérica.

Socio Implementador