Medir el impacto correctamente: nadie prometió que sería fácil

Medir el impacto correctamente: nadie prometió que sería fácil

Plantilla G Bloques de contenido
Subeditor

By Twisha Mehta y esquilador brennan

[Nota del editor: Esta es una publicación cruzada con samafuente.

1.jpg

 

Cuando hablamos de ensayos controlados aleatorios (ECA) en desarrollo, a menudo nos referimos a los hallazgos de un artículo académico. Pero otra parte clave es cómo los socios analizan el papel que pueden desempeñar las evaluaciones de impacto rigurosas para lograr sus objetivos de aprendizaje. Una parte discreta de un RCT exitoso es la aceptación organizacional interna que nuestros socios de implementación hacen para brindar sus servicios de una manera que cumpla con el diseño de una evaluación rigurosa. Pude ponerme al día con Twisha Mehta de Samasource, actualmente en medio de una evaluación de su programa en Kenia, para escuchar la perspectiva de un socio sobre las metas y los desafíos que encontraron en el camino. Samasouce proporciona datos de entrenamiento seguros y de alta calidad y validación para IA. Cuentan con las firmas de tecnología más prestigiosas como sus clientes y sirven a los equipos de tecnología que impulsan a la humanidad hacia adelante. Como uno de los primeros en adoptar Impact Sourcing, el núcleo del modelo comercial de Samasource se basa en el impacto social. Su personal está motivado por la misión de ampliar las oportunidades para las personas de bajos ingresos a través de la economía digital.
 

¿Qué es Samasource y cuál es el programa que se está evaluando?

Samasource es una empresa social que brinda servicios de estrategia, anotación y validación de datos de capacitación a empresas de tecnología. Tenemos centros de entrega globales en Uganda, Kenia e India que brindan servicios de datos de lenguaje y visión por computadora para usar en algoritmos de aprendizaje automático, como los que se usan en automóviles autónomos y aplicaciones de realidad virtual. Nuestro modelo de negocios se basa en la idea de que, cuando se combina con la plataforma tecnológica adecuada, podemos capacitar de manera efectiva a una fuerza laboral compuesta exclusivamente por trabajadores de bajos ingresos y bajos antecedentes educativos para brindar servicios digitales de alta calidad a precios y calidad competitivos en el mercado. Esta es la idea que impulsa nuestro programa de capacitación de Aprendizaje y Desarrollo (L&D). Reclutamos estudiantes para unirse a campamentos de entrenamiento de 10 días de comunidades de bajos ingresos en Nairobi, Kampala y Gulu. Al completar el curso de capacitación, son elegibles para postularse para puestos de trabajo en nuestros centros de entrega globales. Para la mayoría de los aprendices, este es el primer trabajo formal que han tenido. El plan de estudios cubre habilidades digitales básicas, habilidades ocupacionales relevantes para el trabajo de IA.

Este RCT tiene como objetivo comprender el valor de la capacitación como un servicio independiente junto con el valor de la capacitación en combinación con la capacidad de postularse para un trabajo en nuestros centros de entrega globales.

(Ver IPA resumen del proyecto para obtener una explicación fácilmente digerible de la evaluación de impacto).
 

¿Por qué era el momento adecuado para una evaluación aleatoria? qué esperas aprender?

Como empresa social, a menudo nos enfrentamos al doble desafío de generar un impacto social y, al mismo tiempo, equilibrar las necesidades comerciales de crecimiento y escala. Hemos aprendido mucho en el camino sobre cómo hacerlo de manera efectiva. Invertir en nuestro impacto es importante para nosotros por varias razones. Primero, queremos crear más transparencia sobre lo que hemos aprendido. Queremos cambiar la mentalidad de las corporaciones del sector privado que creen que hay que elegir entre el impacto social y las ganancias. ¡Puedes tener ambos! Hemos visto de primera mano cuán transformador ha sido el poder de un cheque de pago en la vida de las personas que contratamos. Desde esa perspectiva, queremos usar esta evaluación de impacto como punto de prueba.

En segundo lugar, hemos llegado a una etapa de madurez organizacional en la que tenemos conocimientos sin precedentes sobre toda nuestra cadena de suministro. Los datos son una parte central de nuestro ADN a medida que crecemos y escalamos, y estamos comprometidos a usarlos para el aprendizaje continuo. Operativamente, esto nos posiciona no solo para hacer preguntas sobre nuestro impacto, sino también para realizar cambios en nuestro modelo de orientación y entrega en función de lo que aprendemos.
 

¿Puede describir el proceso de ejecutar un RCT dentro de un negocio rentable?

Internamente, contamos con el apoyo del equipo de alta gerencia que reconoció el caso comercial para el RCT: necesitábamos realizar este estudio para demostrar la eficacia de nuestro modelo comercial y demostrar que las empresas sociales pueden prosperar en el mundo (y respaldarlo). con datos de impacto rigurosos!). Desde el punto de vista operativo, el desafío era cumplir con las limitaciones de nuestro negocio impulsado por la demanda sin comprometer la calidad del servicio. Esto significó obtener la aceptación de los equipos a nivel local y trabajar muy de cerca con los equipos locales.

2.jpg

 

¿Cuáles fueron los desafíos?

Nuestra principal preocupación era nuestra reputación y mantener la confianza que hemos construido en las comunidades en las que operamos. Era muy importante para nosotros ser directos y transparentes sobre el proceso de estudio con las personas que invitamos a nuestros campamentos de entrenamiento de aprendizaje y desarrollo. . Aún así, fue un cambio desafiante para nuestros capacitadores, que trabajan en estrecha colaboración con las comunidades de las que reclutamos, para informar a las personas que fueron colocadas en el grupo de control y que no recibirán ninguna capacitación u oportunidad de postularse para trabajos con Samasource. Para mitigar cualquier percepción de injusticia, el equipo decidió ejecutar el proceso de aleatorización con una lotería física durante los períodos de inscripción abierta. Esto ayudó a los estudiantes interesados ​​que se ubicaron en el grupo de control a comprender que simplemente fue la suerte del sorteo.

Para mitigar cualquier percepción de injusticia, el equipo decidió ejecutar el proceso de aleatorización con una lotería física durante los períodos de inscripción abierta.

El segundo gran desafío fue hacer operativo el diseño de la investigación. Después de todo, nuestros servicios dependen de la demanda del cliente y no podemos contratar para nuevos puestos sin asegurar el trabajo primero. Trabajamos en estrecha colaboración con nuestras diversas unidades comerciales para pronosticar la contratación en función de la demanda del cliente, luego trabajamos con los investigadores para planificar la investigación dentro de esas limitaciones.

Bueno, malo o feo, vamos a compartir estos resultados y aprender de ellos.


¿Qué sigue para esta evaluación?

En Samasource, tenemos una sólida cultura basada en datos en todas nuestras unidades comerciales. Los datos nos brindan evidencia concreta para pilotar iniciativas, comprender su eficacia e invertir en ideas que funcionan. El RCT es una inversión importante para nuestra empresa. Bueno, malo o feo, vamos a compartir estos resultados y aprender de ellos. Sabemos que podemos usar los resultados de este RCT para mejorar nuestro programa de capacitación para profundizar nuestro impacto positivo al crear más trabajos digitales.

Cuando comenzamos, Samasource era una idea aparentemente descabellada: capacitar y contratar a jóvenes marginados de África Oriental para que hicieran trabajo digital para algunas de las empresas de tecnología más grandes. Sin embargo, varios financiadores filantrópicos, incluidas la Fundación Rockefeller y la Fundación Mastercard, se arriesgaron con nosotros y nos ayudaron a probar y escalar nuestra idea hasta alcanzar la sostenibilidad financiera. Siete años después de que comenzamos, llegamos a la sostenibilidad financiera, ¡una estrella del norte difícil de alcanzar para muchas nuevas empresas!

Ahora que completamos nuestro décimo año como empresa, esperamos con interés los resultados del RCT para validar nuestro impacto, crear nueva literatura académica sobre nuestro modelo y, lo que es más importante, brindar evidencia a nuestros primeros partidarios de que los ¡Vale la pena invertir en las ideas de la caja! (¡Con datos de impacto, por supuesto!)
 

Twisha Mehta es Gerente Senior de Impacto en Samasource. 

esquilador brennan es gerente de políticas y comunicaciones en IPA.

15 de mayo de 2019