By Aaron Dibner y Rathore Yumna

Nota del editor: esta publicación cruzada apareció originalmente en SiguienteBillion.

Si un proveedor de dinero móvil ofreciera una bonificación en las transferencias entre pares, ¿sería eso suficiente para generar nuevos negocios?

Si el proveedor enviara mensajes semanales recordando a los titulares de cuentas móviles que utilicen activamente los servicios bancarios sin sucursales, ¿cambiaría eso significativamente su comportamiento?

Durante los últimos tres años, Innovations for Poverty Action (IPA) ha estado trabajando en estrecha colaboración con el principal proveedor de dinero móvil de Pakistán, Telenor Pakistán, para explorar respuestas a tales preguntas y aumentar la adopción y el uso de la Plataforma de dinero móvil Easypaisa entre los pobres no bancarizados del país. A través de campañas de marketing avanzadas, hemos implementado varios experimentos con Easypaisa, como la variación del contenido de los SMS en función de los tipos y la cantidad de incentivos y programas de recomendación específicos, y la evaluación de las formas más prometedoras de aumentar el uso activo y sostenido del dinero móvil. Recientemente, la asociación también empleó el análisis de redes para orientar mejor y relacionar a los clientes existentes con amigos y familiares, en esencia, construyendo el tipo de red social que es crucial para cualquier adopción de tecnología.  

Debido a varios factores: tesoros de datos existentes, una base de usuarios masiva, ajustes modestos a la experiencia del cliente y un impulso para obtener resultados dentro de un marco de tiempo del ciclo comercial, esta asociación se parece a pocas otras en la cartera de IPA. Sin embargo, este estudio y otros similares representan un nuevo camino en los experimentos que ayudan a los pobres del mundo: las pruebas rápidas.

ECA ágiles

 

También conocido como A / B tests o pruebas divididas, las pruebas rápidas (RFT) son ensayos controlados aleatorios (ECA) ágiles destinados específicamente a mejorar el diseño del producto. Ya son una práctica común entre empresas de base tecnológica como una forma de iterar y rápidamente mejorar su producto y ampliar su base de usuarios. Un ejemplo simple de una prueba A/B es mostrar dos páginas de destino diferentes a los visitantes para rastrear qué versión de la página (A o B) ofrece una mayor tasa de conversión. Fundamentalmente, qué página mostrar a cada usuario se asignaría aleatoriamente según la dirección IP, el segmento de clientes u otros criterios.

Pero los ECA rápidos se están aplicando a más que solo sitios web. De hecho, se pueden utilizar para responder a una serie de preguntas sobre la demanda de productos financieros. Pero antes de profundizar en estos fascinantes estudios, debemos describir con más detalle lo que pueden y no pueden hacer.

¿Qué queremos decir con pruebas de fuego rápido?

Las pruebas rápidas se pueden clasificar como RCT porque el núcleo de su diseño se basa en medir los resultados del cliente a través de variaciones asignadas al azar en un producto o experiencia. Pero hay otras características que diferencian una prueba rápida de otros tipos de ECA que ejecuta IPA:

Reiterar, ambos tipos de estudio son ECA porque cada uno es un experimento que implementa una intervención en un grupo de tratamiento asignado al azar. Y las pruebas rápidas generan tanta confianza en la causalidad de sus resultados como lo haría cualquier RCT.

Pros y contras

Las diferencias cruciales enumeradas anteriormente dan lugar a las ventajas y limitaciones de una prueba de fuego rápido. Las ventajas incluyen:

• Conjuntos de datos más grandes: Los diseños de estudio pueden acomodar muestras muy grandes mediante el uso de conjuntos de datos administrativos e intervenciones escalables y de bajo costo. Por ejemplo, puede ser más fácil analizar datos de transacciones históricas que diseñar, realizar y analizar encuestas de hogares que consumen mucho tiempo.
• Implementación más económica: Las pruebas de fuego rápido se basan en intervenciones fácilmente escalables, a menudo impulsadas por plataformas de alta tecnología, que reducen los costos de implementación. Por ejemplo, el costo de enviar diferentes tipos de mensajes de marketing es muy bajo en comparación con el desarrollo e implementación de un nuevo producto de seguros. 
• Resultados mas rapidos: Al centrarse en los resultados a corto plazo, como la aceptación y el uso, las pruebas rápidas están diseñadas para proporcionar resultados más rápidos que los ECA tradicionales, cuyos resultados de bienestar tardan más en manifestarse, medirse y analizarse.

Sin embargo, las RFT no están exentas de limitaciones. Por ejemplo:

• Pueden ser ateoricos: Debido a que las RFT son tan fáciles de implementar, puede ser fácil ejecutar miles de pruebas sobre cada característica observable, sin teoría. Este suele ser el caso en el mundo de la tecnología. Por ejemplo, ¿qué teoría predeciría que estos botones del sitio web realizar salvajemente diferente? Sin una teoría del cambio fundamentada, la investigación no puede abordar preguntas más amplias sobre el comportamiento humano, razón por la cual los estudios de IPA, ya sea que analicen el diseño del producto o los impactos en el bienestar, siempre van acompañados de teorías del cambio bien fundamentadas.
• Tamaños de efectos pequeños: Debido a que las RFT se basan en cambios incrementales en los productos o servicios existentes, los investigadores generalmente esperan que el impacto marginal sea pequeño (pero rentable).
• Medición de resultados limitada: Al usar datos administrativos, limitamos nuestra capacidad de medir los resultados a aquellos que son capturados por los registros institucionales, por ejemplo, si se abrió una cuenta o con qué frecuencia realizó transacciones un usuario. Las afirmaciones más amplias sobre el bienestar del cliente se basan en la teoría o evidencia previa como, por ejemplo, que el aumento de los saldos de ahorro conduce a un mejor bienestar.
• Requieren muestras grandes: Los efectos anticipados pequeños significan que, por lo general, se necesitan tamaños de muestra grandes para detectar un impacto. Si el producto que desea probar aún no tiene miles de usuarios, es mejor esperar y concentrarse en aumentar las tasas de aceptación.

Aun así, principalmente porque las RFT pueden ejecutarse en muestras más grandes y generar resultados rápidos a bajo costo, parecen destinadas a desempeñar un papel clave en la experimentación dentro de las instituciones financieras.

Pruebas IPA/B

El Programa de Inclusión Financiera de IPA se está asociando con los principales proveedores de servicios financieros para realizar una serie de estudios rápidos para comprender mejor las preferencias de los clientes con respecto a las características de los productos financieros y las variaciones de diseño. Al aprovechar nuestra red académica y las tecnologías de recopilación de datos de bajo costo, como las llamadas de respuesta de voz interactiva (IVR), estas pruebas rápidas se basan en la teoría y se complementan con una recopilación de datos adicional de bajo costo.

 

Por ejemplo, el estudio con Telenor Pakistán, descrito anteriormente, utiliza una combinación de SMS de bajo costo, IVR y encuestas de centros de llamadas para una muestra de más de 1 millón de suscriptores para agregar puntos de datos adicionales a una base de datos ya sólida. Las preguntas de la encuesta se centran en la experiencia del usuario y la probabilidad de recomendar a otros clientes, lo que permite a los investigadores medir el comportamiento informado además del comportamiento observado a través de patrones de transacciones.

Otro ejemplo interesante es una serie de pruebas de SMS campañas de mensajería con instituciones financieras de todo el mundo para identificar las características del contenido, como la personalización o los marcos orientados a la acción, que son más efectivos para alentar a los clientes a ahorrar más o pagar deudas. Este esfuerzo se basa en un estudio inicial en el Filipinas, Perú y Bolivia, que descubrió que los mensajes correctos podrían aumentar los saldos de ahorro hasta en un 16 por ciento. Estudios centrados en el crédito en Uganda y del Filipinas descubrió que los recordatorios por SMS para pagar los préstamos a tiempo pueden ser tan efectivos como incentivos más costosos, como reducir la tasa de interés. Trabajo paralelo en el Estados Unidos evalúa el efecto de varios recordatorios de mensajes de texto en los resultados de los clientes que luchan por pagar su deuda, en esencia, configurando pruebas A/B para determinar la forma más efectiva de impulsar la adopción del producto. Muchos otros estudios también están incorporando mensajes como tratamientos secundarios de bajo costo.

Otros experimentos rápidos similares han estudiado los impactos de los distintos contenidos de los mensajes en los clientes. Cuatro evaluaciones recientes de estudios de mensajería son:

• Alterar el contenido del correo electrónico para probar el impacto de los correos electrónicos en las opciones de ahorro para la jubilación entre los empleados en el Estados Unidos;
• Ajustar el contenido publicitario para ver el impacto de los precios de los préstamos y los plazos en la demanda de préstamos de sudafricano consumidores;
• Cambiar el contenido de SMS para observar la demanda de sobregiros bancarios de los titulares de cuentas en Turquía;
• Ajustar las ofertas de préstamos para determinar la demanda de productos crediticios que cumplan con la sharia en Jordania.

Una metodología poderosa en la caja de herramientas de diseño de productos

A pesar de sus limitaciones potenciales, los experimentos de fuego rápido tienen enormes beneficios potenciales. Entendemos que muchas organizaciones están preocupadas por el costo de un ECA basado en encuestas de varios años. Si ese es el caso, considere un experimento rápido además de cualquier recopilación de datos de bajo costo. Tener un marco experimental riguroso aumentará significativamente la calidad de sus hallazgos.

En marzo de 2016, IPA y el Centro para la Acción Global Efectiva (CEGA) lanzaron el Kit de herramientas Ricitos de oro, un recurso diseñado para organizaciones que desean mejorar su aprendizaje de evaluación pero que no son candidatas para un RCT a gran escala. El kit de herramientas incluye prueba de fuego rápido como una de las muchas metodologías que las organizaciones pueden adoptar si las condiciones son las adecuadas.

Al combinar la experiencia de IPA en economía del comportamiento y la implementación de RCT con la perspicacia comercial de los socios con los que trabajamos, las pruebas rápidas pueden agregar evidencia rigurosa al proceso de innovación de productos. Al aprovechar los datos administrativos y las tecnologías escalables, vemos las pruebas rápidas como una forma interesante de evaluar y mejorar los servicios financieros para los pobres, acelerando la curva de aprendizaje y sirviendo como un complemento importante para otras metodologías.