Como parte de la Iniciativa de Investigación de Protección al Consumidor de IPA y en asociación con Bangko Sentral ng Pilipinas (BSP, el banco central de Filipinas), los investigadores de IPA están desarrollando una herramienta para monitorear el desempeño de los chatbots de asistencia al consumidor de las instituciones financieras a la hora de proporcionar un recurso de soporte al cliente adecuado cuando surgen problemas.

El desafío

A medida que los servicios financieros digitales se expanden rápidamente por todo el mundo, los reguladores financieros se esfuerzan por encontrar mecanismos de política para supervisar eficazmente los riesgos de protección al consumidor. A medida que las interacciones con los clientes se automatizan cada vez más, los chatbots se han convertido en una herramienta de atención al cliente para las instituciones financieras y en un posible mecanismo de supervisión regulatoria. Por ejemplo, en Filipinas, tanto el BSP como los proveedores de servicios financieros han implementado cada vez más chatbots basados ​​en IA para gestionar las consultas de los clientes y la resolución de quejas. El uso de chatbots ha crecido significativamente, como en Estados Unidos, donde aproximadamente el 37 % de los consumidores interactuaron con chatbots bancarios en 2022, probablemente debido al ahorro de costos para las instituciones financieras.¹

Sin embargo, a pesar del aumento del uso de chatbots, su eficacia para proporcionar respuestas precisas y útiles sigue siendo incierta. evidencia existente de la IPA Un estudio de Filipinas sugiere que los chatbots pueden brindar soporte más rápido y en tiempo real para consultas básicas, pero son menos efectivos para resolver problemas complejos. Además, los chatbots utilizan cada vez más tecnología de IA generativa, lo que conlleva nuevos riesgos, como las "alucinaciones", que pueden provocar que se proporcione información incorrecta a los consumidores. Los chatbots mal diseñados pueden no abordar las inquietudes de los consumidores, lo que reduce la confianza en las instituciones financieras. ¿Pueden las herramientas de monitoreo innovadoras ayudar a los reguladores a evaluar el rendimiento de los chatbots e identificar áreas de mejora?

La investigación

Investigadores del IPA están realizando un estudio piloto para monitorear el rendimiento de los chatbots de asistencia al consumidor utilizados por BSP e instituciones financieras. Los investigadores diseñarán e implementarán una herramienta de auditoría automatizada que utiliza automatización de procesos robóticos e IA generativa para simular conversaciones realistas con chatbots, calibradas para diferentes escenarios y perfiles de consumidor. Esto permitirá que la herramienta pruebe no solo consultas informativas sencillas, sino también problemas más complejos que los consumidores suelen plantear al buscar una compensación.

Una vez desarrollado, el sistema permitirá a los reguladores evaluar la calidad de los chatbots de forma rápida y repetida y escalable. Gracias a los bajos costos de implementación, la herramienta puede generar datos de monitoreo de alta frecuencia que ayudan a identificar las fallas de los chatbots y cómo cambia su rendimiento con el tiempo. Esta capacidad es especialmente importante a medida que las instituciones pasan de chatbots más simples basados ​​en reglas a modelos de IA generativa más avanzados, que ofrecen mayor funcionalidad, pero también conllevan mayores riesgos, como respuestas alucinadas y sesgo o discriminación. La auditoría continua puede ayudar a los reguladores a anticiparse a estos riesgos emergentes y a enfocar las mejoras donde más importan.

Resultados

Los resultados estarán disponibles en 2026.

Fuentes

^1. CFPB, “Chatbots en finanzas del consumidor: Problema destacado”, junio de 2023, https://files.consumerfinance.gov/f/documents/cfpb_chatbot-issue-spotlight_2023-06.pdf

Socio Implementador