En IPA, nos preocupamos profundamente por mejorar la calidad de los datos recopilados en la investigación del desarrollo internacional. Los datos erróneos son, en el mejor de los casos, un desperdicio de recursos, pero también pueden desinformar políticas o programas. Para comenzar a abordar este problema de manera más sistemática, IPA y Yale copatrocinaron un taller de medición de investigación de campo que tuvo lugar un viernes reciente en la Universidad de Yale. Un grupo de 32 investigadores de universidades como Harvard y la London School of Tropical Medicine and Hygiene, organizaciones de investigación como la Laboratorio de Acción contra la Pobreza Abdul Latif Jameel (J-PAL), Banco Mundial, Centro para la Acción Global Efectiva (CEGA), Centro de investigación de encuestas de la Universidad de Michigan, la Fundación Bill y Melinda Gates y diseñador de software de encuestas Encuesta CTO discutieron una variedad de temas relacionados con la medición de campo y la calidad de los datos en un formato de mesa redonda. El objetivo era convocar a un grupo de expertos para discutir los desafíos que surgen en la investigación de campo, pero que a menudo no son la prioridad principal de la investigación. Sin embargo, se planteó la pregunta: ¿deberían serlo?

Discutimos cinco temas principales, incluida la recopilación de datos electrónicos, el diseño de encuestas, los efectos del enumerador, cómo medir conceptos difíciles y las respuestas conductuales a la investigación. Cualquiera que haya realizado una investigación sabe muy bien que estos temas a menudo pueden afectar la calidad de los datos, la validez externa de los hallazgos del estudio y nuestra comprensión de los resultados. Si bien ha habido una inversión creciente en investigación en entornos internacionales, no ha habido un gran esfuerzo para garantizar que los datos recopilados sean de alta calidad. Motivar a los investigadores, donantes e implementadores a centrarse en estas preguntas relacionadas con la medición dará como resultado más tecnología y estrategias basadas en datos para garantizar la precisión y la eficiencia en la recopilación de datos que se pueden utilizar para una mejor política o toma de decisiones programáticas. 

"Todo el mundo quiere datos de alta calidad sin tomarse el tiempo para entender cómo obtenerlos". 

Los participantes compartieron trabajos anteriores, proyectos actuales y preguntas pendientes que pueden ser el enfoque del trabajo futuro. Berk Ozler, un participante del taller, resumió la discusión en detalle en su Blog del Banco Mundial.

Las preguntas que surgieron incluyeron:

• ¿Cuáles son algunas de las oportunidades y desafíos del uso de datos no provenientes de encuestas de fuentes múltiples, como los registros de teléfonos celulares?
• ¿Cuál es la mejor manera de diseñar una encuesta? ¿Debería fijarse el orden de las preguntas o los módulos? ¿Cuáles son algunos de los pros y los contras, y cómo podemos usar datos, metadatos y paradatos para tomar algunas de estas decisiones?
• ¿Cómo podemos medir los efectos del enumerador? ¿Deberían incluirse estos efectos en los modelos de regresión?
• ¿Cómo puede validar las nuevas herramientas de medición si no sabe cuál es realmente la 'verdad'?
• ¿Cuál es nuestra responsabilidad de estudiar a los participantes para compartir los hallazgos de nuestro trabajo?

En todos los temas, dos temas principales se destacaron para nosotros en IPA a lo largo del día: 1) ¿Cómo podemos usar mejor la tecnología para mejorar la calidad de nuestra recopilación de datos? y 2) ¿Cuáles son los incentivos para estudiar la medición para mejorar la calidad de los datos y cómo podemos compartir esta información?

Tecnología para la recopilación de datos.: Ha habido un uso generalizado y creciente de la tecnología para recopilar datos, pero no hay un consenso claro de que lo que obtenemos es siempre 'mejor'. Podemos aprovechar los datos de fuentes múltiples utilizando teléfonos celulares o plataformas móviles, pero ¿perdemos representatividad? ¿Siempre es mejor o peor recopilar los datos de nuestras encuestas en tabletas y teléfonos celulares? Sobre el papel, los encuestadores podían moverse por la encuesta y cambiar el orden de los módulos y las preguntas dependiendo de quién estaba en casa para realizar la encuesta. Ahora, las encuestas son más lineales y podemos poner 'reductores de velocidad' o verificaciones (por ejemplo, si alguien dice que tiene 25 años y luego dice que su año de nacimiento es 1940, la tableta puede calcular esto y mostrarle al enumerador un error arreglar). ¿Esta pérdida de flexibilidad es mejor o peor? La respuesta es a menudo que depende. Nuestros colegas en Encuesta CTO están extremadamente interesados ​​en estas preguntas y colaboran con investigadores para descubrir cómo mejorar el diseño y el uso de su software para maximizar la calidad de los datos, y recientemente publicaron un blog al respecto esta página. En IPA, usamos SurveyCTO como plataforma para recopilar datos para el 95 % de nuestras más de 250 evaluaciones de impacto en curso y esto ha mejorado notablemente la puntualidad y los controles de calidad de nuestros datos. Incluso hemos comenzado a incorporar algunos estudios relacionados con la medición en nuestro trabajo de campo utilizando SurveyCTO. Por ejemplo, en nuestro Preservativo Mujer Maximum Diva estudio en Zambia estamos viendo cómo los participantes responden a preguntas delicadas; puedes leer más sobre esta página. 

Incentivos: Si bien todos los participantes sintieron firmemente que la medición y la calidad de los datos eran importantes, casi ninguno había hecho de esto un enfoque específico de su trabajo o proyectos (con la excepción quizás de colegas del Centro de investigación de encuestas en la Universidad de Michigan). Sin fuertes incentivos de los donantes u otros socios, sin embargo, es difícil priorizar este trabajo. Todos quieren datos de alta calidad sin tomarse el tiempo para entender cómo obtenerlos. Integrar un experimento de medición dentro de un proyecto más grande podría ser una estrategia, pero existe la preocupación de que el experimento de medición integrado pueda socavar los resultados de encuestas más grandes. Esto se ve agravado por el hecho de que muchas revistas no publican artículos relacionados puramente con la medición o artículos sobre estudios que tienen resultados negativos. Por lo tanto, si usted es un investigador que está a punto de embarcarse en una recopilación de datos a gran escala, considere cuidadosamente qué está midiendo y cómo, y cómo puede optimizar la calidad de los datos, y si hay oportunidades para compartir sus datos. El Iniciativa de Transparencia en la Investigación de la IPA fue desarrollado para promover la mejora de la calidad de los datos, la presentación de informes y el intercambio de datos para su reutilización. Sospechamos que la mayoría de las personas no comparten sus datos porque no implementaron un plan sólido de calidad de datos antes de comenzar la recopilación de datos.

¿Qué es lo siguiente? IPA no podrá mejorar la calidad de la investigación de campo por sí sola. Por lo tanto, hacemos un llamado a nuestros socios de investigación, socios implementadores y donantes para que inviertan esfuerzos y recursos para comenzar a enfocarse en la calidad y la medición. Si se ponen a disposición más fondos para hacer algunas de estas preguntas importantes, IPA (junto con sus investigadores colaboradores y socios implementadores) puede diseñar e implementar estudios para responderlas. IPA se encuentra en una posición única para avanzar en esta agenda a medida que recopilamos y compartimos datos en muchos países y proyectos, con un fuerte compromiso con la transparencia de la investigación y la puesta a disposición del público de métodos y datos como estos. Cualquier hallazgo e innovación de medición o calidad de datos se puede difundir a través de nuestra red de investigación de más de 400 investigadores para crear un circuito de retroalimentación en el que realizamos investigaciones sobre medición y aplicamos los hallazgos a futuros proyectos de investigación. Aunque actualmente no existen incentivos para alentar este tipo de trabajo, estos son pasos necesarios para mejorar la calidad de los datos y, en última instancia, fortalecer los hallazgos de nuestra investigación que, en última instancia, impulsan la política global.

Contáctenos en apoyo a la investigación@poverty-action.org si está interesado en colaborar con el Departamento de Investigación de IPA para realizar experimentos de medición.

jessie pinchoff es Gerente de Investigación y Thoai Ngo es Director Senior, ambos con el equipo de Investigación y Gestión del Conocimiento de IPA.