Para avanzar en la lucha contra la pobreza, tenemos que tomarnos los métodos en serio
Hace dos meses, dejé un trabajo en el que había pasado 20 años diseñando y realizando evaluaciones educativas en Mathematica Policy Research. Las cosas iban bien en el mundo de la evaluación de impacto. La cantidad de estudios ha ido creciendo rápidamente en muchos sectores, incluida la educación. Pero la frontera de producción para generar nueva evidencia aún es demasiado estrecha. Dedicamos demasiado tiempo y esfuerzo a crear evidencia sin generar suficiente consenso científico y sin ver suficientes cambios de políticas que nos motiven a hacer este trabajo. Llegué a IPA para ayudar a aprovechar la escala de los cientos de estudios rigurosos pasados y en curso en muchos sectores en todo el mundo que realizan IPA y sus socios, para generar un nuevo tipo de investigación: investigación destinada a mejorar la forma en que recopilamos y utilizamos datos. para responder a problemas sociales persistentes como la pobreza. En mi nuevo rol En IPA, dirijo una iniciativa de métodos de investigación que describo con más detalle a continuación.
La IPA ya ha recaudado dinero para incorporar una variedad de investigadores a este esfuerzo. Pero ¿por qué necesitamos financiar esfuerzos para mejorar el análisis, la medición y el trabajo de campo? Tenemos muchas cosas que investigar: ¿realmente necesitamos "investigación sobre investigación"?
Necesitamos un impulso de investigación y métodos ahora porque la tecnología y las herramientas para hacer ciencias sociales están superando nuestra capacidad para usarlas sabiamente. La democratización de las encuestas está haciendo que la investigación mediante encuestas sea tanto mejor como peor.
Necesitamos un impulso de investigación y métodos ahora porque la tecnología y las herramientas para hacer ciencias sociales están superando nuestra capacidad para usarlas sabiamente.
La tecnología de encuestas es cada vez más barata y más sofisticada. Ahora cualquiera puede abrir una cuenta gratuita de Survey Monkey o Google Forms y comenzar a lanzar a la gente preguntas mal redactadas y mal concebidas con la misma facilidad con la que pueden seguir una buena práctica de encuesta. Los servidores web son cada vez menos costosos y más modulares, lo que hace que las técnicas computacionalmente intensivas como el análisis bayesiano y el aprendizaje automático estén disponibles para todos, incluidos aquellos que podrían caer en varias trampas éticas, como hornear prejuicios pasados en algoritmos predictivos.
Mientras tanto, cada vez más investigadores realizan ensayos aleatorios, pero la mayoría de nosotros seguimos el mismo patrón de probar una hipótesis a la vez utilizando métodos frecuentistas clásicos. Cuando el objetivo es rechazar una hipótesis nula en un umbral arbitrario de 0.05, la convención seguida para la publicación en una revista académica, sucumbimos al p-hacking y al sesgo de publicación. Los investigadores están escribiendo sus propias encuestas, cada uno reinventando la rueda, sin poder recurrir a una biblioteca de instrumentos probados y validados. Cada vez más personas realizan experimentos de campo sin darse cuenta de lo importante que es realizar verificaciones y auditorías de calidad de datos o conocer las mejores prácticas en la selección, contratación, reclutamiento y compensación de los topógrafos.
Necesitamos desarrollar, validar y forjar consenso sobre cómo medir conceptos difíciles de medir
Necesitamos la próxima generación de técnicas de encuesta, observacionales métodos, ciencia abiertay estándares de publicación de datos para resolver problemas como este y llevarnos de manera más rápida y eficiente a la evidencia que mejorará las opciones de políticas y los resultados de las políticas. Necesitamos desarrollar, validar y forjar un consenso sobre cómo medir conceptos difíciles de medir como la violencia de pareja, salud financiera”, o aprendizaje socioemocional. Necesitamos aprender de la investigación en otras disciplinas y aprovechar los muchos cientos de estudios de campo ya completados y en curso para comprender mejor cómo los encuestadores pueden influir en la medición: no ver a los encuestadores como simples operadores de encuestas de tabletas, sino pensar más profundamente en el proceso que ocurre entre un encuestado y un enumerador cuando hacen preguntas muy personales. Necesitamos usar este conocimiento para desarrollar nuevas formas rentables para ayudar a garantizar que los encuestadores obtengan las respuestas más precisas. Necesitamos soluciones tecnológicas para hacer buenas prácticas científicas como el registro del plan de pre-análisis y la publicación de datos cuidadosos, rutinarios y de alta calidad.
Desde que me uní a IPA como su primer director de investigación y métodos, he pasado mucho tiempo evaluando la calidad de cada aspecto de nuestra investigación y ayudando a personas inteligentes a diseñar la próxima generación de métodos de investigación de evaluación. En colaboración con investigadores de Northwestern's Laboratorio de Investigación de la Pobreza Global y con J-PAL y nuestra vasta red de socios, IPA se está embarcando en una ambiciosa Iniciativa de Métodos de Investigación (lea más sobre esto esta página) con tres hilos:
1. Mejorar los métodos que utilizamos para diseñar y analizar los resultados de los experimentos sociales
2. Diseñar y validar de manera inteligente técnicas de encuesta para medir conceptos esquivos como la salud financiera, la violencia de pareja íntima y el aprendizaje socioemocional
3. Realizar experimentos para probar innovaciones en implementación del trabajo de campo
IPA y sus socios han cientos de ECA completados y cientos más en marcha ahora en 22 países. Estos representan oportunidades para aprender lecciones a través de los estudios.
IPA y sus socios han cientos de ECA completados y cientos más en marcha ahora en 22 países. Estos representan oportunidades para aprender lecciones a través de estudios, para incorporar miniexperimentos en la investigación en curso y para seleccionar y catalogar datos. Este es un trabajo pesado y requerirá cooperación a través de las fronteras de las organizaciones, países y disciplinas, pero el resultado será una nueva generación de investigación y una fe más fuerte en lo que los datos recopilados y analizados cuidadosamente pueden decirnos sobre el camino a seguir.
¿Dónde encaja la comunidad investigadora en general en este esfuerzo? Los investigadores que actualmente trabajan con IPA pueden solicitar fondos competitivos para pequeñas subvenciones para construir experimentos metodológicos en su investigación en curso. Estos pueden ser pruebas rigurosas de los efectos de incentivos de pago alternativos para el enumerador, experimentos de incentivos para los encuestados o pruebas de métodos innovadores de diseño de encuestas. Completamos una ronda inicial de presentaciones, pero estamos aceptando solicitudes de forma continua hasta el 31 de diciembre de 2019. También estamos contratando a un investigador de doctorado dirigir estudios y trabajar en la iniciativa de métodos de investigación, así como director de medición de la pobreza. (También estoy buscando un científico de datos y coordinadores técnicos regionales en Kenia y Uganda– solicite o comparta los anuncios de trabajo con su red). Si es donante o formulador de políticas, debe comunicarse conmigo directamente con ideas, sugerencias o quejas, ya sea aquí en Twitter, or email. En los próximos meses, implementaremos otros aspectos de esta iniciativa y publicaremos actualizaciones aquí en este blog.