La administración de Obama, casi tan geek como nosotros, está de acuerdo con una evaluación rigurosa de la política social. Peter Orzag, director de la Oficina de Administración y Presupuesto, escribió recientemente menciona eso,

Existen formas rigurosas de evaluar si los programas están funcionando. Pero con demasiada frecuencia tales evaluaciones no ocurren. […] Esto tiene que cambiar […] Siempre que sea posible, debemos diseñar nuevas iniciativas para generar datos rigurosos sobre lo que funciona y luego actuar sobre la evidencia que surja, ampliando los enfoques que funcionan mejor, perfeccionando los que obtienen resultados mixtos, y cerrando aquellos que están fallando.

Sí señor.

Pero Lisbeth Schorr, un compañero senior en el Centro de Estudios de Políticas Sociales, se ha mostrado en desacuerdo con la postura de la administración sobre la política basada en evidencia:

[D]ependiendo de lo que la administración considere “pruebas sólidas”, estos esfuerzos corren el riesgo de sabotear o marginar algunos de los intentos más innovadores para resolver problemas sociales intratables. […] Me preocupa que, al definir lo que constituye “la mejor evidencia disponible” de efectividad, la OMB y las agencias federales seguirán el enfoque restringido de […] insistir en que el apoyo público y filantrópico se destine solo a programas que demuestren estar basados ​​en evidencia. a través de métodos de evaluación experimental, preferiblemente que impliquen la asignación aleatoria de participantes a grupos experimentales y de control.

(Puede encontrar el texto completo de su artículo en la edición del 26 de agosto de Education Week esta página, pero es solo por suscripción. ¡Lo siento!)

Según nuestra lectura, la Sra. Schorr parece tener dos problemas. Primero, argumenta que los métodos de evaluación experimental no se pueden usar para evaluar “las estrategias más prometedoras [que] probablemente sean complejas y altamente dependientes de su contexto social, físico y político”. En segundo lugar, afirma que los defensores de la política basada en la evidencia piensan que los métodos experimentales son el único enfoque para la evaluación de la política social.

Si estas dos declaraciones fueran ciertas, sería motivo de preocupación. En IPA, sin embargo, estamos en desacuerdo con ambos. Nuestra respuesta, impresa en la edición del 23 de septiembre de la Semana de la Educación como Carta al editor, se reproduce a continuación.

Al editor:

En Innovations for Poverty Action, no estamos de acuerdo con la evaluación de Lisbeth B. Schorr de que los métodos rigurosos de evaluación inhibirán la innovación en la política social. De hecho, los ensayos aleatorios ofrecen la mejor oportunidad de generar lecciones sobre lo que funciona.

Los argumentos de la Sra. Schorr en "Las reformas innovadoras requieren un sistema de puntuación innovador" (26 de agosto de 2009) reflejan algunos conceptos erróneos comunes sobre los ensayos controlados aleatorios. Contrariamente a sus afirmaciones, pocos argumentarían que estos deberían aplicarse universalmente. Más bien, los defensores apoyan su uso estratégico para proporcionar evidencia sobre si y cómo ampliar los programas con el potencial de mejorar la vida de muchos. Read India, por ejemplo, un programa desarrollado a través de evaluaciones aleatorias, ha afectado positivamente a 21 millones de niños que reciben tutoría de recuperación de alfabetización.

Lejos de inhibir la innovación, los ensayos controlados aleatorios permiten a los formuladores de políticas probar nuevas ideas antes de tomar decisiones de gasto masivo. También pueden proporcionar pruebas de que las ideas particulares obtienen resultados sin tener que depender de las modas o la retórica.

La aplicación de ensayos controlados aleatorios tampoco está tan restringida como sugiere la Sra. Schorr. Los investigadores de hoy pueden probar paquetes complejos de intervenciones y procesos dinámicos. Un ejemplo de nuestra investigación, en Ghana, medirá la efectividad de un “estrategia epicentro”, o un conjunto de programas de desarrollo determinados por la comunidad. Los ensayos aleatorios se adaptan bien a este tipo de evaluación y son particularmente útiles para identificar los impactos de combinaciones particulares de intervenciones complementarias.

Muchos de los argumentos de la Sra. Schorr sobre la necesidad de innovación parecen respaldar el uso de ensayos controlados aleatorios bien realizados, que se caracterizan por una comprensión profunda de un programa. La replicación de evaluaciones en múltiples contextos es igualmente crítica para ayudar a las comunidades locales a adaptar programas exitosos a su contexto.

Apoyamos el mayor uso de políticas basadas en evidencia. Una y otra vez, cuando las personas necesitan resultados precisos, recurren a ensayos aleatorios.

Delia Galés

Director General
Innovations for Poverty Action
New Haven, Connecticut