¿Deberían los investigadores tener la libertad de realizar investigaciones que son una pérdida de tiempo? Esa fue la pregunta que Daniël Lakens planteó recientemente en un libro de Nature que invitaba a la reflexión. comentario. Parafraseando su respuesta a su propia pregunta: no, no deberían, y para asegurarnos de que los investigadores no pierdan tiempo y recursos, lo que realmente necesitamos es un nuevo tipo de junta de revisión. En su argumento, Lakens cita su propia experiencia como presidente de la junta de revisión ética de su universidad, donde vio muchos estudios que serían aprobados por razones puramente éticas pero que aún así no valía la pena porque no estaban bien diseñados.

Redes sociales intervino con la reacción predecible de “¡Oh, no, no otra junta de revisión! Lo último que necesitamos son más obstáculos”.

Como director de métodos de investigación en Innovations for Poverty Action (IPA) y funcionario institucional de IPA Junta de Revisión Institucional (IRB), entiendo de dónde viene Lakens. Pero al final, me pongo del lado de sus críticos al advertir contra un Comité de Revisión de Investigación (RRC) tradicional. En IPA, probamos ese enfoque durante varios años, pero recientemente lo descartamos por un proceso más flexible que garantiza una alta calidad y funciona más como "apoyo de un colega sabio" que como control de una junta que todo lo sabe.

Es cierto que hay estudios defectuosos que sobreviven a la revisión del IRB porque la junta y su personal no pueden examinarlos a fondo en cuanto a la calidad del diseño. Y hay estudios, incluso aquellos diseñados por académicos senior bien establecidos, que tienen puntos ciegos, tienen aspectos que no están bien especificados o pensados, tienen suposiciones no declaradas o poco realistas, tienen demasiadas hipótesis o simplemente no están bien explicados. En tales casos, ser consultado por alguien externo al equipo de estudio puede generar mejoras, incluida una mayor claridad en el diseño.

Claramente, las juntas de revisión metodológica presentan una mezcla compleja de pros y contras. La experiencia de IPA con dichos tableros ofrece algunas advertencias sobre lo que puede salir mal y por qué ahora adoptamos un enfoque diferente, basado en las lecciones aprendidas.

Durante años, IPA tuvo un RRC formal, siguiendo el modelo de los RRC de muchas instituciones, en particular las unidades de investigación biomédica. IPA RRC funcionó casi como una revista académica, confiando en el cegamiento (es decir, el anonimato del revisor) y revisores voluntarios. Fue diseñado como un mecanismo de control de calidad que liberaría a IPA para ofrecer oportunidades de asociación a un grupo más grande y diverso de investigadores principales (PI). Pero en la práctica, el RRC de IPA a menudo funcionaba como un guardián. De hecho, era un guardián demasiado restrictivo (y había demasiados estudios para revisar), por lo que con el tiempo permitimos que los investigadores buscaran exenciones en función de criterios como la experiencia del IP con IPA o la afiliación a J-PAL, una red de académicos. que pasaron los criterios de selección selectiva.

A medida que crecía el número de exenciones, el propósito del RRC de IPA se volvió menos claro y su proceso se deshizo. De repente, los estudios tenían más co-PI, incluidos aquellos que cumplían con los criterios de exención. Los estudios con poca potencia se harían pasar como "pilotos" hasta que llegara el momento de publicarlos. No estar exentos de la revisión del RRC envió perversamente un mensaje a los investigadores de que de alguna manera no confiábamos en ellos o creíamos que conocíamos su área de estudio mejor que ellos. Algunos IP compartieron solo la información mínima para evitar el escrutinio de los detalles. Las revisiones que no estaban exentas tomaron mucho tiempo porque los revisores voluntarios tenían pocos incentivos para priorizarlas. La falta de comunicación entre los IP y los revisores sobre cuestiones muy técnicas o específicas del contexto obstaculizó aún más la eficacia del RRC.

Enfoque de IPA para las juntas de revisión metodológica

Entonces, ¿cómo resolvemos el problema que plantea Lakens? No necesitamos una policía de métodos de investigación para cada estudio, sino instituciones de investigación tienes proporcionar apoyo para la revisión de métodos de investigación y garantizar que dicho apoyo se brinde de una manera rápida, eficiente y que funcione para todas las investigaciones. Esto debería ser una parte central de la infraestructura de investigación de la institución, al igual que la gestión de subvenciones o el apoyo a las comunicaciones, una forma de control de calidad interno amistoso pero riguroso. Los propios proyectos de investigación deberían pagar por ello (como lo hacen con la revisión del IRB), pero deberían quererlo y verlo como un servicio valioso. Las instituciones que soportan el costo y el riesgo de reputación de los estudios que no producen evidencia utilizable deberían requerir este tipo de revisión útil. Los financiadores y los IRB deberían insistir en ello. Deben crear la capacidad de intervenir temprano en la vida de un estudio antes de que se desperdicie tiempo o dinero (o ambos). Cuantos más recursos o reputaciones estén en riesgo, mayor será el escrutinio.

En los últimos dos años, IPA ha implementado un proceso de revisión de investigación técnica flexible y colaborativo que tiene estas propiedades. Aprendimos que, al implementar los siguientes pasos, es posible abordar las preocupaciones de Lakens sin crear cargas indebidas para los investigadores o revisores.

Paso 1: acaba con el cegamiento. Aliente encarecidamente tanto la retroalimentación escrita como una reunión sincrónica que permita la comunicación bidireccional entre revisores e investigadores. Según la experiencia de IPA, estas sesiones informativas han sido extremadamente valiosas tanto para los revisores como para los PI, ya que reducen la confusión y la falta de comunicación en una sola conversación de una hora.

Paso 2: Establezca un sistema de programación de dos pasos. El primer paso es obtener la revisión en el calendario incluso antes de que el diseño esté listo para ser revisado. Esto hace posible asignar un revisor que pueda estar disponible cuando el diseño esté listo para ser revisado y entregarlo el mismo día o el siguiente. Programar la revisión y asignar al revisor tan temprano en el proceso reduce las demoras y permite al revisor evitar las demandas contrapuestas (por ejemplo, escribir propuestas y enviar calificaciones del curso) tan comunes en la profesión.

Paso 3: Pague a los revisores. Algunos han propuesto emplear revisores a tiempo completo. Pero los mejores revisores suelen ser los propios investigadores y pueden ser reacios a abandonar su investigación para convertirse en revisores de tiempo completo. En IPA, nuestros investigadores internos se turnan para servir como revisores. Su trabajo como revisores se carga a la subvención que financia el proyecto, oa la cuenta que apoye el desarrollo de la propuesta. Para los investigadores de IPA, pasar tiempo como revisor ha demostrado ser intelectualmente estimulante y gratificante.

Paso 4: Establezca un terreno común. Es importante que los investigadores y revisores comprendan que persiguen un objetivo común: una investigación rigurosa y de alta calidad. Idealmente, el revisor debe seleccionarse en función de su experiencia, pero no es necesario que sea un experto en todos los aspectos del estudio. Todavía pueden proporcionar una nueva perspectiva, que a menudo es la contribución más valiosa de la junta. Los revisores representan a la institución y ayudan a proteger su reputación y mitigar el riesgo operativo. En algunos casos, tienen que dar la dura noticia de que el estudio no debería avanzar, pero eso es raro.

En IPA, todavía estamos acelerando este proceso e implementándolo en toda la organización. Pero los resultados iniciales son prometedores. Lakens señaló que "el objetivo no es mantener, sino mejorar". Este es exactamente el espíritu que tratamos de seguir con el proceso de revisión de la investigación técnica de IPA. Según nuestra experiencia, el enfoque más flexible y colaborativo que hemos adoptado funciona mejor para lograr esto que las juntas de revisión metodológica en el pasado.