Nota del editor: Esta es una publicación cruzada que apareció originalmente en el Blog de impacto del desarrollo del Banco Mundial.

By  andy fomentar, Dean Karlan y ted miguel.

El mundo es un lugar desordenado. ¿Qué sucede cuando los resultados de un estudio empírico son blandos o inconsistentes con las teorías predominantes? Desafortunadamente, los artículos con resultados poco claros o estadísticamente insignificantes a menudo no se publican, incluso si tienen diseños de investigación rigurosos y buenos datos. En tales casos, a la comunidad investigadora normalmente solo se le deja considerar los artículos que cuentan una historia “pulida” y limpia. Cuando la política económica y social se basa en el conocimiento académico, este el sesgo de publicación puede ser costoso para la sociedad.

En un nuevo esfuerzo para ayudar potencialmente a abordar este problema, el Revista de Economía del Desarrollo (J.D.E.) ahora ofrece a los autores la oportunidad de revisar y aprobar sus posibles proyectos empíricos para su publicación antes los resultados son conocidos. Esta vía para la presentación de artículos estará disponible como parte de un proyecto piloto, lo que nos permitirá comprender mejor hasta qué punto se puede aplicar la revisión previa a los resultados en el JDE, y posiblemente en la economía en general. Es posible que este nuevo formato de artículo no se aplique a todos los artículos que se publican actualmente en el JDE; prevemos que será particularmente atractivo para los economistas del desarrollo que trabajan en proyectos de investigación para los cuales aún no se han recopilado los datos (o investigadores que aún no han tenido acceso a los datos que analizarán).

Hasta donde sabemos, este parece ser uno de los primeros intentos de introducir la revisión por pares previa a los resultados en una revista de economía. Sin embargo, más que 90 revistas académicas en biología, medicina, ciencias políticas, psicología y otras disciplinas ya están implementando la revisión previa a los resultados, y los artículos publicados posteriores generalmente se denominan "Informes registrados" (RR). Hemos tratado de aprender de sus esfuerzos en la preparación de este piloto y estamos coordinando nuestras actividades con la Iniciativa de Berkeley para la Transparencia en las Ciencias Sociales (BITS) para ayudar a apoyar a los autores y árbitros durante esta fase piloto.

¿Qué es la revisión previa a los resultados?
El seguimiento de envíos de resultados previos de JDE es un proceso de revisión de dos etapas, disponible en "Informes registrados" en JDE en línea. portal de envíos.
At 1, los autores enviarán jubilación para sus proyectos empíricos prospectivos, que normalmente contendrían una revisión de la literatura, preguntas de investigación, hipótesis y un marco metodológico detallado. Esta sumisión, que se parece mucho a una plan de pre-análisis--será revisado por pares en función de los méritos de su pregunta de investigación y marco teórico y metodológico antes cualquier resultado empírico se realiza. Si se evalúa positivamente, el plan será aceptado en base a la revisión previa a los resultados. Esto constituye un compromiso por parte de la revista de publicar posteriormente el artículo completo, independientemente de la naturaleza de sus resultados empíricos, siempre que la recopilación y el análisis de datos mantengan estándares de calidad y se hayan implementado de acuerdo con el diseño de investigación aceptado en la Etapa 1.

Cuando la intervención no se pueda implementar según lo especificado previamente, los editores intentarán ser razonables al acomodar las desviaciones y se esforzarán por errar a favor de los autores, siempre que las desviaciones se informen de manera transparente.[ 1 ] (obtenga más información en las Directrices para autores de JDE RR esta página). Esperamos que este piloto nos ayude a identificar mejor los ejemplos de desviaciones que son inaceptables. No obstante, luego de la aceptación basada en la revisión previa a los resultados, los autores pueden publicar el artículo en sus sitios web y etiquetarlo con precisión como "aceptado en el JDE basado en la revisión previa a los resultados".

Nota: ser aceptado en la Etapa 1 no no constituyen un compromiso de enviar luego para la Etapa 2. Si un autor desea enviar primero el artículo final a una de las principales revistas de interés general, puede hacerlo. Les pediríamos que aún incluyan en el documento una mención de haber sido aprobados por el proceso de revisión previa a los resultados de JDE.

Luego, los autores recopilarán y analizarán sus datos y enviarán el documento completo (incluidas las secciones de resultados y discusión) para su revisión final en 2. En esta etapa, se les pedirá a los revisores que evalúen si los datos tienen la calidad suficiente para probar las hipótesis propuestas, si la intervención (si la hubo) se implementó según lo especificado y si los datos se analizaron e interpretaron adecuadamente. Los autores tendrán la libertad de incluir hallazgos de análisis más allá de los especificados en la Etapa 1, pero estos deben señalarse claramente como resultado de análisis exploratorios.

La publicación final que resulte del proceso de revisión previa a los resultados se parecerá a cualquier otro artículo publicado en el JDE, con dos excepciones: primero, el texto principal contendrá una nota al pie que indique que el documento se envió para la revisión previa a los resultados, y segundo, el plan de investigación especificado previamente se incluirá en el apéndice en línea complementario.

¿Qué evidencia tenemos y qué esperamos aprender de este piloto? 
La comunidad de publicaciones científicas aún está aprendiendo acerca de los posibles beneficios y desafíos de este nuevo enfoque para revisar artículos de investigación, ya que poco más de 90 Estudios se han publicado como informes registrados en todas las revistas de implementación hasta la fecha.

Tenemos alguna evidencia de que los editores de revistas con experiencia con este formato son optimistas sobre su potencial para reducir el sesgo de publicación, sin embargo, también parece que las tasas de envío han sido bajas.[ 2 ]

En este piloto, el JDE tiene como objetivo explorar si la revisión previa a los resultados podría ser útil en el campo de la economía del desarrollo. Será importante considerar varias preguntas a medida que avanza el piloto:

• ¿Estamos recibiendo estudios y/o resultados de alta calidad que de otro modo no se publicarían? ¿Este enfoque de revisión de artículos ayuda a reducir el sesgo de publicación?
• ¿Hay suficiente interés por parte de los investigadores de economía del desarrollo en este formato (es decir, estamos recibiendo muchas presentaciones)?
• ¿Es sostenible el formato? ¿Aumenta el nivel de esfuerzo exigido a los árbitros? ¿Estamos dedicando un tiempo considerable como revista a revisar planes que nunca se implementan o que finalmente los autores retiran?
• ¿Es este formato particularmente beneficioso para los estudiantes jóvenes, quienes pueden compartir una Aceptación basada en una revisión previa a los resultados con un comité de titularidad o un comité de contratación?
• ¿En qué medida podemos esperar de manera realista que los autores implementen su diseño de investigación en gran medida como se especifica en su presentación de la Etapa 1? ¿O las complicaciones del mundo real del trabajo de campo generalmente harán que esto sea imposible?

También esperamos saber si este enfoque de revisión de artículos se puede integrar de manera sostenible en el proceso de publicación de JDE.

¿Cómo pueden los autores enviar su trabajo?
Si está interesado en enviar un estudio de investigación para la revisión previa a los resultados, los autores deben iniciar una presentación como "Etapa 1 del informe registrado: Propuesta" en los JDE en línea. portal de envíos. Por favor mira el Directrices para autores de informes registrados de JDE para obtener información adicional.

Tanto el personal de JDE como el de BITSS están disponibles para ayudar a los autores a preparar las presentaciones. Póngase en contacto con Aleksandar Bogdanoski (abogdanoski@berkeley.edu) si tiene preguntas sobre el prerregistro del estudio, los planes de preanálisis y cómo enviar su artículo para la revisión previa a los resultados, o en JDE, comuníquese con el editor principal, el Prof. Andrew Foster (andrew_foster@brown.edu) o Editor Prof. Dean Karlan (karlan@northwestern.edu). Este es un proyecto piloto y sus comentarios son extremadamente valiosos; por favor comuníquese con nosotros con comentarios o sugerencias para mejorar.