Acerca del piloto de revisión de resultados previos de JDE

En marzo 2018, la Revista de Economía del Desarrollo (J.D.E.) comenzó a pilotar Pista de Revisión previa a los resultados (también conocida como "informes registrados" en otras disciplinas) en colaboración con la Iniciativa de Berkeley para la Transparencia en las Ciencias Sociales (BITS). A través de esta vía, el JDE revisó y aceptó propuestas detalladas para proyectos empíricos prospectivos antes de que los resultados estuvieran disponibles, ofreciendo un compromiso de publicar los artículos resultantes independientemente de sus hallazgos.

La motivación detrás de este ejercicio fue simple: tanto la ciencia como la política deberían recompensar los proyectos que plantean preguntas importantes y emplean una metodología sólida, independientemente de cuáles sean los resultados. Al cambiar la mayor parte del proceso de revisión (incluida la decisión editorial de aceptar un artículo) antes de que se conozcan los resultados, la revisión previa a los resultados tiene el potencial de promover el rigor académico y la transparencia al permitir a los autores realizar investigaciones e informar sus resultados de manera transparente. libres del temor de que ciertos resultados pudieran hacer que sus artículos fueran “no publicables”. En comparación con otras subdisciplinas dentro de la economía, la economía del desarrollo ha sido durante mucho tiempo un área de innovación y rigor metodológico, desde la adopción generalizada de ensayos controlados aleatorios (ECA) que comenzó hace más de dos décadas hasta la promoción del registro de estudios y planes de análisis previo en la década pasada. La revisión previa a los resultados es una adición natural a este arsenal de herramientas de ciencia abierta.

Dado que este fue (hasta donde sabemos) el primer esfuerzo para implementar la revisión previa a los resultados en una revista de economía, decidimos presentarlo como un piloto con la esperanza de conocer su compatibilidad con las convenciones académicas existentes en la disciplina y su factibilidad a nivel mundial. diario. Después de poco más de un año, reflexionamos sobre la experiencia hasta el momento y ofrecemos nuestras perspectivas sobre el futuro de la revisión previa a los resultados en la J.D.E. y en la disciplina en su conjunto. Dadas las experiencias en gran parte positivas hasta el momento, el J.D.E. ha decidido hacer de la revisión previa a los resultados una vía permanente para la presentación de artículos en la revista. 
 

Dadas las experiencias en gran parte positivas hasta el momento, el J.D.E. ha decidido hacer de la revisión previa a los resultados una vía permanente para la presentación de artículos en la revista. 
 

Revisión de resultados previos de JDE por números

Podría ser útil un poco de información sobre la terminología utilizada en la revisión previa de los resultados. Específicamente, la revisión previa a los resultados se basa en un proceso de dos etapas: en la Etapa 1, los autores presentan un plan analítico detallado (formalmente denominado "Propuesta") para un estudio empírico prospectivo para el cual aún no se recopilaron ni analizaron los datos. . En la Etapa 2, los autores envían el artículo completo, incluidos sus resultados e interpretación.

La reacción a la J.D.E. El seguimiento de la revisión previa a los resultados hasta ahora ha sido abrumadoramente positivo. Desde el lanzamiento del piloto, hemos recibido 46 presentaciones en esta pista. Para cuando se publique esta publicación, se habrán tomado decisiones editoriales para el 65 % de las 46 presentaciones de la Etapa 1, incluidas 5 aceptadas y 25 rechazadas, una tasa de aceptación del 16.6 % (consulte la Tabla 1 a continuación para obtener más detalles). En comparación, el J.D.E. recibe más de 100 envíos por mes en promedio a través de su pista regular de envío de artículos, de los cuales 6-8% son aceptados para publicación. (Dados los inevitables retrasos en la recopilación de datos de campo y la redacción, todavía estamos esperando nuestro primer envío completo de la Etapa 2).

Dado que las presentaciones a esta vía involucraron proyectos que estaban en sus primeras etapas o a punto de comenzar la recopilación de datos, también era importante que la revisión por pares fuera lo más rápida posible. La etapa 1 del proceso de revisión por pares tomó un promedio de 70 días desde la presentación hasta la decisión para las 30 presentaciones para las que se tomó una decisión editorial final, contando desde el momento en que se presentó por primera vez. Esto es un poco más corto que la pista estándar de revisión por pares para artículos completos en J.D.E., que se llevó 77 días en promedio en 2018, y esperamos acortar aún más el proceso a medida que el equipo editorial y nuestros revisores se familiaricen más con el proceso de revisión previa a los resultados. El proceso de revisión de las cinco presentaciones que fueron aceptadas tomó un promedio de 136 días, teniendo en cuenta también el tiempo que tomaron los autores para revisar y volver a enviar su propuesta en función de los comentarios del árbitro y del editor.

Con base en experiencias similares con la revisión previa a los resultados en otras revistas, anticipamos que la revisión de la Etapa 2 será más rápida, especialmente porque, en ese momento, una parte significativa del trabajo ya habrá sido revisada minuciosamente en la Etapa 1.

Tabla 1: Métricas para envíos en el seguimiento de revisión previa a los resultados en el J.D.E. en abril 2018-julio 2019. 

Lo que hemos aprendido hasta ahora

El  J.D.E. El piloto de revisión previa a los resultados nos ha permitido aprender mucho sobre los entresijos de este proceso novedoso, y pudimos hacer ajustes en el camino. A continuación se presentan siete conclusiones que pueden ser de interés para los editores de otras revistas de economía y la comunidad investigadora en su conjunto.
 

1. La revisión previa a los resultados ha sido un desafío, y esa es exactamente la razón por la que estamos haciendo esto. 

A los árbitros (y editores) les ha resultado difícil en varias ocasiones juzgar las presentaciones, a menudo articulando razones que explican exactamente por qué creemos que la revisión previa a los resultados es una buena idea: la comodidad y la facilidad de ver un conjunto completo de tablas lo hace "más fácil". juzgar en un papel. Es una muleta, casi. Sin embargo, cuando se conocen los resultados finales de la investigación, es imposible protegerse completamente contra el sesgo retrospectivo. El dispositivo disciplinario de no conocer los resultados finales es definitivamente un desafío, pero es un desafío que todavía creemos que vale la pena superar. 

2. Los autores deben enviar su trabajo para la revisión previa a los resultados mucho antes de realizar la recopilación de datos de las medidas de resultado clave.

El trabajo debe enviarse relativamente temprano por dos razones: (a) para maximizar la posibilidad de que la retroalimentación se pueda usar para dar forma a la recopilación final de datos, y (b) para asegurar suficiente tiempo para una ronda de R&R y volver a enviar antes de que lleguen los datos finales. significa un mínimo de tres meses, pero idealmente de seis meses a un año, antes de la recopilación de datos de los resultados clave. Todos los participantes, autores, árbitros y editores deben estar ciegos a las variables de resultado clave en cada etapa de revisión de la presentación de la Etapa 1. (Nota: por lo general, es bastante fructífero tener a mano datos de referencia cuando se presenta una propuesta para una revisión previa a los resultados: los datos de referencia brindan información útil sobre la naturaleza de las medidas, incluidas sus medias y variaciones, lo que puede ayudar a comprender el contexto y llevar a cabo realizar cálculos significativos de potencia estadística.)

3. Muchos autores han encontrado útil la Revisión previa a los resultados para mejorar la calidad final de sus trabajos de investigación. 

Dado que la preparación de una presentación de la Etapa 1 puede requerir una inversión inicial significativa por parte de los autores, es importante que el proceso de revisión previa a los resultados se considere valioso, transparente y justo, independientemente del resultado. Para obtener más información sobre las experiencias de los autores, el personal de BITSS entrevistó a 12 autores cuyo trabajo había recibido una decisión editorial final. Al reflexionar sobre los comentarios de los árbitros, casi todos los encuestados acordaron que pasar por el proceso ayudó a mejorar la calidad general de sus proyectos de investigación. “Enviar el documento para la revisión previa a los resultados nos obligó a mi coautor y a mí a pensar más detenidamente sobre el diseño del análisis, hasta los detalles, y gracias a los comentarios de los árbitros podremos abordar posibles problemas en la redacción. -arriba del papel” dijo la Dra. Julia Vaillant, investigadora del Banco Mundial. En una línea similar, el profesor Eric Edmonds de Dartmouth College comentó sobre los recursos de orientación de revisión previa a los resultados: “La plantilla de envío de la Etapa 1 que el JDE reunió me ayudó a mejorar drásticamente lo que pensé que ya era un muy buen plan de análisis previo”. Finalmente, al describir las diferencias entre la retroalimentación del árbitro en la revisión previa a los resultados y la revisión por pares convencional, el Dr. David McKenzie del Banco Mundial señaló que “los informes de los árbitros son más cortos y están escritos en un tono más constructivo”.

“Enviar el documento para la revisión previa a los resultados nos obligó a mi coautor y a mí a pensar más detenidamente sobre el diseño del análisis, hasta los detalles, y gracias a los comentarios de los árbitros podremos abordar posibles problemas en la redacción. -arriba del papel."
- Dra. Julia Vaillant, Banco Mundial

4. Los motivos de rechazo en la revisión previa a los resultados son similares a los del proceso de revisión regular.

Aunque la revisión previa a los resultados hace posible abordar algunas fallas en el diseño de la investigación antes de que se recopilen los datos, ciertos problemas han llevado a que se rechacen varios artículos (a menudo, estas también son razones para rechazar un artículo en el proceso de revisión regular). Según nuestra experiencia hasta el momento, recomendamos que los autores consideren cuidadosamente lo siguiente para minimizar las posibilidades de rechazo:

a. Los cálculos de potencia deben estar justificados e informados por conocimientos de literatura anterior, y las propuestas deben estar potenciadas para detectar los efectos que son teóricamente significativos. Los datos piloto y de referencia pueden informar el tamaño del efecto objetivo.

b. Aunque las presentaciones de la Etapa 1 no incluyen los resultados, los autores aún deben presentar argumentos sólidos sobre la importancia de la pregunta de investigación en términos de su contribución potencial a la literatura, independientemente de los resultados.

C. Las presentaciones de la Etapa 1 deben tratarse como un registro de lo que se informará en el documento completo en la Etapa 2: todos los análisis deben describirse con suficiente detalle para restringir los grados de libertad del investigador y hacer posible distinguir entre hallazgos confirmatorios preespecificados y hallazgos adicionales. análisis exploratorios (más sobre esto en la sección a continuación).

Las presentaciones de la Etapa 1 deben tratarse como un registro de lo que se informará en el documento completo en la Etapa 2: todos los análisis deben describirse con suficiente detalle para restringir los grados de libertad del investigador y hacer posible distinguir entre hallazgos confirmatorios preespecificados y hallazgos adicionales. análisis exploratorios.

5. La revisión previa a los resultados aún tiene que motivar la exploración de temas y diseños de investigación "más riesgosos", pero eventualmente podría hacerlo.

Esperábamos que la existencia de una vía de envío de revisión previa a los resultados eventualmente incentivara a los investigadores a emprender proyectos que perciban como riesgosos en términos de métodos, temas y contextos, ya que la aceptación en principio ofrece la promesa de publicación independientemente de la naturaleza de los resultados. Por supuesto, es difícil evaluar objetivamente el "riesgo" de un proyecto de investigación. Pero nuestra impresión inicial es que las presentaciones de la Etapa 1 a la J.D.E. hasta ahora no parecen ser sustancialmente más (o menos) riesgosos que los artículos enviados a través de la vía normal de revisión de revistas. La revisión previa a los resultados parece ser particularmente adecuada para los ECA, especialmente cuando los planes para la recopilación y el análisis de datos se pueden diseñar por adelantado con gran detalle, como suele ocurrir en estos días en los planes previos al análisis. Revisión de resultados previos para estudios observacionales, que aún comprenden alrededor 80% de las publicaciones en las principales revistas de economía, aún no se ha probado en el J.D.E., aunque agradecemos la presentación de tales artículos y en realidad hay algún precedente para algo análogo a la revisión previa a los resultados para la investigación prospectiva no experimental (ver, por ejemplo, Neumark (2002) y la 2016 Concurso de preaceptación de investigación electoral). 

6. El proceso de revisión previa a los resultados de JDE es específico de la disciplina de Economía en algunos aspectos.

Cuando lanzamos este piloto, poco más de 90 revistas aceptaban artículos para la revisión previa a los resultados (este número ha aumentado desde entonces a 203, y sigue aumentando...). Como la mayoría de estos son revistas de psicología y otras ciencias del comportamiento, los "informes registrados" han adquirido muchas características que reflejan las convenciones académicas en esas disciplinas. Asimismo, la revisión previa a los resultados en el J.D.E. tiene tres rasgos distintivos característicos de la economía, y en particular del subcampo de la economía del desarrollo.

En primer lugar, La Etapa 2 de revisión en el JDE probablemente permitirá cierta flexibilidad en la interpretación de las desviaciones de los diseños de investigación aceptados en la Etapa 1. Esta flexibilidad puede estar en desacuerdo con las mejores prácticas emergentes en otras disciplinas. por ejemplo, el Directrices genéricas para autores de COS para informes registrados (utilizado por la mayoría de las revistas de psicología) establece que “cualquier desviación de los procedimientos experimentales establecidos, independientemente de lo menor que pueda parecer a los autores, podría conducir al rechazo del manuscrito en la Etapa 2”. Nuestro deseo de flexibilidad se debe a la naturaleza de los experimentos de campo de la economía del desarrollo, que a menudo son mucho más susceptibles a desafíos que están más allá del control de los investigadores, como cambios políticos y de políticas impredecibles, dificultades para llegar a sujetos en áreas remotas, migración de sujetos entre encuestas. rondas, etc., de lo que suele ser el caso de los experimentos de laboratorio con sede en EE. UU., por ejemplo. La otra cara de esta voluntad de ser flexible es que el J.D.E. exigirá a los autores que ejerzan la máxima transparencia al informar cualquier circunstancia que pueda impedir que el estudio se implemente según lo propuesto, incluida la provisión de explicaciones detalladas sobre cómo el artículo final aún puede abordar con éxito las preguntas originales a pesar de estos desafíos. Para los editores de revistas, este será un proceso de aprendizaje, pero en el que aspiramos a asegurarnos de que la rigidez excesiva no se interponga en el camino de la acumulación de conocimiento. Reconocemos que, en la economía del desarrollo, se puede aprender mucho sobre una pregunta de investigación a través del proceso de realización del trabajo de campo. Esto nos lleva a reiterar que bienvenidos hallazgos fortuitos, al mismo tiempo que pide transparencia: los investigadores deben distinguir las pruebas confirmatorias especificadas previamente de los análisis exploratorios. 

En segundo lugar, Debido a que los experimentos de campo estudian las interacciones humanas en un contexto del mundo real, se deben tomar precauciones para evitar sesgar el comportamiento de los participantes.. Hemos podido abordar esto por un estudio aceptado en base a la revisión previa a los resultados al enmascarar ciertos detalles del diseño de la investigación (que, si circulan ampliamente, podrían afectar el comportamiento de los participantes), y continuaremos trabajando con los autores para abordar problemas similares en el futuro. Esto significa que es posible que no siempre podamos publicar completamente las propuestas aceptadas de la Etapa 1 hasta que se complete el trabajo de campo, aunque esto puede estar en desacuerdo con lo que se recomienda en otras disciplinas que han adoptado la revisión previa a los resultados. No obstante, las propuestas aceptadas de la Etapa 1 se publicarán junto con cada artículo completo cuando finalmente se publique en el J.D.E..

Finalmente, dado que los experimentos de economía del desarrollo pueden tomar literalmente años antes de que se complete la recopilación de datos, también puede pasar un tiempo antes de que el JDE pueda publicar el primer artículo en la vía de revisión previa a los resultados. La naturaleza del momento de nuestros estudios, a su vez, puede hacer que la aceptación basada en la revisión previa a los resultados sea aún más atractiva para los economistas del desarrollo que para los académicos en otros campos y disciplinas. Por ejemplo, en economía experimental y psicología, los investigadores tienden a publicar con más frecuencia y operar en plazos mucho más cortos. Ofrecer la aceptación previa de los resultados por adelantado puede hacer que el largo proceso de trabajo de campo (y todos los desafíos involucrados) sea más gratificante, especialmente para los jóvenes académicos que están en el mercado laboral o que están siendo considerados para un ascenso en su institución de origen.

7. Se necesitó un pueblo para que el proceso de revisión previa a los resultados funcionara sin problemas.

El  J.D.E. El éxito del piloto de revisión de resultados hasta la fecha ha sido posible gracias al apoyo brindado por varios grupos diferentes. BITSS ha sido fundamental para ayudarnos a desarrollar un conjunto de recursos editoriales necesarios; creemos que esto representa la mayor inversión inicial para las revistas que lanzan este formato. Estos recursos incluyen Directrices para el autor, Preguntas frecuentes (FAQ) para Autorzy y revisoresy un Plantilla de propuesta de etapa 1. Con base en las experiencias de otras revistas, también sabíamos que los autores necesitarían apoyo continuo a lo largo de este (nuevo) proceso, por lo que BITSS brindó la ayuda que tanto necesitaban para llevar a cabo actividades de divulgación y responder preguntas de los autores interesados. También estamos en deuda con nuestros revisores que nos han apoyado y están dispuestos a brindar comentarios constructivos a los autores, incluso cuando se trata de un proceso de revisión previa a los resultados que estaba fuera de su zona de confort y puede ser más exigente que la revisión por pares convencional. Finalmente, fuimos muy afortunados de que nuestro gerente de la revista fuera comprensivo y paciente mientras explorábamos ideas e hicimos enmiendas durante el piloto de revisión previa a los resultados. Los editores que busquen implementar la revisión previa a los resultados en sus propias revistas sin duda se beneficiarían al obtener el apoyo y la aceptación de la comunidad más amplia de investigación y publicación desde el principio.

Moving Forward

Hemos aprendido mucho de la J.D.E. Pre-resultados Revisar la experiencia piloto un año después y considerarla un éxito. Quedan varias preguntas abiertas, especialmente con respecto a cómo se llevará a cabo la Etapa 2 del proceso de revisión (como recordatorio, aquí es cuando se volverán a revisar los documentos que obtuvieron la aceptación en principio, ahora con los resultados disponibles). ¿Continuarán los autores explorando sus datos y refinando sus análisis en función de lo que encuentren, o la aceptación previa de los resultados (desafortunadamente) desincentivará la inversión adicional en análisis exploratorios creativos, como sugiere experiencia en otra disciplina? ¿Los economistas del desarrollo eventualmente se moverán a un terreno de investigación más arriesgado, ahora que una pista de revisión previa a los resultados está disponible en una revista como la J.D.E.? También hemos adoptado una política flexible con respecto al envío de aceptaciones de la Etapa 1 a otras revistas, a discreción de los autores. ¿Los autores finalmente publicarán su investigación en el J.D.E., o una parte sustancial de la investigación aparecerá eventualmente en otras revistas? Si es lo último, ¿disminuirá esto el incentivo de las revistas para adoptar la revisión previa a los resultados? Las respuestas a estas y otras preguntas relacionadas influirán en cómo se implementa la revisión previa a los resultados en el futuro, tanto a nivel J.D.E. y (esperamos) en otras revistas de economía. Por esta razón, continuaremos recibiendo envíos, preguntas y comentarios a medida que los resultados previos se conviertan en una pista permanente en el J.D.E..

También creemos que una mayor innovación y acción colectiva es fundamental para aprovechar plenamente el potencial de la Revisión previa a los resultados y, en términos más generales, para continuar reforzando la transparencia y el rigor de la investigación económica. Hay muchos desarrollos bienvenidos en el horizonte. Por un lado, acogemos con beneplácito el lanzamiento de una edición especial de revisión previa a los resultados en Economía experimental, que es, creemos, ahora la segunda revista de economía en adoptar este formato de envío. Y alentamos a otras revistas de economía, en todos los subcampos, a realizar una revisión previa a los resultados. Las revistas que buscan hacerlo pueden aprender de nuestras experiencias y hacer uso de la amplia recursos de nuestro piloto, lo que debería darles una ventaja. 

Además, no dude en enviarnos sus preguntas si desea obtener más información sobre el J.D.E. experiencia, o si tiene alguna sugerencia para hacer que esta revisión funcione mejor para autores, revisores y consumidores de investigación por igual.

Leer publicación original