La semana pasada un nuevo Ciencia: artículo (Gilbert, et al.) salió criticando un anterior Ciencia: (Nosek, et al.), que había tratado de volver a ejecutar 100 hallazgos de psicología y encontró que solo alrededor del 40 por ciento se replicó. En el nuevo artículo, Gilbert, et. Alabama. sugieren que esta tasa baja se debió a errores analíticos e infidelidades a los métodos originales, pero cuando se tomaron en cuenta, las tasas de replicación fueron bastante altas.

 

Harvard (hogar de tres de los cuatro autores de Gilbert, et al.) emitió un comunicado de prensa embargado a los periodistas por adelantado con el título eminentemente clicable "Investigadores anulan estudio histórico sobre la replicabilidad de la ciencia psicológica". Cuando se levantó el embargo, los periódicos estaban listos con titulares como “Una nueva crítica ve fallas en un análisis histórico de los estudios de psicología y Psychobabble: estudio que afirma que la investigación de los psicólogos académicos es en su mayoría falsa 'es en sí misma defectuosa y sesgada.'” Al menos dos medios parecen haber incluido comentarios de Nosek solo después de que su artículo fue escrito y publicado en línea.

Sin embargo, dentro de unos días, las críticas de Gilbert, et al. Comenzaron a aparecer documentos de "desacreditación" (¡incluidos tres! de Andrew Gelman: 1, 2, 3) y Nosek, et al. sugirió que Gilbert, et. Alabama. tenía detalles tergiversados como “infidelidades”. Entre las mejores críticas metodológicas están las de Sanjay Srivastavay uri simonsohn (Gilbert, et al. respuesta esta página).

[Nota al margen: en una sorprendente ironía que bordea la divina providencia, la Asociación Estadounidense de Estadística publicó un "recordatorio" de uso adecuado de los valores de p para los científicos justo en medio de esto.]

IPA es un gran partidario de compartir datos, transparencia, y replicaciones. Pero parece que estamos en los primeros días de una nueva ola de métodos de replicación, y es difícil no establecer comparaciones con el año pasado.Guerras de gusanos” debates sobre los efectos de tratar a los niños por parásitos en los resultados educativos. En ese caso, una universidad también emitió un comunicado de prensa embargado anunciando un próximo artículo que anuló un hallazgo bien establecido (divulgación completa: uno que tenemos algunos lazos con). En ambos casos, después de una semana de duras idas y venidas, la mayoría de los investigadores parecían estar de acuerdo en que los nuevos hallazgos parecen más dignos de encogerse de hombros que trascendentales, pero eso es mucho después de que los titulares de las noticias se hayan asentado en el fondo de la mente de los lectores. Al final, la mejor cobertura de “repligate” es probablemente la historia más mesurada que salió la semana siguiente de New York Magazine: “¿Es realmente exagerada la crisis de replicación de la psicología?De manera similar, con la desparasitación, The Guardian, que inicialmente había publicado el comunicado de prensa de un solo lado, más tarde lo revisé, pero esas historias posteriores son efectivamente una nota al pie en comparación con la cobertura original.

Para ser justos, revistas como Ciencia: que usan embargos limitan la circulación de documentos de trabajo para que los colegas los examinen y tratan de maximizar la cobertura de noticias sincronizada con la fecha de publicación, obligan a los periodistas a trabajar con información limitada. Cuando Vox cubrió la desparasitación lo hizo de una manera que era más lento, repetido, y fue más profundo en el proceso, explicando por qué hubo un debate y por qué era importante. 

Entonces, en el espíritu del excelente “Manual del consumidor de noticias de última hora"  guías a las noticias de rápido movimiento que pueden cambiar, permítanme ofrecer una para el público científico:

 “'NEW STUDY DEBUNKS...' Breaking News Consumer Handbook”

1. 

    

   Las personas que escriben comunicados de prensa (y yo también soy culpable de esto) quieren ver una historia impresa lo más parecida posible al comunicado de prensa, generalmente promocionando al brillante investigador (y universidad/organización) involucrado. ¿Qué tan cerca suena este artículo a un comunicado de prensa? (Algunos ejemplos, para gusanos: Guardian vs comunicado de prensa; replicar: Gaceta de Harvard¹ vs comunicado de prensa)

2. ¿La historia pretende “desacreditar” o anular dramáticamente la sabiduría establecida? La ciencia generalmente progresa en acumulaciones lentas de hallazgos en lugar de descubrimientos eureka, ¿cuáles son las posibilidades de que esta vez sea diferente?

3. ¿Parece que se escucharon ambos lados al escribir la historia, o quedó un espacio en blanco para que una cita opuesta lo complete más tarde? (o incluso actualizado con una cita más adelante) 

4. Para bien o para mal, muchos investigadores están apegados a sus propios hallazgos, ¿se consultó a algún investigador independiente para la historia? ¿Mencionaron si los métodos utilizados se consideran estándar en el campo? 

5. ¿El llamativo anuncio de desacreditación es nuevo o el campo ha tenido la oportunidad de examinarlo a fondo? Anunciar el comunicado de prensa es un poco como anunciar una elección presidencial después de Iowa o el ganador de un partido de tenis después de un servicio fuerte. Las mejores historias casi siempre salen después de que el campo haya llegado a un consenso. 

6. Si te involucras en la discusión en línea, trata de no distraerte con el tono. Es fácil atribuir malas intenciones a los investigadores que llegan a una conclusión diferente, pero la mayoría de las personas buscan la misma verdad al final del día. Antes de hacer clic en "publicar", compruebe si su tono distraerá la atención de su mensaje. 

Me gustaría esperar que nadie necesite estos consejos, pero estamos en las primeras etapas de un nuevo movimiento hacia una ciencia más sólida, y después de ver estos dos escenarios, me preocupa que tanto los medios como los datos los tipos pueden llegar a conclusiones demasiado rápido, por lo que es mejor leer historias críticas con un ojo crítico. 

Un par de otros recursos: 

• David Evans tiene una excelente presentación para periodistas sobre cómo mirar la investigación de evaluación de impacto, pero cubre algunos de estos temas en este lugar.
• También tiene una antología de todo lo escrito sobre las Guerras Gusano. 
• Una lista de lecturas sobre "crisis de replicación" es esta página.
• Entrada de blog de Sanjay Srivastava tiene una lista de otras publicaciones en replicate.

[1] Harvard Gazette es una herramienta de relaciones públicas de la Universidad de Harvard, por lo que no debería sorprender, este artículo fue recirculado por algunos investigadores destacados.