Demasiado bueno para ser verdad: por qué la ciencia vive una crisis

En mayo del año pasado, el número de trabajos de investigación sobre la Covid-19 se doblaba cada dos semanas. A este ritmo se han publicado ya más de 200.000 textos sobre el coronavirus, de los cuales más de 30.000 están todavía en la fase previa a su revisión por pares. Muchos de esos estudios son todavía demasiado recientes para haber pasado por una segunda revisión.

Y aun así, muchos de esos textos están siendo citados por científicos y periodistas, además de compartidos por millones de personas de todo el mundo. El cerebro humano parece ser el perfecto caldo de cultivo para teorías todavía no demostradas y, muy a menudo, demasiado buenas para ser ciertas.

Sólo un ejemplo. Hace un año, un estudio que aún no había pasado por su revisión por pares afirmó que un medicamento antiparasitario, la ivermectina, usada para tratar la oncocercosis en el África subsahariana y los piojos en el resto del mundo, podía ser eficaz contra el SARS-CoV-2.

Si esto hubiera sido cierto habría sido un regalo del cielo. La ivermectina es barata, está aprobada como antiparasitario por la Administración de Medicamentos y Alimentos estadounidense (la FDA) y es un producto ampliamente disponible en todo el planeta.

Pero el estudio de la ivermectina no pasó el filtro de su revisión, y no hay pruebas claras de que tenga algún efecto en humanos contra la enfermedad. Como la hidroxicloroquina (una droga contra la malaria que fue publicitada como cura por Donald Trump durante su mandato), la ivermectina no tiene efectos clínicos sobre la Covid-19.

Pero la verdad, por decirlo de alguna manera, ya estaba ahí fuera. La ivermectina se ha convertido en un meme de internet. Docenas de personas que se presentan a sí mismas como “científicos” acumulan millones de visitas en YouTube hablando de los supuestos beneficios de la ivermectina contra la Covid y diciendo que las compañías farmacéuticas censuran esta información para que sus beneficios por la venta de vacunas no se vean afectados.

En muy poco tiempo, un solo estudio que ni siquiera ha superado su revisión por pares se ha convertido en la nueva lejía. O, en términos históricos, en el nuevo aceite de serpiente.

Durante los pasados 18 meses han colisionado dos epidemias. Por un lado, el virus SARS-CoV-2, que era nuevo, aterrador y que mutaba constantemente. La presión para obtener respuestas era abrumadora. Por el otro lado, la ciencia y la medicina pasaban por su propia crisis.

Muchos estudios icónicos, especialmente en mi campo, el de la psicología, han intentado ser replicados por otros científicos. Pero sus resultados no han podido ser confirmados.

Cuando impactó la epidemia de Covid-19 había una sed desesperada de información y eso generó una avalancha de nuevos estudios. Pero también había poco tiempo y menos aún la paciencia necesaria para aplicar la mínima diligencia exigible. Es decir, la que hace falta para replicar el experimento y comprobar que este produce los mismos resultados que el experimento original.

Ahora que la tasa de infección de la Covid-19 se está ralentizando, es un buen momento para comprobar qué tipo de estudios muestran una gran capacidad de permanencia, a pesar de que parecen imposibles de replicar. Son esos que, una vez que ven la luz, siguen vivos en forma de rumor y transmiten desinformación gracias a su apariencia de ciencia.

Muchos de nosotros creemos que la ciencia progresa en línea recta. Pero en realidad lo hace en zigzag. Por un instante, surge una hipótesis que cambia nuestra visión sobre determinado tema. Pero si falla a la hora de ser confirmada por pruebas adicionales, desaparece de nuestra vista y otra hipótesis ocupa su lugar. Avanzamos hacia adelante y hacia arriba, en pasos infinitesimales.

Pero esta trayectoria parece haber cambiado su curso recientemente. Los estudios con más capacidad para atraer la atención son publicados rápidamente. La prensa y otros investigadores se apuntan a ellos. A veces derivan en una charla TED o en el contrato para un libro. Las redes sociales ayudan a convertirlos en meme. Un meme sorprendente, fácil de entender y pegajoso como un buen chismorreo. Si la información toca además un punto caliente, como el miedo latente a las agujas hipodérmicas, la contaminación o el miedo a hablar en público, y además presenta una manera fácil de librarse de estas ansiedades, mucho mejor.

En algún punto del camino, sin embargo, otro equipo de investigadores ha repetido el experimento y no ha obtenido los mismos resultados. Pero un resultado negativo no suele ser noticioso. Y, en cualquier caso, el dato sorprendente ya ha calado en nuestra psique colectiva.

Y este es sólo uno de los caminos por los que hallazgos llamativos como el de la ivermectina continúan recibiendo atención incluso después de haber sido desacreditados.

Ahora, un fascinante nuevo estudio de la Universidad de California San Diego dirigido por el economista del comportamiento Uri Gneezy y por Marta Serra-García muestra que los experimentos que no pudieron ser replicados tienen más influencia a largo plazo que los que sí pudieron serlo.

En otras palabras. Cuanto más interesante y aparentemente novedosa suene la idea, más será citada por otros científicos y por los medios de comunicación, y menos probable será que sea replicada con éxito.

¿Existe una relación directa entre la capacidad de sorprender de un estudio determinado y su capacidad para ser replicado con éxito? En Nature y Science, dos revistas científicas respetables y de muy alto nivel, los estudios no replicables fueron citados 300 veces más que los replicables.

El estudio de Gneezy y Serra-García, publicado en mayo en la revista Science Advances, analizó los hallazgos de tres proyectos de replicación masiva. Dos de ellos dirigidos por el profesor de Psicología Brian Nosek, del Center for Open Science de la Universidad de Virginia, y el tercero dirigido por el economista del comportamiento Colin Camerer en el California Institute of Technology.

Los tres se centraron en experimentos de ciencia social publicados en revistas científicas de prestigio. Científicos voluntarios del mismo campo repitieron los experimentos seleccionados con la esperanza de dar con los mismos resultados, igual que haría un cocinero que intentara replicar sus recetas cocinando el mismo plato en una cocina diferente y con utensilios alternativos para comprobar si saben y tienen la misma pinta que el original.

Para comprobar la relación de la replicabilidad de un estudio con su popularidad, el profesor Gneezy y la profesora Serra-García emparejaron los resultados de los estudios originales con sus citas en Google Scholar, empezando aproximadamente en 2008 y acabando en 2019. Aunque no seleccionaron con ninguna intención los estudios más llamativos, comprobaron que sólo el 39% de los estudios de psicología, el 61% de los económicos y el 62% de los publicados en Nature y Science eran replicables.

Sin embargo, y durante una década, los estudios que no pudieron ser replicados fueron citados 16 veces más que los que sí pudieron ser replicados, sin que hubiera un cambio significativo en esa proporción después de demostrarse que los primeros no habían podido ser replicados con éxito.

“Los estudios que no pudieron ser replicados fueron citados mucho más frecuentemente que los estudios que sí pudieron serlo” me dijo el profesor Gneezy. “Si las citas son un indicador de cuán sexy es una idea, entonces lo que hemos demostrado es que los estudios que más interesan y que reciben la mayor parte de la atención son aquellos con menos probabilidades de ser ciertos”.

Algunos de los estudios de ciencias sociales que no pudieron ser replicados incluyen uno que sostiene que morder un lápiz entre tus dientes, forzando una sonrisa, te hace sentir feliz. Sólo uno de 18 laboratorios pudo replicar este resultado (la cosa sólo funciona, aparentemente, si nadie te está mirando).

Y no sólo la expresión facial es capaz de generar emociones, sino también la postura corporal, de acuerdo a un estudio de postureo empoderador. La idea de que posar como un triunfador (con las piernas abiertas y los brazos en V) puede disparar la autoconfianza y disparar los niveles hormonales (o ayudar a controlar los nervios antes de una charla en público o de una entrevista de trabajo) se ha convertido en el emblema de la crisis de replicación, principalmente porque parece ofrecer una solución sencilla al miedo al fracaso, tan común en mucha gente. A pesar de que los resultados del estudio sobre el postureo empoderador no pudieron ser replicados, este continúa encabezando todas las listas de estudios científicos más citados. Una charla TED sobre el tema acumula ya 61 millones de visitas.

La tesis de la amenaza del estereotipo (una manera cuqui de decir que creer en estereotipos sobre tu género, la raza o los grupos étnicos se convierte en una profecía autocumplida) también ha sido imposible de replicar. Un ejemplo: la idea de que la creencia de que las chicas son malas en matemáticas afecta a su desempeño con las matemáticas ha sido estudiada en profundidad y es creída masivamente. Pero las muchas réplicas que se han hecho del estudio han sido incapaces de reproducir sus resultados originales. A pesar de ello, el estereotipo de la amenaza ha acabado empapando las políticas pedagógicas, los programas educativos e incluso las pruebas de acceso de algunas universidades.

Varios estudios sobre la mentalidad de crecimiento, la investigación de los sesgos implícitos y el agotamiento del ego se han mostrado muy endebles en sus revisiones, aunque sí han demostrado ser exquisitamente sensibles al contexto y a los matices estadísticos. Por seguir con la metáfora culinaria, estos estudios parecen ser suflés que sólo suben cuando la temperatura es la correcta. O puede que, lisa y llanamente, sean falsos. En cualquier caso, ahí siguen. En la literatura científica, en las modas educativas y empresariales, y en la imaginación del público.

El estudio de Gneezy y la profesora Serra-García se centró en las ciencias sociales. Pero el fenómeno de la no replicabilidad ha llegado también al terreno de las ciencias naturales, de la economía y de la medicina.

Aquí va un pequeño ejemplo.

Un estudio publicado en la revista Nature el año pasado informaba de que una pequeña molécula inhibitoria podía dificultar la formación de la proteína tau, una señal de Alzheimer. A pesar de que el estudio no pudo ser replicado, ha sido citado 605 veces en estudios publicados por otros científicos.

De forma similar, un estudio en animales que parecía mostrar un tratamiento eficaz de la diabetes tipo 1 en base a la combinación de dos drogas, un neurotransmisor y un medicamento contra la malaria, despertó esperanzas cuando fue publicado en la revista Cell en 2017. Dos prestigiosos equipos intentaron reproducir el experimento y fallaron. Aun así, el estudio ha sido citado 238 veces.

Otros hallazgos que no pasaron el corte incluyen el estudio que habla de un 21% de incremento en la posibilidad de éxito del jugador que chuta primero en las tandas de penaltis, publicado en 2010 en la revista American Economic Review. El estudio ha sido citado 438 veces por otros estudios científicos, por no mencionar las innumerables veces que ha sido mencionado en retransmisiones deportivas.

¿Por qué ocurre esto? Los responsables del estudio publicado en Science Advances especulan con la posibilidad de que los editores, quizá de forma inconsciente, pasan por alto los problemas metodológicos en estudios que muestran un atractivo intuitivo.

Esos estudios pueden ser atractivos por sorprendentes o por sugerir una solución fácil a un problema complejo. La ivermectina para la Covid-19, el postureo empoderador, la amenaza de los estereotipos y la ventaja del primer lanzador de penaltis cumplen ambas condiciones. Una vez publicadas, estas tesis adquieren vida propia y ganan momentum. “Afirmaciones extraordinarias requieren pruebas extraordinarias” dijo el astrónomo estadounidense Carl Sagan. Cuando nuestras expectativas son altas, también debe serlo la carga de la prueba.

Aun así, es un poco exagerado llamar a esto “crisis”. El entusiasmo por la replicación y el incremento de los intentos de confirmar los hallazgos más golosos son una buena noticia. El profesor Nosek, director ejecutivo del Center for Open Science, no parece preocupado.

“Esto no es más que la comunidad científica escrutándose a sí misma” ha dicho. “No es sorprendente que las tesis que intentan romper barreras fallen a la hora de ser replicadas. Así es como debería ser. Debemos intentar cosas que muy probablemente no son ciertas. Y entonces investigar si lo son”.

Susan Pinker es psicóloga. Este artículo apareció publicado por primera vez el 10 de julio de 2021 en The Globe and Mail.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *