¿El mayor estudio del mundo hará perder la confianza en los resultados de investigación?
Una investigación a gran escala, en la que han participado 865 investigadores, ha permitido determinar en qué medida las personas y los sistemas automatizados pueden predecir si los resultados de investigación son reproducibles. La iniciativa SCORE (Systematizing Confidence in Open Research and Evidence) puso en conjunto una gran base de datos sobre la credibilidad de una amplia muestra de resultados científicos. Los resultados de esta investigación se presentaron el 1 de abril en la revista «Nature» a través de tres artículos.
Descifrar las claves de la fiabilidad de la investigación
En el primer(se abrirá en una nueva ventana) artículo se evaluó la reproducibilidad de los estudios, es decir, si un grupo diferente de investigadores analiza de nuevo los datos originales de un experimento y obtiene los mismos resultados. En el segundo(se abrirá en una nueva ventana) se analizó la fiabilidad de los estudios originales. Ello conllevó evaluar en qué medida los datos originales de un estudio reproducen los resultados ya publicados cuando se analizan con métodos alternativos. En el tercero(se abrirá en una nueva ventana) se examinó la replicabilidad, esto es, si otros investigadores confirman los resultados al repetir el experimento. El equipo de SCORE evaluó la fiabilidad de las afirmaciones hechas en 3 900 artículos científicos publicados entre 2009 y 2018 en 62 revistas diferentes, con temas que abarcan desde las ciencias políticas y la educación hasta las finanzas y la salud. El Center for Open Science (COS) coordinó el muestreo de las afirmaciones, la recopilación de medidas de credibilidad y la ejecución de estudios de replicación y reproducción. «Se trata del mayor proyecto de investigación realizado hasta la fecha para analizar la fiabilidad de los resultados científicos publicados, y constituye un ejemplo de cómo las colaboraciones a gran escala pueden contribuir a abordar cuestiones que ningún grupo de investigación podría hacer por sí solo», manifestó a «Forbes»(se abrirá en una nueva ventana), Gustav Nilsonne, profesor titular de Neurociencia en el Instituto Karolinska de Suecia y coautor de los tres artículos. «Espero que en el futuro se lleven a cabo intentos de replicación sistemáticos en más ámbitos de la investigación».
Revelar las debilidades ocultas de la ciencia
En términos generales, solo alrededor de la mitad de los resultados publicados previamente pueden ser replicados por nuevos estudios. Los resultados revelaron que la reproducibilidad, la consistencia y la replicabilidad representan aspectos distintos de la fiabilidad de la investigación, y que las afirmaciones publicadas varían en su capacidad para sostenerse frente a estas distintas formas de evaluación. «El mensaje principal de SCORE es sencillo: la investigación es compleja y, en cierto modo, el trabajo más exigente comienza después de hacer un descubrimiento», comentó Tim Errington, director principal de investigación en el COS y uno de los coordinadores de la iniciativa SCORE, en un comunicado de prensa(se abrirá en una nueva ventana). «Se requiere un enorme esfuerzo para verificar los nuevos descubrimientos y alcanzar un nivel de confianza suficiente que permita utilizarlos como base para nuevas investigaciones». «Existen numerosas cuestiones abiertas sobre los factores que favorecen la credibilidad y la repetibilidad de los resultados de investigación», comentó Fiona Fidler, profesora titular en la Universidad de Melbourne (Australia) y coordinadora del proyecto SCORE. «Al igual que muchas iniciativas de investigación productivas, SCORE generó conocimientos y ha suscitado aún más preguntas sobre cómo evaluar la investigación en la práctica». Sarah Rajtmajer, coordinadora del proyecto SCORE y profesora titular en la Universidad Estatal de Pensilvania (Estados Unidos), explicó: «Gracias a la contribución de casi novecientos investigadores, el programa SCORE aporta una enorme cantidad de pruebas para analizar los datos y formular nuevas hipótesis para la siguiente fase de investigación. Los datos y materiales son de acceso público para que otros puedan continuar este trabajo». SCORE contribuirá a mejorar la interpretación y la comunicación de los hallazgos científicos, apoyando a autores, revisores, entidades financiadoras, responsables políticos y lectores a comprender y aplicar mejor los resultados. Al mejorar la evaluación de la credibilidad, SCORE ayudará a orientar la atención y los recursos hacia ámbitos de alto impacto. Esto promoverá la generación de conocimiento y de soluciones.
