La plus grande enquête du monde nous fera-t-elle perdre confiance dans les résultats de la recherche?
Un effort massif impliquant 865 chercheurs a révélé dans quelle mesure les humains et les machines sont capables de prédire si les résultats d’une recherche peuvent être reproduits. Ce projet de recherche connu sous le nom de SCORE (Systematizing Confidence in Open Research and Evidence) a rassemblé une énorme base de données d’informations relatives à la crédibilité d’un large échantillon de résultats. Les résultats ont été présentés dans la revue «Nature» le 1er avril sous la forme d’une collection de trois articles.
Déterminer le code de fiabilité de la recherche
Le premier(s’ouvre dans une nouvelle fenêtre) article a évalué la reproductibilité, c’est-à-dire le fait qu’un autre groupe de chercheurs analyse à nouveau les données originales d’une expérience et obtienne les mêmes résultats. Le deuxième(s’ouvre dans une nouvelle fenêtre) a examiné la robustesse des études originales. Il s’agissait d’évaluer dans quelle mesure les données originales d’une étude produisent les mêmes résultats lorsqu’elles sont analysées à l’aide d’autres méthodes, correspondant à celles de l’expérience publiée. Le troisième(s’ouvre dans une nouvelle fenêtre) s’est intéressé à la réplicabilité: d’autres chercheurs confirmeront-ils les résultats en répétant l’expérience? SCORE a évalué la fiabilité des affirmations issues de la recherche dans 3 900 articles publiés entre 2009 et 2018 dans 62 revues différentes, dans des domaines allant des sciences politiques à l’éducation, en passant par la finance et la santé. Le Center for Open Science (COS) a coordonné l’échantillonnage de ces affirmations, la collecte des mesures de crédibilité et l’exécution des études de réplication et de reproduction. «Il s’agit du plus grand projet de recherche au monde à ce jour sur la fiabilité des résultats scientifiques rapportés, et d’un exemple de la manière dont les collaborations à grande échelle peuvent aborder des questions auxquelles aucun groupe de recherche ne pourrait répondre seul», déclare Gustav Nilsonne, professeur agrégé de neurosciences à l’Institut Karolinska de Suède et coauteur des trois articles, à «Forbes»(s’ouvre dans une nouvelle fenêtre). «J’espère que nous verrons à l’avenir des tentatives de réplication systématique dans d’autres domaines de recherche.»
Révéler les failles cachées de la science
Dans l’ensemble, seule la moitié des résultats publiés précédemment peuvent être reproduits par de nouvelles études. Les résultats ont montré que la reproductibilité, la robustesse et la réplicabilité reflètent chacune des aspects distincts de la fiabilité de la recherche, les affirmations publiées n’ayant pas toutes la même capacité à résister à ces différentes formes d’évaluation. «Le message principal de SCORE est simple: la recherche est difficile. Et, d’une certaine manière, le travail difficile commence après la découverte», déclare Tim Errington, directeur principal de la recherche au COS et l’un des chefs du projet SCORE, dans un communiqué de presse(s’ouvre dans une nouvelle fenêtre). «Des efforts considérables sont nécessaires pour vérifier les nouvelles découvertes et avoir suffisamment confiance en elles pour jeter les bases de nouvelles découvertes.» «De nombreuses questions restent en suspens quant aux facteurs qui favorisent la crédibilité et la répétabilité des résultats de la recherche», ajoute Fiona Fidler, professeure à l’université de Melbourne, en Australie, qui dirige également le projet SCORE. «Comme beaucoup d’efforts de recherche productifs, SCORE a généré des idées et a suscité encore plus de questions sur la manière d’évaluer la recherche dans la pratique.» Sarah Rajtmajer, cheffe du projet SCORE et professeure agrégée à l’université d’État de Pennsylvanie aux États-Unis, explique: «Avec les contributions de près de 900 chercheurs, le programme SCORE fournit une énorme quantité de données à explorer et inspire des hypothèses pour le prochain cycle de recherche. Les données et les documents sont partagés publiquement afin que d’autres puissent s’appuyer sur ces travaux.» SCORE devrait améliorer la façon dont la recherche est interprétée et communiquée, en aidant les auteurs, les évaluateurs, les bailleurs de fonds, les décideurs politiques et les lecteurs à mieux comprendre et appliquer les données probantes. En affinant les évaluations de la crédibilité, il orientera l’attention et les ressources vers les domaines à fort impact, accélérant ainsi la production de connaissances et la recherche de solutions.
