Czy największa analiza na świecie sprawi, że stracimy zaufanie do wyników badań?
Ogromny projekt naukowy gromadzący 865 badaczy ujawnia, w jakim stopniu ludzie i maszyny są w stanie przewidzieć, czy wyniki badań są powtarzalne. Zespół projektu badawczego działającego pod nazwą SCORE (Systematizing Confidence in Open Research and Evidence) zgromadził olbrzymią bazę danych gromadzącą informację na temat wiarygodności wyników wielu badań. Rezultaty prac zostały przedstawione na łamach czasopisma „Nature” dnia 1 kwietnia w trzech niezależnych artykułach.
Badanie wiarygodności badań
Autorzy pierwszego(odnośnik otworzy się w nowym oknie) artykułu oceniali powtarzalność badań - proces, w którym inna grupa badaczy ponownie analizuje oryginalne dane z doświadczenia i przeprowadzając je ponownie uzyskuje zbieżne rezultaty. Drugi(odnośnik otworzy się w nowym oknie) artykuł badał rzetelność oryginalnych badań. Badacze skupili się na ocenie, czy oryginalne dane z badania przekładają się na te same rezultaty, gdy są analizowane przy pomocy alternatywnych metod odpowiadających metodom zastosowanym w ramach opublikowanego doświadczenia. Trzecia(odnośnik otworzy się w nowym oknie) publikacja dotyczyła możliwości powielania badań - autorzy sprawdzali, czy inni badacze będą w stanie potwierdzić rezultat podczas powtarzania doświadczenia. Zespół SCORE ocenił wiarygodność twierdzeń, które padły w 3 900 artykułach opublikowanych w latach 2009-2018 w 62 czasopismach o różnej tematyce, od nauk politycznych i edukacji po finanse i zdrowie. Centrum Otwartej Nauki koordynowało gromadzenie twierdzeń i miar wiarygodności oraz przeprowadzanie badań replikacyjnych i reprodukcyjnych. „Był to jak dotąd największy na świecie projekt badawczy badający wiarygodność wyników badań naukowych i przykład tego, jak współpraca zakrojona na szeroką skalę może prowadzić do odpowiedzi na pytania, na które żadna pojedyncza grupa badawcza nie byłaby w stanie odpowiedzieć samodzielnie”, wyjaśnia Gustav Nilsonne, profesor nadzwyczajny i neuronaukowiec szwedzkiego Karolinska Institutet, a także współautor wszystkich trzech artykułów, w wypowiedzi dla portalu Forbes(odnośnik otworzy się w nowym oknie). „Mam nadzieję, że w przyszłości będziemy świadkami systematycznych prób powielania badań w większej liczbie dziedzin”.
Ujawnianie niedociągnięć w nauce
Analizy wskazują, że jedynie około połowa opublikowanych dotychczas rezultatów jest powtarzalna w ramach nowych badań. Badacze wykazali, że powtarzalność, rzetelność i możliwość replikacji stanowią różne aspekty wiarygodności badań, a opublikowane twierdzenia w różnym stopniu poddają się ocenie pod kątem każdego z trzech aspektów. „Głównym morałem płynącym z projektu SCORE jest stwierdzenie, że badania naukowe są trudne. Można stwierdzić wręcz, że najcięższa praca zaczyna się już po dokonaniu odkrycia”, zauważa Tim Errington, dyrektor ds. badań w Centrum Otwartej Nauki i jeden z liderów projektu SCORE, którego wypowiedź została przytoczona w informacji prasowej(odnośnik otworzy się w nowym oknie). „Potrzeba ogromnego wysiłku, aby weryfikować nowe odkrycia z odpowiednio wysokim przedziałem pewności, by położyć podwaliny pod dalsze odkrycia”. „Istnieje wiele otwartych pytań dotyczących czynników, które sprzyjają wiarygodności i powtarzalności wyników badań”, dodaje Fiona Fidler, liderka projektu SCORE i wykładowczyni Uniwersytetu w Melbourne (Australia). „Podobnie jak wiele produktywnych projektów badawczych, także projekt SCORE zaowocował spostrzeżeniami i nowymi pytaniami na temat oceniania badań w praktyce”. Sarah Rajtmajer, liderka projektu SCORE i profesor nadzwyczajna na Uniwersytecie Stanowym w Pensylwanii (Stany Zjednoczone), wyjaśnia: „Dzięki pracy niemal 900 badaczy, projekt SCORE zgromadził ogromną ilość danych pozwalających na prowadzenie analiz i opracowanie hipotez na potrzeby następnej rundy badań. Dane i materiały są dostępne publicznie, aby inni mogli korzystać z naszej pracy”. Rezultaty projektu SCORE poprawią sposób interpretacji badań i informowania o ich wynikach, wspierając autorów, recenzentów, sponsorów, decydentów i czytelników w lepszym rozumieniu i stosowaniu dowodów. Poprawiając ocenę wiarygodności, zespół zwraca uwagę na obszary o istotnym oddziaływaniu, przyspieszając generowanie wiedzy i rozwiązań.
