La sonda più grande del mondo ci farà perdere la fiducia nei risultati della ricerca?
Uno sforzo massiccio che ha coinvolto 865 ricercatori ha rivelato in che misura gli esseri umani e le macchine sono in grado di prevedere se i risultati della ricerca possono essere replicati. Questo progetto di ricerca noto come SCORE (Systematizing Confidence in Open Research and Evidence) ha raccolto un enorme database di informazioni sulla credibilità di un ampio campione di risultati. I risultati sono stati presentati il 1° aprile sulla rivista «Nature» come una raccolta di tre articoli.
Decifrare il codice dell’affidabilità della ricerca
Il primo(si apre in una nuova finestra) articolo ha valutato la riproducibilità: se un diverso gruppo di ricercatori analizza nuovamente i dati originali di un esperimento e ottiene gli stessi risultati. Il secondo(si apre in una nuova finestra) ha esaminato la solidità degli studi originali. Si tratta di valutare quanto coerentemente i dati originali di uno studio producano gli stessi risultati se analizzati con metodi alternativi, corrispondenti a quelli dell’esperimento pubblicato. Il terzo(si apre in una nuova finestra) ha esaminato la replicabilità: altri ricercatori confermeranno i risultati ripetendo l’esperimento? SCORE ha valutato l’attendibilità delle affermazioni di ricerca di 3 900 articoli pubblicati tra il 2009 e il 2018 in 62 riviste diverse che spaziano dalle scienze politiche all’istruzione, dalla finanza alla salute. Il Center for Open Science (COS) ha coordinato il campionamento delle affermazioni, la raccolta delle misure di credibilità e l’esecuzione degli studi di replica e riproduzione. «Questo è il più grande progetto di ricerca al mondo che indaga sull’affidabilità dei risultati scientifici riportati e un esempio di come le collaborazioni su larga scala possano affrontare questioni a cui nessun gruppo di ricerca potrebbe rispondere da solo», ha dichiarato a «Forbes»(si apre in una nuova finestra) Gustav Nilsonne, professore associato di neuroscienze presso il Karolinska Institutet svedese e coautore di tutti e tre i lavori. «Spero che in futuro vedremo tentativi di replica sistematica in altri campi di ricerca».
Rivelare i difetti nascosti della scienza
Complessivamente, solo circa la metà dei risultati pubblicati in precedenza può essere replicata da nuovi studi. I risultati hanno mostrato che la riproducibilità, la robustezza e la replicabilità colgono aspetti distinti dell’affidabilità della ricerca, con affermazioni pubblicate che variano nella loro capacità di reggere sotto queste diverse forme di valutazione. «Il messaggio principale di SCORE è semplice: la ricerca è difficile. E, per certi versi, il lavoro duro inizia dopo aver fatto una scoperta», ha commentato Tim Errington, direttore senior della ricerca presso il COS e uno dei responsabili del progetto SCORE, in un comunicato stampa(si apre in una nuova finestra). «È necessario un enorme sforzo per verificare e avere sufficiente fiducia nelle nuove scoperte per costruire le basi per ulteriori scoperte». «Ci sono molte domande aperte sui fattori che favoriscono la credibilità e la ripetibilità dei risultati della ricerca», ha aggiunto un altro leader del progetto SCORE, Fiona Fidler, professoressa all’Università di Melbourne in Australia. «Come molti sforzi di ricerca produttivi, SCORE ha generato intuizioni e ha suscitato ancora più domande su come valutare la ricerca nella pratica». Sarah Rajtmajer, responsabile del progetto SCORE e professoressa associata presso la Pennsylvania State University negli Stati Uniti, ha spiegato: «Con i contributi di quasi 900 ricercatori, il programma SCORE fornisce un’enorme quantità di prove da esplorare e che ispirano le ipotesi per il prossimo ciclo di ricerca. I dati e i materiali sono condivisi pubblicamente in modo che altri possano basarsi su questo lavoro». SCORE dovrebbe migliorare il modo in cui la ricerca viene interpretata e comunicata, aiutando autori, revisori, finanziatori, responsabili politici e lettori a comprendere e applicare meglio le evidenze. Migliorando le valutazioni di credibilità, si indirizzeranno l’attenzione e le risorse verso campi ad alto impatto, accelerando la generazione di conoscenza e le soluzioni.
