Paul Sutter, un astrofisico e giornalista scientifico, autore di un bel libro dal titolo Rescuing Science: Restoring Trust in an Age of Doubt che commenteremo nelle prossime settimane, ha pubblicato un estratto da questo libro su Arstecnica. Tema dell’articolo è la peer review e il suo valore e la sua efficacia in un contesto che si basa sempre più sull’uso del computer, che non riconosce il lavoro dei revisori e dove il sistema del publish or perish (affrontato in maniera approfondita nel libro) immette sul mercato una quantità di articoli scientifici difficilmente gestibile (e anche leggibile) da revisori che sono anche e soprattutto autori sottoposti al giogo del publish or perish.
Riguardo al primo punto l’autore sottolinea il fatto che migliaia di pubblicazioni si basano sull’uso di software e codici che non vengono resi pubblici (neppure ai revisori) per cui risulta difficile valutare i risultati descritti nelle pubblicazioni. Perché codice e software non vengono resi pubblici? Perché a nessuno a quanto pare importa di ciò, perché la attività di renderli pubblici costa tempo che non viene impiegato nella stesura di articoli e perché non c’è un riconoscimento del tempo speso in questa attività.
La indisponibilità di codice e software non solo non permette ai revisori di individuare eventuali frodi intenzionali, ma neppure errori casuali, e questo rende la revisione una attività che parte da un atto di fede nella impostazione della macchina da parte dell’autore.
Fintanto che i risultati appaiono corretti, si procede alla pubblicazione e i revisori paritari la accettano. E la scienza ne esce peggiorata.
Una alternativa ad una peer review che sembra non riuscire più ad individuare gli errori (sia quelli casuali che quelli volontari, che prendono il nome di frode scientifica) sono i replication studies.
Nel 2012 Beagley e Ellis pubblicano un articolo su Nature in cui denunciano la irriproducibilità di 47 su 53 importanti studi sul cancro prodotti dal Dana Farber Cancer Institute (Boston).
Sutter ci dice però che i replication studies non sono molto interessanti per i ricercatori, perché non portano ad un avanzamento della scienza, ma nel migliore dei casi confermano lo stato dell’arte, richiedono molto tempo, sono poco citati e non sempre tutta la documentazione per la replica di un esperimento è a disposizione.
I replication studies non vengono pubblicati su riviste ad alto fattore di impatto e gli autori di questi studi non ricevono tante citazioni per il loro lavoro. Ciò significa che il loro h-index resta più basso, e ciò riduce le loro possibilità di ottenere finanziamenti e promozioni.
Abbiamo visto in queste pagine come la scienza abbia i propri meccanismi di autocorrezione, ma retractions o corrections, esito di analisi ex-post, richiedono moltissimo tempo, e non possono cancellare gli effetti della applicazione di una ricerca errata. Inoltre non è detto che la peer review ex post funzioni davvero, perché i ricercatori non hanno assolutamente il tempo di leggere approfonditamente neppure ciò che citano.
Nessuno ha il tempo di leggere tutti gli articoli più importanti del proprio settore. È un’ondata continua di analisi, matematica, gergo, trame e parole, parole, parole. Ogni scienziato scrive il più possibile, senza approfondire veramente la letteratura esistente, aggiungendo rumore al rumore.
Questo apre la strada alla frode scientifica. La testimonianza di Diederik Stapel nel libro che racconta la sua storia è emblematica
Ero solo nel mio elegante ufficio presso l’Università di Groningen…. Aprii il file che conteneva i dati della ricerca che avevo inserito e cambiai un 2 del tutto inaspettato in un 4…. Guardai la porta. Era chiusa…. Guardai la matrice con i dati e feci clic con il mouse per eseguire le relative analisi statistiche. Quando vidi i nuovi risultati, il mondo era tornato a essere logico. (Diederik Stapel Ontsporing]
Spesso il confine fra scienza buona e cattiva non è completamente chiaro né netto:
Se vi rifiutate di rendere pubblico il vostro codice per permettere le verifiche, state commettendo una frode? O state giustamente proteggendo il vostro investimento nella ricerca? Se avete dovuto stravolgere l’analisi per ottenere un risultato pubblicabile, state commettendo una frode? O semplicemente siete arrivati alla fine alla risposta che sapevate di ottenere comunque? Se smettete di controllare che il vostro lavoro non contenga errori, state commettendo una frode? O semplicemente… avete finalmente finito, dopo mesi di duro lavoro? Se ritirate il vostro articolo dopo averlo sottomesso perché il referee stava diventando troppo critico, state commettendo una frode? O è la vostra protesta contro un revisore irragionevole?
Nessuno sembra avere interesse a cambiare o rendere migliore il sistema attuale. Fintanto che gli avanzamenti di carriera e i finanziamenti sono assicurati né i ricercatori né le loro istituzioni sono incentivati a cambiare le cose, e meno di tutti lo sono gli editori, i quali da questo sistema malato incassano miliardi ogni anno.
Ciononostante qualche segno, per lo meno di una presa di coscienza che esiste un problema, lo possiamo individuare nel lavoro scrupoloso fatto dai science sleuths come Bik, Albakina, Bishop ecc., nelle dimissioni di interi editorial board e nella decisione di fondare iniziative interamente gestite dalle istituzioni.
