Abbiamo deciso di riproporre in lingua italiana un prezioso intervento di Mario Biagioli apparso su Nature qualche tempo fa. Così l’Autore – che ringraziamo per aver acconsentito alla pubblicazione della traduzione – ne presenta i contenuti: “La cultura del ‘publish or perish’ è spesso chiamata sul banco degli imputati quando gli scienziati si macchiano di condotte illecite. Alcuni ricercatori non rispettano le regole, aggiustano dati e immagini o s’inventano risultati per guadagnare la pubblicazione dei propri articoli scientifici e i premi conseguenti. Tutto ciò è appropriatamente definito una condotta illecita. Ma si registra una inedita tipologia di cattivi comportamenti, determinata da un fattore diverso, ma collegato a quello ricordato, che si potrebbe definire “impact or perish”.
Agli scienziati non basta più pubblicare i propri lavori. E’ imperativo che il lavoro pubblicato sia collocato in uno scaffale editoriale che gli conferisca prestigio e influenza. Questa tensione per l’impatto di quanto si pubblica colloca gli articoli scientifici al centro di una rete di metriche che guardano tipicamente a dove si pubblica e a quante volte il lavoro viene citato. Ottenere un buon punteggio attraverso l’applicazione di queste metriche diventa un obiettivo che gli scienziati e gli editori sono disposti a raggiungere barando.
Sul piano collettivo o aggregato, queste nuove pratiche non sono più fondate, come un tempo, sulla produzione di articoli contenenti prove e conclusioni fraudolente. Piuttosto, sono impiegati strumenti fraudolenti per ottenere che l’articolo sia pubblicato, aumentarne l’impatto e gonfiare l’importanza di quanti scrivono con l’autore della pubblicazione incriminata. Sono pratiche assai diffuse. Gli scienziati non devono affannarsi a cercarle, perché di esse esiste un’evidenza quotidiana. La sezione notizie ospitata dalle riviste scientifiche ospita ormai regolarmente liste di autori che indicano quali candidati suggeriti per la peer review del proprio articolo nominativi cui corrispondono falsi indirizzi mail. Lo fanno per poter poi utilizzare quegli indirizzi per fornire revisioni che siano in grado di garantire che l’articolo ottenga la pubblicazione. Il circolo delle revisioni e citazioni si spinge anche oltre, arrivando a scambiare false review in cambio di citazioni da parte dell’autore del pezzo oggetto della falsa review. Altri manipolano le banche dati degli editori in modo da ottenere più inviti a effettuare review di articoli, e in tal modo inserire più citazioni dei propri articoli.
Tutte le metriche della valutazione scientifica sono destinate a essere oggetto di abuso. La legge di Goodhart (che prende nome dall’economista inglese che si dice sia stato il primo a declamarla) afferma che quando un parametro dell’economia è selezionato per diventare un indicatore economico, quel parametro cessa automaticamente di funzionare come indicatore perché le persone iniziano ad agire conoscendo la rilevanza di quell’indicatore, per falsare i dati che ne alimentano la misura.
Ciò che è dato osservare oggi, tuttavia, non è solo riducibile al tentativo di falsare metriche e indicatori scientifici. Emerge un nuovo tipo di frode resa possibile dall’impiego delle metriche, che si attua attraverso condotte abusive successive alla “submission” della pubblicazione. Essa appare diffusa quanto altre forme di frodi, come dimostrano almeno 300 lavori ritirati perché la loro peer review risultava attinta da questo genere di comportamento abusivo.
Tratto notevole di questo tipo di condotta abusiva è che essa non riguarda il cuore del lavoro scientifico, ossia il merito scientifico che l’articolo discute. I responsabili di questo tipo di condotte abusive riguardanti lavori già pubblicati tentano di guadagnare valore scientifico non dal contenuto dell’articolo, ma dalle citazioni che l’articolo riceve. Dal loro punto di vista, non è importante che il loro articolo sia davvero letto da uno scienziato, ma solo che le citazioni ricevute dall’articolo siano catturate dai ragni che setacciano la rete a caccia di metadati.
Il che significa che, diversamente dalle frodi sui dati e da altre forme di comportamenti abusivi tradizionali, l’abuso successivo alla pubblicazione non implica necessariamente contaminare il prodotto scientifico con risultati falsi. Si tratta però di una pratica che mina la credibilità del sistema di pubblicazione. Che è particolarmente diffusa nei paesi emergenti, forse perché le università di quei paesi assegnano molta enfasi alle metriche per riuscire a diventare rapidamente visibili sul piano globale.
Come affrontare il problema? L’abuso in tempi successivi alla pubblicazione non è opera di singoli individui – magari del giovane e ambizioso allievo iperproduttivo che è abituato ad operare senza farsi soverchi scrupoli sotto le ali protettive di un maestro riconosciuto – ma emerge sempre più spesso nell’ambito di collaborazioni. E pertanto le sue tracce non sono suscettibili di essere portate alla luce dalla peer review, che – a sua volta – è essa stessa sovente attinta da questi schemi fraudolenti.
Lo smascheramento di network citazionali e di manipolazioni della peer review si deve generalmente alla analisi dei dati – formulazione delle review, numero di volte in cui le review vengono modificate, modelli citazionali, rapporti di coautoraggio fra autori e revisori. Molti di questi dati possono essere scoperti da gruppi di ricerca che scansionano attentamente i portali delle riviste scientifiche. Ma gli editori considerano proprietarie questo tipo di informazioni. Ne discende che, quando vengono scoperte delle irregolarità e un articolo viene ritirato, i dettagli forniti sono pochissimi, anche perché questo tipo di analisi fa emergere tutte le pecche e le fragilità dei loro sistemi e dei servizi che gli editori offrono alle comunità scientifiche. Ed è per questo che la nuova generazione di controllori diffusi sulla rete, come Retractionwatch e Pubpeer, è venuta assumendo un ruolo così importante.
Data la crescente consapevolezza del ripetersi di illeciti successivi alla pubblicazione e del loro effetto sulla valutazione della ricerca finanziata con fondi pubblici, i finanziatori della ricerca, i decisori politici e la comunità scientifica dovrebbero esigere dagli editori che rendessero disponibili tutte le informazioni necessarie per effettuare investigazioni approfondite sul problema.
La comunità scientifica deve acquisire consapevolezza che, diversamente dai protagonisti delle frodi del passato, come lo sconosciuto mistificatore che nel 1912 seppellì un mucchio di ossa in un pozzo di ghiaia a Piltdown per poter affermare di aver portato alla luce la prova che l’Inghilterra fosse stata la culla del genere umano, o come Paul Kammerer, che venne ritenuto responsabile di aver inciso con l’inchiostro le zampe di alcuni Afiti (una rara specie di rane) a supporto della teoria dell’evoluzionismo lamarckiano, le condotte abusive nell’accademia non sono più perpetrate per attirare l’attenzione. Molti autori di frodi accademiche non sono spinti dal desiderio di conquistare prestigiosi spazi di visibilità sulle pubblicazioni scientifiche di alto profilo. E’ troppo rischioso. Costoro invece cercano di produrre – ricorrendo al plagio o corrompendo il sistema della peer-review – pubblicazioni che siano quasi invisibili, ma che possano conferire loro il tipo di curriculum scientifico che sappia soddisfare le metriche di produttività elette a paradigma vincente dalle loro istituzioni accademiche. Insomma: puntano in alto, ma non troppo.
Non diversamente le loro istituzioni – tipicamente non le Università più prestigiose del mondo, ma quelle che tentano disperatamente di entrare nelle fasce alte delle classifiche. Sono proprio queste le istituzioni che abbracciano con irrefrenabile entusiasmo le metriche accademiche, e che in tal modo finiscono per incentivare le condotte abusive che avvengono in tempi successivi alla pubblicazione. La cultura dell’audit delle Università – l’innamoramento di queste ultime per le metriche, gli impact factor, le statistiche citazionali e le classifiche – non si limitano a incentivare queste nuove forme di comportamenti deprecabili. Ne identificano fatalmente la vera ragion d’essere.
“Tutte le metriche della valutazione scientifica sono prima o poi destinate ad essere oggetto di abuso.”
Traduzione di Umberto Izzo, con la collaborazione di Paola Galimberti
Nature 535, 201 (14 July 2016) doi:10.1038/535201
https://www.nature.com/news/watch-out-for-cheats-in-citation-game-1.20246
E’ un sogno (o meglio un incubo) che si possa fare il bene in base ad una norma astratta. Che buona parte della comunità accademica accetti cose del genere sembra proprio essere, come si usa dire, un segno dei tempi. Non e’ possibile evitare il confronto, il ragionamento, la presa di responsabilità. Era quello che avveniva ad Atene. Ai nostri tempi, sembrano siano pochi ad averlo capito. Mi sovviene la storia del Golem, un mostro vivente senza anima della tradizione ebraica, che solo grazie ad uno cosciente sforzo di intelligenza del suo creatore ritorna sotto controllo dell’uomo.
Era tutto prevedibile. La comunità scientifica ha un grande demerito: di non aver agito compatta per impedire ciò. In realtà, alcuni erano ‘attrezzati’ per questi modi … e hanno fatto carriera…
E’ proprio questo il punto. La mediocre minoranza del mondo Universitario è diventata paladina della valutazione perchè sapeva solo pubblicare e ricercare citazioni. Gli altri si sono accodati per vigliaccheria, sottovalutazione, o banalmente per trarne vantaggi. Il risultato è che hanno acquisito prestigio solo questi mediocri incapaci manipolatori del potere politico debole ed inconsapevole. Ricordiamo un membro della prima ANVUR che disse: “…curarne uno per curarli tutti..” E noi ci siamo fatti curare.