I numeri tossici che minacciano la scienza

Trucchi, scandali e pericoli degli indicatori bibliometrici

28 ottobre 2011

“Numeri malvagi” è il singolare titolo di un articolo di D. N. Arnold e K. K. Fowler, apparso lo scorso marzo nelle Notices of the American Mathematical Society. Quali numeri possono essere giudicati malvagi persino dai matematici? Stiamo parlando degli indicatori bibliometrici, gli indici statistici usati per misurare l’impatto delle riviste scientifiche e degli articoli in esse pubblicati. Contando le citazioni ricevute dagli articoli scientifici, si può ricavare non solo un rating delle riviste, il cosiddetto impact factor, ma anche un rating dei singoli ricercatori, costituito dal numero totale delle citazioni o dal più elaborato h-index.

Finalmente dei ratings perfettamente oggettivi, capaci di premiare i meritevoli e impedire concorsi truccati? In realtà, esiste un vasta letteratura, che vede tra i suoi alfieri anche il premio Nobel per la chimica R.R. Ernst, la quale mette in guardia dall’uso degli indicatori bibliometrici come unico criterio per valutare i singoli ricercatori ai fini di reclutamento e carriera. Si sottolineano i rischi di giudicare la ricerca solo sulla base di notorietà e successo, a prescindere dalla valutazione dei contenuti. Si teme anche l’incentivazione di comportamenti opportunistici tesi a migliorare il proprio rating mediante accorgimenti astuti, ma inutili o persino dannosi per la scienza.

Come scalare l’Olimpo bibliometrico

L’articolo di Arnold e Fowler compie un salto di qualità. Non si limita a enunciare pericoli potenziali, ma svela i trucchi che consentono di scalare le vette dell’Olimpo bibliometrico attraverso il caso di Ji-Huan He, professore dell’Università di Donghua (Shanghai, Cina) e poi di Soochow (Suzhou, Cina) ed ex-direttore del comitato editoriale dell’International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS, ora con un nuovo comitato editoriale). Nel 2010, l’h-index di Ji-Huan He ha raggiunto un ragguardevole 39, superiore al valore mediano per i premi Nobel per la fisica, stimato intorno a 35. Inoltre, negli anni 2006-2009 la rivista da lui diretta ha ottenuto il miglior impact factor della categoria Matematica Applicata.

Concentrandosi sul 2008, Arnold e Fowler hanno rintracciato la provenienza delle citazioni che hanno contribuito all’altissimo impact factor della rivista, scoprendo che più del 70% proveniva da pubblicazioni scientifiche soggette alla supervisione editoriale dello stesso Ji-Huan He o di altri membri del comitato editoriale di IJNSNS. Complessivamente, stimano che l’impact factor della rivista (pari a 8.91 nel 2008) fosse sovrastimato di un fattore sette. Per quanto nel 2008 la Thomson-Reuters abbia segnalato Ji-Huan He come “astro nascente” nel campo della Computer Science, anche le sue citazioni e il suo h-index  suscitano perplessità. Per fare un esempio, è stato citato ben 353 volte in un singolo fascicolo della rivista Journal of Physics: Conference Series, un numero speciale di cui lo stesso Ji-Huan He era curatore.

Un’università egiziana supera Harvard e Stanford

Il professore egiziano Mohamed El Naschie è a sua volta protagonista di un caso che ha coinvolto un colosso dell’editoria scientifica e la cui onda lunga è arrivata a toccare una delle più famose classifiche internazionali delle università. Già nel 2009, D. N. Arnold, allora presidente della prestigiosa Society for Industrial and Applied Mathematics, aveva additato l’anomalia dei 307 articoli di El Naschie pubblicati nella rivista Chaos, Solitons and Fractals, diretta dallo stesso El Naschie. Sempre nello stesso anno, la casa editrice Elsevier rendeva note le dimissioni di El Naschie da direttore della rivista, successivamente rilanciata nel 2010 con un comitato editoriale interamente rinnovato.

La prolificità scientifica di El Naschie è riuscita ad influenzare persino la classifica delle università di Times Higher Education (THE). Nella classifica 2010, l’Università di Alessandria di Egitto si è piazzata al 147-esimo posto, guadagnandosi le pubbliche congratulazioni di Times Higher Education. Ma ancor più clamorosamente, nella sottocategoria “research influence”, misurata mediante le citazioni scientifiche, l’università di Alessandria si è classificata al quarto posto mondiale, davanti a Harvard e Stanford, venendo preceduta solo da Caltech, MIT e Princeton. Da subito, si veniva a sapere che lo straordinario risultato dipendeva dall’eccezionale produzione scientifica di un solo ricercatore, pubblicata in una sola rivista scientifica. Poche settimane dopo, in un articolo dedicato alla vicenda, il New York Times rivelava che si trattava proprio di El Naschie e della rivista da lui diretta. Dal 2009 esiste persino un blog (El Naschie Watch) dedicato interamente alle vicende di El Naschie.

Il Regno Unito non si fida

Oramai non sono più solo gli scienziati ad essere consapevoli dei rischi di un uso meccanico degli indicatori bibliometrici. Anche i politici e le agenzie di valutazione cominciano a percepire il problema. Nel Regno Unito, lo studio pilota finalizzato a predisporre le regole del prossimo programma nazionale di valutazione della ricerca, il cosidddetto REF (Research Excellence Framework), è giunto alla seguente conclusione:

Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF

Sebbene il documento raccomandi anche la consultazione degli indici bibliometrici, si afferma chiaramente che le formule automatiche non possono rimpiazzare le valutazioni da parte degli esperti scientifici.

L’Australia fa un passo indietro

In Australia, uno degli aspetti più controversi dell’ultimo programma nazionale di valutazione della ricerca, il cosiddetto ERA 2010 (Excellence of Research in Australia), era la classificazione delle riviste in quattro fasce di qualità. Il sistema non ha funzionato ed il governo lo ha ammesso pubblicamente. In una audizione del 30 maggio scorso, di fronte ad una commissione del Senato Australiano, il ministro Kim Carr ha motivato la futura abolizione delle fasce di qualità per le riviste, dichiarando che

There is clear and consistent evidence that the rankings were being deployed inappropriately … in ways that could produce harmful outcomes

Per ammissione dello stesso ministro, la classificazione delle riviste era potenzialmente dannosa per la ricerca australiana. Nella nuova edizione dell’ERA australiano, piuttosto che affidarsi a criteri automatici, verrà rafforzato il ruolo dei comitati di valutazione della ricerca che utilizzeranno le competenze specifiche dei loro settori per formulare i loro giudizi.

La bolla scientifica cinese

Ma il caso più clamoroso riguarda la Cina. Il 25 settembre scorso, l’agenzia informativa Xinhua (la filogovernativa “Nuova Cina”) ha pubblicato un articolo intitolato “La bolla delle pubblicazioni minaccia il progresso scientifico della Cina”, subito riprodotto integralmente sul sito dell’Accademia Cinese delle Scienze. La produttività scientifica cinese sta crescendo impetuosamente: secondo il database Scopus, dal 1996 al 2010, la Cina è passata dal nono al secondo posto per numero di articoli scientifici. Tuttavia, le citazioni degli articoli cinesi crescono ad un ritmo assai più lento, evidenziando un’inflazione di articoli di scarso impatto, una vera e propria “bolla scientifica”. Se la produzione scientifica venisse depurata dagli articoli di scarso valore, la crescita cinese ne uscirebbe drammaticamente ridimensionata.

I ricercatori cinesi sono ossessionati dalla necessità di pubblicare perché il numero di articoli scientifici è il criterio chiave, se non addirittura l’unico, per progredire nella carriera accademica. L’articolo dell’agenzia Xinhua riprende in buona parte quanto già apparso su Nature nel gennaio 2010, in un articolo che prendeva spunto dal caso di due ricercatori della Jinggangshan University che avevano falsificato i risultati di 70 loro articoli apparsi su Acta Crystallographyca Section E. L’articolo di Nature riportava risultati di studi e di sondaggi che imputano alla valutazione puramente quantitativa della produzione scientifica la dilagante diffusione di pratiche fraudolente come la falsificazione dei risultati, il plagio e la compravendita di lavori scritti su commissione da veri e propri ghost writers della ricerca, il cui giro di affari annuo, secondo l’agenzia Xinhua, sarebbe quintuplicato in tre anni, superando i cento milioni di dollari nel 2010.

E l’Italia?

Le riserve nei confronti dei criteri di valutazione puramente numerici non vengono più solo dai singoli scienziati, ma sono fatte proprie anche dai vertici scientifici e politici. Gli indicatori bibliometrici diventano tossici quando vengono trasformati in obiettivi, mentre sono solo degli indizi, da usare con cautela e consapevolezza delle insidie che nascondono. E in Italia? Il ministro Gelmini (1) e l’ANVUR spingono proprio verso l’uso di formule automatiche basate su indici numerici. Purtroppo per noi, corriamo il rischio di seguire in ritardo una moda che mostra già diverse crepe.

Giuseppe De Nicolao

Una sintesi dell’articolo è stata pubblicata su Il Manifesto del 29-10-2011

(1) Anche se l’uso di formule automatiche è un problema che riguarda principalmente le abilitazioni scientifiche nazionali (la “regola della mediana”) e l’esercizio di valutazione VQR, vale al pena di fare un’osservazione più generale sul ruolo degli indicatori bibliometrici nei Decreti Ministeriali. In particolare, è interessante notare che nei Decreti Ministeriali n. 243 (“Criteri e parametri riconosciuti, anche in ambito internazionale, per la valutazione preliminare dei candidati destinatari dei contratti di cui all’articolo 24, della legge n. 240/2010”) e n. 344 ( “Criteri per la disciplina, da parte degli Atenei, della valutazione dei ricercatori a tempo determinato, in possesso dell’abilitazione scientifica nazionale, ai fini della chiamata nel ruolo di professore associato”) si fa esplicito riferimento all’uso dell’Impact Factor, che è considerato inadatto alle valutazioni dei singoli ricercatori persino dai sostenitori della bibliometria.