Veniamo adesso ai pericoli. Il primo è che si finisca per confondere la qualità della ricerca con il suo impatto. Si rischia così di attribuire un valore troppo elevato alla ricerca “alla moda”, che ricama in modo tecnicamente ineccepibile su temi ben noti alla comunità scientifica, e che per questo trova facilmente spazio sulle riviste più citate. Al contempo si rischia di penalizzare la ricerca più innovativa, interdisciplinare o di nicchia che fa fatica a trovare spazio sulle riviste più citate. Il fenomeno delle belle addormentate della scienza –ricerca rimasta per decenni silente nelle pagine di rivista o negli scaffali di una biblioteca – è ben documentato. Una consapevolezza diffusa che si corrono questi rischi è il primo passo per tenerli sotto controllo. Il problema è che la virulenza del dibattito italiano su questi temi –alimentata dal ricorso continuo a qualche classifica con i migliori, i peggiori e gli eccellenti- rischia di spingere il sistema nella direzione sbagliata.
Il secondo pericolo è l’abuso delle misure bibliometriche quando sono utilizzate in modo tecnicamente improprio. Qui i segnali sono molto preoccupanti. Prendiamo un paio di esempi. Antony Van Raan, uno dei massimi esperti mondiali di bibliometria, intervistato da Nature (giugno 2010) ricordava che ” se c’è una cosa su cui tutti i bibliometrici sono d’accordo è che non si dovrebbe mai usare l’impact factor per valutare un articolo scientifico o un ricercatore – questo è un peccato mortale”. L’impact factor, o fattore di impatto, è una misura dell’impatto di una rivista scientifica nel suo complesso, e, per ragioni statistiche, non riflette il numero di citazioni ricevute da un singolo articolo che vi è pubblicato.
Prendiamo adesso il bando VQR anticipato dall’ANVUR: vi si legge che per la valutazione degli articoli scientifici i valutatori sono tenuti ad adottare l’analisi del fattore di impatto della rivista ospitante. Qualcuno ha aggiunto tra parentesi “(ove applicabile)”. C’è solo da sperare che i valutatori non ne tengano mai conto. D’altra parte ben tre decreti ministeriali (89/2009; 243 e 344/2011) indicano l’Impact Factor come un fondamentale criterio che le commissioni sono tenute ad adottare per la valutazione dei titoli nelle procedure di reclutamento. Alle virtù salvifiche dell’Impact Factor il ministro sembra aver rinunciato nella bozza di decreto ministeriale sui concorsi; ma la logica dell’intervento resta la stessa: si indica un rigido criterio statistico (la mediana) per l’accesso alle selezioni (e al ruolo di commissario). L’applicazione rigida di indicatori di impatto ad un livello molto disaggregato di analisi (il singolo ricercatore) può far perdere di vista al valutatore la qualità della ricerca. Da questo punto di vista apparirebbe più efficace, come suggerito dal CUN, la diffusione di distribuzioni statistiche, a supporto della valutazione dei candidati e per un attento controllo dell’attività delle commissioni. Detto in modo più esplicito: se fossero certificati pubblicamente la produttività e l’impatto prevalenti in una certa area disciplinare, ed i dati sui candidati, le commissioni difficilmente potrebbero giustificare esiti concorsuali al di sotto di standard minimi. L’applicazione rigida della mediana rischia invece di generare comportamenti opportunistici e favorisce il ristagno della ricerca in settori dove i valori della mediana sono relativamente bassi.
Il terzo pericolo riguarda la tendenza di molte parti della comunità accademica a sottrarsi a criteri di valutazione bibliometrica, sostenendo che criteri così rigidi non sono applicabili. Di fatto sia nei documenti ANVUR, che nella bozza ministeriale, che nei documenti CUN sembra passare il principio che in alcune aree disciplinari, in linea generale le scienze umane, giuridiche e parti delle scienze sociali, la bibliometria non sia applicabile. Sarebbe gravissimo se si ritenesse che alcune aree discipline siano per loro natura sottratte alla logica della valutazione della qualità attraverso la revisione dei pari (come scrive Galasso sul Corriere della Sera). Se, come è pacifico nel panorama internazionale, la revisione dei pari si applica anche ad esse, le misure bibiometriche di produzione di qualità e di impatto possono essere costruite come in ogni altro settore. Il problema vero e ineludibile è che allo stato attuale i database utilizzati per le misure bibliometriche non permettono la costruzione di misure affidabili, come ricordava Graziosi sul Sole24ore di domenica 16 ottobre. La predisposizione di strumenti quantitativi ad hoc, e di pesi basati sulla tipologia di prodotto appaiono soluzioni di breve periodo, forse in grado di aprire una breccia in alcune comunità scientifiche autoreferenziali, sviluppatesi, per così dire, completamente al riparo dalla scienza internazionale. La compilazione di classifiche delle riviste e degli editori da parte della comunità scientifica nazionale per valutare i prodotti è una soluzione che è stata ampiamente adottata a livello internazionale.
(Alberto Baccini, una valanga di numeri)
