Una valanga di numeri

L’università italiana sta per essere sommersa da una valanga di numeri. Sta partendo infatti  l’esercizio di Valutazione della Qualità della Ricerca (VQR) condotto dall’ANVUR; e circolano da qualche settimana le bozze del decreto ministeriale per la valutazione dei candidati nei concorsi. La logica dell’uso italiano della bibliometria per la valutazione è quella dell’asticella da superare: inserire nelle norme indicatori tali che le baronie accademiche siano fortemente limitate nella loro libertà di azione. Può darsi che non siamo un paese normale, e che di queste asticelle ci sia bisogno. Il modo di procedere corretto sarebbe però un altro.

L’università italiana sta per essere sommersa da una valanga di numeri. Partirà infatti tra breve l’esercizio di Valutazione della Qualità della Ricerca (VQR) condotto dall’ANVUR il cui prodotto finale sarà una classifica delle università e degli enti di ricerca; e circolano da qualche settimana le bozze del decreto ministeriale per la valutazione dei candidati nei concorsi universitari. Sia il VQR che il decreto ministeriale riflettono la speranza del Ministro e di molti consiglieri e commentatori che la obiettività delle statistiche bibliometriche riescano a scardinare le baronie che hanno ingessato l’università e la ricerca italiana votandole al declino.

Contro la valanga di numeri si battono da tempo coloro che ritengono che la valutazione e la bibliometria non abbiano nessun significato ed utilità, perché non è possibile ridurre la qualità (della ricerca, della didattica) a freddi indicatori quantitativi. In tutto questo risuona come un eco lontana il dibattito internazionale, dove una sempre più grande nutrita comunità di studiosi (Nature ha stimato si è passati dai cento articoli pubblicati nel 1991 agli oltre mille del 2009) si occupa professionalmente di bibliometria e scientometria, ormai divenute a tutti gli effetti discipline autonome con cattedre universitarie, riviste e società scientifiche. L’assenza di una riflessione critica e ponderata rischia di favorire l’adozione di pratiche valutative che non hanno solido fondamento, e che rischiano di peggiorare –se mai fosse possibile- la situazione attuale della ricerca italiana.

Sono tre i pericoli principali. Prima di illustrarli è utile ricordare che le misure bibliometriche sono indicatori sintetici di fenomeni sottostanti, il più controverso dei quali è la qualità della ricerca. Alcuni sostengono che la qualità della ricerca è come un elefante: non può essere definita a priori, si riconosce quando si vede. Più concretamente, si può sostenere che un prodotto di ricerca è di qualità se nella sua produzione sono stati rispettati i canoni prevalenti nella scienza in un certo momento del tempo: il metodo adottato, il rigore del ragionamento, la robustezza dei dati etc.. Il giudizio di qualità può essere espresso compiutamente solo dai membri della comunità dei pari perché solo loro conoscono gli standard di riferimento.

Le procedure di revisione dei pari universalmente adottate delle riviste per decidere quali articoli pubblicare e quali rifiutare sono il risultato di questa idea di riconoscimento della qualità. Non è difficile pensare ad indicatori bibliometrici che possano incorporare queste informazioni sulla qualità.

Ad esempio, un semplice indicatore di “produzione di qualità” consiste nel conteggio degli articoli che un ricercatore ha pubblicato su riviste con revisione dei pari. Nei settori disciplinari, per esempio in molte aree delle scienze umane e nelle discipline giuridiche italiane, dove generalmente la revisione dei pari non è applicata, è ovvio che il conteggio delle pubblicazioni è solo un indicatore della “produzione” e non della “produzione di qualità”. L’altro fenomeno che gli indicatori bibliometrici sono in grado di approssimare è l’impatto della ricerca. Da secoli l’individuazione del valore di uno scienziato avviene attraverso il riconoscimento pubblico della sua priorità in una scoperta. I giganti possono aspirare a designare la loro scoperta con il loro nome (sistema copernicano; teorema di Pitagora; legge di Gauss etc.); gli umili artigiani si accontentano che qualcuno citi il loro lavoro. In questo consiste l’impatto di un contributo scientifico, che è tanto più elevato tante più sono le citazioni che ha ricevuto. Gli indicatori bibliometrici di impatto sono basati su conteggi più o meno complessi delle citazioni. C’è grande discussione in letteratura sul significato da attribuire alle citazioni, ma c’è unanime consenso sul fatto che le pratiche citazionali differiscono fortemente tra discipline. La conseguenza è che, allo stato attuale, non è possibile confrontare tra loro indicatori relativi a discipline diverse.

Veniamo adesso ai pericoli. Il primo è che si finisca per confondere la qualità della ricerca con il suo impatto. Si rischia così di attribuire un valore troppo elevato alla ricerca “alla moda”, che ricama in modo tecnicamente ineccepibile su temi ben noti alla comunità scientifica, e che per questo trova facilmente spazio sulle riviste più citate. Al contempo si rischia di penalizzare la ricerca più innovativa, interdisciplinare o di nicchia che fa fatica a trovare spazio sulle riviste più citate. Il fenomeno delle belle addormentate della scienza –ricerca rimasta per decenni silente nelle pagine di rivista o negli scaffali di una biblioteca – è ben documentato. Una consapevolezza diffusa che si corrono questi rischi è il primo passo per tenerli sotto controllo. Il problema è che la virulenza del dibattito italiano su questi temi –alimentata dal ricorso continuo a qualche classifica con i migliori, i peggiori e gli eccellenti- rischia di spingere il sistema nella direzione sbagliata.

Il secondo pericolo è l’abuso delle misure bibliometriche quando sono utilizzate in modo tecnicamente improprio. Qui i segnali sono molto preoccupanti. Prendiamo un paio di esempi. Antony Van Raan, uno dei massimi esperti mondiali di bibliometria, intervistato da Nature (giugno 2010) ricordava che ” se c’è una cosa su cui tutti i bibliometrici sono d’accordo è che non si dovrebbe mai usare l’impact factor per valutare un articolo scientifico o un ricercatore – questo è un peccato mortale”. L’impact factor, o fattore di impatto, è una misura dell’impatto di una rivista scientifica nel suo complesso, e, per ragioni statistiche, non riflette il numero di citazioni ricevute da un singolo articolo che vi è pubblicato.

Prendiamo adesso il bando VQR anticipato dall’ANVUR: vi si legge che per la valutazione degli articoli scientifici i valutatori sono tenuti ad adottare l’analisi del fattore di impatto della rivista ospitante. Qualcuno ha aggiunto tra parentesi “(ove applicabile)”. C’è solo da sperare che i valutatori non ne tengano mai conto. D’altra parte ben tre decreti ministeriali (89/2009; 243 e 344/2011) indicano l’Impact Factor come un fondamentale criterio che le commissioni sono tenute ad adottare per la valutazione dei titoli nelle procedure di reclutamento. Alle virtù salvifiche dell’Impact Factor il ministro sembra aver rinunciato nella bozza di decreto ministeriale sui concorsi; ma la logica dell’intervento resta la stessa: si indica un rigido criterio statistico (la mediana) per l’accesso alle selezioni (e al ruolo di commissario). L’applicazione rigida di indicatori di impatto ad un livello molto disaggregato di analisi (il singolo ricercatore) può far perdere di vista al valutatore la qualità della ricerca. Da questo punto di vista apparirebbe più efficace, come suggerito dal CUN, la diffusione di distribuzioni statistiche, a supporto della valutazione dei candidati e per un attento controllo dell’attività delle commissioni. Detto in modo più esplicito: se fossero certificati pubblicamente la produttività e l’impatto prevalenti in una certa area disciplinare, ed i dati sui candidati, le commissioni difficilmente potrebbero giustificare esiti concorsuali al di sotto di standard minimi. L’applicazione rigida della mediana rischia invece di generare comportamenti opportunistici e favorisce il ristagno della ricerca in settori dove i valori della mediana sono relativamente bassi.

Il terzo pericolo riguarda la tendenza di molte parti della comunità accademica a sottrarsi a criteri di valutazione bibliometrica, sostenendo che criteri così rigidi non sono applicabili. Di fatto sia nei documenti ANVUR, che nella bozza ministeriale, che nei documenti CUN sembra passare il principio che in alcune aree disciplinari, in linea generale le scienze umane, giuridiche e parti delle scienze sociali, la bibliometria non sia applicabile. Sarebbe gravissimo se si ritenesse che alcune aree discipline siano per loro natura sottratte alla logica della valutazione della qualità attraverso la revisione dei pari (come scrive Galasso sul Corriere della Sera). Se, come è pacifico nel panorama internazionale, la revisione dei pari si applica anche ad esse, le misure bibiometriche di produzione di qualità e di impatto possono essere costruite come in ogni altro settore. Il problema vero e ineludibile è che allo stato attuale i database utilizzati per le misure bibliometriche non permettono la costruzione di misure affidabili, come ricordava Graziosi sul Sole24ore di domenica 16 ottobre. La predisposizione di strumenti quantitativi ad hoc, e di pesi basati sulla tipologia di prodotto appaiono soluzioni di breve periodo, forse in grado di aprire una breccia in alcune comunità scientifiche autoreferenziali, sviluppatesi, per così dire, completamente al riparo dalla scienza internazionale. La compilazione di classifiche delle riviste e degli editori da parte della comunità scientifica nazionale per valutare i prodotti è una soluzione che è stata ampiamente adottata a livello internazionale.

L’Australia è stata il pioniere in queste pratiche; dopo averle modificate più volte negli ultimi dieci anni, ha deciso di rinunciarvi nel prossimo esercizio di valutazione. L’adozione di una classificazione delle riviste condivisa a livello settoriale ha infatti spinto i ricercatori a modificare i loro interessi di ricerca e le strategie di pubblicazione, sguarnendo interi settori di ricerca in precedenza considerati di ottimo livello (alcune aree delle scienze forestali). Un’attenta valutazione di quanto avviene a livello internazionale potrebbe risparmiarci di imboccare sentieri già abbandonati da altri. Da questo punto di vista la costruzione di anagrafe delle pubblicazioni dei ricercatori italiani pubblicamente accessibile dovrebbe essere una priorità del sistema della ricerca nazionale, perché consentirebbe l’uso trasparente e controllabile di molti indicatori bibliometrici. Anche nelle scienze umane.

Più in generale la logica che sottende l’uso italiano della bibliometria per la valutazione è quella dell’asticella da superare: inserire nelle norma indicatori tali che le baronie accademiche siano fortemente limitate nella loro libertà di azione. Può darsi che non siamo un paese normale, e che di queste asticelle ci sia bisogno. Il modo di procedere corretto sarebbe un altro. Ecco come lo descrive Nature in un editoriale del 2010. “Le istituzioni devono assicurare ai loro ricercatori informazioni chiare e complete su come le valutazioni sono condotte. La trasparenza è essenziale. Non importa che i valutatori dichiarino calorosamente di stare considerando il lavoro complessivo di un ricercatore. Non essere trasparenti sui criteri spinge il ricercatore a pensare che sia necessario produrre un numero fisso di pubblicazioni, che l’insegnamento non conti molto e che il servizio alla comunità non sia rilevante. Questo non solo rende scontenti i ricercatori, ma ne altera il comportamento. Per promuovere la buona scienza, le porte della valutazione devono essere spalancate”. Se lo fossero anche in Italia forse non ci sarebbe bisogno di una valanga di numeri.

di Alberto Baccini – Il Sole 24 Ore – leggi su http://24o.it/h55lq