Sorpresa. I dati della VQR certificano che il CNR è il miglior ente di ricerca

Nell’articolo apparso su Nature  all’indomani della presentazione dei risultati della VQR si leggeva: “Ci sono state alcune sorprese nella classifica dei maggiori anti di ricerca. Il più grande ente di ricerca italiano, il CNR, si è piazzato ben al di sotto dell’INGV, dell’INFN e dell’INAF in termini di qualità complessiva. Benedetto ha illustrato nella sua presentazione che ciò è dovuto al fatto che il CNR ha sottoposto a valutazione un numero di prodotti significativamente più basso rispetto a quanto richiesto.”

Il più grande ente di ricerca nazionale è stato bollato con il marchio di infamia – e, nella ricerca, la mediocrità è un peccato grave; c’è da aspettarsi che dal cotè politico-ministeriale il CNR non riceverà i finanziamenti premiali da destinare agli enti più virtuosi.

Ma la situazione è davvero questa? In realtà le cose vanno viste nella loro complessità.

Vi sono alcuni aspetti si cui riflettere.

Il dibattito sulla stampa di questi giorni è figlio della scelta del’ANVUR di produrre un’alluvione di numeri (l’alluvione di numeri è sempre bene accetta ed in questo caso era dovuta) in cui è molto difficile districarsi. Ciò ha condotto molti osservatori a puntare l’attenzione sullo zero virgola, sulle classifiche come quelle del Giro d’Italia, per esporre sul podio il primo, il secondo, eccetera, piuttosto che cercare di comprendere la complessità del fenomeno ed il significato e l’affidabilità degli indicatori utilizzati per caratterizzarlo. Bene ha fatto il CUN, nella dichiarazione del 16 luglio, ad affermare che la VQR rappresenta un punto di svolta positiva nella cultura della valutazione, ma raccomanda cautela nella presentazione e nell’utilizzo dei dati. La valutazione, definita un ‘imperativo assoluto’, deve essere uno strumento utile per la crescita del sistema e non deve rispondere a logiche punitive: ‘la logica delle pagelle è la strada sbagliata’.

Benedetto ha perfettamente ragione: la scarsa performance del CNR è dovuta al fatto che l’ente presenta una percentuale di prodotti mancanti del 10,54%, contro percentuali degli altri principali enti almeno cinque volte inferiore (Tabella 1).

A ciò va aggiunta la quota di prodotti penalizzati che è di 2,98%, molto più elevata di quella degli altri enti. Va ricordato che la scala di valutazione era la seguente: eccellente 1,0; buono 0,8; accettabile 0,6; limitato 0,0; non valutabile -1,0; plagio o frode -2,0; e che a ciascun prodotto mancante rispetto al numero atteso veniva assegnato un peso negativo di -0,5. Si deve dunque concludere che il disastro aritmetico del CNR è stato causato dal fatto che in oltre il 10% dei casi si è applicato un parametro negativo di 0,5 e che nel 3% dei casi un parametro negativo di 1,0, mentre per gli altri enti con cui è stato comparato il CNR questi fenomeni si sono rilevati marginali. L’ANVUR non aveva altra scelta: le regole per il calcolo degli indicatori erano fissate nel decreto e quei dati dovevano essere pubblicati. Ma se si cerca di analizzare le cose nel tentativo di avvicinarsi maggiormente alla realtà, è possibile fare quello che gli statistici chiamano riporto all’universo. Un rapido calcolo sui dati ANVUR permette di verificare che, se da quelli del CNR vengono espunti i prodotti mancanti e quelli penalizzati, gli indici di produttività nell’area della fisica del CNR, dell’INFN e dell’INGV sono praticamente uguali, e ciò vale anche per il paragone tra CNR e INGV per l’area delle scienze della terra[1]. Peraltro, nella Relazione della VQR sull’INFN si legge che “Nell’area delle scienze fisiche dove sono presenti tre grandi enti per numero di prodotti attesi (CNR, INFN e INAF), in una graduatoria dimensionale l’INFN si colloca al primo posto per l’indicatore R [indicatore del voto medio della struttura] e al terzo posto per l’indicatore X [indicatore dei prodotti eccellenti della struttura].” Conclusione: non è vero che il CNR è a livelli di ricerca inferiori a quelli degli altri enti, tutt’altro.

A questo punto si deve affrontare il problema del perché alcune centinaia di ricercatori del CNR o non hanno conferito i loro prodotti o li hanno inviati con qualche “baco”. Non è pensabile che ciò sia avvenuto perché sono dei lavativi; al CNR si lavora e si produce: non è pensabile che vi sia un così nutrito drappello di perdigiorno che nel settennio 2004-2010 non ha realizzato nulla. La ragione risiede nel fatto che, al momento del conferimento dei dati, vi è stato un vivace confronto tra il vertice dell’ente e molti ricercatori che protestavano contro l’insufficiente spazio che il personale ha nel tracciare i destini dell’ente[2]. Tale confronto ha convinto alcune centinaia di ricercatori a boicottare la VQR, non per sottrarsi alla valutazione, ma come strumento di lotta politica. Di fronte alle promesse del vertice dell’ente di venire incontro alle aspettative del personale, una parte dei ricercatori ha rinunciato al boicottaggio, mentre altri hanno perseverato. Conclusione: al CNR vi è un problema interno che va affrontato e risolto, e la VQR ne ha fatto le spese.

La valutazione della “terza missione”, almeno per gli enti di ricerca è un tentativo fallito. Di fronte alla gogna in cui è stato messo il CNR, il suo presidente si è prodotto in una difesa di ufficio affermando che non è stata sufficientemente valutata l’attività dell’ente nel promuovere lo sviluppo sociale ed economico del paese. Tale affermazione appare corretta, con l’aggiunta che ciò vale per tutti gli enti, non soltanto per il CNR. La prova di tale affermazione è nella Tabella 2.

Come noto, gli indicatori impiegati nella VQR sono stati raggruppati in due categorie: area scientifica e “terza missione”[3]. Il fatto che i maggiori enti pubblici italiani abbiano “prodotto” in tutto 33 spin-off, 1 incubatore, 36 consorzi, 36 siti archeologici, 9 poli museali significa che siamo ben al di sotto del “minimo sindacale” di significatività statistica. L’indicatore brevetti presenta un livello di 185 per il CNR (zero brevetti per l’INFN) ed i dati dei rapporti della VQR mostrano che, sul totale di 211 brevetti, soltanto uno è stato sfruttato mediante il rilascio di licenze. Altro elemento di interesse è costituito dal fatto che l’INFN, di fronte ad un numero pari a zero di tutti gli altri indicatori di output, ha ben 523 “altre attività”. Nel complesso dunque i numeri dicono che i sei indicatori prescelti non sono in grado di caratterizzare un fenomeno complesso come l’impatto della ricerca sul tessuto socio-economico del paese. Nel prendere dunque atto del meritevole tentativo della VQR di misurare la “terza missione”, si può concludere che per il momento è bene non utilizzare i dati del Rapporto e che è opportuno ripensare completamente l’approccio adottato per sostituirlo con uno più vicino alla realtà – nell’ipotesi che ciò sia possibile, dato lo stato della teoria e delle tecniche di misurazione statistiche.