Nell’articolo apparso su Nature  all’indomani della presentazione dei risultati della VQR si leggeva: “Ci sono state alcune sorprese nella classifica dei maggiori anti di ricerca. Il più grande ente di ricerca italiano, il CNR, si è piazzato ben al di sotto dell’INGV, dell’INFN e dell’INAF in termini di qualità complessiva. Benedetto ha illustrato nella sua presentazione che ciò è dovuto al fatto che il CNR ha sottoposto a valutazione un numero di prodotti significativamente più basso rispetto a quanto richiesto.”

Il più grande ente di ricerca nazionale è stato bollato con il marchio di infamia – e, nella ricerca, la mediocrità è un peccato grave; c’è da aspettarsi che dal cotè politico-ministeriale il CNR non riceverà i finanziamenti premiali da destinare agli enti più virtuosi.

Ma la situazione è davvero questa? In realtà le cose vanno viste nella loro complessità.

Vi sono alcuni aspetti si cui riflettere.

Il dibattito sulla stampa di questi giorni è figlio della scelta del’ANVUR di produrre un’alluvione di numeri (l’alluvione di numeri è sempre bene accetta ed in questo caso era dovuta) in cui è molto difficile districarsi. Ciò ha condotto molti osservatori a puntare l’attenzione sullo zero virgola, sulle classifiche come quelle del Giro d’Italia, per esporre sul podio il primo, il secondo, eccetera, piuttosto che cercare di comprendere la complessità del fenomeno ed il significato e l’affidabilità degli indicatori utilizzati per caratterizzarlo. Bene ha fatto il CUN, nella dichiarazione del 16 luglio, ad affermare che la VQR rappresenta un punto di svolta positiva nella cultura della valutazione, ma raccomanda cautela nella presentazione e nell’utilizzo dei dati. La valutazione, definita un ‘imperativo assoluto’, deve essere uno strumento utile per la crescita del sistema e non deve rispondere a logiche punitive: ‘la logica delle pagelle è la strada sbagliata.

Benedetto ha perfettamente ragione: la scarsa performance del CNR è dovuta al fatto che l’ente presenta una percentuale di prodotti mancanti del 10,54%, contro percentuali degli altri principali enti almeno cinque volte inferiore (Tabella 1).

 

 

A ciò va aggiunta la quota di prodotti penalizzati che è di 2,98%, molto più elevata di quella degli altri enti. Va ricordato che la scala di valutazione era la seguente: eccellente 1,0; buono 0,8; accettabile 0,6; limitato 0,0; non valutabile -1,0; plagio o frode -2,0; e che a ciascun prodotto mancante rispetto al numero atteso veniva assegnato un peso negativo di -0,5. Si deve dunque concludere che il disastro aritmetico del CNR è stato causato dal fatto che in oltre il 10% dei casi si è applicato un parametro negativo di 0,5 e che nel 3% dei casi un parametro negativo di 1,0, mentre per gli altri enti con cui è stato comparato il CNR questi fenomeni si sono rilevati marginali. L’ANVUR non aveva altra scelta: le regole per il calcolo degli indicatori erano fissate nel decreto e quei dati dovevano essere pubblicati. Ma se si cerca di analizzare le cose nel tentativo di avvicinarsi maggiormente alla realtà, è possibile fare quello che gli statistici chiamano riporto all’universo. Un rapido calcolo sui dati ANVUR permette di verificare che, se da quelli del CNR vengono espunti i prodotti mancanti e quelli penalizzati, gli indici di produttività nell’area della fisica del CNR, dell’INFN e dell’INGV sono praticamente uguali, e ciò vale anche per il paragone tra CNR e INGV per l’area delle scienze della terra[1]. Peraltro, nella Relazione della VQR sull’INFN si legge che “Nell’area delle scienze fisiche dove sono presenti tre grandi enti per numero di prodotti attesi (CNR, INFN e INAF), in una graduatoria dimensionale l’INFN si colloca al primo posto per l’indicatore R [indicatore del voto medio della struttura] e al terzo posto per l’indicatore X [indicatore dei prodotti eccellenti della struttura].” Conclusione: non è vero che il CNR è a livelli di ricerca inferiori a quelli degli altri enti, tutt’altro.

A questo punto si deve affrontare il problema del perché alcune centinaia di ricercatori del CNR o non hanno conferito i loro prodotti o li hanno inviati con qualche “baco”. Non è pensabile che ciò sia avvenuto perché sono dei lavativi; al CNR si lavora e si produce: non è pensabile che vi sia un così nutrito drappello di perdigiorno che nel settennio 2004-2010 non ha realizzato nulla. La ragione risiede nel fatto che, al momento del conferimento dei dati, vi è stato un vivace confronto tra il vertice dell’ente e molti ricercatori che protestavano contro l’insufficiente spazio che il personale ha nel tracciare i destini dell’ente[2]. Tale confronto ha convinto alcune centinaia di ricercatori a boicottare la VQR, non per sottrarsi alla valutazione, ma come strumento di lotta politica. Di fronte alle promesse del vertice dell’ente di venire incontro alle aspettative del personale, una parte dei ricercatori ha rinunciato al boicottaggio, mentre altri hanno perseverato. Conclusione: al CNR vi è un problema interno che va affrontato e risolto, e la VQR ne ha fatto le spese.

La valutazione della “terza missione”, almeno per gli enti di ricerca è un tentativo fallito. Di fronte alla gogna in cui è stato messo il CNR, il suo presidente si è prodotto in una difesa di ufficio affermando che non è stata sufficientemente valutata l’attività dell’ente nel promuovere lo sviluppo sociale ed economico del paese. Tale affermazione appare corretta, con l’aggiunta che ciò vale per tutti gli enti, non soltanto per il CNR. La prova di tale affermazione è nella Tabella 2.

 

 

 

 

 

 

 

Come noto, gli indicatori impiegati nella VQR sono stati raggruppati in due categorie: area scientifica e “terza missione”[3]. Il fatto che i maggiori enti pubblici italiani abbiano “prodotto” in tutto 33 spin-off, 1 incubatore, 36 consorzi, 36 siti archeologici, 9 poli museali significa che siamo ben al di sotto del “minimo sindacale” di significatività statistica. L’indicatore brevetti presenta un livello di 185 per il CNR (zero brevetti per l’INFN) ed i dati dei rapporti della VQR mostrano che, sul totale di 211 brevetti, soltanto uno è stato sfruttato mediante il rilascio di licenze. Altro elemento di interesse è costituito dal fatto che l’INFN, di fronte ad un numero pari a zero di tutti gli altri indicatori di output, ha ben 523 “altre attività”. Nel complesso dunque i numeri dicono che i sei indicatori prescelti non sono in grado di caratterizzare un fenomeno complesso come l’impatto della ricerca sul tessuto socio-economico del paese. Nel prendere dunque atto del meritevole tentativo della VQR di misurare la “terza missione”, si può concludere che per il momento è bene non utilizzare i dati del Rapporto e che è opportuno ripensare completamente l’approccio adottato per sostituirlo con uno più vicino alla realtà – nell’ipotesi che ciò sia possibile, dato lo stato della teoria e delle tecniche di misurazione statistiche.


[1] La Tabella 1 mostra che il CNR rappresenta oltre la metà dell’intero comparto dei 13 enti di ricerca vigilati dal MIUR.

[2] Per esempio nel CdA del CNR non vi è una rappresentanza del personale (all’INFN, al contrario, vi sono due membri eletti dal personale); nel Consiglio scientifico dell’ente, dei due rappresentanti dei ricercatori ne era stato nominato soltanto uno (l’altro è stato aggiunto dopo vivaci proteste); le bozze di nuovo Statuto e di Regolamento di organizzazione non introducono nuovi elementi di partecipazione rappresentativa del personale nella gestione dell’ente.

[3] Il fatto stesso che le attività che producono un impatto sulla società e sull’economia non vengano classificate come tali, ma in maniera residuale, pone seri problemi concettuali e teorici.

Send to Kindle

6 Commenti

  1. E’ una lettura soddisfacente, per quel che posso comprendere. Nel mio campo, “l’impatto immediato sulla società” non è affatto garantito se non principalmente attraverso il sapere trasmesso, agli studenti e al pubblico in generale, cosa di non poco conto. Per il resto chi vivrà vedrà.
    Non concordo con la seguente affermazione: “… il disastro aritmetico del CNR è stato causato dal fatto che in oltre il 10% dei casi si è applicato un parametro negativo di 0,5 e che nel 3% dei casi un parametro negativo di 1,0, mentre per gli altri enti con cui è stato comparato il CNR questi fenomeni si sono rilevati marginali. “
    Io non penso ad enti in generale ma alla mia AreaX, dove si sono verificate queste percentuali negative: 7,14 7.98 8,33 18,52 13,64 15,79. In genere i dati penalizzanti (punteggio O + sotto zero) possono raggiungere percentuali significative per certi e non pochi SSD.

  2. Tralasciando il fatto che le regole erano ben note (e quindi la penalizzazione per i prodotti non presentati si conosceva dal novembre 2011), e’ un po’facile scegliere gli indicatori per riscriversi i risultati.
    Nello specifico -a differenza della VTR- questa volta non si voleva misurare l’eccellenza ma -piuttosto- la globalita’ della ricerca.
    Sostenere che problemi interni al CNR ha generato i “deficit” (prodotti mancanti) penso sia riduttivo e forse anche ingiusto nei confronti di coloro i quali volevano manifestare dissenso (piu’ che creare danno).

    Detto questo, e volendo uscire dalla “lite tra amici” e’ pero’ interessante discutere cosa succede nella III missione (un insieme di indicatori comparsi in via sperimentale e non utilizzati nello score finale per nessun Ente).
    L’ANVUR ha creato un indicatore complessivo, detto ITMFS.
    Il CNR dovrebbe presentare un ITMFS di 59.2 % complessivamente(proporzionale al numero di ricercatori). Invece presenta un valore globale delle sue attività di III missione pari al 47.1%. Quindi un deficit del 20%. Per comparazione l’INAF dovrebbe presentare il 7.4% del totale e presenta l’11% dello stesso.
    In questo caso non si tratta di dati “manipolati” da ricercatori vogliosi di protestare, ma dell’elaborazione di dati forniti centralmente.
    La continua difesa del Presidente adducendo la sottovalutazione della III missione (per lo piu’declinata come brevetti e simili) rischia di essere un boomerang se solo qualcuno si sforzasse di leggere tutte le tabelle o -almeno- le conclusioni del rapporto finale ANVUR che qui riporto:
    “Nella Tabella 97.12 sono riportati, per il CNR nelle Aree nelle quali ha presentato almeno 19 prodotti, i valori calcolati dei sette indicatori di Area VQR e il valore dell’indicatore finale di struttura IRFS1. Nella tabella si riportano anche per confronto i valori della quota dei prodotti attesi nelle diverse Aree.
    Nella Tabella 97.13 sono riportati, per il CNR, i valori calcolati degli otto indicatori di terza missione e il valore dell’indicatore finale di struttura ITMFS. Nella tabella si riportano anche per confronto i valori della quota dei SVETP nelle diverse Aree.
    Le tabelle mettono in evidenza che il CNR riporta valori di entrambi gli indicatori finali inferiore alla quota dimensionale: IRFS=46,61 contro 59,21 e ITMFS=47,10 contro 59,21.”

    • Le opinioni sull’impatto del mancato conferimento dei “prodotti” da parte di centinaia di ricercatori del CNR possono essere diverse. Da parte mia non sono convinto che il numero di ricercatori che svolge soltanto attività organizzativa, gestionale, amministrativa, e che nel settennio considerato non hanno nulla nel carniere, sia particolarmente elevato. Per sgombrare il campo dai dubbi sarebbe auspicabile che l’ente fornisse i dati sul numero di coloro che non hanno fornito le informazioni richieste e sulla distribuzione dei “prodotti” mancanti.

    • Si l’ANPRI lo dice ma la cosa non è suffragata da una conoscenza del dato reale. A nessuno di coloro che hanno boicottato è stata mai notificata una lista dei prodotti che il CNR avrebbe selezionato in sua vece. Tra l’altro questo sarebbe contrario al disciplinare della VQR che prevedeva una scelta dei prodotti da parte dei singoli soggetti valutati.
      La quantità di dati mancanti è troppo elevata perché se si esclude il dato del CNR, intorno all’11%, il resto degli Enti di ricerca si assesta intorno al 2% con una variazione relativa molto bassa. E’ difficile immaginare che ci sia un 10% del CNR che non ha nulla, neanche una comunicazione a congresso da sottomettere alla valutazione.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.