Perché il VQR penalizza gli enti pubblici di ricerca. L’indice di Cipolla

La Valutazione della Qualità della Ricerca (VQR) poggia sulla valutazione dei “prodotti” dei ricercatori degli enti pubblici di ricerca e dei docenti universitari. Secondo le regole dell’ANVUR, ogni ricercatore degli enti pubblici deve presentare 6 “prodotti” mente gli universitari ne debbono presentare 3. Questa scelta è già stata criticata in un precedente articolo  in cui si sosteneva che, se gli universitari svolgono didattica, ricerca, e si impegnano nella “terza missione”, i ricercatori degli enti pubblici svolgono tutta una serie di attività tecniche, organizzative, gestionali e di altro genere che non conducono alla pubblicazione nelle basi dati internazionali (ISSN) e nei libri dotati di ISBN (per esempio ricerche su commessa per le quali il committente richiede la riservatezza, attività scientifiche i cui risultati finiscono in rapporti tecnici pubblicati nella letteratura grigia, attività di trasferimento delle tecnologie, misurazioni di fenomeni naturali nel campo della geofisica, della meteorologia e sociali quali la statistica) per cui è più equo che tutti i ricercatori del settore pubblico docenti e dipendenti degli enti di ricerca – presentino lo stesso numero di “prodotti”.

Una piccola simulazione esposta in questo articolo mostra che la differenza tra 6 e 3 penalizza fortemente gli enti pubblici rispetto alle università. Vediamo perché.

I “prodotti” verranno valutati dai GEV (Gruppi di Esperti della Valutazione) attraverso l’analisi bibliometrica e la “valutazione dei pari” secondo i seguenti livelli di merito e relativi pesi:

–               eccellente (1,0),

–               buono (0,8),

–               accettabile (0,6),

–               limitato (0,0)

–               non valutabile (-1,0)

–               plagio o frode (-2)

A ciascun “prodotto” mancante rispetto al numero atteso è assegnato un peso negativo (-0,5).

E’ noto che i “creativi”, e dunque anche i ricercatori, abbiano livelli di performance variabili nel tempo. Di norma un cantante, uno scrittore, un attore, un regista, produrrà il meglio di sé in alcune circostanze, mentre in altre raggiungerà modesti successi o addirittura conoscerà l’insuccesso. Insomma, non tutte le ciambelle riescono col buco. Dunque si può ragionevolmente ipotizzare che, nel corso del settennio di riferimento del VQR (2004-2010), la produzione di ciascun ricercatore abbia diversi livelli di originalità e di impatto sulla comunità scientifica e tecnica, e che quindi l’output si distribuirà secondo una curva decrescente dal “migliore” al “peggiore” (il VQR richiede espressamente ai ricercatori di indicare l’ordine di priorità dei “prodotti” presentati).

Proviamo dunque a fare un piccolo esercizio. Nella Tabella 1 sono riportati tre ipotetici ricercatori degli enti pubblici, uno “bravo”, uno “medio” ed uno “somaro” (esistono anche i somari). Il ricercatore “bravo” presenta 1 lavoro eccellente, 2 buoni, 3 accettabili e raggiunge il punteggio di 4,1. Il ricercatore “medio” presenta 1 lavoro buono, 1 accettabile, 4 limitati e raggiunge il punteggio di 1,3. Il ricercatore “somaro” presenta 1 lavoro accettabile, 2 limitati, 1 non valutabile, 2 mancanti e raggiunge il punteggio di -1,5.

Se si adotta il principio di Carlo Maria Cipolla, ben descritto nel divertente libello intitolato Allegro ma non troppo, e quindi si assume che ogni collettività sia composta in media da uno bravo, due medi e uno somaro, il voto del collettivo è pari a 1,3.

Il calcolo è il seguente: 4,1 + 1,3 + 1,3 – 1,5 = 5,2 : 4 = 1,3.

Replichiamo l’esercizio per gli stessi tre ricercatori, questa volta inseriti nel contesto universitario. In questo caso i docenti devono presentare soltanto 3 prodotti, per cui viene esclusa la coda della distribuzione (l’area verde nella Tabella 1) che, ovviamente, pesa negativamente (l’area rossa nella Tabella 2 è vuota).

Nella Tabella 2 il  “somaro” o scansafatiche si salva perché non è costretto a certificare che ha prodotto poco o non deve arrampicarsi sugli specchi esibendo prodotti giudicati “non valutabili” (definiti nelle linee guida del VQR come “prodotti che non appartengono a tipologie incluse nel VQR o che presentano allegati o documentazione inadeguati per la valutazione o sono stati pubblicati in anni precedenti o successivi al settennio di riferimento”). In questo caso l’algoritmo di Cipolla conduce ad un voto pari a 2,9 (il voto riproporzionato scaturisce dalla somma dai valori relativi alle 4 tipologie moltiplicata per 2, pari al rapporto tra 6 e 3). Se poi volessimo usare un’altra proporzione, quella di Gaetano Salvemini, secondo cui “la classe politica italiana è composta da un 10% dal meglio del paese, per un altro 10% dalla feccia del paese, per il resto ‘è il paese’”, quindi 10%-80%-10%, il risultato non cambierebbe di molto, sarebbe 2,7 (quello del ricercatore negli enti pubblici rimarrebbe al livello di 1,3).

La distorsione dello strumento ANVUR conduce a concludere che, nello scenario proposto, a parità di condizioni, un ricercatore che opera nell’università risulta più produttivo di uno impiegato presso gli enti di ricerca pubblici in misura più che doppia – nell’un caso il punteggio è 2,9 e nell’altro 1,3. E questo soltanto perché il VQR gli richiede di mostrare il meglio di sé e gli consente di mettere la sordina alle proprie magagne. Dunque poiché nell’esercizio VQR il valore del voto “è espresso come percentuale del valore compressivo dell’Area” che è determinato per motivi di numerosità dai docenti universitari, i ricercatori degli enti pubblici si troveranno sistematicamente in un gradino inferiore.

Dalla lettura delle linee guida del VQR illustrate nel bando del 7 novembre non sembra vi siano elementi per affrontare e risolvere il problema qui sollevato. Se dunque non si interviene, si avrà una significativa penalizzazione degli enti di ricerca rispetto alle università. Questa ed altre analisi mostrano come il sistema VQR abbia bisogno di essere approfondito, qualificato e migliorato per evitare che diventi uno strumento perverso che, invece di aiutare i ricercatori degli enti pubblici a lavorare meglio, stringa loro un cappio al collo.