Si può stimare che la VQR costerà 300 milioni di euro – e a pagarli sarà l’università

In questo periodo si sta sviluppando un interessante dibattito intorno alla Valutazione della Qualità della Ricerca (VQR) dell’ANVUR. Un aspetto che non è stato ancora toccato riguarda il suo costo.

Da quanto si sa, il bilancio dell’Agenzia è dell’ordine di 10 milioni di euro e ci si può attendere che una notevole quota dei fondi venga impegnata per eseguire la VQR. Tale cifra è destinata a coprire i costi diretti relativi al funzionamento delle strutture dell’Agenzia, alle riunioni, ai viaggi, al compenso dei revisori dei “prodotti”, all’elaborazione dei dati. Ma il costo dell’operazione deve includere anche altre voci che vanno a remunerare il lavoro delle persone e delle strutture coinvolte nell’iniziativa.

In questo articolo sono riportati i risultati di un esercizio in cui sono state stimate le spese dell’operazione ripartire in tre categorie:

1.     Spese dirette dell’ANVUR,

2.     Costi del lavoro dei ricercatori,

3.     Costi per le strutture valutate.

L’esercizio si basa su una serie di assunzioni ritenute ragionevoli e su una metodologia di stima analoga a quella impiegata nella compilazione delle statistiche sulla ricerca scientifica in base al Manuale di Frascati nel più ampio contesto della Contabilità nazionale.

Nella Tabella 1 (clicca sulla tabella per ingrandire) viene riportato il file di Excel in cui vengono mostrati i calcoli effettuati, e che potrà essere impiegato da chi voglia esercitarsi con ipotesi diverse.

1.    Spese dirette dell’ANVUR

Tale categoria comprende le giornate di lavoro dei membri dell’ANVUR direttamente impegnati nell’esecuzione della VQR (presidente, coordinatore della VQR e vice-coordinatore), le spese per le riunioni dei 450 membri dei GEV, la remunerazione dei revisori (vedi oltre) e la sua gestione amministrativa, l’acquisizione dei documenti. Tale stima è alquanto approssimativa, in mancanza di elementi di conoscenza disponibili al pubblico. Si può prendere per accettabile un costo diretto a carico del ANVUR di 7 milioni, senza contabilizzare il costo del CINECA.

2.    Costo dei ricercatori

Poiché è previsto che ciascuno dei 108.000 “prodotti” sarà valutato da due revisori, ipotizzando che la revisione richieda due giorni di lavoro (acquisizione del materiale da esaminare, studio delle procedure di valutazione, analisi del materiale, consultazione con altri colleghi, compilazione delle schede, invio telematico del rapporto), che il costo medio giornaliero di un professore universitario di prima/seconda fascia o di un dirigente di ricerca/primo ricercatore è di circa 500 euro, il costo totale di revisione dei “prodotti” ammonta a 216,0 milioni di euro[1].

A tale costo va aggiunto quello relativo alla fornitura dei dati da parte dei 64.000 ricercatori che, nell’ipotesi che impieghino due giorni di lavoro (studio delle procedure, riunioni tra colleghi e con la direzione della struttura, analisi delle basi dati, predisposizione del materiale, coordinamento con i co-autori, invio del materiale) e che il costo medio unitario sia di 400 euro al giorno, ammonta a 51,2 milioni.

Va infine aggiunto il costo dei 40 giorni di lavoro di ciascuno dei 450 membri dei GEV ad un costo unitario medio di 500 euro, pari a 9,0 milioni di euro.

In totale il costo delle persone coinvolte è di  276,2 milioni di euro.

3.    Costo per le strutture

Le università, i dipartimenti universitari e gli enti di ricerca, sono chiamati a organizzare e rendere operative le strutture deputate a fornire le informazioni richieste dall’ANVUR. Ciò comporta non soltanto la gestione della fornitura dei “prodotti” al CINECA, ma anche la trasmissione dei dati relativi ai restanti 14 indicatori  (acquisizione di fondi, mobilità, internazionalizzazione, attività di “terza missione”)  e la predisposizione della relazione finale all’ANVUR. Nel calcolo si è ipotizzato che le circa 1.700 strutture (96 università, 1.565 dipartimenti universitari, 12 enti pubblici di ricerca) dedichino una decina di giorni di lavoro di un numero di persone che va da 5 a 10 (direttori, docenti, amministrativi, tecnici) al costo unitario medio di 200 euro per un numero di giorni oscillante tra 10 e 30, per un totale di 18,7 milioni.

4.    Il costo totale

In conclusione, il costo stimato della VQR, che è concentrato nell’anno 2012, è di 301,9 milioni, in larghissima parte sostenuto dalle strutture valutate (97,7%) e, per la parte rimanente (2,3%) dall’ANVUR.

Alcune considerazioni finali

La cifra di 301,9 milioni risulta molto elevata. Essa è quasi tre volte quella sostenuta per eseguire il Research Assessment Exercise (RAE) (100 milioni di sterline[2] pari a 120 milioni di euro) a cui la VQR si è ispirata.

Tale cifra è pari a metà del fondo di finanziamento ordinario del CNR.

Un altro elemento di confronto è rappresentato dalla valutazione dei 107 istituti del CNR svolta nel 2008. Il suo costo è stato di 1,8 milioni di euro per le spese dirette; un esercizio di imputazione dei costi indiretti (2,8 milioni) analogo a quello descritto in questo articolo ha condotto alla stima di un costo totale di 4,6 milioni. Va ricordato che tale valutazione è stata eseguita mediante l’analisi del materiale informativo e le visite in loco da parte dei panel di esperti, mentre la VQR prevede soltanto un’analisi “a tavolino”[3].

I 276,2 milioni di euro spesi dalle università per essere valutate[4], rappresentano il 6,2% di quanto queste ricevono dal MIUR per il finanziamento della ricerca (4.444 milioni di euro nel 2009).

Si può ragionevolmente sostenere che i presidenti dei GEV (tutti universitari) ed i loro 450 membri (nella stragrande maggioranza docenti universitari) designeranno come revisori loro colleghi universitari, per cui il costo delle revisioni sarà a carico quasi esclusivo dell’università. Nel meccanismo della VQR è dunque insita una redistribuzione dei costi a carico dell’università e favore degli enti pubblici di ricerca.

La remunerazione dei revisori, pari a 30 euro per ciascun “prodotto”, appare del tutto inadeguata. Da un lato il costo amministrativo è senz’altro superiore a tale cifra e, dall’altro, il beneficio per il revisore è pressoché inesistente (trattandosi di ricercatori e professori con stipendi con un’aliquota marginale dell’imposta sui redditi del 43%, la vera remunerazione è inferiore ai 20 euro) e genera un “fastidio” burocratico in quanto il documento fiscale prodotto e inviato dall’ANVUR va allegato alla dichiarazione dei redditi. Né tale problema può essere significativamente attenuato affidando un cospicuo numero di “prodotti” allo stesso revisore o ai membri dei GEV, riducendo il carico amministrativo. Se si procede su tale linea d’azione, la remunerazione dei revisori assorbirà una quota esorbitante del bilancio della VQR (moltiplicando 108.000 “prodotti”, per 2 referee ciascuno, per 30 euro, il costo ammonterà a 6,5 milioni di euro). Visto quanto detto sopra, sarebbe opportuno che l’ANVUR chiedesse ai revisori di rinunciare alla remunerazione. Va peraltro fatto rilevare che i ricercatori sono usi effettuare su base volontaria referaggi per le riviste scientifiche, nell’assunzione che tale attività sia parte dei loro “obblighi” professionali, oltre che un’utile opportunità di aggiornamento. Diverso è il caso delle valutazioni effettuate per conto di ministeri come il MIUR o il MISE o delle amministrazioni regionali, in cui la tariffa giornaliera si aggira in media sui 250 euro (quella europea va da 200 a 450 euro).

I criteri ed i pesi utilizzati per la stima riportata nella Tabella 1 possono ovviamente essere modificati in funzione di scenari diversi. Se, per esempio, si ipotizza che il tempo che un referee dedica alla revisione del “prodotto” sia di un giorno e non di due, il costo totale si riduce da circa 300 milioni a poco meno di 200. Sebbene tale ipotesi sia del tutto legittima, ciò comporterebbe una scarsa qualità della revisione. In questo caso la quota della spesa sostenuta dall’ANVUR passerebbe dal 2,3% al 3,6%, non mutando sostanzialmente il rapporto tra le tre componenti – e l’ammontare della spesa totale della VQR sarebbe comunque molto elevato, più che doppio del RAE inglese.

Nel complesso si può sostenere che la VQR rappresenta un investimento di risorse pubbliche molto cospicuo a cui dovrà corrispondere un adeguato ritorno. Tra i vantaggi dell’operazione si possono annoverare: la diffusione della cultura della valutazione nell’università italiana (negli enti pubblici di ricerca la valutazione è ormai da anni pratica ordinaria per cui il vantaggio sarà molto minore); la creazione o il miglioramento delle strutture di monitoraggio delle attività che rimarranno incardinate nelle strutture anche dopo il termine della VQR; la messa a punto di strumenti per la presa delle decisioni a tutti i livelli. Tra gli svantaggi si possono citare: la mancanza di chiarezza sulla metodologia del processo valutativo (un indicatore, più indicatori, uno scoreboard); la polarizzazione della valutazione sulla produzione scientifica con conseguente riduzione dell’attenzione degli analisti e dei decisori politici sugli altri aspetti dell’attività delle strutture: trasferimento delle conoscenze, formazione e “terza missione”; l’inesorabile atteggiamento opportunistico dei ricercatori e delle strutture di fronte alle regole ed ai parametri utilizzati nella misurazione della performance con il conseguente mutamento dell’equilibrio tra le varie attività non voluto da espresse politiche gestionali ma indotto dalla misurazione; il possibile impiego inappropriato dei risultati della valutazione da parte dei decisori a tutti i livelli – ministero, università, enti, dipartimenti; la sistematica penalizzazione degli enti pubblici di ricerca.

Certamente i pro ed i contro dell’iniziativa saranno stati ben soppesati da parte di chi ha deciso di intraprenderla con queste modalità (il parlamento, il MIUR, l’ANVUR). Sarebbe interessante conoscere l’analisi costi-benefici che sicuramente qualcuno ha svolto per giustificare di fronte ai cittadini ed agli operatori del settore che è meglio spendere 300 milioni di euro per un meccanismo complesso e costoso, caricandone i costi sui bilanci dell’università e sottraendo alla ricerca preziose risorse che in questo periodo potrebbero alleviare una situazione di grave sofferenza. Finché non si disporrà di queste evidenze, la mia impressione è che la VQR non è destinata a restituire un sufficiente value for money.