La VQR? Uno spreco. Il premio vale 58 MLN, la gara ne costa almeno 30

Cosa direste se, per decidere come dividere una torta di 240 milioni, se ne spendessero più di 120? Si griderebbe allo scandalo. A maggior ragione se si trattasse di risorse pubbliche e se e il costoso rituale servisse a giustificare i compensi di una piccola casta di super-valutatori (il Presidente dell’Anvur percepisce 210.000 Euro annui, poco meno del Presidente della Repubblica). Domani, verranno pubblicati i risultati della VQR 2011-2014, la valutazione della qualità della ricerca delle università e degli enti di ricerca. Una sacrosanta operazione di verifica e monitoraggio, verrebbe da pensare. Purtroppo, come abbiamo mostrato nelle settimane scorse, non solo la VQR utilizza metodi privi di base scientifica, ma è anche parecchio costosa. Lo scopo della VQR sarebbe di distribuire in modo “meritocratico” i finanziamenti premiali agli atenei. Ma quanti soldi sposta la VQR rispetto ad un finanziamento “a pioggia”? Un facile conto mostra che solo 16 atenei su 60 ricevono premi o punizioni superiori al milione di euro. La metà degli atenei (30) si discosta in alto o in basso rispetto alla distribuzione a pioggia per meno di 500mila Euro. Per gran parte degli atenei i costi amministrativi superano addirittura il premio ricevuto. Visto che la VQR è quadriennale, i conti sono presto fatti: per spostare 58 milioni all’anno (240 MLN in 4 anni), la traballante procedura di valutazione costa una cifra compresa tra i 30 e 56 milioni all’anno (tra i 120 e i 240 MLN in 4 anni), tutte risorse sottratte alla ricerca e all’insegnamento. Un lineare esercizio di analisi costi benefici. Che lascia l’amaro in bocca, proprio come un gin tonic di cattiva qualità. Leggere (bevendo il pessimo intruglio fino in fondo) per credere.

I link alle precedenti puntate di Waiting for VQR:

• Peer review e bibliometria non concordano. Neanche in Italia
• La “junk arithmetic” della bibliometria fai-da-te della VQR 2011-2014
• La valutazione della ricerca ha un costo molto elevato. Le metodologie di stima sono discutibili, ma la sostanza non cambia
• Bibliometria anvuriana: se la conosci la eviti

Questo articolo costituisce anche l’Atto III di “Tutto quello che avreste voluto sapere sull’FFO premiale”. Link ai precedenti due atti:

• Tutto quello che avreste voluto sapere sull’FFO premiale – Atto I
• Tutto quello che avreste voluto sapere sull’FFO premiale – Atto II

1. Come si distribuisce l’FFO(A)?

Come ormai i lettori di Roars sanno, una parte dell’FFO premiale, l’FFO(A) è distribuita sulla base dei valori dell’indicatore IRFS, la cui formula è stata così definita dal MIUR:

In quella formula solo IRAS1 è direttamente collegato alla valutazione della qualità della ricerca dell’ANVUR. Gli altri due IRAS, come abbiamo già visto qui e qui, si riferiscono alle entrate per ricerca (IRAS3) disponibili nei bilanci degli atenei, ed al numero di personale di ricerca in formazione (IRAS4). All’apparenza, quindi, ben l’85% dell’FFO(A) premiale appare distribuito sulla base della qualità della ricerca. Se avrete la pazienza di seguire questo post scoprirete che non è così.

2. Ma che cos’è e come si calcola IRAS1?

Nella neolingua anvuriana IRAS1 è un indicatore “quali-quantitativo”, che cioè mette insieme qualità e quantità della ricerca. Ma quanta qualità e quanta quantità entrano nell’indicatore?

IRAS1 è calcolato come

Questo modo di presentare IRAS1 ha il grande vantaggio di rendere intellegibile una formula che ANVUR ha fatto apparire esoterica o ha sbagliato addirittura a definire (come per esempio nel documento diffuso alla conferenza stampa pre-natalizia del presidente Graziosi).

Immaginate che la somma dei punteggi dell’Ateneo X sia pari a 70 e che la somma complessiva dei punteggi VQR per tutti gli atenei italiani sia 1000:

IRAS1=70/1000=0,07 il che indica che l’Ateneo X apporta il 7% dei voti VQR.

Questo modo di presentare IRAS1 ha il grande vantaggio di mostrare che IRAS1 non riflette solo la “qualità” della ricerca di un ateneo, ma anche la dimensione dell’ateneo. Per cui:

• A parità di qualità media della ricerca, i valori di IRAS1 sono più elevati per gli atenei più grandi (e viceversa).
• A parità di dimensione, tanto migliori i prodotti della ricerca presentati, tanto più elevato il valore di IRAS1 (e viceversa).

Nel nostro esempio ci potremmo trovare di fronte a due atenei con prestazioni (scusate l’italianismo, l’anvuriano avrebbe scritto performance) di ricerca molto diverse.

Potremmo essere di fronte ad un ateneo piccolo con solo 35 ricercatori, ciascuno dei quali ha conferito due prodotti eccellenti (somma dei voti 70); o potremmo essere di fronte ad un ateneo con 350 ricercatori, ciascuno dei quali ha conferito due prodotti accettabili (valutazione 0,1), per un totale di (350*2*0,1=70).

E’ importante sottolineare che, in entrambe le ipotesi, l’ateneo X si aggiudicherebbe il 7% dell’FFO distribuito sulla base di IRAS1. In linea generale, se ragioniamo in termini di FFO si può affermare che:

• A parità di qualità media della ricerca, atenei più grandi hanno assegnazioni più elevate di FFO(A) (e viceversa).
• A parità di dimensione, tanto migliori i prodotti della ricerca presentati, tanto più elevata l’assegnazione di FFO(A) (e viceversa).

Questo significa che la distribuzione dell’FFO(A) premiale, non premia solo la “qualità della ricerca”, ma distribuisce fondi sulla base della dimensione degli atenei.

La domanda a questo punto è: quanti soldi sono distribuiti sulla base della qualità della ricerca e quanti invece sulla base della dimensione dell’Ateneo?

Per rispondere a questa domanda possiamo ricorrere al seguente esperimento mentale.

Immaginiamo per un attimo che il collettivo rivoluzionario di Roars prenda il potere e sulla base dei suoi noti pregiudizi antimeritocratici decida di distribuire a pioggia l’ammontare di FFO(A) dipendente da IRAS1, pari a 782.616.250€. Ogni ateneo statale riceverà così una quota di FFO proporzionale al numero dei propri ricercatori. Per essere più precisi la distribuzione a pioggia avverrà sulla base della quota di prodotti attesi VQR di ciascun ateneo sul totale. Per esempio, la Sapienza di Roma è tenuta a conferire alla VQR il 7,257% dei prodotti, per cui riceverà una pari percentuale di FFO(A), pari a € 56.797.585; mentre l’università per stranieri di Siena si aggiudicherà € 604.318 pari allo 0,077% dell’ammontare complessivo.

E’ opportuno sottolineare due cose:

1. questa distribuzione a pioggia è equivalente all’assunzione antimeritocratica,  secondo cui si suppone che tutti gli atenei abbiano lo stesso risultato medio nella VQR (assunzione cui ha fatto riferimento anche Graziosi nella sua conferenza stampa);
2. questo modo di distribuire risorse è molto semplice e non ha costi amministrativi: è sufficiente conoscere il numero di ricercatori di ogni ateneo.

A questo punto per ogni ateneo possiamo confrontare questa distribuzione a pioggia con la distribuzione meritocratica basata sui risultati VQR, ovvero con la distribuzione effettiva dell’85% dell’FFO(A).[1] La differenza tra la distribuzione effettiva e quella a pioggia che adotterebbe il collettivo Roars indica l’ammontare di premio/punizione ricevuto da ogni ateneo sulla base della qualità della ricerca prodotta.

Nel grafico seguente, per ogni ateneo sono riportati in verde la distribuzione a pioggia del collettivo Roars, in blu quella meritocratica del MIUR-ANVUR; mentre in arancione è riportato l’ammontare per ogni ateneo del premio/punizione per la qualità della ricerca. Gli atenei sono ordinati sulla base dell’ammontare del premio/punizione ricevuti.

Vi risulta difficile individuare l’entità del premio? Non abbiamo sbagliato a elaborare il grafico. E’ che i premi e le punizioni per la qualità della ricerca sono nella maggior parte dei casi davvero trascurabili. Solo 16 atenei su 60 ricevono premi o punizioni superiori al milione di euro. La metà degli atenei (30) si discosta in alto o in basso rispetto alla distribuzione a pioggia per meno di 500mila €.

A questo punto possiamo finalmente stimare quanti soldi sono distribuiti sulla base della qualità della ricerca e quanti sulla base della dimensione dell’ateneo. Per essere chiari ripetiamo tutti i dati.

Sulla base di IRAS1 vengono distribuiti alle università statali 782.616.250€.

• Il 92,6%, cioè 725.068.502€, sono distribuiti sulla base della dimensione degli atenei.
• Il restante 7,4%, cioè 57.547.748€, sono distribuiti sulla base della qualità della ricerca.[2]

Questi 57 milioni rappresentano il 6,2% dell’FFO(A) complessivo, quello distribuito sulla base dell’indicatore IRFS. [3]

3. Un Gin Tonic per favore

Perché adesso parliamo di Gin Tonic?

Secondo wikipedia il Gin-Tonic è un long drink a base di gin e acqua tonica. E per essere realizzato a regola d’arte deve contenere il 40% di gin e il 60% di acqua tonica.

Se in un bar vi viene servito un gin tonic composto per il 93% di acqua tonica e per appena il 7% di gin, avreste tutte le ragioni per protestare, sostenendo che vi è stato portato un bicchiere di tonica corretta con una spruzzatina di gin, mentre voi avevate ordinate un Gin-Tonic.

IRAS1 è un indicatore “quali-quantitativo” della ricerca prodotta dagli atenei: è cioè, come il Gin Tonic, composto da due ingredienti. Sui rapporti ANVUR ci sono formule complicate che ne definiscono il calcolo, e che hanno lo scopo principale di intimidire i lettori non avvezzi a leggere formule matematiche. Queste formule non permettono però di capire quanta “qualità” e quanta “quantità” entrano nell’indicatore. ANVUR, MIUR e CRUI hanno fatto passare il messaggio che l’elemento più rilevante di IRAS1 è la qualità della ricerca, la cui “fotografia dettagliatissima”, secondo l’ex ministra Carrozza, è scattata dall’ANVUR con la VQR. E quindi la distribuzione delle risorse basata su IRAS1 è una distribuzione “meritocratica”.

In realtà in questi anni ci è stato servito un cocktail fatto per il 93% da quantità con una spruzzatina del 7% di qualità della ricerca.

4. Quanto abbiamo pagato per bere bicchieri di tonica corretti con il 7% di gin?

La domanda può essere precisata in questo modo:

Quanto costa al contribuente italiano distribuire alle università statali italiane 58 milioni di euro sulla base della qualità della ricerca?

Per rispondere a questa domanda dovremmo sapere quanto è costata la VQR 2011-2014. Al momento non ne abbiamo idea e, a meno di stime indipendenti, come per la precedente, nessuno lo saprà mai. Perché – come abbiamo sentito ripetere in questi anni, soprattutto da economisti che dovrebbero essere avvezzi a ragionare in termini di costi e benefici (e meno male che il Governo italiano enfatizza e fa sue le virtù della Analisi d’Impatto della Regolazione – AIR)  – “i soldi spesi per la valutazione sono comunque soldi spesi bene”.

Possiamo pensare che non sia costata meno della precedente. Il numero dei ricercatori oggetto di valutazione è del tutto simile. Il numero di prodotti da valutare in peer-review è minore, ma le procedure di analisi bibliometrica si sono complicate. Le evidenze (inglesi) dicono che edizioni successive dello stesso esercizio di valutazione danno luogo ad incremento dei costi, anche a causa della maggiore attenzione prestata dalle strutture oggetto di valutazione alle procedure per il conferimento dei prodotti.

Quanto è costata la VQR 2004-2010? Non meno di 150 milioni di euro, non più di 300 milioni di euro (si veda qui).

Sappiamo che il prossimo esercizio sarà la VQR 2015-2019: questo significa che  i risultati della VQR attuale saranno utilizzati per distribuire FFO fino a tutto il 2019, quindi per 4 anni. Possiamo perciò ripartire i costi della VQR sui quattro anni durante i quali sarà usata per ripartire FFO: costi compresi quindi tra 37,5 milioni di euro e 70 milioni di euro per ogni anno.

I più attenti osservatori dell’FFO a questo punto potrebbero obiettare: “state parlando solo di università statali, non conteggiate gli enti di ricerca e le scuole speciali. In più state parlando solo di IRAS1; il premio è legato anche alla ‘qualità’ del reclutamento (IRAS2) che usa i dati della VQR”. Tutto vero. Il problema è che anche IRAS2 è un indicatore quali-quantitativo. Qui la quantità è proporzionale al numero di docenti (punti organico) reclutati o passati di ruolo nel periodo 2011-2014; ma i dati non sono stati resi noti e, quindi, non è possibile fare un ragionamento come quello fatto per IRAS1.

Per tenere conto di queste obiezioni riduciamo del 25% la stima del costo della VQR [un ammontare pari alla quota (25%) di FFO(A) distribuito sulla base di IRAS2].[4]

Quindi nel 2016, per distribuire 58 milioni di euro sulla base della qualità della ricerca IRAS1 il contribuente italiano ha speso una cifra compresa tra i 30 ed i 56 milioni di euro.

Cioè ogni singolo euro distribuito sulla base del “merito” è costato in termini di valutazione non meno di 0.54€, ma non più di 0.96€.

Ogni ulteriore commento sull’efficienza od economicità della procedura di ripartizione meritocratica è del tutto superfluo. Ci limitiamo a notare che quanto appena detto significa che nella gran parte delle università “premiate” con FFO aggiuntivo, il premio ricevuto non copre neanche i costi affrontati per partecipare alla valutazione.

5. Non basta cambiare le dosi!

“Ok. E’ vero fino ad adesso ci è stata servita acqua tonica (quantità) con una spruzzatina di gin (qualità della ricerca). E l’abbiamo pagata come un Moët & Chandon Dom Perignon Charles & Diana 1961.

Basta che il MIUR cambi le dosi, e avremo del gin-tonic a buon prezzo.

Fuor di metafora: basta modificare la formula e dare più peso alla qualità della ricerca che è possibile avere una distribuzione più meritocratica. E questo giustificherebbe appieno i soldi spesi per la VQR.

La qualità del gin tonic dipende non solo dalle dosi dei due ingredienti. Ma anche dalla qualità dell’acqua tonica e del gin. Su Yahoo answers si possono leggere queste pillole di saggezza:

Per avere un buon gin-tonic ci vuole del buon gin. E la VQR è un gin che il proprietario del bar prepara nel sottoscala [come mostrato qui, qui e qui]. Forse per i contribuenti italiani sarebbe meglio rinunciare del tutto al gin tonic. O – per lo meno – cambiare bar.

Note

[1] Per semplificare il ragionamento abbiamo usato la differenza tra IRAS1 non meritocratico e IRAS1 effettivo. IN realtà sappiamo che l’IRAS1 effettivo è stato corretto per #stopvqr. I dati per questo secondo esercizio sono disponibili nel foglio allegato.

[2] Se scorporiamo i dati della correzione #stopvqr l’ammontare di FFO meritocratico sale a 61.149.654€, pari al 8,4% dell’FFO(IRAS1).

[3] Nel 2015 le cose non sono andate molto meglio: solo 66 milioni su 540 (12%) sono stati distribuiti sulla base dei risultati VQR, mentre il restante 88% sono stati distribuiti sulla base della dimensione degli Atenei.

[4] Sulla base di IRAS2 sono distribuiti 283.300.000€.  E’ da notare che questo modo di procedere sottostima fortemente l’incidenza del costo della VQR poiché di fatto assume che tutto IRAS2 sia distribuito sulla base della sola qualità del reclutamento, mentre è del tutto ragionevole pensare che una quota notevole del finanziamento dipenda dal numero di reclutati e promossi nel periodo. Di fatto IRAS2 si configura come un cofinanziamento di reclutamento e promozioni, corretto per la qualità.