La valutazione della ricerca ha un costo molto elevato. Le metodologie di stima sono discutibili, ma la sostanza non cambia

Mentre aspettiamo con trepidazione i risultati della prossima VQR, forse è il caso di ricordare una delle questioni più dibattute su Roars ai tempi della VQR 2004-2010. Quanto è costata al contribuente italiano la VQR 2004-2010? Forse qualcuno ricorderà che Giorgio Sirilli pubblicò nel 2012 una stima del costo della VQR di € 300 milioni, sostenendo che quei costi erano quasi interamente (92%) in capo alle strutture universitarie e di ricerca valutate. Sirilli computava il costo pieno del tempo di tutti coloro che a vario titolo erano stati impegnati nel processo di revisione. Utilizzando lo stesso metodo, nel 2015, Robert Bowman ha calcolato che il REF2014 britannico sia costato 1 miliardo di sterline. Verosimilmente le stime di Bowman e Sirilli sono stime massime dei costi degli esercizi di valutazione. L’HEFCE (l’agenzia che ha in carico la valutazione in UK) ha commissionato ad una società specializzata una stima “ufficiale” ed “indipendente” dei costi del REF: 250 milioni di sterline (pari a circa 320 milioni di € 2014). Cifra considerata “troppo bassa” dall’Institute of Economic Affairs di Londra. In Italia di stime ufficiali non se ne vedono (e c’è da pensare che se ne vedranno); ce ne sono però un paio oltre a quella di Sirilli. Geuna e Piolatto in un working-paper del 2014 (discusso da Sirilli) stimavano i costi in 182 milioni di €. Nella versione su rivista peer reviewed, la loro stima è scesa ad appena €70,5 milioni, poiché hanno eliminato dal calcolo i costi opportunità dei revisori e dei membri dei panel. Questa scelta non appare del tutto in linea con la prassi internazionale prevalente che preferisce tenere conto in qualche misura di tali costi. Per capire l’entità della sottostima si consideri che Geuna e Piolatto hanno calcolato anche il costo del REF britannico in 130-164 milioni di €, cioè una cifra pari a circa la metà della già “troppo bassa” stima ufficiale. Dunque sembra di poter concludere che la VQR 2004-2010 è costata non meno di 150 milioni di € (cifra ottenuta raddoppiando la stima più bassa di Geuna-Piolatto), e non più di 300 milioni di € (stima Sirilli). Perché il lettore si faccia un’idea più precisa riproduciamo qui sotto l’articolo nel quale Giorgio Sirilli discute e difende la sua stima.

I link alle altre puntate di Waiting for VQR:

• Peer review e bibliometria non concordano. Neanche in Italia
• La “junk arithmetic” della bibliometria fai-da-te della VQR 2011-2014
• Bibliometria anvuriana: se la conosci la eviti
• La VQR? Uno spreco. Il premio vale 58 MLN, la gara ne costa almeno 30

Il 12 febbraio [2015] è stato pubblicato sulla rivista elettronica Times Higher Education un articolo dal titolo scioccante: “La ‘vera’ stima del costo del Research Excellence Framework (REF) supera il miliardo di sterline”. Per l’Italia, Roars aveva stimato il costo della VQR nell’ordine di 300 milioni di euro, mentre la stima di Geuna e Piolatto, scontando del 50% il costo opportunità, era di 182 milioni. Vi sono dunque buone, ulteriori, ragioni per ritenere che la VQR rappresenti un cospicuo, e quindi non banale, investimento a cui deve corrispondere un adeguato beneficio per la comunità – gli amici inglesi direbbero “value for money”.

Il 12 febbraio è stato pubblicato sulla rivista elettronica Times Higher Education un articolo dal titolo scioccante:

La ‘vera’stima del costo del Research Excellence Framework (REF) supera il miliardo di sterline

Tale stima è stata effettuata dal prof. Robert Bowman, direttore del Centro per i media nanostrutturati della Queen’s University di Belfast, sommando i seguenti addendi: 600 milioni per la preparazione della documentazione da sottoporre a valutazione, 300 milioni per la loro selezione e validazione, 200 milioni per la gestione centralizzata della documentazione, 100 milioni per gli studi di caso. Dal computo è stato escluso il costo del tempo dei docenti impiegati nella revisione dei prodotti. Il prof. Bowman ha ammesso che la sua stima, che tiene conto del costo totale degli stipendi dei professori, costituisce un tetto massimo, ed ha sfidato i colleghi a proporre modifiche realistiche alle sue assunzioni che consentano di giungere ad una cifra inferiore a 500 milioni di sterline, pari a 675 milioni di euro.

Ma veniamo a casa nostra. Il REF è uno sviluppo del RAE, a cui sono stati aggiunti gli studi di caso, e la VQR è figlia del RAE. E’ dunque lecito proporre alcuni parallelismi. Se alla stima prudenziale del costo del REF di 500 milioni di sterline vengono sottratti i 100 milioni relativi agli studi di caso, si scende a 400 milioni di sterline, pari a 540 milioni di euro.

Una stima del costo della VQR da noi effettuata nell’aprile 2012 era dell’ordine di 300 milioni di euro, ottenuti come somma dei seguenti addendi: 7 milioni ANVUR, 9 milioni GEV, 51 milioni predisposizione dei prodotti da valutare, 19 milioni per costi interni di università ed enti di ricerca, 216 per i referaggi. Tale stima è stata in più occasioni contestata dall’ANVUR e da altri osservatori in base all’assunzione che il costo opportunità del tempo dedicato dai revisori non debba essere incluso nel computo. E tale è stata la scelta di Bowman che, tuttavia, è giunto ad una cifra quasi doppia della nostra (540 milioni rispetto a 300).

Geuna e Piolatto hanno pubblicato un rapporto dal titolo: “Lo sviluppo della valutazione della ricerca nel Regno Unito e in Italia: costoso e difficile, ma probabilmente meritevole di essere fatto (per un po’)” [il paper non è più disponibile all’indirizzo http://www.de.unito.it/unitoWAR/ShowBinary/FSRepo/D031/Allegati/WP2014Dip/WP_16_2014.pdf] . La loro stima del costo della VQR è la seguente: 10 milioni di euro CINECA, 1 milione ANVUR, 66 milioni costi interni delle università ed enti, 105 referaggi (l’assunzione è che la revisione delle pubblicazioni è parte del lavoro dei ricercatori e che i ricercatori acquisiscono in tal modo nuove conoscenze, per cui il costo opportunità è stato scontato del 50%), per un totale di 182 milioni.

I tre esercizi adottano metodologie non completamente comparabili – nel primo il costo opportunità della revisione viene escluso, ma quello relativo alla predisposizione della documentazione risulta molto alto, mentre negli altri due viene incluso – ma nel complesso collocano il costo della valutazione della ricerca delle università e degli enti di ricerca tra 540 milioni e 182 milioni di euro, per cui il punto di caduta potrebbe essere intorno ai 300 milioni. Vi sono dunque buone, ulteriori, ragioni per ritenere che la VQR rappresenti un cospicuo, e quindi non banale, investimento a cui deve corrispondere un adeguato beneficio per la comunità – gli amici inglesi direbbero “value for money”.