Waiting for VQR

La valutazione della ricerca ha un costo molto elevato. Le metodologie di stima sono discutibili, ma la sostanza non cambia

Mentre aspettiamo con trepidazione i risultati della prossima VQR, forse è il caso di ricordare una delle questioni più dibattute su Roars ai tempi della VQR 2004-2010. Quanto è costata al contribuente italiano la VQR 2004-2010? Forse qualcuno ricorderà che Giorgio Sirilli pubblicò nel 2012 una stima del costo della VQR di € 300 milioni, sostenendo che quei costi erano quasi interamente (92%) in capo alle strutture universitarie e di ricerca valutate. Sirilli computava il costo pieno del tempo di tutti coloro che a vario titolo erano stati impegnati nel processo di revisione. Utilizzando lo stesso metodo, nel 2015, Robert Bowman ha calcolato che il REF2014 britannico sia costato 1 miliardo di sterline. Verosimilmente le stime di Bowman e Sirilli sono stime massime dei costi degli esercizi di valutazione. L’HEFCE (l’agenzia che ha in carico la valutazione in UK) ha commissionato ad una società specializzata una stima “ufficiale” ed “indipendente” dei costi del REF: 250 milioni di sterline (pari a circa 320 milioni di € 2014). Cifra considerata “troppo bassa” dall’Institute of Economic Affairs di Londra. In Italia di stime ufficiali non se ne vedono (e c’è da pensare che se ne vedranno); ce ne sono però un paio oltre a quella di Sirilli. Geuna e Piolatto in un working-paper del 2014 (discusso da Sirilli) stimavano i costi in 182 milioni di €. Nella versione su rivista peer reviewed, la loro stima è scesa ad appena €70,5 milioni, poiché hanno eliminato dal calcolo i costi opportunità dei revisori e dei membri dei panel. Questa scelta non appare del tutto in linea con la prassi internazionale prevalente che preferisce tenere conto in qualche misura di tali costi. Per capire l’entità della sottostima si consideri che Geuna e Piolatto hanno calcolato anche il costo del REF britannico in 130-164 milioni di €, cioè una cifra pari a circa la metà della già “troppo bassa” stima ufficiale. Dunque sembra di poter concludere che la VQR 2004-2010 è costata non meno di 150 milioni di € (cifra ottenuta raddoppiando la stima più bassa di Geuna-Piolatto), e non più di 300 milioni di € (stima Sirilli). Perché il lettore si faccia un’idea più precisa riproduciamo qui sotto l’articolo nel quale Giorgio Sirilli discute e difende la sua stima.

I link alle altre puntate di Waiting for VQR:

Il 12 febbraio [2015] è stato pubblicato sulla rivista elettronica Times Higher Education un articolo dal titolo scioccante: “La ‘vera’ stima del costo del Research Excellence Framework (REF) supera il miliardo di sterline”. Per l’Italia, Roars aveva stimato il costo della VQR nell’ordine di 300 milioni di euro, mentre la stima di Geuna e Piolatto, scontando del 50% il costo opportunità, era di 182 milioni. Vi sono dunque buone, ulteriori, ragioni per ritenere che la VQR rappresenti un cospicuo, e quindi non banale, investimento a cui deve corrispondere un adeguato beneficio per la comunità – gli amici inglesi direbbero “value for money”.

Il 12 febbraio è stato pubblicato sulla rivista elettronica Times Higher Education un articolo dal titolo scioccante:

La ‘vera’stima del costo del Research Excellence Framework (REF) supera il miliardo di sterline

Un milioneTale stima è stata effettuata dal prof. Robert Bowman, direttore del Centro per i media nanostrutturati della Queen’s University di Belfast, sommando i seguenti addendi: 600 milioni per la preparazione della documentazione da sottoporre a valutazione, 300 milioni per la loro selezione e validazione, 200 milioni per la gestione centralizzata della documentazione, 100 milioni per gli studi di caso. Dal computo è stato escluso il costo del tempo dei docenti impiegati nella revisione dei prodotti. Il prof. Bowman ha ammesso che la sua stima, che tiene conto del costo totale degli stipendi dei professori, costituisce un tetto massimo, ed ha sfidato i colleghi a proporre modifiche realistiche alle sue assunzioni che consentano di giungere ad una cifra inferiore a 500 milioni di sterline, pari a 675 milioni di euro.

Ma veniamo a casa nostra. Il REF è uno sviluppo del RAE, a cui sono stati aggiunti gli studi di caso, e la VQR è figlia del RAE. E’ dunque lecito proporre alcuni parallelismi. Se alla stima prudenziale del costo del REF di 500 milioni di sterline vengono sottratti i 100 milioni relativi agli studi di caso, si scende a 400 milioni di sterline, pari a 540 milioni di euro.

Una stima del costo della VQR da noi effettuata nell’aprile 2012 era dell’ordine di 300 milioni di euro, ottenuti come somma dei seguenti addendi: 7 milioni ANVUR, 9 milioni GEV, 51 milioni predisposizione dei prodotti da valutare, 19 milioni per costi interni di università ed enti di ricerca, 216 per i referaggi. Tale stima è stata in più occasioni contestata dall’ANVUR e da altri osservatori in base all’assunzione che il costo opportunità del tempo dedicato dai revisori non debba essere incluso nel computo. E tale è stata la scelta di Bowman che, tuttavia, è giunto ad una cifra quasi doppia della nostra (540 milioni rispetto a 300).

Geuna e Piolatto hanno pubblicato un rapporto dal titolo: “Lo sviluppo della valutazione della ricerca nel Regno Unito e in Italia: costoso e difficile, ma probabilmente meritevole di essere fatto (per un po’)” [il paper non è più disponibile all’indirizzo http://www.de.unito.it/unitoWAR/ShowBinary/FSRepo/D031/Allegati/WP2014Dip/WP_16_2014.pdf] . La loro stima del costo della VQR è la seguente: 10 milioni di euro CINECA, 1 milione ANVUR, 66 milioni costi interni delle università ed enti, 105 referaggi (l’assunzione è che la revisione delle pubblicazioni è parte del lavoro dei ricercatori e che i ricercatori acquisiscono in tal modo nuove conoscenze, per cui il costo opportunità è stato scontato del 50%), per un totale di 182 milioni.

I tre esercizi adottano metodologie non completamente comparabili – nel primo il costo opportunità della revisione viene escluso, ma quello relativo alla predisposizione della documentazione risulta molto alto, mentre negli altri due viene incluso – ma nel complesso collocano il costo della valutazione della ricerca delle università e degli enti di ricerca tra 540 milioni e 182 milioni di euro, per cui il punto di caduta potrebbe essere intorno ai 300 milioni. Vi sono dunque buone, ulteriori, ragioni per ritenere che la VQR rappresenti un cospicuo, e quindi non banale, investimento a cui deve corrispondere un adeguato beneficio per la comunità – gli amici inglesi direbbero “value for money”.VAlue for money

 

Send to Kindle
Tag: , , , , , , , , , , , ,

4 Comments

  1. Una microscopica precisazione (importante però in altri contesti). Lo HEFCE (Higher Education Funding Council of England) non si occupa della valutazione delle università del Regno Unito, ma solo di quelle dell’Inghilterra.

  2. roberto di lauro says:

    La valutazione dei costi e’ importante ma non non ha molto senso valutarla come valore assoluto. Se si ritiene utile la valutazione della performance (prescindo da una discussione nel merito dei metodi di valutazione)il suo costo va misurato come percentuale dell’investimento in ricerca. Prendendo anche la cifra piu’ alta della spesa ANVUR (540 milioni) risulta essere circa il 6% dell’investimento pubblico in ricerca che l’ISTAT stima intorno i 9 Miliardi. Un percentuale accettabile. Negli USA il costo della valutazione nel settore biomedico (NIH) e’ il 5% della spesa.

    • Alberto Baccini says:

      Roberto di Lauro: “la cifra piu’ alta della spesa ANVUR (540 milioni)”.
      _____________________________

      Quella stima si riferisce al costo del REF2014, non a quello della VQR.

      ********************************************

      Roberto Di Lauro: “Se si ritiene utile la valutazione della performance (prescindo da una discussione nel merito dei metodi di valutazione)il suo costo va misurato come percentuale dell’investimento in ricerca.”

      _____________________________

      Non è detto che sia un confronto significativo. Lo sarebbe se la valutazione fosse usata a soli fini di accountability delle attività di ricerca. In quel caso la letteratura internazionale ha adottato come soglia di costo ragionevole <1%.

      Nel caso della VQR, così come del REF, la valutazione non serve come strumento di sola accountability, ma serve a distribuire risorse. Quindi la letteratura internazionale usa (come denominatore del rapporto) la quantità di finanziamento distribuito sulla base dei risultati della valutazione (basta seguire i link dell’articolo per trovare molta letteratura rilevante).

      *************************************

      Roberto Di Lauro: prende a riferimento “dell’investimento pubblico in ricerca che l’ISTAT stima intorno i 9 Miliardi”
      _____________________________

      Prendere il dato della spesa (pubblica) complessiva in R&S non è corretto, non solo per le ragioni spiegate qua sopra, ma anche perché in quella spesa sono comprese molte attività che non sono oggetto di valutazione nella VQR. (Per fare un esempio in quella spesa sono comprese tutte le spese relative alle attività di valutazione dei progetti di ricerca). E ovviamente se il denominatore si alza, la % di spesa della VQR spesa appare “più accettabile”.

      *************************************

      Roberto Di Lauro afferma poi che una percentuale dei costi della valutazione del 6% (e abbiamo già visto che quel numero non sta in piedi) “è accettabile”. E l’accettabilità è spiegata facendo il confronto con un’altra percentuale: “Negli USA il costo della valutazione nel settore biomedico (NIH) e’ il 5% della spesa.”
      _____________________________

      Non so quale sia la fonte (sul bilancio NIH trovo dati del tutto diversi) ma non è questo il punto!
      Il confronto è sicuramente incongruo. Non sono un esperto delle attività di NIH (National Institute of Health), ma non mi risulta proprio che NIH faccia una attività di research assessment universale del tipo VQR/REF.

      Probabilmente Di Lauro confonde la valutazione ex-ante dei progetti di NIH (program evalutation financing?), con la valutazione massiva della ricerca (research assessment). Non si possono confrontare pere e mele. Se si vogliono usare i dati NIH come termine di confronto, forse si dovrebbero considerare i costi dei referaggi PRIN. Queste sono attività (almeno parzialmente) confrontabili.

      ***********************************

      Resta quindi solo la domanda che già poneva Sirilli nell’articolo: è congrua la spesa per la VQR?

    • Giuseppe De Nicolao says:

      roberto di lauro: «Prendendo anche la cifra piu’ alta della spesa ANVUR (540 milioni) risulta essere circa il 6% dell’investimento pubblico in ricerca che l’ISTAT stima intorno i 9 Miliardi.»
      ________________________
      In UK chi dibatte sul costo del REF, lo rapporta al cosiddetto Quality Related funding (1) e non si sogna certo di rapportarlo al totale della spesa pubblica nella ricerca. Quindi, il costo della VQR va rapportato non a 9 miliardi, ma a quel 70% del FFO premiale che viene distribuito in base alla VQR, ovvero circa 1,22 miliardi di Euro (nel 2016).

      (1) https://www.theguardian.com/science/political-science/2015/jul/27/in-defence-of-the-ref

Leave a Reply