In questo periodo si sta sviluppando un interessante dibattito intorno alla Valutazione della Qualità della Ricerca (VQR) dell’ANVUR. Un aspetto che non è stato ancora toccato riguarda il suo costo.

Da quanto si sa, il bilancio dell’Agenzia è dell’ordine di 10 milioni di euro e ci si può attendere che una notevole quota dei fondi venga impegnata per eseguire la VQR. Tale cifra è destinata a coprire i costi diretti relativi al funzionamento delle strutture dell’Agenzia, alle riunioni, ai viaggi, al compenso dei revisori dei “prodotti”, all’elaborazione dei dati. Ma il costo dell’operazione deve includere anche altre voci che vanno a remunerare il lavoro delle persone e delle strutture coinvolte nell’iniziativa.

In questo articolo sono riportati i risultati di un esercizio in cui sono state stimate le spese dell’operazione ripartire in tre categorie:

1.     Spese dirette dell’ANVUR,

2.     Costi del lavoro dei ricercatori,

3.     Costi per le strutture valutate.

L’esercizio si basa su una serie di assunzioni ritenute ragionevoli e su una metodologia di stima analoga a quella impiegata nella compilazione delle statistiche sulla ricerca scientifica in base al Manuale di Frascati nel più ampio contesto della Contabilità nazionale.

Nella Tabella 1 (clicca sulla tabella per ingrandire) viene riportato il file di Excel in cui vengono mostrati i calcoli effettuati, e che potrà essere impiegato da chi voglia esercitarsi con ipotesi diverse.

 

 

1.    Spese dirette dell’ANVUR

Tale categoria comprende le giornate di lavoro dei membri dell’ANVUR direttamente impegnati nell’esecuzione della VQR (presidente, coordinatore della VQR e vice-coordinatore), le spese per le riunioni dei 450 membri dei GEV, la remunerazione dei revisori (vedi oltre) e la sua gestione amministrativa, l’acquisizione dei documenti. Tale stima è alquanto approssimativa, in mancanza di elementi di conoscenza disponibili al pubblico. Si può prendere per accettabile un costo diretto a carico del ANVUR di 7 milioni, senza contabilizzare il costo del CINECA.

 

2.    Costo dei ricercatori

Poiché è previsto che ciascuno dei 108.000 “prodotti” sarà valutato da due revisori, ipotizzando che la revisione richieda due giorni di lavoro (acquisizione del materiale da esaminare, studio delle procedure di valutazione, analisi del materiale, consultazione con altri colleghi, compilazione delle schede, invio telematico del rapporto), che il costo medio giornaliero di un professore universitario di prima/seconda fascia o di un dirigente di ricerca/primo ricercatore è di circa 500 euro, il costo totale di revisione dei “prodotti” ammonta a 216,0 milioni di euro[1].

A tale costo va aggiunto quello relativo alla fornitura dei dati da parte dei 64.000 ricercatori che, nell’ipotesi che impieghino due giorni di lavoro (studio delle procedure, riunioni tra colleghi e con la direzione della struttura, analisi delle basi dati, predisposizione del materiale, coordinamento con i co-autori, invio del materiale) e che il costo medio unitario sia di 400 euro al giorno, ammonta a 51,2 milioni.

Va infine aggiunto il costo dei 40 giorni di lavoro di ciascuno dei 450 membri dei GEV ad un costo unitario medio di 500 euro, pari a 9,0 milioni di euro.

In totale il costo delle persone coinvolte è di  276,2 milioni di euro.

 

3.    Costo per le strutture

Le università, i dipartimenti universitari e gli enti di ricerca, sono chiamati a organizzare e rendere operative le strutture deputate a fornire le informazioni richieste dall’ANVUR. Ciò comporta non soltanto la gestione della fornitura dei “prodotti” al CINECA, ma anche la trasmissione dei dati relativi ai restanti 14 indicatori  (acquisizione di fondi, mobilità, internazionalizzazione, attività di “terza missione”)  e la predisposizione della relazione finale all’ANVUR. Nel calcolo si è ipotizzato che le circa 1.700 strutture (96 università, 1.565 dipartimenti universitari, 12 enti pubblici di ricerca) dedichino una decina di giorni di lavoro di un numero di persone che va da 5 a 10 (direttori, docenti, amministrativi, tecnici) al costo unitario medio di 200 euro per un numero di giorni oscillante tra 10 e 30, per un totale di 18,7 milioni.

 

4.    Il costo totale

In conclusione, il costo stimato della VQR, che è concentrato nell’anno 2012, è di 301,9 milioni, in larghissima parte sostenuto dalle strutture valutate (97,7%) e, per la parte rimanente (2,3%) dall’ANVUR.

 

Alcune considerazioni finali

La cifra di 301,9 milioni risulta molto elevata. Essa è quasi tre volte quella sostenuta per eseguire il Research Assessment Exercise (RAE) (100 milioni di sterline[2] pari a 120 milioni di euro) a cui la VQR si è ispirata.

Tale cifra è pari a metà del fondo di finanziamento ordinario del CNR.

Un altro elemento di confronto è rappresentato dalla valutazione dei 107 istituti del CNR svolta nel 2008. Il suo costo è stato di 1,8 milioni di euro per le spese dirette; un esercizio di imputazione dei costi indiretti (2,8 milioni) analogo a quello descritto in questo articolo ha condotto alla stima di un costo totale di 4,6 milioni. Va ricordato che tale valutazione è stata eseguita mediante l’analisi del materiale informativo e le visite in loco da parte dei panel di esperti, mentre la VQR prevede soltanto un’analisi “a tavolino”[3].

I 276,2 milioni di euro spesi dalle università per essere valutate[4], rappresentano il 6,2% di quanto queste ricevono dal MIUR per il finanziamento della ricerca (4.444 milioni di euro nel 2009).

Si può ragionevolmente sostenere che i presidenti dei GEV (tutti universitari) ed i loro 450 membri (nella stragrande maggioranza docenti universitari) designeranno come revisori loro colleghi universitari, per cui il costo delle revisioni sarà a carico quasi esclusivo dell’università. Nel meccanismo della VQR è dunque insita una redistribuzione dei costi a carico dell’università e favore degli enti pubblici di ricerca.

La remunerazione dei revisori, pari a 30 euro per ciascun “prodotto”, appare del tutto inadeguata. Da un lato il costo amministrativo è senz’altro superiore a tale cifra e, dall’altro, il beneficio per il revisore è pressoché inesistente (trattandosi di ricercatori e professori con stipendi con un’aliquota marginale dell’imposta sui redditi del 43%, la vera remunerazione è inferiore ai 20 euro) e genera un “fastidio” burocratico in quanto il documento fiscale prodotto e inviato dall’ANVUR va allegato alla dichiarazione dei redditi. Né tale problema può essere significativamente attenuato affidando un cospicuo numero di “prodotti” allo stesso revisore o ai membri dei GEV, riducendo il carico amministrativo. Se si procede su tale linea d’azione, la remunerazione dei revisori assorbirà una quota esorbitante del bilancio della VQR (moltiplicando 108.000 “prodotti”, per 2 referee ciascuno, per 30 euro, il costo ammonterà a 6,5 milioni di euro). Visto quanto detto sopra, sarebbe opportuno che l’ANVUR chiedesse ai revisori di rinunciare alla remunerazione. Va peraltro fatto rilevare che i ricercatori sono usi effettuare su base volontaria referaggi per le riviste scientifiche, nell’assunzione che tale attività sia parte dei loro “obblighi” professionali, oltre che un’utile opportunità di aggiornamento. Diverso è il caso delle valutazioni effettuate per conto di ministeri come il MIUR o il MISE o delle amministrazioni regionali, in cui la tariffa giornaliera si aggira in media sui 250 euro (quella europea va da 200 a 450 euro).

I criteri ed i pesi utilizzati per la stima riportata nella Tabella 1 possono ovviamente essere modificati in funzione di scenari diversi. Se, per esempio, si ipotizza che il tempo che un referee dedica alla revisione del “prodotto” sia di un giorno e non di due, il costo totale si riduce da circa 300 milioni a poco meno di 200. Sebbene tale ipotesi sia del tutto legittima, ciò comporterebbe una scarsa qualità della revisione. In questo caso la quota della spesa sostenuta dall’ANVUR passerebbe dal 2,3% al 3,6%, non mutando sostanzialmente il rapporto tra le tre componenti – e l’ammontare della spesa totale della VQR sarebbe comunque molto elevato, più che doppio del RAE inglese.

Nel complesso si può sostenere che la VQR rappresenta un investimento di risorse pubbliche molto cospicuo a cui dovrà corrispondere un adeguato ritorno. Tra i vantaggi dell’operazione si possono annoverare: la diffusione della cultura della valutazione nell’università italiana (negli enti pubblici di ricerca la valutazione è ormai da anni pratica ordinaria per cui il vantaggio sarà molto minore); la creazione o il miglioramento delle strutture di monitoraggio delle attività che rimarranno incardinate nelle strutture anche dopo il termine della VQR; la messa a punto di strumenti per la presa delle decisioni a tutti i livelli. Tra gli svantaggi si possono citare: la mancanza di chiarezza sulla metodologia del processo valutativo (un indicatore, più indicatori, uno scoreboard); la polarizzazione della valutazione sulla produzione scientifica con conseguente riduzione dell’attenzione degli analisti e dei decisori politici sugli altri aspetti dell’attività delle strutture: trasferimento delle conoscenze, formazione e “terza missione”; l’inesorabile atteggiamento opportunistico dei ricercatori e delle strutture di fronte alle regole ed ai parametri utilizzati nella misurazione della performance con il conseguente mutamento dell’equilibrio tra le varie attività non voluto da espresse politiche gestionali ma indotto dalla misurazione; il possibile impiego inappropriato dei risultati della valutazione da parte dei decisori a tutti i livelli – ministero, università, enti, dipartimenti; la sistematica penalizzazione degli enti pubblici di ricerca.

Certamente i pro ed i contro dell’iniziativa saranno stati ben soppesati da parte di chi ha deciso di intraprenderla con queste modalità (il parlamento, il MIUR, l’ANVUR). Sarebbe interessante conoscere l’analisi costi-benefici che sicuramente qualcuno ha svolto per giustificare di fronte ai cittadini ed agli operatori del settore che è meglio spendere 300 milioni di euro per un meccanismo complesso e costoso, caricandone i costi sui bilanci dell’università e sottraendo alla ricerca preziose risorse che in questo periodo potrebbero alleviare una situazione di grave sofferenza. Finché non si disporrà di queste evidenze, la mia impressione è che la VQR non è destinata a restituire un sufficiente value for money.



[1] Nel calcolo si è fatto ricorso al costo medio giornaliero di un docente o di un ricercatore, indipendentemente dal fatto che riceva comunque uno stipendio dal proprio datore di lavoro. Tale regola viene seguita, per esempio, nella predisposizione dei progetti nazionali e di quelli europei: l’impegno nella VQR distoglie i dipendenti dalle attività che è chiamato a svolgere per contratto (didattica, ricerca, organizzazione, amministrazione, trasferimento delle conoscenze, ecc.). Ovviamente, trattandosi di professionisti che svolgono un insieme interconnesso di attività intellettuali e non di lavoratori della catena di montaggio, si tratta di un’approssimazione soltanto in parte accettabile (Cfr. Sirilli G. Old and new paradigms in the measurement of R&D, Science and Public Policy, volume 25, n. 5, October 1998, pages 305-311)

 

[2] Martin B. R., The Research Excellence Framework and the ‘impact agenda’: are we creating a Frankenstein monster?, Research Evaluation, 20(3), September 2011, pages 247-254.

[3] Giuffrida S., Silvani A., Sirilli G., Research evaluation of the Italian CNR institutes: a missed opportunity?, ISSiRFA, Roma, gennaio 2011.

[4] Va rilevato che alcuni membri dei GEV lavorano presso università o enti stranieri o in enti di ricerca italiani. Inoltre anche i referee potranno appartenere a tali organizzazioni. Non disponendo di informazioni dettagliate sull’argomento si è preferito non tenerne esplicitamente conto nell’attribuzione delle spese relative.

Send to Kindle

9 Commenti

  1. Cito quanto riportato nell’articolo di Ben Martin. “As the pressures to do well in the RAE increased, so universities and their departments came to put growing levels of effort into preparing for the next exercise. If one includes all the time devoted to this preparatory work as well as the time spent by RAE panels assessing the detailed sebmissions from each university unit in their field, then the total costs of RAE grew to become very considerable, perhaps of the order of £ 100 million (Sastry and Bekhradnia, 2006:5). La valutazione dei 100 milioni di sterline Martin me l’ha confermata in un recente scambio di messaggi.
    Normalizzare i due esercizi, la VQR e il RAE, sarebbe interessante e piuttosto impegnativo, ma non rientra nell’economia dell’articolo: serviva per dare un ordine di grandezza.

  2. Dopo la pubblicazione del mio articolo, ho ricevuto vari apprezzamenti e critiche. Mi corre l’obbligo di tentare di rispondere alle seconde, sostanzialmente relative al fatto che nel calcolo ho inserito quello che gli economisti chiamano “costo opportunità” (a rigor di termini non è esattamente così, ma l’importante è rendere l’idea) relativi all’esecuzione della revisione dei “prodotti”.
    Prima di entrare nello specifico, debbo dire che sono rimasto sorpreso dal fatto che colleghi di tutto rispetto nel proprio campo scientifico ignorino concetti così semplici, e che siano caduti in una sottospecie del paradigma Scajola. Scajola ha detto: “non so chi ha pagato per me, ma se lo becco …..”. I nostri colleghi dicono: “qualcuno paga, ma non importa chi”. Taluni hanno detto: il lavoro del referee è pagato. Una replica dovrebbe essere: “sì, da Pantalone”. A tal proposito mi viene in mente l’immagine del dipendente statale fannullone imbucato dal politico di turno che, finalmente, trova qualcuno che gli dà qualcosa da fare, tanto per tenerlo occupato. Non è così. Ciascuno ha, o dovrebbe avere, dei compiti ben precisi e degli obiettivi da raggiungere seguendo una programmazione, ed in base ad una job description. Se ti danno uno o due libri da valutare dovrai dedicarci dei giorni che sottrarrai ai tuoi compiti istituzionali (didattica, ricerca, assistenza, ecc.) – a meno che tu non sia quel tipo di impiegato statale di cui sopra. Se sei un docente e in quei giorni non potrai fare lezione, qualcun altro (che costa) dovrà sostituirti – e questo sarà un costo aggiuntivo per l’organizzazione. Nel caso del CNR, e di tutti gli enti pubblici, se fai il valutatore per un ente pubblico o privato e ricevi una remunerazione (nel caso della VQR i famosi 30 euro lordi) devi chiedere l’autorizzazione e devi recuperare le ore che hai sottratto ai tuoi compiti.
    Il servizio di revisione dei “prodotti” per la VQR ha un costo che nella contabilità viene misurato con il tempo (non si hanno migliori metodi). Nel caso dell’università e degli enti pubblici tale costo è sostenuto dal datore di lavoro. Che poi il datore di lavoro o il ricercatore abbia interesse a non farlo pagare è un altro paio di maniche.
    L’inclusione nella contabilità di tutti i costi, diretti e indiretti, è pratica ordinaria nella predisposizione dei progetti di ricerca nazionali ed internazionali – oltre che manifestazione di buon senso praticata dalla casalinga di Voghera e da tutte le sagge massaie. Tale approccio è adottato in esercizi analoghi alla VQR come il RAE inglese (nella replica a Marco Antoniotti ho riportato il testo di un lavoro di Ben Martin) e nella compilazione delle statistiche sulla ricerca (per gli universitari il costo del personale viene ripartito a seconda della stima del tempo dedicato alle attività svolte: didattica, ricerca, altre attività) (la tabella dell’ISTAT sui tempi di lavoro degli universitari è riportata nel mio articolo “Bibliometria e avvocati: la valutazione della ricerca in campo giuridico” su questo sito).
    Altra questione sollevata è quella del costo dei valutatori. La cifra di 500 euro al giorno è parametrata sul costo che sostiene il datore di lavoro per un professore o per un ricercatore degli enti pubblici. Avendo consultato le fonti e ipotizzando che la gran parte di valutatori sarà composta da ordinari o da dirigenti di ricerca, la cifra di 500 euro appare del tutto ragionevole, anzi, prudenziale.
    Infine, qualcuno ha avanzato dubbi sul fatto che siano stati imputati due giorni per valutare un “prodotto”. Ovviamente tutto è discutibile. Tuttavia va considerato che l’oggetto da valutare può andare da un articolo su una rivista che, tipicamente, richiede un tempo non molto lungo per essere letto, a libri e monografie di centinaia di pagine alla cui lettura bisogna dedicare giorni (questo è il tipico output nel settore delle scienze umane e sociali). A questi tempi vanno aggiunti quelli relativi all’acquisizione del materiale, all’organizzazione del lavoro, al possibile coinvolgimento di colleghi nella formazione del giudizio, all’acquisizione di altre notizie rilevanti, alla trasmissione della valutazione al CINECA. In ogni caso, anche se si calcola un solo giorno per valutare un “prodotto” – e ciò sicuramente andrebbe a scapito della qualità della valutazione – il costo totale sarebbe dell’ordine di 200 milioni di euro, ben più elevato del bilancio dell’ANVUR.

  3. Nell’aprile 2012 scrivevo questo articolo che quantificava in 300 milioni di euro il costo della VQR, costo principalmente legato al tempo dedicato dai ricercatori alle attività di valutazione. Nel dibattito seguente l’ANVUR ha contestato tale metodologia, giudicandola erronea, in quanto nulla è dovuto ai ricercatori per il lavoro di referaggio. Oggi apprendiamo che il Regno Unito “è tra i paesi più altruisti (?)” in quanto sostiene un costo della peer review pari ad una cifra non corrisposta di 165 milioni di sterline l’anno.
    http://www.timeshighereducation.co.uk/402189.article
    Forse sarà il noto approccio “bottegaio” degli inglesi, ma in quanto a capacità di fare i conti i nostri amici d’oltre Manica non sono secondi a nessuno – e purtroppo Piazzale Kennedy di Roma è troppo distante dalla City di Londra.

    Citazioni dall’articolo.
    But a new report has attempted to quantify in cash terms exactly what peer reviewers are missing out on. It puts the worldwide unpaid cost of peer review at £1.9 billion a year, and estimates that the UK is among the most altruistic of nations, racking up the equivalent in unpaid time of £165 million a year.
    “This is a huge hidden subsidy to the system which no one has ever quantified,” said Michael Jubb, director of the Research Information Network, which commissioned the study Activities, costs and funding flows in the scholarly communications system in the UK, undertaken by Cambridge Economic Policy Associates.
    The assessment of peer-review costs is part of an attempt to provide – for the first time – a picture of the costs of the entire scholarly communications system, from the production of research outputs to the reading of them, focusing on their publication, distribution and access.
    The study estimates that the global cost of undertaking and communicating the results of research reported in journal articles is £175 billion a year, made up of £116 billion for the costs of the research itself and £25 billion for publication, distribution and access to the articles (which includes the hidden costs of peer review) and £34 billion for reading them.