Il VQR di Pirandello e l’asino di Buridano

Se ci si interroga sull’esito finale della Valutazione della Qualità della Ricerca (VQR) viene in mente Pirandello ed il suo romanzo Uno, nessuno, centomila. La domanda è: quale sarà il voto assegnato a ciascuna struttura (nel lessico del VQR sono chiamate strutture le circa 90 università e i 10 enti di ricerca vigilati dal MIUR) e a ciascun dipartimento universitario?[1] La risposta, esaminando le regole del gioco fissate nel Bando ANVUR del 7 novembre 2011  ammette più alternative: uno, due, forse quindici.

Vediamo di capire perché.

Nella “Appendice II del Bando. Criteri, indicatori e pesi per la valutazione delle strutture” vengono elencati quindici indicatori suddivisi in due gruppi.

Il primo gruppo, relativo agli “Indicatori di Area legati alla ricerca”, comprende i seguenti 7 indicatori a cui sono assegnati i pesi riportati tra parentesi che assommano a 1:

IRAS1. qualità (0,5),

IRAS2. attrazione di risorse (0,1),

IRAS3. mobilità (0,1),

IRAS4. internazionalizzazione (0,1),

IRAS5. alta formazione (0,1),

IRAS6. risorse proprie (0,05),

IRAS7. miglioramento (0,05).

Il secondo gruppo, relativo agli “Indicatori di struttura di ‘terza missione’” comprende:

ITMS1. conto terzi (0,2),

ITMS2. brevetti (0,1),

ITMS3. spin-off (0,1),

ITMS4. incubatori (0,1),

ITMS5. consorzi (0,1),

ITMS6. siti archeologici (0,1),

ITMS7. poli museali (0,1)

ITMS8. altre attività (0,2)

Guardando alla serie di aspetti che vengono esaminati, si è portati a concludere che il titolo dell’esercizio affidato all’ANVUR non dovrebbe essere  “Valutazione della qualità della ricerca” ma, più propriamente, “Valutazione della qualità della ricerca e dell’ innovazione”. Infatti, il secondo gruppo di indicatori, che peraltro viene definito in maniera residuale impiegando un lessico tutto universitario, “terza missione”, illustra in sostanza attività e output che riflettono l’impegno delle strutture nel trasferire i risultati delle proprie attività tecnico-scientifiche, attività ben diverse da quelle valutate con la bibliometria ed il giudizio dei pari. Da un punto di vista statistico, i fenomeni sotto osservazione appartengono a categorie diverse, talché  a livello OCSE vengono impiegati manuali differenti: il Manuale di Frascati dell’OCSE per la ricerca e sviluppo, quello di Canberra per le risorse umane per la scienza e la tecnologia, quello di Oslo per l’innovazione tecnologica e organizzativa[2].

Nella parte conclusiva dell’Appendice II si legge: “La valutazione finale delle strutture riguarderà separatamente gli indicatori di area, opportunamente integrati per trasformarli in un indicatore unico riferito alla struttura, e gli indicatori di terza missione. Il confronto tra strutture per questi ultimi indicatori verrà effettuato tra strutture omogenee, tenendo conto della specificità delle varie aree rispetto all’attività di terza missione (differenze tra università “generaliste” e politecnici, ecc.)”. [3]

Da quanto riportato sopra si evince che, per ciascuna struttura, dovranno essere calcolati due indici, uno per la ricerca ed uno per la “terza missione”.

Iniziamo ad esaminare gli indicatori della ricerca.

Dell’indicatore IRAS1, che pesa per metà del totale, Giuseppe de Nicolao  ha evidenziato i limiti matematici mostrando come, potendo i GEV assegnare anche valori negativi, si può dare il caso di rapporti in cui il denominatore uguale a zero. In un altro articolo ho discusso dell’impatto che su tale indicatore può avere la regola di chiedere ai ricercatori pubblici 6 “prodotti” ed ai docenti universitari 3. Altri problemi metodologicamente rilevati hanno una probabilità praticamente nulla. Sul tema della quantità e della qualità dei prodotti scientifici è da segnalare un interessante articolo di un collega inglese. La costruzione dell’indicatore IRAS1 è il centro dell’attenzione dei 14 Gruppi di Esperti di Valutazione (GEV) composti dal 450 persone, e delle centinaia di referee che verranno coinvolti nella valutazione dei “prodotti”. Non risulta che gli altri indicatori, che pesano per l’altra metà della valutazione di area, siano oggetto di vivace discussione.

Gli indicatori IRAS1, IRAS2, IRAS5 e IRAS6 sono calcolati come percentuale del valore complessivo di area, l’indicatore IRAS3 è probabilmente simile a IRAS1, mentre per l’indicatore IRAS4 si adotta una metrica diversa.

L’indicatore IRAS4 in realtà è la combinazione di due sottocategorie: mobilità e prodotti eccellenti. Nelle linee guida non è specificato come le due sottocategorie dovranno essere combinate per calcolare l’indicatore IRAS4, per cui è necessario procedere alla sua specificazione (ma forse si tratta di un refuso del testo che presenta le categorie 4.1 e 4.2 che non hanno molto senso).

L’indicatore IRAS5 riguarda “il numero di assegnisti di ricerca, borsisti, post-doc”. Poiché è possibile che le tre figure non siano presenti simultaneamente, l’indicatore è ambiguo: nelle università lo sono in linea di principio, ma ciò non vale per gli enti di ricerca.

Date le incongruenze segnalate, non vi sono le condizioni per trasformare i 7 indicatori in un indicatore sintetico della ricerca.

Passiamo ad esaminare l’indicatore di “terza missione”. In questo caso “il valore degli 8 indici è espresso come percentuale del valore complessivo nazionale”. Dovranno dunque essere sommati, per esempio, tutti gli spin-off delle circa 80 università e dei 10 enti di ricerca pubblici, ottenendo un totale sul quale viene calcolata la percentuale di ciascuna struttura.

Per i primi 7 indicatori il calcolo appare semplice, ma sarà arduo fornire i dati per ITMS7, definito come “Indicatore di altre attività di terza missione che non siano riconducibili ad attività conto terzi, misurato in base all’elenco di altre attività fornito dalle strutture”. Con una definizione di tal fatta l’inclusione di attività nell’indicatore è lasciata alla decisione delle strutture che, nel caso in cui adottassero una strategia opportunistica[4], [5] (forse temperata da una negoziazione con l’ANVUR), potrebbero inflazionare l’indicatore, visto che ha il rilevante peso di 0,2.

Ma torniamo alle linee guida. Esse dicono “Il confronto tra strutture per questi ultimi indicatori verrà effettuato tra strutture omogenee, tenendo conto della specificità delle varie aree rispetto all’attività di terza missione (differenze tra università “generaliste” e politecnici, ecc.)”. Da un lato si discrimina, opportunamente, tra università generaliste e politecnici. Altrettanto bisogna fare per gli enti pubblici di ricerca che sono, per definizione, l’uno diverso dall’altro. Non si possono mettere a confronto in un’unica matrice le università di almeno due tipi, con il CNR, il maggiore ente di ricerca presente in tutte le aree scientifiche, l’Agenzia Spaziale Italiana, che gestisce programmi, con l’Istituto germanico, con il Museo Fermi che dispone di due dipendenti. Nella matrice in cui nelle righe si riportano gli 8 indicatori e nelle colonne tutte le università e gli enti di ricerca, la parte relativa agli enti sarà piena di celle vuote, in particolare per gli enti piccoli e monotematici.

Calcolare dunque una media ponderata rischia di fornire un numero “zoppo”. Uno dei prerequisiti del calcolo delle medie ponderate è, infatti, che ciascun soggetto analizzato esibisca un valore per ciascun carattere: se dunque vi sono assenze nelle celle della matrice dovute alla eterogeneità dei portatori del carattere – non ci si può aspettare che l’Agenzia spaziale effettui scavi archeologici – il calcolo della media ponderata è poco raccomandabile. L’insieme delle considerazioni sopra esposte consiglierebbe di trattare singolarmente gli enti di ricerca, e separatamente dall’università.

Preso atto dei problemi di calcolo dei due indici sintetici, si profilano tre scenari.

Primo scenario: un unico indicatore di sintesi. L’esperienza mostra che i decisori politici, nel nostro caso il ministro del MIUR gradiscono molto l’indicatore unico. Si prenda il caso dell’obiettivo del 3% da destinare alla R&S nei paesi europei secondo la strategia di Lisbona. O quello dei parametri di Maastricht per le economie europee del 3% del deficit e del 60% del debito pubblico. Un altro esempio è fornito dalla valutazione degli istituti di ricerca del CNR effettuata due anni fa in cui, sulla base di una analisi bibliometrica, di merito, e di una vista ai laboratori da parte dei panel di valutazione, è stato calcolato un indice sintetico, una pagella, per ciascun istituto. Allo stato attuale tale indicatore non è previsto dal VQR e, comunque, non può essere calcolato per le motivazioni sopra riportate.

Secondo scenario: due indicatori. I decisori politici non sanno che farne di due indici per la stessa entità – nel nostro caso le strutture: o qualcuno glie li “collassa” in un numero singolo in base a qualche criterio accettabile, o il povero decisore fa la fine dell’asino di Buridano. Per questo, ad esempio, la Commissione europea calcola un solo indice di innovatività che è la combinazione di vari indicatori. Secondo le linee guida del Bando VQR questi due indicatori dovrebbero essere calcolati, ma vi sono serie difficoltà (vedi sopra).

Terzo scenario: la predisposizione di un cruscotto (scoreboard) di indicatori a cui gli esperti ed i decisori politici possono fare riferimento come informazione di base per costruire a piacere le loro analisi; questa è un’altra strada percorsa dall’Unione europea e dall’OCSE. In questo caso non si può parlare di valutazione, esercizio che prevede l’espressione di giudizi di merito, ma di predisposizione di statistiche. Questo obiettivo è raggiungibile in base alle linee guida.

Dunque siamo di fronte ad uno scenario – teorico – di Uno, nessuno, centomila, ovvero: uno, due, dodici indici (escludendo IRAS4, IRAS5 e ITMS8) per le strutture, e uno, due otto (escludendo IRD3 e ITMD6) per i dipartimenti universitari.

Conclusione. I problemi e le criticità sopra esposti militano a favore dell’ipotesi, avanzata ormai da più parti, di sospendere per un breve tempo il VQR al fine di trovare soluzioni che completino le regole del gioco attualmente insufficienti, rendendo l’esercizio esaustivo e trasparente, e quindi di sciogliere i dilemmi di Pirandello e di Buridano. Tale esercizio dovrà vedere impegnati, in uno spirito di leale collaborazione, l’ANVUR, da un lato, e le strutture da valutare, dall’altro. Finora vi sono state carenze da ambo le parti. Garantendo la “certezza del diritto” si potranno anche evitare tensioni e incomprensioni emersi tra i ricercatori che hanno evocato la possibilità di boicottare il VQR.