Cosa c’è dietro la raccomandazione dei coordinatori GEV sull’utilizzo dei dati VQR?

17 marzo 2017. E’ la data di un documento sottoscritto dai coordinatori dei GEV e indirizzato a Ministero, CRUI e ANVUR e per conoscenza al CUN circa l’uso “proprio e improprio dei risultati della VQR” recentemente conclusa. In particolare è stigmatizzato l’uso di una valutazione aggregata a fini individuali. La presa di posizione dei responsabili di questo esercizio valutativo è altresì tesa a enfatizzare che i dati VQR non possono e non devono essere usati dagli atenei per comparare direttamente strutture di Aree diverse tra loro. Un documento di circa due pagine che riproduciamo qua sotto, e che è sorprendente per più di un motivo. Proviamo a vederne alcuni. E scopriamo qual è lo spettro che sta togliendo il sonno ai coordinatori. Il suo nome è ISPD, “Indicatore standardizzato della performance dipartimentale”. E c’è ben poco da dormire se in palio ci sono i 270 milioni dei Ludi Dipartimentali …

17 marzo 2017. E’ la data di un documento sottoscritto dai coordinatori dei GEV e indirizzato a Ministero, CRUI e ANVUR e per conoscenza al CUN circa l’uso “proprio e improprio dei risultati della VQR” recentemente conclusa (il documento è riportato integralmente in fondo a questo post).

In particolare è stigmatizzato l’uso di una valutazione aggregata a fini individuali. La presa di posizione dei responsabili di questo esercizio valutativo è altresì tesa a enfatizzare che i dati VQR non possono e non devono essere usati dagli atenei per comparare direttamente strutture di Aree diverse tra loro.

Un documento di circa due pagine che riproduciamo qua sotto, e che è sorprendente per più di un motivo. Proviamo a vederne alcuni.

La prima stranezza è lo stesso documento. I coordinatori dei GEV hanno ormai concluso il loro lavoro. A che titolo scrivono e firmano un documento come coordinatori? E perché i coordinatori dei GEV sentono il bisogno di scrivere un documento di istruzioni per l’uso? Se qualcuno ha avuto la pazienza di scorrere qualche rapporto di area si sarà accorto che nelle conclusioni vengono in genere ricordati gli usi propri della VQR e stigmatizzati gli usi impropri. Per quale ragione si scrive quindi questo documento aggiuntivo?

Proviamo a fare un esercizio di ingegneria inversa e vedere quali sono gli usi impropri stigmatizzati dagli ex-coordinatori GEV. Se c’è bisogno di scrivere nero su bianco che ci sono usi impropri, significa forse che i GEV hanno notizia di quegli usi impropri?

Uso dei dati VQR per le valutazioni individuali. Finalmente troviamo scritto nero su bianco in un documento (quasi) anvuriano quello che fin dalla scorsa VQR tutti più o meno sapevano. E cioè che negli atenei, nei dipartimenti e soprattutto nei collegi di dottorato esiste una pressione notevole con “richieste provenienti da chi occupa posizioni apicali nelle istituzioni valutate (o loro sezioni) -come scrivo i coordinatori- e inviate agli addetti alla ricerca allo scopo di accedere, per una qualunque finalità, ai dati associati ai singoli prodotti”.

Forse i coordinatori GEV sono preoccupati per il fatto che proprio in questi mesi ci saranno pressioni aggiuntive in questo senso: gli atenei stanno scrivendo le regole per gli scatti di carriera basati sul “merito”; e la finanziaria ha previsto finanziamenti individuali per i ricercatori e gli associati migliori.

La tentazione di usare i dati VQR, che sono là, già pronti per l’uso deve essere forte per molti.

Forse i coordinatori GEV sono preoccupati per il fatto che nel direttivo ANVUR siede adesso, scelto dalla ministra Giannini, un estimatore della valutazione individuale come Fabio Beltram. Che nel 2013, nel discorso di apertura dell’anno accademico,  stigmatizzò la non divulgazione dei dati individuali della VQR, ritenendoli strumenti di lavoro per i rettori:

I dati della VQR sono preziosi perché il sistema universitario possa, nella sua autonomia residua, migliorarsi. Certo non è aiutato in questo dal fatto che le valutazioni individuali non saranno rese note, neppure ai rettori. Questi ultimi hanno oggi forti responsabilità di indirizzo e di scelta: perché non dare loro le informazioni necessarie per agire in modo mirato?

Posizione ribadita, in un non certo impeccabile inglese, anche nel tema per la selezione nel direttivo:

One further service that ANVUR should offer is that of helping institutions to make correct choices on their research staff and faculty. At present ANVUR is not providing this type of information, but this could be a by-product of VQR activities and may [sic] prove extremely important in supporting decision bodies both in academia and EPRs. Elements … should be factored in to provide a coherent frame and compare the performance of individuals.

Diciamo che su questo i coordinatori avrebbero ragione da vendere.

Peccato però che i coordinatori si siano dimenticati di ricordare che proprio ANVUR usa impropriamente i dati VQR: i dati per i collegi di dottorato devono essere resi noti, implicitamente o esplicitamente, ai coordinatori, se questi desiderano l’accreditamento. Sono state queste settimane di intensi scambi tra coordinatori e membri dei collegi in cui esplicitamente o in camera caritatis i coordinatori hanno chiesto i risultati VQR ai membri dei collegi. Forse che i coordinatori non lo sanno?

Peccato anche che si siano si siano dimenticati di ricordare che proprio ANVUR userà impropriamente i dati VQR: i dati per costruire dentro AVA2.0 un Indicatore di qualità della docenza per i Corsi di Laurea Magistrale.

A dire la verità i coordinatori si sono scordati segnalare gli usi impropri da parte di ANVUR dei risultati individuali VQR. Scrivono però una frase di difficile comprensione:

i risultati aggregati possono essere usati per la valutazione delle strutture in cui si formano i ricercatori, ma non per la valutazione dei corsi professionalizzanti.”

Cosa sono le “strutture in cui si formano i ricercatori”? Se intendono i dipartimenti sedi di dottorato, la cosa funziona, ma, se per struttura intendono i “collegi di dottorato”, si potrebbe addirittura interpretare il testo come una giustificazione dell’uso improprio di cui sopra. E forse è proprio così. L’uso dei voti va bene, purché sia ANVUR a farlo.

E cosa sono i “corsi professionalizzanti”? Sono forse i nuovi corsi di studio voluti dalla Giannini e bloccati dalla Fedeli? Oppure sono le lauree professionalizzanti di area medica? E perché preoccuparsi solo di questo e non delle lauree magistrali? Forse che i coordinatori non conoscono AVA2.0?

Comparare aree diverse. La seconda preoccupazione dei coordinatori è riferita alla comparabilità dei risultati VQR tra aree diverse. I coordinatori raccomandano:

i dati VQR non possono e non devono essere usati per comparare direttamente strutture di Aree diverse tra loro

Della cosa abbiamo già parlato a lungo in relazione alla VQR1. Ci piace vedere che il problema non è stato superato. E ci piace sottolineare che il problema nasce dal disegno della VQR. Nel REF britannico le comparazioni si possono fare e si fanno. Perché nella VQR non si possono fare?

Sebbene nella VQR2011-2014 ci sia stato, rispetto al passato, un maggiore sforzo per uniformare le procedure di valutazione seguite dai vari GEV, gli elementi di peculiarità permangono ancora notevolissimi. Si pensi per esempio alle differenze tra i GEV che fanno un uso sistematico della bibliometria e quelli che, invece, ricorrono per tradizione unicamente alla peer review

Ecco scritto da un documento quasi anvuriano, nero su bianco, quanto su Roars ripetiamo da anni. Che un esercizio di valutazione che usa metodi diversi di valutazione dà luogo a risultati che, variando in base ai metodi diversi utilizzati a seconda dei casi, sono difficili da interpretare e comparare. Vista la preoccupazione, ne dobbiamo dedurre che si tratti – come tutti noi sappiamo – di prassi usuali in moltissimi atenei dove le risorse interne (finanziamenti alla ricerca, punti organico) sono distribuiti sulla base di comparazioni dirette tra dipartimenti di aree diverse.

Peccato, anche in questo caso, che i coordinatori si siano dimenticati di ricordare che è stata ANVUR e CRUI a mettere a punto un sistema “infallibile” di comparazione tra diverse aree, il cosiddetto “voto standardizzato” (L’audace standardizzazione CRUI dei voti VQR: se la conosci, la eviti), i cui limiti abbiamo mostrato da tempo (Quanto è standardizzato il voto standardizzato?).

Ma adesso la posta in gioco è più alta.

Ludi dipartimentali. La posta in gioco sono i ludi dipartimentali. Stiamo parlando del Fondo per il finanziamento dei dipartimenti universitari di eccellenza, con finanziamenti che possono superare 1.620.000 € per un dipartimento con piu dì 80 soggetti valutati. Si tratta di risorse ingenti (270 Milioni di Euro, in totale) ed i coordinatori sembrano vedere il rischio che si usino i risultati VQR per la ripartizione delle risorse. Ma come funziona la gara? Un elemento chiave è la definizione dell’«Indicatore standardizzato della performance dipartimentale» (ISPD), che verrà usato  per costruire un’unica  classifica dipartimentale nazionale (dove corrono insieme dipartimenti di matematica, di storia e di medicina, tanto per intendersi) tramite la quale verranno selezionati i 350 dipartimento concorrenti, su un totale di poco più 800 dipartimenti esistenti in Italia. Ma non finisce qui. L’ISPD avrà un ruolo determinante nella selezione dei “campioni di ateneo” e anche per selezionare i dipartimenti da premiare nelle diverse aree disciplinari (“70 punti sono attribuiti in base all’ISPD del singolo dipartimento e 30 punti sono attribuiti in base al progetto dipartimentale di sviluppo”).

È proprio l’ISPD che turba i sonni dei coordinatori dei GEV. Impossibile, direte voi. La legge di stabilità attribuisce all’ANVUR il compito di definire l’ISPD. Come fanno a preoccuparsi di qualcosa che non esiste ancora? In realtà, l’ANVUR non solo ha già elaborato un «Indicatore standardizzato della performance dipartimentale», ma ha anche messo a disposizione, sotto forma di  tabelle Excel, gli indicatori standardizzati della  performance di tutti i dipartimenti italiani, relativamente alla VQR 2004-2010. Si tratta proprio del cosiddetto voto standardizzato, messo a punto nell’ambito della collaborazione tra ANVUR e CRUI sull’affinamento degli indicatori VQR. Un indicatore sviluppato nel 2014, ma in cui ANVUR ripone ancora fiducia (è uno degli indicatori elencati a p. 22 delle Linee Guida AVA pubblicate il 4 luglio scorso).

Un indicatore davvero strano questo voto standardizzato, come aveva mostrato Roars, anche attraverso esempi. Eccone uno, relativo agli esiti della prima VQR, che illustra cosa succede quando si usa il voto standardizzato per confrontare aree diverse.

Nella classifica della Fisica, Brescia era terza in Italia, con un voto medio stellare: 0,93 su 1,00. Un po’ meno bene la Medicina che si classificava 13-ma, con voto medio 0,64 su 1,00. Dopo l’applicazione del voto standardizzato, il voto di Medicina diventava 4,48 contro 1,29 di Fisica. Il sorpasso da parte dei medici era una conseguenza ineluttabile del metodo: nemmeno un l’en plein (voto medio pari a 1,0 su 1,0) avrebbe consentito ai Fisici battere i colleghi di Medicina. Sotto la guida di Giacomo Poggi, il gruppo di lavoro della CRUI ha escogitato una standardizzazione con cui nemmeno un dipartimento di premi Nobel per la Fisica può superare i Medici di Brescia (che a malapena entrano nel primo quartile, dato che in Medicina si classificano 13-mi su 49 atenei).

Facile immaginare i paradossi quando questa metrica sarà applicata su larga scala facendo competere dipartimenti specializzati nelle più diverse materie. Inutile dire che gli stessi paradossi sono destinati a ripetersi all’interno delle aree a causa dell’improvvida regola di standardizzazione.

Probabilmente i coordinatori hanno letto Roars e sanno che la standardizzazione ANVUR/CRUI non funziona. E che usarla come metro di una gara che mette a confronto tutte le aree sulla base dei risultati VQR darebbe vantaggi a certe aree piuttosto che ad altre.

Ecco quindi la raccomandazione alla politica. Per favore non fate una lista unica. Che la politica decida prima quanti dipartimenti premiare in ogni area, quante risorse distribuire in ogni area e solo dopo si faccia la classifica di area dei dipartimenti. In realtà, nella la legge di stabilità, una clausola di salvaguardia esiste già:

Il numero dei dipartimenti finanziati, con riferimento a ciascuna delle 14 aree disciplinari del CUN, non può essere inferiore a 5 né superiore a 20. La suddivisione del numero dei dipartimenti finanziati, con riferimento a ciascuna delle 14 aree disciplinari del CUN, è stabilita, nel limite delle risorse economiche di cui all’articolo 43, con il decreto di cui al comma 1 del presente articolo, e tenuto conto:
a) della numerosità della singola area disciplinare, in termini di dipartimenti ad essa riferibili;
b) di criteri informati ad obiettivi di crescita e miglioramento di particolari aree della ricerca scientifica e tecnologica italiana.

Tuttavia, la clausola non copre la selezione dei “campioni di ateneo”, dove non ci sono quote disciplinari e dipende tutto dall’ISPD (e dalle sue distorsioni). Ma non è solo questione di confronto tra aree, ci fa capire il documento. Meglio ancora se si riesce a tenere conto delle peculiarità delle sottoaree. Perché, sostengono implicitamente i coordinatori dei GEV, dopo aver letto Roars, la standardizzazione Poggi/CRUI non funziona. Di fatti i coordinatori GEV stanno chiedendo una spartizione “politica ” delle risorse perché quella basata sui criteri e parametri “oggettivi” della VQR è distorta.

E’ davvero difficile dare torto ai coordinatori dei GEV. Ma vorremmo sottolineare un uso improprio dei risultati che i coordinatori dei GEV si sono scordati di menzionare esplicitamente, ma che segue dalla affermazione ripetuta più volte nel documento delle “peculiarità valutative di area”. I coordinatori dei GEV avrebbero dovuto sconsigliare l’uso forse più diffuso dei dati ANVUR. Tutti noi sappiamo che non è difficile imbattersi nei corridoi e nei consigli di dipartimento in professori che, armati di tabelle estrapolate dai rapporti dei GEV, esibiscono il proprio lusinghiero score per giustificare l’adozione di regole interne che premino i propri settori disciplinari e penalizzino i colleghi appartenenti a SSD meno virtuosi (secondo la VQR) nella distribuzione delle scarse risorse necessarie a portare avanti il lavoro quotidiano (dal toner della stampante al piccolo seminario). Cadendo così nella consueta trappola di chi invoca regole cucite a propria misura e a cose fatte, essendosi guardato bene dal proporre la medesima soluzione PRIMA che i risultati della VQR fossero noti.

Amara riflessione finale. Lo ripetiamo. Non si può non essere d’accordo con i coordinatori GEV quando sostengono che non si devono usare i risultati aggregati per la distribuzione automatica delle risorse ai dipartimenti (ludi dipartimentali). Quando sostengono che i risultati della VQR non devono essere usati per fare confronti tra aree, che non devono essere usati per fare confronti tra dipartimenti di aree diverse, che si deve stare molto attenti a fare confronti tra dipartimenti della stessa area. Che non si devono usare per le valutazioni individuali.

Qualcuno ci vuole spiegare una volta per tutte perché buttiamo centinaia di milioni di euro per fare questa VQR?

DocumentoCoordinatoriGEV

15 marzo 2017

Alla cortese attenzione di Sen. Valeria Fedeli, Ministra MIUR

Prof. Marco Mancini, Capo Dipartimento MIUR

Dr. Daniele Livon, Direttore Generale MIUR

Prof. Gaetano Manfredi, Presidente CRUI

Prof. Andrea Graziosi, Presidente ANVUR

Prof. Daniele Checchi, Responsabile VQR

Per conoscenza Prof.ssa Carla Barbati, Presidente CUN

Oggetto: Uso proprio e improprio dei risultati della Valutazione della Qualità della Ricerca (VQR)

A conclusione dell’esercizio di Valutazione della Qualità della Ricerca 2011-2014 (VQR2011-2014), i coordinatori dei Gruppi di Esperti della Valutazione (GEV) all’unanimità giudicano positivamente il lavoro svolto, che ha consentito di delineare, mediante una procedura solida e condivisa, un quadro completo e affidabile dello stato della ricerca scientifica in Italia, rispettoso delle specificità disciplinari e utilizzabile per orientare in sede locale e nazionale le scelte di sviluppo, programmazione e finanziamento. Data l’importanza dello strumento e delle sue applicazioni, i coordinatori dei GEV desiderano richiamare l’attenzione di decisori politici, istituzioni accademiche ed enti di ricerca affinché si impegnino a prevenire e ostacolare l’uso improprio dei risultati della VQR, l’accesso e l’elaborazione dei quali spetta solo all’Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca (ANVUR).
Come più volte ribadito dall’ANVUR, la VQR ha lo scopo di valutare Istituzioni (quali Università ed Enti di Ricerca) e loro ampie sezioni (quali Dipartimenti e Istituti) e utilizza strumenti che sono adeguati solo per questo scopo. Pertanto i risultati della VQR2011-2014, così come quelli della VQR2004-2010, non possono, e non devono, per nessuna ragione, essere usati per valutare i singoli Docenti e Ricercatori. I dati della valutazione dei prodotti, di cui gli addetti della ricerca (AR) sono autori o co-autori, sono stati forniti a ciascun AR da ANVUR in via confidenziale e solo come atto di trasparenza nei loro confronti. Pertanto sono da considerarsi totalmente improprie eventuali richieste provenienti da chi occupa posizioni apicali nelle istituzioni valutate (o loro sezioni) e inviate agli AR allo scopo di accedere, per una qualunque finalità, ai dati associati ai singoli prodotti. Si invitano i responsabili di istituzioni e strutture ad astenersi da tali richieste e gli addetti a non ottemperare ad esse, qualora arrivassero, denunciando la non correttezza di tale azione.
Per lo stesso motivo, coerentemente con le finalità della VQR e con quanto previsto dalla normativa, i risultati aggregati possono essere usati per la valutazione delle strutture in cui si formano i ricercatori, ma non per la valutazione dei corsi professionalizzanti.
Un altro punto importante riguarda il possibile utilizzo dei dati VQR per comparare sottostrutture, per esempio i Dipartimenti, che afferiscono ad Aree diverse. Sebbene nella VQR2011-2014 ci sia stato, rispetto al passato, un maggiore sforzo per uniformare le procedure di valutazione seguite dai vari GEV, gli elementi di peculiarità permangono ancora notevolissimi. Si pensi per esempio alle differenze tra i GEV che fanno un uso sistematico della bibliometria e quelli che, invece, ricorrono per tradizione unicamente alla peer review; oppure, per quanto attiene ai soli GEV bibliometrici, alla diversa pratica citazionale e al possibile impatto valutativo che ha avuto la forte presenza di autocitazioni, o al diverso ruolo che ha avuto l’impatto delle riviste nel GEV13. Per questo insieme di motivi, si desidera ancora una volta enfatizzare che i dati VQR non possono e non devono essere usati per comparare direttamente strutture di Aree diverse tra loro.

In questi giorni ANVUR e MIUR stanno definendo le procedure per il finanziamento dei dipartimenti universitari di eccellenza. Sulla base di quanto riportato nei Commi 314-337 della Legge 11 dicembre 2016, n. 232, ANVUR è responsabile della definizione e del calcolo di un apposito “Indicatore standardizzato della performance dipartimentale (ISPD)”, per cercare di eliminare gli effetti delle peculiarità valutative nelle diverse aree di ricerca CUN. Il punto critico riguarda l’uso dell’ISPD. Secondo il comma 320, il MIUR deve stilare una graduatoria complessiva di tutti i dipartimenti mettendo a confronto, pur con un voto standardizzato e normalizzato, dipartimenti in Aree molto diverse (e quindi non comparabili) tra loro. Da qui la problematicità di una tale graduatoria che non può essere automaticamente assunta come diretta indicazione delle posizioni finanziabili, ma richiede che sia compilata solo dopo una preventiva divisione di queste ultime per aree di ricerca. In particolare, per evitare che il confronto sia disturbato dagli effetti distorsivi dalle specificità delle singole aree, appare opportuno che: 1) ai sensi dell’art. 324, l.232/2106, si individuino preventivamente con decreto MIUR il numero di dipartimenti finanziabili per ciascuna area (tra 5 e 20, sulla base della numerosità della singola area disciplinare, in termini di dipartimenti a essa riferibili, e di criteri informati a obiettivi di crescita e miglioramento di particolari aree della ricerca scientifica e tecnologica italiana); 2) si utilizzi l’ISPD del singolo dipartimento per verificare se rientri o meno nelle posizioni finanziabili preventivamente individuate per la specifica area, con la conseguenza che le graduatorie rilevanti per individuare i dipartimenti di eccellenza siano quelle riferibili alla singola area, evitando impropri confronti fra valori comunque eterogenei; 3) si tenga conto delle eventuali eterogeneità interne alle singole aree, così come evidenziato nei rapporti di Area.

Con la più viva cordialità,

Mario Abate, Coordinatore GEV 1
Riccardo Zecchina, Coordinatore GEV 2
Gaetano Guerra, Coordinatore GEV 3
Massimo Frezzotti, Coordinatore GEV 4
Massimo Volpe, Coordinatore GEV 6
Eugenio Scanziani, Coordinatore GEV 7
Anna Maria Cristina Bianchetti, Coordinatrice GEV 8a Aronne Armanini, Coordinatore GEV 8b
Gianluca Setti, Coordinatore GEV 9
Alessandro Schiesaro, Coordinatore GEV 10 Massimo Mori, Coordinatore GEV 11a
Roberto Cubelli, Coordinatore GEV 11b Vincenzo Militello, Coordinatore GEV 12 Graziella Bertocchi, Coordinatrice GEV 13 Anna Elisabetta Galeotti, Coordinatrice GEV 14

*Il documento non è sottoscritto dal GEV5 a causa della prematura scomparsa della coordinatrice, prof.ssa Anna Tramontano, avvenuta durante la fase di discussione e redazione.