VQR: le classifiche daltoniche dell’ANVUR

L’ANVUR ha presentato alla stampa classifiche degli atenei diverse da quelle desumibili dal Rapporto Finale della VQR. Nel confronto dimensioni-qualità l’ANVUR ha cambiato la formula per il calcolo della “premialità”. Come conseguenza, dodici atenei si sono scambiati il posto tra il girone dei viziosi, marchiati rosso fuoco, e l’Olimpo dei virtuosi con il bollino verde. Nelle tabelle diffuse alla stampa, l’ANVUR ha anche ritoccato le linee di demarcazione tra atenei piccoli, medi e grandi, sconvolgendo la classifica dimensione-qualità dei grandi atenei. Il sorpasso della Statale di Milano ad opera di Milano Bicocca, che tanto clamore aveva destato sui media, è frutto di questa modifica. Ma la saga delle “classifiche ballerine” non finisce qui: seguiranno presto ulteriori dettagli.

Il 16 luglio l’ANVUR ha presentato, a un ristretto circolo di invitati, gli esiti dell’esercizio nazionale di valutazione. Non sono mancati i toni trionfalistici: un esercizio di portata mai vista prima, e non solo in Italia.

In realtà, l’enorme mole di dati contenuta nel rapporto ANVUR, che è certamente meritevole di approfondita analisi, si è purtroppo tradotta in classifiche. Classifiche di aree disciplinari, classifiche di settori, classifiche di atenei e di dipartimenti. Ce n’è per tutti i gusti. Bene, si dirà, i buoni sono finalmente divisi dai cattivi, il grano dal loglio. Il tutto, plasticamente rappresentato non solo da elenchi, ma anche da tabelle colorate: bollino rosso per i reprobi, bollino verde per i probi.

In realtà, si è detto mille volte, la produzione di classifiche ha poco a che fare con la valutazione e non è certo un caso che agenzie di valutazione, per così dire più mature di quella italiana, rifiutino di produrne. Ci sono ragioni tecniche che sconsigliano di farlo. Ignari o incuranti che siano di tali ragioni, gli esperti dell’ANVUR  hanno pensato bene di costruire classifiche di ogni sorta. Il tutto per la gioia della stampa: sono fiorite paginate classificatorie (talora con qualche errore), e la stampa locale ha potuto sbizzarrirsi sui piazzamenti degli atenei delle diverse regioni. Sarebbe da riderci su, se non fosse che probabilmente tutto ciò influenzerà il futuro comportamento delle aspiranti matricole.

Ma c’è di peggio: dal giorno dell’uscita del rapporto VQR un sordo brontolio è udibile in ogni ateneo. E’ la faida che si prepara, per la spartizione del magro piatto a disposizione. Classifiche di aree, SSD e dipartimenti sono l’arma che sarà brandita all’interno di ogni ateneo da parte dei gruppi che aspirano ad accaparrarsi fondi di ricerca e soprattutto punti organico: non dimentichiamo che la prima tornata di abilitazione nazionale si avvia a conclusione. Come deve sentirsi un bravo ricercatore, che però ha la sventura di far parte di un SSD che nel suo ateneo ha ottenuto risultati mediocri nella VQR? E non dovranno preoccuparsi anche coloro che, magari con valutazioni individuali di qualità, si trovano a far parte di dipartimenti bollati come “sotto la media” o persino “scarsi”? Dovremo assistere alla disclosure, da parte dei singoli, delle proprie valutazioni individuali, nella speranza che ciò li aiuti a risalire la china nelle strutture di appartenenza?

Tutte queste unintended consequences erano prevedibili da mesi, ma i bricoleurs della valutazione se ne sono allegramente disinteressati, minando prima la credibilità e ora i possibili effetti virtuosi dell’esercizio di valutazione.

In ogni caso,  l’ANSA ha riportato la seguente dichiarazione del Presidente dell’ANVUR, Stefano Fantoni:

il Paese possiede una fotografia dettagliatissima e soprattutto certificata della qualità della ricerca italiana.

Ma tale fotografia, indubbiamente dettagliata e meritevole di accurata analisi, può veramente dirsi “certificata” da un ente tecnicamente adeguato? Convinti come siamo della necessità che la ricerca italiana sia valutata bene, nutriamo qualche dubbio, anche alla luce di quanto seguirà.

1. Il Santo Graal della valutazione

Per porre i fatti nella giusta cornice, è opportuno rammentare l’inveterata tradizione di rettifiche da parte dell’ANVUR, un abitudine che sembra accompagnarla quasi dalla sua fondazione. Ed ecco che oggi compare sul sito dell’agenzia il seguente comunicato, che alla maggior parte dei colleghi sarà sembrato una Stele di Rosetta in attesa del suo Champollion:

_____________________

______________________

La parte più allarmante sono le ultime due righe: come mai l’Agenzia, abile – a suo modo – nel contaminare valutazione e policy-making, fa un passo indietro sottolineando che la scelta non è di sua competenza? Che si sia inceppato qualcosa? Che le classifiche date in pasto alla stampa, che orienteranno migliaia di matricole sul territorio nazionale e incideranno sui bilanci e sulla reputazione (valore impalpabile, ma pur sempre un valore) dei singoli atenei, non siano così “certificate” come viene fatto credere?

Ritorniamo all’avviso dell’ANVUR, il quale ci informa che c’è una discrepanza tra i numeri mostrati e consegnati alla stampa e quelli riportati nel Rapporto finale VQR. Ma di quali numeri si tratta?

Dietro questo linguaggio in codice si cela quello che potrebbe essere a buon diritto considerato il “Santo Graal” della valutazione.

Non molti sanno che la VQR è unica solo in apparenza, ma che in realtà esistono ben 14 VQR separate, anzi 16 VQR, se teniamo presente che le aree 8 ed 11 sono composte da una sotto-areea “bibliometrica” ed una “non bibliometrica”. Fin dai primi mesi del 2012, l’ANVUR si era convinta che nelle diverse aree disciplinari, le cosiddette Aree CUN, la VQR non avrebbe mai prodotto risultati comparabili. Infatti, era impossibile garantire la comparabilità dei voti assegnati dalla peer-review con quelli assegnati dalle regole bibliometriche. In realtà, le cose andavano ancor peggio perché nelle aree bibliometriche, le soglie dei cosiddetti “quadrati magici” non garantivano uniformità di giudizio nemmeno all’interno della stessa area disciplinare: una delle ragioni fondamentali per cui la VQR nasce morta (VQR: tutte le valutazioni sono uguali, ma alcune sono più uguali delle altre). Che i voti non siano comparabili da un’area all’altra è stato sottolineato dall’ANVUR sia mediante un’analisi bibliometrica condotta sui criteri adottati dai diversi GEV (Appendice A – La calibrazione degli algoritmi bibliometrici) sia mediante raccomandazioni molto chiare (i grassetti sono nostri):

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina.
Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie Aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse, un esercizio senza alcun fondamento metodologico e scientifico.

Questo stesso caveat riguarda in qualche caso il confronto tra settori scientifico-disciplinari (SSD) interni a un’Area. Mentre in alcuni casi è possibile confrontare la qualità della ricerca tra SSD della stessa Area, in altri casi (evidenziati nei singoli rapporti di Area) tale confronto non è possibile né opportuno. Le graduatorie di Area e di sottoinsiemi più omogenei all’interno di un’Area, quali sub-GEV o SSD, sono finalizzate al confronto nazionale di natura verticale al loro interno.

Rapporto Finale ANVUR – Parte I, p. 7

Quelle appena riportate sono forse le parole più sagge che l’ANVUR abbia mai scritto. Tuttavia, se anche si dà per assodata la non comparabilità fra aree, ci sono due problemi di vitale importanza che premono alle porte:

• il calcolo della quota premiale degli atenei che richiede necessariamente la composizione dei voti di area;
• la ripartizione delle risorse tra diversi dipartimenti all’interno dello stesso ateneo.

In Inghilterra, dove i giudizi di qualità del RAE sono comparabili, perché formulati su una scala di merito assoluta, il primo problema viene risolto stimando quali cosi comporti la ricerca scientifica condotta in ciascuna area. Tali costi diventano poi dei coefficienti moltiplicativi da applicare ai punteggi conseguiti nelle diverse aree. In Italia, la non comparabilità dei giudizi costringe a far confluire in un unico momento decisionale la normalizzazione dei voti e la stima dei costi. La soluzione è una formula-Graal che assegna a ciascuna delle 16 aree un suo peso specifico. Però, proprio a causa della incomparabilità delle aree, trovare la formula giusta è impresa degna di un romanzo del ciclo arturiano:

La definizione dei pesi , la scelta di quale indicatore finale utilizzare e dei valori dei pesi α e β non è compito dell’ANVUR, ma è una scelta di natura “politica” di competenza del MIUR. Una possibile scelta per i pesi può essere finalizzata a orientare la ricerca futura privilegiando alcune aree rispetto ad altre, oppure può riflettere in maniera neutra la quota dei prodotti conferiti o dei ricercatori delle diverse aree o, ancora, può essere proporzionale alla quota di finanziamenti storicamente assegnati alle aree (ad esempio nei bandi PRIN e FIRB o europei).
Nell’Appendice D si propongono alcune alternative per il calcolo dei pesi e un confronto dei valori dei pesi risultanti. Le tabelle con i valori degli indicatori finali IRFS1 e IRFS2 presentate nel seguito sono state ottenute a puro titolo esemplificativo utilizzando i pesi dell’ultima tabella dell’Appendice D.

Rapporto Finale ANVUR – Parte I, p. 39

Siamo arrivati al dunque: l’avviso del 22 luglio menziona proprio l’Appendice D, dove si parla del Santo Graal, ovvero della formula che permette di mettere sulla stessa bilancia i voti conseguiti nelle diverse aree all’interno dell’ateneo. Inoltre, diventa possibile confrontare diversi dipartimenti, eterogenei o omogenei che siano in termini di aree. L’ANVUR sembra consapevole di muoversi su un terreno che scotta:

Ovviamente, la decisione sull’allocazione dei fondi è competenza ministeriale e quella riportata è solo un esempio del possibile utilizzo degli indicatori.

Rapporto Finale ANVUR – Parte I,. Nota 7, p. 30

come specificato nella Premessa, l’attribuzione ai dipartimenti del valore dell’indicatore finale è stato fatto dall’ANVUR unicamente per fornire indicazioni agli organi di governo interni delle strutture, senza alcuna intenzione di ledere la loro piena autonomia nelle modalità di distribuzione interna delle risorse.

Rapporto Finale ANVUR – Parte I, p. 45

Se ora andiamo a leggere l’Appendice D, sopra citata, troviamo una precisazione rassicurante riguardo alla formula-Graal:

I quattro metodi descritti nelle sezioni precedenti sono stati applicati in via sperimentale ai dati VQR ed è stato così possibile confrontare gli indicatori finali (IRFS) risultanti. Osservato che le graduatorie e i valori assoluti degli indicatori ottenuti con i quattro metodi risultano piuttosto stabili e caratterizzati da una varianza contenuta, si propone – a posteriori e per semplicità espositiva – un unico set di pesi “efficaci” (per ogni tipologia di struttura). Essi si ottengono mediando, per ogni Area, i relativi quattro costi cj ottenuti nelle sezioni D2–5 e poi moltiplicando i costi così ottenuti per il numero di prodotti conferiti nell’Area.

Traduzione: abbiamo esplorato quattro metodi alternativi, ma, per fortuna, danno tutti e  quattro più o meno gli stessi risultati sia in termini di valori assoluti (che incideranno sulla cosiddetta quota premiale assegnata dal ministero) sia in termini di classifica degli atenei. Per questa ragione abbiamo adottato una soluzione che li mescola tutti insieme … ed amen. Se fosse vero che cambiano (di poco) solo i numeri e non le classifiche, poco importerebbe e verrebbe persino voglia di lodare l’Agenzia per avere ammesso con la sua comunicazione del 22 luglio una svista, tutto sommato, di minore entità.

Mossi da uno scetticismo che qualcuno riterrà eccessivo ed imputerà ad una pregiudiziale ed ingiustificata diffidenza nei confronti dell’agenzia, abbiamo voluto comunque verificare nel dettaglio numeri e classifiche, non senza trovare qualche sorpresa.

3. La classifica una e bina

Se da un lato il Rapporto Finale contiene diversi caveat, del tutto condivisibili, sull’interpretazione e l’uso dei dati, il desiderio irrefrenabile di additare al mondo buoni e cattivi sembra aver preso la mano all’ANVUR. Abbiamo appena letto quanto perigliosa sia la ricerca della formula-Graal che combina insieme i punteggi delle diverse aree. Eppure, nelle slides della presentazione al pubblico, mettendo da parte ogni cautela, viene calcolato l’indicatore IRFS1 (Indicatore Finale di Ricerca Struttura 1):

L’indicatore finale di ricerca di struttura (IRFS) tiene conto di tutti gli indicatori utilizzati nella valutazione: qualità delle pubblicazioni e dei processi di reclutamento, capacità di attrarre risorse esterne e di istituire collegamenti internazionali, propensione alla formazione per la ricerca e all’utilizzo di fondi propri per finanziare la ricerca, miglioramento della “performance” scientifica rispetto all’esercizio di valutazione precedente.

Per effettuare il confronto dimensione-qualità, l’indice IRFS1 viene paragonato al numero di prodotti attesi, per vedere se l’ateneo su scala nazionale meriterebbe per la sua ricerca una quota maggiore o minore di quella che è la sua quota nazionale di soggetti valutabili. La logica è quella della pagella: etichetta verde per chi ha una produttività sopra la media, etichetta rossa, per chi non ha una produttività adeguata. Ecco la prima delle slides che mette in riga buoni (verdi) e cattivi (rossi).

Insomma, una bella gogna per circa metà degli atenei. Ma c’è un “ma”. Come ammesso dalla nota del 22 luglio, i conti non tornano con il Rapporto Finale. Infatti, gli stessi indicatori sono riportati anche nel file delle Tabelle del Rapporto Finale a pag. 308 (Tabella 6.10a). Però, invece che essere uguali, le due tabelle sono diverse: non solo i numeri presentati ai giornalisti sono diversi da quelli del rapporto finale, ma, come si può vedere ci sono diversi atenei che passano da buoni a cattivi e viceversa. Chissà come sarà stata contenta l’Università di Pisa di essere additata al pubblico ludibrio quando nel Rapporto Finale la sua etichettta è invece verde.

Il daltonismo della tabella ANVUR riguarda 12 università. Di queste ve ne sono quattro che da “virtuose” nel Rapporto Finale sono state declassate a “viziose” ad uso e consumo dei giornalisti:

1. Pisa
2. Modena e Reggio Emilia
3. Parma
4. Camerino

Viceversa, ve ne sono otto che, da viziose che erano nei documenti ufficiali, si sono trovate inopinatamente promosse a virtuose davanti ai giornalisti:

1. Roma Tre
2. Roma Tor Vergata
3. Macerata
4. Napoli l’Orientale
5. Bergamo
6. Siena Stranieri
7. Castellanza LIUC
8. Roma LUMSA

Ma cosa è successo? Per qualche ragione, nella presentazione per i giornalisti i voti delle aree non sono stati combinati usando i pesi del Rapporto Finale, ovvero quelli consigliati alla fine dell’Appendice D, ma usando quelli del primo metodo discusso nell’appendice stessa, proporzionali alla quota di prodotti conferiti (il metodo CD_PC, che non prende in considerazione la media dei costi).

Sorgono spontaneee almeno due domande:

1. se la formula che aggrega i voti delle diverse aree è un punto così  critico (una scelta di natura politica, a livello nazionale, e una decisione che rientra nei margini di autonomia degli organi di governo a livello locale), perché far ricorso allo strumento scientificamente discutibile quanto mediaticamente dirompente dei bollini rossi e verdi?
2. non si era detto che “le graduatorie e i valori assoluti degli indicatori ottenuti con i quattro metodi risultano piuttosto stabili e caratterizzati da una varianza contenuta”?

4. L’ANVUR fa lo sgambetto al Politecnico e alla Statale di Milano

Ma la storia non è finita. Nel package per i giornalisti c’è la Tabella 5 che dovrebbe illustrare il confronto fra dimensione e qualità della ricerca delle strutture. I numeri sono gli stessi della presentazione per la stampa che confrontava l’indicatore sintetico IRFS1 con il numero di prodotti attesi. Questa volta, l’attenzione è ristretta ai primi cinque atenei di ogni segmento dimensionale:  come già osservato, stilare classifiche di istituzioni di dimensioni assai diverse è privo di senso e per tamponare il problema nella VQR gli atenei sono raggruppati in tre categorie dimensionali. Ecco quanto si legge nella documentazione resa disponibile alla stampa:

______________________________________________________

CLASSIFICA DIMENSIONE – QUALITÀ: VERSIONE PER LA STAMPA

La presenza di Milano Bicocca in questa ed altre classifiche VQR e la contemporanea assenza della Statale di Milano ha stimolato il Corriere della Sera a sottolinerare il sorpasso dell’università “figlia” nei confronti della “madre”, non  senza qualche sorpresa del Rettore Gianluca Vago che ha tentato una volenterosa difesa.

In effetti, per la Statale non è piacevole essere superati dalla propria “figlia”. Qualcuno potrebbe pensare che il Rettore Vago si arrampichi sugli specchi per tentare di attenuare lo shock del sorpasso, ma, come vedremo, non ha tutti i torti ad essere perplesso sulla regolarità del duello. Su ROARS abbiamo sempre ribadito che non è il caso costruire graduatorie di atenei di dimensioni diverse. Facciamo però finta di stare al gioco dell’ANVUR e verifichiamo se sono state rispettate le regole. Abbiamo appena visto che ai giornalisti è stato comunicato che Milano Bicocca è uno dei migliori atenei italiani nel segmento del “Grandi atenei”. Però se si sfoglia il Rapporto Finale della VQR, nella Tabella 7.3a (Tabelle Parte Prima, p. 374) si trova una sorpresa.

Ebbene, quella “M” cerchiata in rosso sta a significare che nel Rapporto Finale della VQR Milano Bicocca non è collocata nel segmento dimensionale dei Grandi atenei ma è collocata, piuttosto, tra quelli Medi.

Cosa è successo?

Per qualche ragione, che sarebbe bene capire, le classifiche per i giornalisti sono state costruite usando una suddivisione in segmenti dimensionali diversa da quella usata nel Rapporto Finale VQR che, a tutti gli effetti, dovrebbe invece fare testo come documento ufficiale.

A questo punto sorge la curiosità di verificare quali risultati avrebbe condotto il confronto “dimensione-qualità” se si fossero rispettate le regole del gioco ovvero:

1. usare i segmenti dimensionali definiti nel Rapporto Finale
2. aggregare i punteggi delle diverse aree usando la formula consigliata nell’Appendice D.

Ecco il risultato:

______________________________________________________

CLASSIFICA DIMENSIONE – QUALITÀ: VERSIONE CORRETTA

I principali cambiamenti avvengono nella classifica dei Grandi atenei. Infatti, il Politecnico di Milano balza in testa e al quinto posto subentra l’Università di Milano, mentre Milano Bicocca, dovendo competere con gli agguerriti atenei di media dimensione non riesce  ad arrivare nelle prime cinque del suo segmento. Sulla base di questa classifica, nessuno avrebbe parlato del sorpasso della “madre” ad opera della “figlia” e il rettore Vago si sarebbe risparmiato il tentativo di autodifesa e, ciò che più conta, una bella dose di pubblicità negativa che andrà probabilmente ad incidere sulle immatricolazioni.

Vale la pena di ribadire che non ha molto senso ritenere che questa ultima classifica sia intrinsecamente migliore di quella propinata ai giornalisti. Sono entrambe poco significative, perché fortemente dipendenti dalle linee di demarcazione tra i segmenti dimensionali. Chi ha un minimo di consapevolezza metodologica, sorride quando legge le dotte disquisizioni dei presunti esperti su graduatorie così volatili. Piuttosto, chi ne capisce qualcosa è ben consapevole che queste classifiche, proprio perché affette da un elevato grado di arbitrarietà, sono il terreno ideale per incantare gli allocchi, soprattutto se chi le produce ha la spregiudicatezza di cambiare le soglie come meglio gli aggrada. A meno che l’artefice delle classifiche daltoniche non sia così sfortunato da incappare in chi si mette a fargli le pulci, nel qual caso il pericolo di una figuraccia è sempre in agguato.

Resta da capire chi renderà conto agli atenei per le informazioni inesatte trasmesse alla stampa, che con ogni probabilità orienteranno il comportamento delle matricole arrecando ad alcuni atenei danni finanziari non indifferenti. Il danno d’immagine creato con la diffusione di classifiche opinabili sarà assai difficile da sanare.

Il Ministro Carrozza in occasione della presentazione degli esiti della VQR ha affermato:

Con questa giornata, l’università italiana entra nell’Europa della valutazione e corrisponde al ruolo che spetta a una nazione promotrice del Processo di Bologna

Siamo sicuri che ci vogliano?

 [SEGUE: Leggete il seguito su VQR: le classifiche dell’ANVUR per i giornalisti]