Classifiche VQR alterate? Analizziamo le prove

“Il bluff della classifica ANVUR”, le “carte truccate del merito”: ecco cosa hanno scritto i quotidiani dopo che ROARS ha svelato che l’ANVUR ha fornito alla stampa classifiche diverse da quelle desumibili dal Rapporto Finale VQR. Sui giornali, l’ANVUR ha replicato per bocca del suo direttore Roberto Torrini e del coordinatore della VQR Sergio Benedetto. Ma i loro argomenti sono convincenti? Proviamo a fare il punto: cosa è stato modificato? Quali sono le prove e quali sono state le conseguenze sulle classifiche?

Il 16 luglio scorso, l’ANVUR ha pubblicato i risultati della Valutazione della Qualità della Ricerca (VQR 2004-2010). Insieme alle valutazioni conseguite da atenei e dipartimenti nelle diverse aree e settori scientifici, l’ANVUR ha anche diffuso un gran numero di graduatorie tra cui diverse classifiche di atenei di tipo “globale”, vale a dire non limitate a specifiche aree scientifiche. Sono queste classifiche ad aver avuto la massima visibilità sulla stampa che si è sbizzarita nel gioco del “chi vince” e “chi perde”.

Non passano due settimane e ROARS scopre che queste “classifiche globali” erano scritte sulla sabbia. Infatti, esse sono diverse da quelle desumibili dai documenti ufficiali del Rapporto Finale VQR. Tutto inizia il 22 luglio con un burocratico comunicato dell’ANVUR che ammette di aver diffuso alla stampa alcuni numeri diversi da quelli del Rapporto Finale VQR. Ad un controllo più serrato, risulta che le discrepanze tra dati ufficiali e dati per la stampa sono molto più estesi, al punto di alterare tutte le otto classifiche globali. La notizia viene ripresa da due quotidiani e da alcuni siti web. L’ANVUR replica per bocca di Sergio Benedetto e Roberto Torrini cercando di minimizzare e negando che vi siano anomalie.

Ma come stanno veramente le cose? Crediamo di fare cosa utile alla comunità accademica e all’opinione pubblica riassumendo e riorganizzando il contenuto dei due post che hanno denunciato le “classifiche ballerine”:

• VQR: le classifiche daltoniche dell’ANVUR
• VQR: le classifiche dell’ANVUR per i giornalisti

La struttura di questo post è molto semplice: forniamo le prove e discutiamo le conseguenze sulle classifiche di ciascuna delle due modifiche introdotte dall’ANVUR. Infine, esaminiamo brevemente le repliche dell’ANVUR.

1. Prima modifica: la formula per la “classifica premiale”

Nell’Appendice D del Rapporto Finale VQR, l’ANVUR propone una formula per il calcolo dell’indicatore IRFS1 (Indicatore Finale di Ricerca Struttura 1) che è particolarmente importante perché strettamene legato alla quota premiale del Fondo di Finanziamento Ordinario (FFO) da attribuire ai diversi atenei. Lasciamo da parte le considerazioni relative all’opportunità che l’ANVUR si lanci in questo calcolo, dopo aver scritto che

La definizione dei pesi , la scelta di quale indicatore finale utilizzare e dei valori dei pesi α e β non è compito dell’ANVUR, ma è una scelta di natura “politica” di competenza del MIUR.

Rapporto Finale ANVUR – Parte I, p. 39

Ugualmente poco opportuno che nelle Tabelle del Rapporto Finale a pag. 308 (Tabella 6.10a) venga pubblicata la lista degli atenei “virtuosi” (bollino verde) e di quelli “canaglia” (bollino) rosso. I virtuosi, sarebbero quelli che, rapportando l’indicatorie IRFS1 al numero di prodotti attesi ottengono un indice di produttività superiore alla media. Peccato, che proprio per le ragioni esposte nel rapporto, gli indicatori delle diverse aree scientifiche (Matematica, Fisica, Chimica, etc) non siano confrontabili e che esista pertanto un margine di discrezionalità che rende, come appena visto, la selezione della “formula premiale” una scelta di natura “politica” di competenza del MIUR. Si tratta di una questione cruciale, ma in questa sede discutiamo di aspetti più prosaici.

Infatti, se da un lato l’ANVUR si lancia ad attribuire bollini rossi e verdi nel Rapporto Finale, quando poi si rivolge ai giornalisti distribuisce di nuovo i bollini rossi e verdi, ma usando una formula premiale diversa. Ecco quindi che chi era canaglia nei documenti ufficiali della VQR può diventare virtuoso di fronte ai giornalisti e viceversa.

1.1 Le prove della prima modifica: un’ammissione e le due tabelle con i bollini rossi e verdi

Le prove della modifica sono facili da raccogliere. Infatti, disponiamo di un’ammissione rilasciata dall’ANVUR stessa in data 22 luglio.

PROVA n. 1: Avviso apparso sul sito ANVUR il 22 luglio 2013

Nonostante il linguaggio in codice, si capisce che alla stampa sono stati forniti dei numeri diversi da quelli ottenibili tramite la formula proposta nell’Appendice D.

La seconda prova è data dal  confronto delle slides della presentazione fatta ai giornalisti con la Tabella 6.10a del Rapporto Finale VQR.

PROVA n. 2: I bollini verdi e rossi per i giornalisti sono diversi da quelli nel Rapporto Finale

Per rendersi conto che il cambiamento della formula premiale ha alterato sia classifica sia l’attribuzione dei bollini rossi e verdi, basta confrontare le seguenti due tabelle:

1. Tabella 6.10a (p. 308) nel file Tabelle del Rapporto Finale
2. Tabella “IRFS – Graduatoria completa” (slides 68-73) nella presentazione del 16 luglio

Qui sotto riportiamo un estratto del confronto, da cui risultano evidenti alcune delle discrepanze.

1.2 Le conseguenze della prima modifica: cambiano i bollini rossi e verdi

L’uso di due diverse formule premiali comporta due conseguenze. Da un lato cambiano i valori degli indicatori IRFS1 attribuiti agli atenei e pertanto la loro classifica relativamente ai fondi che riceverebbero sotto forma di quota premiale del FFO. Sulla classifica torneremo alla fine del post perché essa è influenzata anche dalla seconda modifica apportata dall’ANVUR nelle sue comunicazioni alla stampa. Sottolineiamo però da subito la seconda conseguenza, ovvero che alla stampa è stata fornita una lista di atenei con il bollino rosso e di atenei con il bollino verde diversa da quella presente nella documentazione ufficiale della VQR.

Quattro università, da “virtuose” che erano nel Rapporto Finale sono state declassate a “canaglia” ad uso e consumo dei giornalisti:

1. Pisa
2. Modena e Reggio Emilia
3. Parma
4. Camerino

Viceversa, ve ne sono otto che, da viziose che erano nei documenti ufficiali, si sono trovate inopinatamente promosse a virtuose davanti ai giornalisti:

1. Roma Tre
2. Roma Tor Vergata
3. Macerata
4. Napoli l’Orientale
5. Bergamo
6. Siena Stranieri
7. Castellanza LIUC
8. Roma LUMSA

È bene sottolineare che chi scrive non ritiene che i bollini rossi del Rapporto Finale siano preferibili a quelli per la stampa, ma li ritiene entrambi privi di senso. Infatti, è profondamente errato scambiare la valutazione con l’attribuzione di bollini rossi e verdi. Inoltre, non è privo di conseguenze additare alcuni atenei al pubblico ludibrio, soprattutto quando si scopre che le formule usate non hanno fondamento scientifico e sono piuttosto frutto di discrezionalità politica. Ancor peggio, se possibile, variare i bollini rossi e verdi passando da un documento ufficiale ad una presentazione alla stampa.

2. La seconda modifica: l’alterazione dei segmenti dimensionali

Come già sottolineato ripetutamente da ROARS, confrontare atenei di dimensioni diverse è come confrontare le mele con le pere. Non per nulla, l’agenzia di valutazione inglese, l’HEFCE, si rifuta di fornire classifiche di qualsivoglia genere (“We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to”). Per tamponare i paradossi più clamorosi di un confronto tra istituzioni eterogenee, l’ANVUR divide gli atenei in tre segmenti dimensionali (Piccoli, Medi, Grandi) e produce tre classifiche separate. Inutile, dire che i paradossi si ripropongono all’interno dei segmenti dimensionali dove, di necessità, convivono atenei di dimensioni diverse. Inoltre, come gli addetti ai lavori sanno bene, le classifiche dipendono in modo decisivo dalla scelta delle linee di demarcazione tra i diversi segmenti. Ne segue che la definizione dei segmenti dovrebbe essere la più trasparente possibile e venir sottratta ad aggiustamenti in corso d’opera.

Nel materiale fornito alla stampa, l’ANVUR ha definito i segmenti dimensionali nel seguente modo:

Le soglie dimensionali sono stabilite in relazione al numero di Soggetti Valutati Equivalenti a Tempo Pieno (SVETP). In sostanza, si tratta del numero di prodotti attesi (pubblicazioni che dovevano essere sottoposte alla valutazione) diviso per 6. Nelle classifiche per i giornalisti l’elenco delle università è diviso in tre parti di eguale dimensione. Il 33% delle università più grandi sono le grandi; il successivo 33% sono le medie; il restante le piccole.

Sarebbe naturale attendersi che questi segmenti dimensionali coincidano con quelli utilizzati nel Rapporto Finale VQR, ma non è così.

2.1 Le prove della seconda modifica: le quattro tabelle 7.3a-7.3d

Per qualche ragione che non è dato sapere, il Rapporto Finale VQR non contiene una definizione esplicita di quali siano e con quali criteri siano stati ricavati i segmenti dimensionali utilizzati per classificare gli atenei. Pertanto, non resta che sfogliare il rapporto cercando quali segmenti siano stati effettivamente utilizzati nelle graduatorie che coinvolgono gli atenei nella loro interezza. Dobbiamo pertanto saltare la prima parte del rapporto dove i confronti non sono effettuati tra interi atenei ma solo tra le loro aree scientifiche (per es. le aree matematiche di tutti gli atenei). In quel caso infatti, si ricorre a segmentazioni definite in modo da tener conto di quanti matematici (fisici, chimici, etc) ci sono nei diversi atenei. In tale contesto un ateneo può essere “grande” in un’area (se per es. ha molti matematici) e “piccolo” in un’altra (se per es. ha pochi fisici).

Finalmente, si arriva a pagina 372 del documento Parte Prima: Statistiche e risultati di compendio. Qui iniziano quattro tabelle relative ai Dati di terza missione in cui sono segnati sia il segmento dimensionale dell’ateneo sia la sua posizione nella graduatoria del suo segmento dimensionale. Esaminando queste quattro tabelle si scopre che diversi atenei sono collocati in segmenti dimensionali diversi da quelli usati per la stampa.

Prova n. 3: Le Tabelle  7.3a-7.3d smentiscono i segmenti dimensionali per i giornalisti

Se consultiamo le Tabelle 7.3a-7.3d nel documento Parte Prima: Statistiche e risultati di compendio (pp. 372-395) notiamo che accanto ad ogni ateneo sono riportate tre colonne:

• SVETP: Soggetti Valutati Equivalent a Tempo Pieno, un indice della dimensione dell’intero ateneo
• Segm. Dim.: può essere P, M, G (Piccolo, Medio, Grande)
• Num. Segm. Dim.: il numero di atenei nel segmento dimensionale dell’ateneo; si vede che vi sono 25 atenei Piccoli, 46 Medi e 24 Grandi.

Nella figura si può vedere che Verona è collocata nel segmento dimensionale M, mentre invece nella classifica “università al top” presentata ai giornalisti è stata collocata tra le Grandi (in quanto il suo SVETP è maggiore di 310,36, che era la soglia al di sopra della quale, come abbiamo visto, gli atenei sono classificati G). Lo stesso accade per Milano Bicocca che nella tabella 7.3a è classificata tra le Medie, mentre in base alla definizione dovrebbe essere collocata tra le Grandi.

Senza stare a passare in rassegna tutti gli atenei a cui viene attribuito un segmento dimensionale diverso da quello adottato per i giornalisti, passiamo ad esaminare la quarta ed ultima prova.

Prova n. 4: Ricostruzione dei segmenti originali dalle Tabelle  7.3a-7.3d in formato Excel

Potrebbe rimanere il dubbio che i segmenti dimensionali riportati nelle tabelle 7.3a-7.3d, invece che dipendere dalle dimensioni globali dell’ateneo (il parametro SVETP), siano dei segmenti calibrati in altro modo, appositamente per valutare gli indicatori di terza missione. Per dissipare tale dubbio, basta recuperare le medesime Tabelle, ma in formato Excel. Una volta riordinate le righe in ordine decrescente di SVETP si ottiene la seguente tabella (cliccare per ingrandire).

Risulta evidente che le etichette P-M-G sono attribuite sulla base della dimensione dell’ateneo, misurata dal parametro SVETP. Ciò è del tutto analogo a quanto dichiarato nelle classifiche per i giornalisti. Tuttavia, come si vede anche graficamente, nella Tabella 7.3a le linee di demarcazione tra i tre segmenti dimensionali sono diverse da quelle per la stampa. Più precisamente, gli otto atenei più grandi tra quelli che erano classificati “medi” nel Rapporto finale diventano “grandi” per la stampa e, allo stesso tempo, gli altri otto più piccoli tra i “medi diventano “piccoli” per la stampa. La tabella annotata evidenzia che l’ANVUR ha usato due segmentazioni diverse, una per il Rapporto Finale (25 Grandi, 46 Medi, 24 Piccoli) ed una per la stampa (32 Grandi, 33 Medi, 33 Piccoli). Una modifica che, come vedremo, altera significativamente le classifiche degli atenei.

Come osservato da Alberto Baccini, lo stesso tipo di modifica si ripropone per gli Enti di Ricerca, la cui classificazione dimensionale cambia nel passaggio da Rapporto Finale (vedi Tabella 7.4a delle Tabelle del Rapporto Finale) al materiale per la stampa.

2.2 Le conseguenze della seconda modifica: cambiano tutte le classifiche generali

Le conseguenze della modifica dei segmenti dimensionali sono particolarmente rilevanti. Infatti, vengono modificate tutte le otto le classifiche generali, che sono ovviamente le più importanti perché sono quelle che hanno avuto più eco sui mezzi di informazione. In particolare, come spiegato in dettaglio da Alberto Baccini in un precedente post, subiscono diverse modifiche le tre classifiche delle “università al top”.

Nota: In questa immagine e nelle seguenti, la “versione originale“ è una ricostruzione dell’aspetto che avrebbe avuto la classifica diffusa da ANVUR ai giornalisti, se fossero stati rispettati i segmenti dimensionali usati nel documento ufficiale del Rapporto Finale (riportati, per esempio, nel Rapporto Finale – Parte Prima: Statistiche e risultati di compendio – tabelle in PDF, Tabella 7.3a, pp. 372-377).

Tuttavia, le modifiche non si limitano alle classifiche delle “università al top” ma si propagano anche alle classifiche “dimensione-qualità”, tre per gli atenei e due per gli enti di ricerca. Da notare che in queste classifiche i punteggi risentono anche del primo cambiamento relativo all’utilizzo di una “formula premiale” diversa tra Rapporto Finale e relazione alla stampa. Più precisamente, la “versione originale” di queste classifiche (quella fedele ai dati ufficiali del Rapporto Finale VQR)  si basa sui dati contenuti nelle Tabelle del Rapporto Finale, ovvero sui punteggi delle Tabelle 6.10a (atenei) e 6.11b (enti di ricerca) e sui segmenti dimensionali riportati nelle tabelle 7.3a (atenei) e 7.4a (enti di ricerca).

Vale la pena di ribadire che non ha molto senso ritenere che le classifiche originali siano intrinsecamente migliori di quelle diffuse agli organi di stampa. Le une e le altre sono poco significative, perché fortemente dipendenti dalle linee di demarcazione tra i segmenti dimensionali. Un’agenzia di valutazione seria si asterrebbe dal diffondere alla stampa classifiche che non è in grado di difendere dal punto di vista scientifico. L’infortunio dell’ANVUR, se non altro, ha svelato l’inconsistenza di queste graduatorie e della retorica che alimentano.

3. Le repliche dell’ANVUR

Fino ad ora, l’ANVUR ha replicato per bocca di Sergio Benedetto, coordinatore della VQR, e Roberto Torrini, direttore dell’agenzia.

A Francesco Margiocco (Secolo XIX) Benedetto ha parlato di “equivoco” dichiarando:

«Delle due valutazioni abbiamo scelto di dare ai giornalisti quella che usa l’indicatore più semplice, non contestabile». L’altra, quella contenuta solo nel rapporto, si basa invece su «indicatori poco definiti» e quindi esposti a critiche. «Non c’è stato alcun trucco», sottolinea Benedetto.

Università, il bluff della classifica ANVUR , Secolo XIX, 26 luglio 2013

La replica non spiega perché ci si è lanciati a distribuire bollini rossi e verdi con metodi non assestati e a stilare classifiche altrettanto instabili. Però, la risposta di Benedetto non è priva di interesse. Infatti, veniamo a sapere che il Rapporto Finale contiene valutazioni basate su su “indicatori poco definiti” e quindi “esposti a critiche”. Di diverso tenore erano le dichiarazioni del Presidente dell’ANVUR Stefano Fantoni che, riferendosi alla VQR, aveva dichiarato all’ANSA:

il Paese possiede una fotografia dettagliatissima e soprattutto certificata della qualità della ricerca italiana.

In controtendenza rispetto all’idea della fotografia dettagliatissima e certificata si muove anche il Direttore dell’ANVUR, Roberto Torrini, nell’intervista rilasciata a Roberto Ciccarelli:

In maniera erronea, si è creata confusione. Era di più facile comprensione per la stampa. […] Essere primo, secondo o terzo in queste classifiche non conta nulla a meno che il ministro decida di dare tutti i fondi ai primi cinque atenei. Ma io credo che ci sarà un uso saggio della ripartizione.

Insomma, ci sono tanti scenari possibili e non è il caso di prendersela se le classifiche traballano al primo alito di vento: tanto, contano poco o nulla per i fondi premiali. Forse, bisognerebbe spiegarlo al Rettore dell’Università Statale di Milano dopo che il Corriere della Sera ha pubblicato un articolo a quattro colonne intitolato La Statale di Milano superata dalla Bicocca.

Si tratta solo di un esempio, ma non è difficile capire che le classifiche degli atenei possono incidere pesantemente sulla reputazione e sulle immatricolazioni, soprattutto nel caso di atenei in naturale concorrenza tra di loro. L’Università di Parma lo ha capito e, non appena si è resa conto che sarebbe stata quinta se nelle “classifiche per i giornalisti” ANVUR avesse mantenuto le soglie dimensionali usate nel Rapporto Finale, ha segnalato l’articolo di ROARS sul suo sito istituzionale. Peraltro, il danno è doppio: sono danneggiati gli atenei presentati come “perdenti” alla stampa, e sono danneggiati gli atenei promossi in contrasto con il contenuto del Rapporto, che rischiano ora di passare per atleti dopati.

Lasciamo da parte questi “dettagli” e veniamo alla domanda clou rivolta da Roberto Ciccarelli al Direttore dell’ANVUR:

Ciccarelli: Lei crede che le critiche alle classifiche di Roars siano infondate?

Torrini: Se si vuole mettere in evidenza una cattiva fede che non abbiamo, un complotto che non esiste, direi che non è un dibattito accademico ma che tradisce altre finalità

Che dire? Noi ci limitiamo a svolgere analisi circostanziate basandoci sui dati e sullo stato dell’arte scientifico. Dato che l’ANVUR non si pronuncia, lasciamo ai lettori valutare se le nostre critiche siano fondate o meno.

Nel frattempo, sembra opportuno riproporre all’ANVUR le tre domande di Alberto Baccini:

1. perché nel rapporto finale è stata adottata una classificazione dimensionale di università ed enti diversa da quella utilizzata per i comunicati stampa?

2. se la classificazione “giusta” è quella del rapporto, non sarebbe opportuno inviare alla stampa una correzione delle classifiche diffuse con i comunicati stampa?

3. se la classificazione “giusta” è quella del materiale per la stampa, non sarebbe opportuno rivedere il rapporto finale?