VQR: la lista segreta dei 120 dipartimenti con zero in pagella

1. La pietra filosofale dell’eccellenza

È in corso la seconda edizione di quella vera e propria gara che sono i Dipartimenti di eccellenza. I “ludi dipartimentali” nascono nel 2016 per mano del Governo Renzi che inserisce il provvedimento nella Legge di Stabilità. Si tratta di determinare i 180 dipartimenti “più eccellenti” tra i meno di 800 dipartimenti delle università statali, attribuendo a ciascuno dei fortunati vincitori un finanziamento quinquennale compreso tra 1,1 e 1,6 milioni di Euro annui, incrementati di 250mila per le “scienze dure”. Complessivamente, un jackpot di 1,3 MLD di Euro.

Un intervento di tal genere, che lascia a bocca asciutta 4 dipartimenti su 5 è di per sé discutibile nel contesto di un sistema universitario che, in termini di finanziamento rapportato al PIL, vede da sempre l’Italia posizionarsi tra i fanalini di coda dell’OCSE. Invece di riportare il sistema al di sopra della soglia di galleggiamento, si organizzano dei ludi gladiatori all’insegna del più classico divide et impera. Con l’aggravante che distribuire risorse solo ai vincitori significa penalizzare le aree più deboli del pase, Sud e Isole per prime, ma non solo. Il tutto all’insegna dell’idea che una parte del paese sia “a perdere”, una zavorra su cui non vale la pena di fare investimenti che vadano oltre i corsi professionali, la gastronomia e i beni culturali. Come scordare le ricette per il Sud del consigiiere Anvur Daniele Checchi?

«chiudo dei corsi, li chiudo d’autorità, sposto il personale da altre parti perché invece voglio promuovere degli altri corsi», «più corsi professionalizzanti e meno corsi di giurisprudenza», «più beni culturali e meno medicina»

Oltre che essere politicamente discutibile, istituire una “gara” tra i dipartimenti solleva problemi tecnici di difficile soluzione. Per non affidarsi interamente a valutazioni discrezionali che darebbero un potere enorme agli arbitri della tenzone, si è voluto partire da una classifica “oggettiva”, basata sulla VQR, la valutazione della Qualità della Ricerca. A prima vista sembrerebbe facile usare i voti della VQR per stilare la classifica dei dipartimenti, ma in realtà ci sono due macigni che rendono l’impresa difficile, se non impossibile.

La scelta pìù naturale per dare un voto a un dipartimento sembra quella di calcolare la media dei voti, compresi tra zero e uno, che la VQR ha assegnato ai “prodotti della ricerca” presentati da quel dipartimento, il cui numero è essenzialmente proporzionale al numero di docenti afferenti al dipartimento. Tanto più la media è vicina a uno, tanto più il dipartimento sarà eccellente. Però è la stessa Anvur ad avvisare che adottare questo approccio sarebbe come sommare le mele con le pere (il grassetto è nostro):

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area […] le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina. Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse.

Insomma, secondo Anvur, un voto pari a “1” in Chimica (Area 3), abbastanza frequente, non ha lo stesso valore di un “1” in Giurisprudenza (Area 12), che è invece è merce rara. Qualcuno potrebbe obiettare che si può organizzare la gara in diversi gironi in modo che i chimici non competano con i giuristi, ma nemmeno i gironi risolvono il problema perché molti dipartimenti sono un mosaico di discipline e perché la disomogeneità dei metri di giudizio si ripropone persino all’interno dei diversi settori della chimica e della giurisprudenza.

Il secondo macigno è la “legge dell’imbuto“: anche se i metri di giudizio fossero omogenei, non si possono stilare classifiche tra istituzioni di dimensioni diverse. Per ragioni ben note alla statistica, i voti medi dei grandi dipartimenti tendono a essere più vicini tra di loro rispetto a quelli dei dipartimenti piccoli, la cui media è più soggetta a variazioni aleatorie. Se competono istituzioni di dimensioni diverse, quelle grandi finiscono più facilmente a metà classifica piuttosto che in cima o in coda. David Spiegelhalter, uno dei massimi statistici viventi, si è dedicato a demolire le classifiche delle istituzioni sanitarie britanniche, concludendo che è proprio questa proprietà statistica a minare alla radice la possibilità di stilare classifiche sensate.

Escogitare un metodo scientificamente fondato per classificare i dipartimenti universitari italiani in base ai loro voti VQR vorrebbe dire scoprire una pietra filosofale, capace di trasmutare il piombo dei voti VQR nell’oro di una rigorosa classifica dei dipartimenti. Obiettivo ambizioso, ma scientificamente irraggiungibile. Ma come accade con il moto perpetuo o la pietra filosofale, salta sempre fuori chi annuncia al mondo di aver compiuto il miracolo. Il prodigio stava molto a cuore ai Rettori, che desideravano avere un criterio oggettivo che li deresponsabilizzasse quando bisogna affrontare lo spinoso compito di ripartire docenti e fondi tra i dipartimenti del proprio ateneo. Nel gennaio 2014, a coronamento degli sforzi della Commissione ricerca della Crui, fu annunciata al mondo la scoperta della agognata pietra filosofale, ovvero del cosiddetto Voto Standardizzato di dipartimento (29.1.2014).

2. Una classifica “top secret”?

Su Roars mostrammo che non era oro quello che luccicava, evidenziando come i due macigni sopra citati non erano stati superati. Per mascherare le crepe dell’indicatore, da subito cominciò una girandola di aggiustamenti cosmetici (7.2.2014 e 24.2.2014) che, al di là della loro astrusità tecnica, contribuivano a mascherare le incongruenze dell’indicatore.  Il punto di arrivo sarà l’ISPD, usato per le graduatorie dei dipartimenti di eccellenza del 2017 e del 2022. In ultima analisi, non è altro che l’originale voto standardizzato, ma coperto di cerone in modo da nasconderne le rughe. La pietra filosofale è sempre Vs, il voto standardizzato di dipartimento, quello che nel 2014 era indicato come Ud.

Ma che relazione esiste tra Vs e ISPD? In parole semplici, Vs è un voto che assume valori positivi e negativi, il quale dovrebbe garantire un confronto equo tra dipartimenti, a prescindere dalle discipline scientifiche e anche dalle loro dimensioni. Non c’è limite inferiore e nemmeno superiore: basandosi sui dati pubblicati dall’Anvur, nel 2014 era stato possibile verificare che Vs poteva scendere sotto -6 e andare oltre 6. L’indicatore ISPD, invece, è per definizione compreso tra zero e cento e, come tale, assomiglia a un percentile. Diciamo “assomiglia”, perché ISPD non è il vero percentile di Vs. Per come è definito, ISPD fornirebbe il percentile di Vs solo se la distribuzione statistica di Vs fosse una campana gaussiana con media zero e varianza unitaria.

Per chi è meno pratico, ricordiamo che, ogni volta che si assegnano dei voti, è possibile convertirli su una scala da zero a cento in modo relativamente semplice. Se i concorrenti sono 100, il primo ottiene 100 punti, il secondo 99 e così via. Quanti sarannno i concorrenti che ottengono più di 90 punti? Saranno esattamente 10. E quelli che ne ottengono più di 80? Beh, ce ne saranno venti. Mentre i voti spesso si addensano sui valori centrali, quelli dei risultati mediocri, i punti assegnati con i percentili tendono a distribuirsi in modo uniforme tra zero e cento.  E se i concorrenti fossero 1000? In tal caso, basta usare i numeri decimali: 100 punti al primo, 99.9 al secondo, 99.8 al terzo e così via. Ma perché Anvur non ha voluto definire ISPD come il percentile di Vs? Una spiegazione (non molto convincente) si trova a pag. 57 di questo documento.

A prima vista, l’uso di ISPD al posto di Vs non sembra avere alcuna importanza: se conosco Vs, c’è una formula per calcolare ISPD e, viceversa, se conosco ISPD, inverto la formula e ottengo Vs.

In realtà, non è possibile risalire a Vs a partire da ISPD perché sia nel 2017 che nel 2022 Anvur ha pubblicato ISPD discretizzato al mezzo intero. Tornando all’esempio dei 1000 dipartimenti, tutti gli ISPD tra 99.5 e 100, diventano 100 ex aequo. Ma i decimali non sono l’unica informazione mancante. Dato che sono stati pubblicati solo gli ISPD dei 350 dipartimenti che accedono alla fase finale, mancano all’appello gli ISPD di più di metà dei dipartimenti italiani.

L’arrotondamento agli interi e l’omissione della parte bassa della classifica possono sembrare dei dettagli, ma è difficile ritenerli tali dopo aver esaminato l’istogramma degli ISPD del 2017 riportato in Figura 1.

Figura 1: Istogramma dei valori ISPD per i 352 dipartimenti ammessi alla fase finale dei dipartimenti di eccellenza 2017.

Difficile non rimanere colpiti dai 119 dipartimenti classificati ex aequo al primo posto con ISPD = 100. Soprattutto se si mette a confronto questo numero con l’esiguo numero di dipartimenti che ottengono voti più bassi. A fronte di questa stranezza, appare più che legittimo domandarsi cosa fosse accaduto nella parte bassa della classifica.

Nel 2017, i redattori di Roars presentarono domanda di accesso civico ad Anvur per ottenere i microdati necessari a replicare il calcolo di Vs e ISPD, ma la richiesta fu respinta adducendo ragioni di privacy. Nel 2017 scrivemmo: “Il MIUR sta distribuendo 1,35 miliardi senza che nessuno possa controllare la correttezza dei dati su cui è basata la distribuzione“.

3. La verità nascosta: “zero tituli” per 119 dipartimenti

Se nel 2017 ci eravamo dovuti arrendere di fronte al muro di gomma, a cinque anni di distanza, si è aperta una breccia. Siamo giunti in possesso dell’elenco completo dei punteggi ISPD di tutti i 766 dipartimenti in gara nel 2017. In fondo a questo post, trovate la classifica completa.

Guardandola, forse si capisce perché i dati erano stati così tenacemente occultati. Basta scorrere l’elenco degli ultimi 119 dipartimenti in classifica che, per comodità, riportiamo qui sotto nella Tabella 1. Quale sarebbe stata la reazione dell’opinione pubblica nel 2017 se fosse venuta a sapere che ben 119 dipartimenti (su 766) avevano meritato uno zero tondo tondo?

Tabella 1: Elenco dei 119 dipartimenti che nel 2017 avevano ottenuto ISPD pari a zero.

Nella Figura 2, invece, è visibile l’istogramma completo dei punteggi ISPD, seguito dagli ingrandimenti della coda bassa e di quella alta della classifica.

Figura 2: Istogramma completo dei punteggi ISPD dei 766 dipartimenti in gara nel 2017.

Come si vede nella Fig. 3, la grande maggioranza dei dipartimenti “a zero tituli”  sono del Sud e delle Isole, anche se non mancano dipartimenti di atenei del Nord, incluso un dipartimento del Politecnico di Milano. La situazione della Sicilia è drammatica: secondo l’Anvur, il 51% dei suoi dipartimenti è da zero in pagella.

Figura 3: Distribuzione regionale dei dipartimenti a “zero tituli” nel 2017.

In ogni caso, ISPD fotografa un sistema universitario spaccato in due. Come riportato nella Tabella 2, solo un quarto degli “zero tituli” è al Nord, mentre più della metà sono nel Sud e  Isole. Il problema è capire se l’immagine proiettata da ISPD rispecchia la realtà o se è frutto di uno specchio deformante, funzionale all’eterno progetto di creare una serie A e una serie B.

Tabella 2: Ripartizione nelle macroaree regionali dei 119 dipartimenti che nel 2017 avevano ottenuto ISPD pari a zero.

Tornando alla Fig. 2, salta comunque all’occhio che la coda bassa e la coda alta sono simmetriche. Un terzo circa dei dipartimenti ottiene un ISPD tra 90 e 100 e poco meno di un terzo ottiene un ISPD compreso tra 0 e 10. La simmetria non sorprende chi ha gli strumenti tecnici per decodificare le astruse formule anvuriane: un voto standardizzato distribuito gaussianamente intorno allo zero produce inevitabilmente un istogramma simmetrico di ISPD. Questa osservazione è utile per indovinare cosa si cela nella parte top secret della recentissima classifica del 2022.

4. Classifica 2022: quanti sono gli “zero tituli”?

Veniamo ora al 2022. In attesa che qualche gola profonda faccia trapelare la classifica completa degli ISPD, cominciamo ad esaminare nella Figura 4 l’istogramma dei punteggi dei 350 dipartimenti ammessi alla fase finale.

Figura 4. Istogramma dei valori ISPD per i 350 dipartimenti ammessi alla fase finale dei dipartimenti di eccellenza 2022.

Proprio come nel 2017, c’è uno straordinario addensamento di dipartimenti (ben 140!) che ottengono ISPD = 100. Ancora peggio che nel 2017. La parte sinistra della distribuzione è ignota, ma abbiamo appena spiegato che la coda alta e quella bassa sono simmetriche. Questo vuol dire che devono esserci circa 140 dipartimenti “a zero tituli” e 300 nella coda bassa con ISPD tra zero e dieci. Un dato clamoroso che però viene tenuto sotto silenzio.

I voti sono stati comunicati agli atenei e ai dipartimenti e, come naturale, chi è stato marchiato a fuoco con lo zero se ne sta con la coda tra le gambe, facendo volare gli stracci mentre si cercano i responsabili della débâcle. Centinaia di dipartimenti umiliati, i cui docenti non hanno idea di essere in buona compagnia perché in quella coda bassa cade il 40% dei dipartimenti italiani.

5. Perché Anvur e Ministero hanno nascosto i dati?

Siamo di fronte a una rivelazione sconcertante. Già nel 2017, a fronte di 119 dipartimenti che ottenevano 100 punti su 100, ve n’erano altrettanti “a zero tituli”. Usare ISPD come ingrediente fondamentale per la distribuzione di più di 1,3 MLD ha senso se

come scriveva Anvur in una sua replica alle obiezioni sollevate nel 2017 dal CUN. Ma se davvero ISPD è un indicatore solido, i punteggi assegnati nel 2017 certificano l’irrilevanza scientifica di un terzo dei dipartimenti italiani, con 119 dipartimenti che valgono zero su cento. Una situazione di assoluta emergenza che contraddiceva le dichiarazioni dell’allora presidente Andrea Graziosi, il quale era convinto che

«gli esercizi di valutazione abbiano raggiunto uno degli obiettivi che si erano prefissati: favorire una convergenza verso uno standard comune e più elevato della qualità della ricerca […]»

Che giudizio dovremmo dare di un’agenzia di valutazione che nello stesso momento in cui proclama il raggiungimento degli obiettivi prefissati fa di tutto per nascondere i risultati che li smentiscono? Con l’aggravante che, a cinque anni di distanza, la frattura si è allargata e l’agenzia continua a tenerla nascosta. Viene da chiedersi se persino la Ministra Messa sia stata tenuta all’oscuro dall’Anvur.

C’è anche una spiegazione alternativa. ISPD è tutto tranne che un indicatore basato su solide basi matematiche ed Anvur lo sa bene. Però, non è possibile ammettere che la distribuzione di 1,35 MLD è basata su algoritmi stregoneschi. Ecco quindi la necessità di confondere le acque: trasformare il voto standardizzato Vs in un punteggio ISPD arrotondato al mezzo intero, che ammassa i punteggi intorno a 100, in modo che le anomalie di Vs diventino invisibili. Ma questo non basta: occorre anche nascondere la classifica completa per non causare l’insurrezione di chi viene marchiato come “zero tituli” a causa di un indicatore mal congegnato.

Pur sapendo che ISPD è un termometro impazzito, Anvur e MIUR hanno occultato i numeri che ne evidenziavano la fragilità, perché il fine di travasare risorse verso il Nord giustificava i mezzi?

Impazzito o meno che sia il termometro, crediamo che Anvur, MIUR e Governo siano debitori di una risposta all’opinione pubblica.

__________________

APPENDICE: LA CLASSIFICA 2017 COMPLETA DEI DIPARTIMENTI E RELATIVO ISPD

ISPD_2017_elenco_completo