«A me non piace la prostituzione intellettuale, a me piace l’onestà intellettuale. Mi sembra che negli ultimi giorni ci sia una grandissima manipolazione intellettuale, un grande lavoro organizzato per cambiare l’opinione pubblica per un mondo che non è il mio.» (J.M.)
1. La pietra filosofale dell’eccellenza
È in corso la seconda edizione di quella vera e propria gara che sono i Dipartimenti di eccellenza. I “ludi dipartimentali” nascono nel 2016 per mano del Governo Renzi che inserisce il provvedimento nella Legge di Stabilità. Si tratta di determinare i 180 dipartimenti “più eccellenti” tra i meno di 800 dipartimenti delle università statali, attribuendo a ciascuno dei fortunati vincitori un finanziamento quinquennale compreso tra 1,1 e 1,6 milioni di Euro annui, incrementati di 250mila per le “scienze dure”. Complessivamente, un jackpot di 1,3 MLD di Euro.
Un intervento di tal genere, che lascia a bocca asciutta 4 dipartimenti su 5 è di per sé discutibile nel contesto di un sistema universitario che, in termini di finanziamento rapportato al PIL, vede da sempre l’Italia posizionarsi tra i fanalini di coda dell’OCSE. Invece di riportare il sistema al di sopra della soglia di galleggiamento, si organizzano dei ludi gladiatori all’insegna del più classico divide et impera. Con l’aggravante che distribuire risorse solo ai vincitori significa penalizzare le aree più deboli del pase, Sud e Isole per prime, ma non solo. Il tutto all’insegna dell’idea che una parte del paese sia “a perdere”, una zavorra su cui non vale la pena di fare investimenti che vadano oltre i corsi professionali, la gastronomia e i beni culturali. Come scordare le ricette per il Sud del consigiiere Anvur Daniele Checchi?
«chiudo dei corsi, li chiudo d’autorità, sposto il personale da altre parti perché invece voglio promuovere degli altri corsi», «più corsi professionalizzanti e meno corsi di giurisprudenza», «più beni culturali e meno medicina»
Oltre che essere politicamente discutibile, istituire una “gara” tra i dipartimenti solleva problemi tecnici di difficile soluzione. Per non affidarsi interamente a valutazioni discrezionali che darebbero un potere enorme agli arbitri della tenzone, si è voluto partire da una classifica “oggettiva”, basata sulla VQR, la valutazione della Qualità della Ricerca. A prima vista sembrerebbe facile usare i voti della VQR per stilare la classifica dei dipartimenti, ma in realtà ci sono due macigni che rendono l’impresa difficile, se non impossibile.
La scelta pìù naturale per dare un voto a un dipartimento sembra quella di calcolare la media dei voti, compresi tra zero e uno, che la VQR ha assegnato ai “prodotti della ricerca” presentati da quel dipartimento, il cui numero è essenzialmente proporzionale al numero di docenti afferenti al dipartimento. Tanto più la media è vicina a uno, tanto più il dipartimento sarà eccellente. Però è la stessa Anvur ad avvisare che adottare questo approccio sarebbe come sommare le mele con le pere (il grassetto è nostro):
Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area […] le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina. Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse.
Insomma, secondo Anvur, un voto pari a “1” in Chimica (Area 3), abbastanza frequente, non ha lo stesso valore di un “1” in Giurisprudenza (Area 12), che è invece è merce rara. Qualcuno potrebbe obiettare che si può organizzare la gara in diversi gironi in modo che i chimici non competano con i giuristi, ma nemmeno i gironi risolvono il problema perché molti dipartimenti sono un mosaico di discipline e perché la disomogeneità dei metri di giudizio si ripropone persino all’interno dei diversi settori della chimica e della giurisprudenza.
Il secondo macigno è la “legge dell’imbuto“: anche se i metri di giudizio fossero omogenei, non si possono stilare classifiche tra istituzioni di dimensioni diverse. Per ragioni ben note alla statistica, i voti medi dei grandi dipartimenti tendono a essere più vicini tra di loro rispetto a quelli dei dipartimenti piccoli, la cui media è più soggetta a variazioni aleatorie. Se competono istituzioni di dimensioni diverse, quelle grandi finiscono più facilmente a metà classifica piuttosto che in cima o in coda. David Spiegelhalter, uno dei massimi statistici viventi, si è dedicato a demolire le classifiche delle istituzioni sanitarie britanniche, concludendo che è proprio questa proprietà statistica a minare alla radice la possibilità di stilare classifiche sensate.
Escogitare un metodo scientificamente fondato per classificare i dipartimenti universitari italiani in base ai loro voti VQR vorrebbe dire scoprire una pietra filosofale, capace di trasmutare il piombo dei voti VQR nell’oro di una rigorosa classifica dei dipartimenti. Obiettivo ambizioso, ma scientificamente irraggiungibile. Ma come accade con il moto perpetuo o la pietra filosofale, salta sempre fuori chi annuncia al mondo di aver compiuto il miracolo. Il prodigio stava molto a cuore ai Rettori, che desideravano avere un criterio oggettivo che li deresponsabilizzasse quando bisogna affrontare lo spinoso compito di ripartire docenti e fondi tra i dipartimenti del proprio ateneo. Nel gennaio 2014, a coronamento degli sforzi della Commissione ricerca della Crui, fu annunciata al mondo la scoperta della agognata pietra filosofale, ovvero del cosiddetto Voto Standardizzato di dipartimento (29.1.2014).
2. Una classifica “top secret”?
Su Roars mostrammo che non era oro quello che luccicava, evidenziando come i due macigni sopra citati non erano stati superati. Per mascherare le crepe dell’indicatore, da subito cominciò una girandola di aggiustamenti cosmetici (7.2.2014 e 24.2.2014) che, al di là della loro astrusità tecnica, contribuivano a mascherare le incongruenze dell’indicatore. Il punto di arrivo sarà l’ISPD, usato per le graduatorie dei dipartimenti di eccellenza del 2017 e del 2022. In ultima analisi, non è altro che l’originale voto standardizzato, ma coperto di cerone in modo da nasconderne le rughe. La pietra filosofale è sempre Vs, il voto standardizzato di dipartimento, quello che nel 2014 era indicato come Ud.
Ma che relazione esiste tra Vs e ISPD? In parole semplici, Vs è un voto che assume valori positivi e negativi, il quale dovrebbe garantire un confronto equo tra dipartimenti, a prescindere dalle discipline scientifiche e anche dalle loro dimensioni. Non c’è limite inferiore e nemmeno superiore: basandosi sui dati pubblicati dall’Anvur, nel 2014 era stato possibile verificare che Vs poteva scendere sotto -6 e andare oltre 6. L’indicatore ISPD, invece, è per definizione compreso tra zero e cento e, come tale, assomiglia a un percentile. Diciamo “assomiglia”, perché ISPD non è il vero percentile di Vs. Per come è definito, ISPD fornirebbe il percentile di Vs solo se la distribuzione statistica di Vs fosse una campana gaussiana con media zero e varianza unitaria.
Per chi è meno pratico, ricordiamo che, ogni volta che si assegnano dei voti, è possibile convertirli su una scala da zero a cento in modo relativamente semplice. Se i concorrenti sono 100, il primo ottiene 100 punti, il secondo 99 e così via. Quanti sarannno i concorrenti che ottengono più di 90 punti? Saranno esattamente 10. E quelli che ne ottengono più di 80? Beh, ce ne saranno venti. Mentre i voti spesso si addensano sui valori centrali, quelli dei risultati mediocri, i punti assegnati con i percentili tendono a distribuirsi in modo uniforme tra zero e cento. E se i concorrenti fossero 1000? In tal caso, basta usare i numeri decimali: 100 punti al primo, 99.9 al secondo, 99.8 al terzo e così via. Ma perché Anvur non ha voluto definire ISPD come il percentile di Vs? Una spiegazione (non molto convincente) si trova a pag. 57 di questo documento.
A prima vista, l’uso di ISPD al posto di Vs non sembra avere alcuna importanza: se conosco Vs, c’è una formula per calcolare ISPD e, viceversa, se conosco ISPD, inverto la formula e ottengo Vs.
In realtà, non è possibile risalire a Vs a partire da ISPD perché sia nel 2017 che nel 2022 Anvur ha pubblicato ISPD discretizzato al mezzo intero. Tornando all’esempio dei 1000 dipartimenti, tutti gli ISPD tra 99.5 e 100, diventano 100 ex aequo. Ma i decimali non sono l’unica informazione mancante. Dato che sono stati pubblicati solo gli ISPD dei 350 dipartimenti che accedono alla fase finale, mancano all’appello gli ISPD di più di metà dei dipartimenti italiani.
L’arrotondamento agli interi e l’omissione della parte bassa della classifica possono sembrare dei dettagli, ma è difficile ritenerli tali dopo aver esaminato l’istogramma degli ISPD del 2017 riportato in Figura 1.
Figura 1: Istogramma dei valori ISPD per i 352 dipartimenti ammessi alla fase finale dei dipartimenti di eccellenza 2017.
Difficile non rimanere colpiti dai 119 dipartimenti classificati ex aequo al primo posto con ISPD = 100. Soprattutto se si mette a confronto questo numero con l’esiguo numero di dipartimenti che ottengono voti più bassi. A fronte di questa stranezza, appare più che legittimo domandarsi cosa fosse accaduto nella parte bassa della classifica.
Nel 2017, i redattori di Roars presentarono domanda di accesso civico ad Anvur per ottenere i microdati necessari a replicare il calcolo di Vs e ISPD, ma la richiesta fu respinta adducendo ragioni di privacy. Nel 2017 scrivemmo: “Il MIUR sta distribuendo 1,35 miliardi senza che nessuno possa controllare la correttezza dei dati su cui è basata la distribuzione“.
3. La verità nascosta: “zero tituli” per 119 dipartimenti
Se nel 2017 ci eravamo dovuti arrendere di fronte al muro di gomma, a cinque anni di distanza, si è aperta una breccia. Siamo giunti in possesso dell’elenco completo dei punteggi ISPD di tutti i 766 dipartimenti in gara nel 2017. In fondo a questo post, trovate la classifica completa.
Guardandola, forse si capisce perché i dati erano stati così tenacemente occultati. Basta scorrere l’elenco degli ultimi 119 dipartimenti in classifica che, per comodità, riportiamo qui sotto nella Tabella 1. Quale sarebbe stata la reazione dell’opinione pubblica nel 2017 se fosse venuta a sapere che ben 119 dipartimenti (su 766) avevano meritato uno zero tondo tondo?
Tabella 1: Elenco dei 119 dipartimenti che nel 2017 avevano ottenuto ISPD pari a zero.
Nella Figura 2, invece, è visibile l’istogramma completo dei punteggi ISPD, seguito dagli ingrandimenti della coda bassa e di quella alta della classifica.
Figura 2: Istogramma completo dei punteggi ISPD dei 766 dipartimenti in gara nel 2017.
Come si vede nella Fig. 3, la grande maggioranza dei dipartimenti “a zero tituli” sono del Sud e delle Isole, anche se non mancano dipartimenti di atenei del Nord, incluso un dipartimento del Politecnico di Milano. La situazione della Sicilia è drammatica: secondo l’Anvur, il 51% dei suoi dipartimenti è da zero in pagella.
Figura 3: Distribuzione regionale dei dipartimenti a “zero tituli” nel 2017.
In ogni caso, ISPD fotografa un sistema universitario spaccato in due. Come riportato nella Tabella 2, solo un quarto degli “zero tituli” è al Nord, mentre più della metà sono nel Sud e Isole. Il problema è capire se l’immagine proiettata da ISPD rispecchia la realtà o se è frutto di uno specchio deformante, funzionale all’eterno progetto di creare una serie A e una serie B.
Tabella 2: Ripartizione nelle macroaree regionali dei 119 dipartimenti che nel 2017 avevano ottenuto ISPD pari a zero.
Tornando alla Fig. 2, salta comunque all’occhio che la coda bassa e la coda alta sono simmetriche. Un terzo circa dei dipartimenti ottiene un ISPD tra 90 e 100 e poco meno di un terzo ottiene un ISPD compreso tra 0 e 10. La simmetria non sorprende chi ha gli strumenti tecnici per decodificare le astruse formule anvuriane: un voto standardizzato distribuito gaussianamente intorno allo zero produce inevitabilmente un istogramma simmetrico di ISPD. Questa osservazione è utile per indovinare cosa si cela nella parte top secret della recentissima classifica del 2022.
4. Classifica 2022: quanti sono gli “zero tituli”?
Veniamo ora al 2022. In attesa che qualche gola profonda faccia trapelare la classifica completa degli ISPD, cominciamo ad esaminare nella Figura 4 l’istogramma dei punteggi dei 350 dipartimenti ammessi alla fase finale.
Figura 4. Istogramma dei valori ISPD per i 350 dipartimenti ammessi alla fase finale dei dipartimenti di eccellenza 2022.
Proprio come nel 2017, c’è uno straordinario addensamento di dipartimenti (ben 140!) che ottengono ISPD = 100. Ancora peggio che nel 2017. La parte sinistra della distribuzione è ignota, ma abbiamo appena spiegato che la coda alta e quella bassa sono simmetriche. Questo vuol dire che devono esserci circa 140 dipartimenti “a zero tituli” e 300 nella coda bassa con ISPD tra zero e dieci. Un dato clamoroso che però viene tenuto sotto silenzio.
I voti sono stati comunicati agli atenei e ai dipartimenti e, come naturale, chi è stato marchiato a fuoco con lo zero se ne sta con la coda tra le gambe, facendo volare gli stracci mentre si cercano i responsabili della débâcle. Centinaia di dipartimenti umiliati, i cui docenti non hanno idea di essere in buona compagnia perché in quella coda bassa cade il 40% dei dipartimenti italiani.
5. Perché Anvur e Ministero hanno nascosto i dati?
Siamo di fronte a una rivelazione sconcertante. Già nel 2017, a fronte di 119 dipartimenti che ottenevano 100 punti su 100, ve n’erano altrettanti “a zero tituli”. Usare ISPD come ingrediente fondamentale per la distribuzione di più di 1,3 MLD ha senso se
la definizione dell’indicatore standardizzato si fonda su un modello matematico solido
come scriveva Anvur in una sua replica alle obiezioni sollevate nel 2017 dal CUN. Ma se davvero ISPD è un indicatore solido, i punteggi assegnati nel 2017 certificano l’irrilevanza scientifica di un terzo dei dipartimenti italiani, con 119 dipartimenti che valgono zero su cento. Una situazione di assoluta emergenza che contraddiceva le dichiarazioni dell’allora presidente Andrea Graziosi, il quale era convinto che
«gli esercizi di valutazione abbiano raggiunto uno degli obiettivi che si erano prefissati: favorire una convergenza verso uno standard comune e più elevato della qualità della ricerca […]»
Che giudizio dovremmo dare di un’agenzia di valutazione che nello stesso momento in cui proclama il raggiungimento degli obiettivi prefissati fa di tutto per nascondere i risultati che li smentiscono? Con l’aggravante che, a cinque anni di distanza, la frattura si è allargata e l’agenzia continua a tenerla nascosta. Viene da chiedersi se persino la Ministra Messa sia stata tenuta all’oscuro dall’Anvur.
C’è anche una spiegazione alternativa. ISPD è tutto tranne che un indicatore basato su solide basi matematiche ed Anvur lo sa bene. Però, non è possibile ammettere che la distribuzione di 1,35 MLD è basata su algoritmi stregoneschi. Ecco quindi la necessità di confondere le acque: trasformare il voto standardizzato Vs in un punteggio ISPD arrotondato al mezzo intero, che ammassa i punteggi intorno a 100, in modo che le anomalie di Vs diventino invisibili. Ma questo non basta: occorre anche nascondere la classifica completa per non causare l’insurrezione di chi viene marchiato come “zero tituli” a causa di un indicatore mal congegnato.
Pur sapendo che ISPD è un termometro impazzito, Anvur e MIUR hanno occultato i numeri che ne evidenziavano la fragilità, perché il fine di travasare risorse verso il Nord giustificava i mezzi?
Impazzito o meno che sia il termometro, crediamo che Anvur, MIUR e Governo siano debitori di una risposta all’opinione pubblica.
__________________
APPENDICE: LA CLASSIFICA 2017 COMPLETA DEI DIPARTIMENTI E RELATIVO ISPD
Non ho idea che genere di standardizzazione stanno facendo ai loro dati, ma la distribuzione di ISPD ha stranamente la forma della pdf di una Copula Normale, ma univariata: picchi molto ripidi in corrispondenza di 0 e 1 (in questo caso 100) e ventre molto piatto al centro …
Il voto di ciascun prodotto viene detratto del valore medio del voto di quel settore e diviso per la deviazione standard (sempre riferita a quel settore). Quindi lo zero della variabile stocastica sta sul valore medio del settore. Si fa poi il valore medio della variabile così ottenuta dei prodotti del dipartimento. Chi ha un valore positivo sta sopra il 50%, chi l’ha negativo sotto il 50%. La distribuzione di questi valori medi è quasi normale ma la larghezza della distribuzione è ben più grande di quella usata per il calcolo di ISPD. Ecco perché vengono le corna nelle figure mostrate qui. L’ANVUR, come è già stato detto se non erro su ROARS, non ha tenuto conto della correlazione dei dati. Per mostrare l’errore basta prendere la distribuzione della variabile scalata di tutti i prodotti (non normale), usare un algoritmo Metropolis per generare una sequenza casuale di tali valori, raggrupparli a blocchi di 100 (mediamente un dipartimento), calcolare le medie e vedere la distribuzione delle medie (quasi normale per il teorema limite centrale). Io l’ho fatto. Tutta un’altra cosa. Non si cambia l’ordine dei dipartimenti (che comunque non ha senso) ma l’ISPD avrebbe un altro valore più consono, si fa per dire….
Buon commento, grazie. Non esaurisce tutti i problemi tecnici dell’indicatore (c’è un altro scheletro nell’armadio), ma ne parleremo in seguito.
Credo si possa affermare tranquillamente che l’ANVUR è stata (ed è) molto incoerente sull’ISPD, tradendo spesso come una certa insicurezza o imbarazzo.
Per esempio, nella conferenza stampa del 13 Aprile (https://www.anvur.it/wp-content/uploads/2022/04/Risultati_VQR_2015_2019.pdf), l’ANVUR ha presentato la “Graduatoria degli atenei in base all’indicatore R” … Ma è la stessa ANVUR che ci ha detto che l’indicatore R è totalmente inadatto a valutare insiemi di ricercatori eterogenei, al punto che per valutare i Dipartimenti è stato utilizzato l’ISPD invece che il valore del “R” medio di Dipartimento. E se questo ragionamento vale per i Dipartimenti, a maggior ragione vale per gli Atenei.
Insomma, come mai l’ANVUR il 13 aprile non ci ha fornito gli ISP (complessivi) degli atenei, ma ci ha invece fornito un indicatore (R) che la stessa ANVUR ritiene inadeguato?
Analogamente, non si capisce perché nel Rapporto Finale VQR i valori di “R” per tutte le aree siano pubblici, mentre i valori di ISPD è come se non esistessero (li conosciamo soltanto ora, grazie allo scoop di Roars). Delle due l’una: o l’ANVUR ritiene che ISPD sia un buon indicatore, ma allora è giusto che lo si usi per la valutazione delle strutture nella VQR (e ne venga pubblicato il valore, per TUTTE le strutture, nel Rapporto Finale VQR); oppure ANVUR ritiene che “R” sia preferibile a ISPD, ma questo è in contraddizione con tutti i documenti in cui ANVUR parla di ISPD, ivi incluso il fatto che per distribuire così tanti soldi si usi un indicatore di cui la stessa ANVUR prova imbarazzo.
La scoop dei 119 dipartimenti a “zero tituli” viene ripresa da G.A. Stella sul Corriere della Sera:

______________
https://www.corriere.it/cronache/22_giugno_07/universita-fondi-dipartimenti-sud-enigma-criteri-assegnazione-f88f0e80-e5e2-11ec-906c-66ab0a80b19b.shtml
Su Twitter, abbiamo riassunto il post mediante un thread:
Qui potete leggere l’intero thread:
https://threadreaderapp.com/thread/1534021438260363266.html
“Come scordare le ricette per il Sud del consigliere Anvur Daniele Checchi? «più beni culturali e meno medicina»”
Certo un genio, sarebbe interessante chiedere conto di una tale affermazione e quale ne sia la base razionale. Forse l’eminente professore di ECONOMIA POLITICA – UNIVERSITA’ DI MILANO ritiene che la ricerca disperata di medici e infermieri in tutta Europa sia una invenzione dei baroni di Medicina. Povera Italia
Nicola Ferrara
Ordinario di Medicina Interna
È interessante notare che l’ISPD di alcuni dipartimenti potrebbe aver risentito dello “stop-VQR”, ovvero del rifiuto di conferire i prodotti da valutare come protesta per il blocco degli scatti. L’adesione non fu uniforme tra atenei tanto che fu introdotta la cosiddetta “correzione k” nella ripartizione del Fondo di Finanziamento Ordinario per evitare che la quota premiale diventasse un premio all’obbedienza:
https://www.roars.it/tutto-quello-che-avreste-voluto-sapere-sullffo-premiale-atto-secondo/
Nessuna correzione fu però introdotta quando si trattò di stilare la graduatoria dei dipartimenti di eccellenza, cosicché i dipartimenti più “riottosi” pagarono il fio della loro disobbedienza. Non possiamo escludere che sia questa la genesi di alcuni “zero in condotta”.
Ha senso sostenere che gli zeri della classifica 2017 erano conseguenza dello sciopero del 2015-2016 e che, pertanto, il problema è superato? La risposta è negativa: la simmetria tra coda alta (ISPD = 100) e coda bassa (ISPD = 0) è una proprietà intrinseca dell’algoritmo che sforna gli ISPD. Sciopero o non sciopero il numero di “zero tituli” sarà in ogni caso dello stesso ordine di grandezza del numero di “top performers”. Nel 2022 abbiamo 140 dipartimenti con ISPD = 100 e dobbiamo pertanto attenderci, più o meno, altrettanti dipartimenti a “zero tituli”. La graduatoria ISPD è una versione perversa della “curva a campana”: una certa percentuale deve per forza finire all’inferno e altrettanti in paradiso. Presto, sarà il caso di spiegare più in dettaglio da quali errori nasce la “curva a vasca da bagno” dei punteggi ISPD.
La notizia dei 119 dipartimenti “a zero tituli” viene ripresa anche da Avvenire:
https://www.avvenire.it/attualita/pagine/universita-il-sud-prende-zero-e-scoppia-il-caso
Nell’articolo vengono intervistati alcuni colleghi. Le risposte sono un interessante specchio dello stato dell’accademia italiana dopo 10 anni abbondanti di cura Ludovico … ops volevo scrivere “di cura Anvur”.
Il grafico è perfettamente coerente con punteggi di dipartimento (VS_d) normali, ma con varianza ben più grande di uno. Non credo che la causa ci ciò sia l’applicazione della formula di VS_d per come essa è scritta a p.2 nella Nota Metodologica, dove si riporta erroneamente una trasformazione lineare di punteggi già standardizzati, ma una tale trasformazione è ironicamente proprio un esempio di operazione che determinerebbe una varianza dei punteggi di dipartimento dell’ordine di 10 (non è immediato rendersene conto, ma si può dimostrare). Per suggerire una soluzione osservo che la scelta di una trasformazione dei punteggi VS_d -peraltro già correttamente scalati, se calcolati con formula corretta- con la CDF di una normale con varianza commisurata a quella empiricamente osservata nei punteggi stessi, invece che pari a 1, avrebbe avuto il pregio di restituire punteggi ISPD distribuiti abbastanza uniformemente su tutto il range dei valori da 0 a 100, rendendoli più leggibili, come era nello scopo dell’indicatore