Redazione Roars scoperchia la classifica segreta che ha deciso i 180 dipartimenti di eccellenza. In palio c’erano 271 milioni di euro all’anno per cinque anni, 1,3 miliardi di euro in totale. La procedura non ha mai brillato in trasparenza, ma quest’anno il Ministero ed ANVUR al termine della procedura si sono limitati a pubblicare l’elenco dei dipartimenti finanziati, con le rispettive valutazioni ISPD e i voti ricevuti dalla commissione. Sui lavori della commissione c’è l’opacità più totale: non si sa per esempio se sono stati direttamente i sette saggi a valutare i progetti e se si sono avvalsi di revisori esterni. Non c’è traccia pubblica di verbali della commissione e di motivazioni dei voti. La classifica segreta mostra che ci sono stati dipartimenti miracolati, artefici di notevoli rimonte, che però non sarebbero state possibili senza un drappello di dipartimenti bastonati. Questo post viene offerto ai nostri lettori in coincidenza con l’apertura del Quarto Convegno Roars, dedicato ai “Falsi miti di progresso: mercato e meritocrazia nell’istruzione”: quale migliore esempio di falso mito di questa classifica farraginosa e opaca?
Meritocrazia, quanti delitti si commettono in tuo nome!
I dipartimenti di eccellenza sono la misura di finanziamento alle università che più di ogni altra redistribuisce risorse tra atenei indipendentemente dalla loro dimensione. Ed è anche la misura responsabile di buona parte del travaso di risorse dalle università del Sud e del Centro ad alcune università del Nord.
I lettori ricorderanno il funzionamento della procedura. In una prima fase vengono selezionati 350 dipartimenti candidati eccellenti, sulla base di un indicatore ISPD basato sui risultati della VQR. Questi dipartimenti devono predisporre un progetto che viene sottoposto alla valutazione di una commissione di saggi.
La commissione è così composta
1) Prof.ssa Raffaella Sadun – Presidente;
2) Prof.ssa Emiliana Borrelli;
3) Prof. François Bougard;
4) Prof. Alessio Figalli;
5) Prof.ssa Fabiola Gianotti;
6) Prof. Michele Pagano;
7) Prof. Paolo Samorì.
La gara si svolge all’interno delle 14 aree CUN per ciascuna delle quali è predefinito il numero dei dipartimenti che saranno finanziati. Al termine della gara saranno finanziati 180 dipartimenti. Ogni ateneo ha la possibilità di indicare un campione di Ateneo, cioè un dipartimento che sarà sicuramente finanziato nel caso abbia un giudizio almeno sufficiente dalla commissione.
La procedura non ha mai brillato in trasparenza, ma quest’anno il Ministero ed ANVUR, al termine della procedura, si sono limitati a pubblicare l’elenco dei dipartimenti finanziati, con le rispettive valutazioni ISPD e i voti ricevuti dalla commissione. Sui lavori della commissione c’è l’opacità più totale: non si sa per esempio se sono stati direttamente i sette saggi a valutare i progetti e se si siano avvalsi di revisori esterni. Non c’è traccia pubblica di verbali della commissione e di motivazioni dei voti.
Di fronte alle macchinette del caffè e poi sui social si è sparsa la voce che i rettori abbiano ricevuto riservatamente anche i voti relativi ai progetti bocciati. In molti atenei l’informazione è stata centellinata e a ciascuno dei dipartimenti partecipanti e non ammessi è stato trasmesso l’elenco dei voti assegnati dalle commissioni.
Redazione Roars ha ricevuto e collazionato da diverse fonti le informazioni ed è in grado di pubblicare i risultati della valutazione della commissione per i dipartimenti non ammessi al finanziamento.
La seguente figura riassume gli esiti della prima e della seconda fase: sulle ascisse il punteggio ISPD e sulle ordinate il punteggio assegnato dai saggi. In blu, i dipartimenti ammessi al finanziamento, mentre in rosso sono indicati quelli non ammessi. La diagonale nera è la linea di confine tra vincitori e sconfitti: al di sopra si è finanziati, al di sotto si morde la polvere.
Interpretare il grafico è abbastanza facile. Sopra la diagonale e vicino al lato destro stanno i dipartimenti che hanno primeggiato in entrambe le fasi. I dipartimenti che, stando vicini al lato destro, finiscono sotto la diagonale, sono quelli che, pur avendo un ISPD alto, hanno poi perso la gara a causa del voto basso ricevuto dalla commissione dei saggi. I dipartimenti che, stando sotto la diagonale, si collocano al centro o a sinistra del gruppo sono quelli che non primeggiavano sia nell’ISPD sia nella fase 2. 
Fig. 1. Punteggi della prima e seconda fase ottenuti nelle 14 aree CUN dai dipartimenti ammessi alla fase finale della selezione dei dipartimenti di eccellenza. Blu: dipartimenti ammessi al finanziamento; rosso: dipartimenti non ammessi. Ascisse: punteggio ISPD nornalizzato tra 0-70; ordinate punteggio assegnato nella fase 2 dai saggi. La diagonale nera separa i vincitori (sopra) dai perdenti (sotto). Non sono riportati i “campioni di ateneo” (indicati dalle singole università) che, conseguendo un punteggio sufficiente nella fase 2, erano ammessi di diritto al finanziamento.
______________
Nella gran parte delle aree CUN il valore di ISPD è un buon predittore del successo finale: i dipartimenti con le posizioni più alte in classifica sono anche quelli che, in media, hanno ricevuto voti medio-alti dalla commissione, finendo per aggiudicarsi il finanziamento. Più difficile affermarsi per quelli che, a causa dell’ISPD di partenza, dovevano rimontare molte posizioni. Statisticamente, è possibile sorpassare qualcuno dei concorrenti che ti precedono quando il loro progetto riceve un voto basso. Però, se nella classifica ISPD c’è un gruppo di dipartimenti che ti precedono, è meno probabile che tutti quanti presentino progetti di qualità così scarsa da ricevere tutti voti mediocri o bassi dalla commissione.
In alcune aree, tuttavia, ci sono dipartimenti miracolati: dipartimenti cioè che, partendo dalle seconde e terze file dell’ISPD, hanno scalato le classifiche e si sono aggiudicati il finanziamento. In quelle stesse aree ci sono anche dei dipartimenti “bastonati”: perché i miracolati riescano ad effettuare il sorpasso non basta che il loro voto sia alto, ma è necessario che diversi dipartimenti con ISPD elevato ricevano dei voti mediocri o addirittura bassi.
Nel grafico seguente, evidenziamo alcune situazioni interessanti.
Fig. 2. Punteggi della prima e seconda fase ottenuti nelle 14 aree CUN dai dipartimenti ammessi alla fase finale della selezione dei dipartimenti di eccellenza. In arancione sono cerchiati i dipartimenti ammessi al finanziamento che hanno effettuato le migliori rimonte (almeno 3 concorrenti) in aree in cui la ripartizione tra vincitori e perdenti coincide con la ripartizione ottenibile in base ai soli punteggi della seconda fase (la separazione tra blu e rossi è possibile tramite le rette tratteggiate arancioni). Negli ovali rossi, i dipartimenti che hanno subito il sorpasso.
_______________________
In alcune aree (Matematica, Fisica, Storia e Filosofia, Economia e Statistica), si sono verificati contemporaneamente tre fenomeni degni di nota:
- I primi nella classifica dei voti della commissione sono anche quelli ammessi al finanziamento. Abbiamo evidenziato questo fatto con le linee arancioni tratteggiate. Poter separare vincitori e vinti mediante una retta orizzontale significa che il ranking basato sui soli voti della commissione predice perfettamente i vincitori.
- Uno o due dipartimenti ammessi al finanziamento, pur partendo indietro, sono riusciti a sorpassare almeno tre dipartimenti che avevano un ISPD migliore. I miracolati sono cerchiati in arancione e abbiamo anche riportato il nome del loro ateneo.
- Nel grafico, i dipartimenti sorpassati appaiono raggruppati e staccati dal resto. Ciò perché sono accomunati da due caratteristiche: partivano con un ISPD alto e hanno ricevuto voti mediocri o bassi dai saggi. Abbiamo evidenziato questi gruppi di “bastonati” con gli ovali rossi.
Correttezza vorrebbe che i progetti dei dipartimenti siano stati valutati uno per uno assegnando i dovuti punteggi alle diverse voci da valutare e che il loro punteggio finale fosse la somma di queste valutazioni. Seguendo questa procedura, quale è la probabilità di vedere i fenomeni che abbiamo evidenziato?
Ci sono davvero stati dei miracolati? I bastonati hanno ragioni per recriminare? Noi restiamo in attesa di una completa disclosure dei lavori della commissione.
_____________
Allegati:
- La classifica segreta (file .xls)
Dipartimenti_di_Eccellenza_2023-2027_FASE2
2. La classifica segreta (file .pdf)
Dipartimenti_di_Eccellenza_2023-2027_FASE2
