Per primeggiare nella classifica 2017 dei dipartimenti di eccellenza, un premio Nobel come Giorgio Parisi contava assai poco, dato che un bravo storico della fisica pesava tre volte tanto. Ciò nonostante, la classifica “si fonda su un modello matematico solido”, se si vuole prestar fede alla rassicurazione inviata dall’Anvur al Consiglio Universitario Nazionale. Talmente solido che l’Anvur e il Ministero hanno preferito tenere nascosto che ben 119 dipartimenti su 767 avevano meritato zero in pagella e che nel 2022 la situazione è verosimilmente peggiorata. Ma come nasce e come funziona questa classifica così strana, che oltre a penalizzare i Nobel, funge da “ammazza-Sud”? Nel seminario, vengono spiegati a uno a uno gli ingranaggi dell’algoritmo che genera i punteggi dell’ISPD, l’indicatore standardizzato di performance dipartimentale. La sua nascita risale al cosiddetto voto standardizzato, ideato nel 2014 da una commissione della CRUI. Nascita segnata da un peccato originale che si cercò di rendere invisibile attraverso modifiche che condussero all’indicatore ISPD, infine adottato nel 2017 come generatore della classifica dei dipartimenti di eccellenza. La ricostruzione storica e la dissezione anatomica aiuteranno a capire perché si diventa eccellenti o paria; per esempio perché nel 2017 il miglior dipartimento di fisica era quello che aveva pochi fisici e tanti psicologi. Verrà anche spiegato perché la presenza o l’assenza di ben precisi settori scientifici rende più o meno probabile la scalata verso l’eccellenza. Da ultimo, si cerca di capire quali motivazioni stanno alla base dell’adozione di una classifica così irrazionale.
_________
I misteri dei dipartimenti di eccellenza: genesi, anatomia, ideologia (video e slides)
Seminario di Giuseppe De Nicolao.
Organizzato da Roars, Rete 29 Aprile e Circolo Errera – 24 giugno 2022
Contenuti del video:
0′ – Presentazione di Massimiliano Tabusi (Rete 29 Aprile)
9′ – Introduzione
11′ 40″ – La pietra filosofale della competizione
24′ 50″ – Un grecista eccellente? Vale 4 Nobel per la Fisica!
41′ 45″ – La legge dell’imbuto
51′ 28″ – Perché ISPD è distribuito «a vasca da bagno»?
57′ 15″ – Perché la classifica deve rimanere segreta?
1 05′ 58″ – Una svista che vale un ricorso al TAR
1 07′ 40″- Ammazzare il Sud giustifica i mezzi
Bisogna essere molto grati a Giuseppe De Nicolao per il suo impegno (almeno) decennale a favore dell’Università italiana, che anche questa volta non è venuto meno.
Non capisco però perché discuta in questa sede di una correzione (all’effetto dell’imbuto) ottenuta moltiplicando per la radice quadrata del numero dei prodotti dipartimentali il voto del singolo prodotto quando nella formula della famigerata nota metodologica il voto viene invece diviso per tale radice (immagino per evitare che la varianza del voto dipartimentale vari con il numero dei prodotti, come avverrebbe se esso fosse la somma di normali standardizzate indipendenti). Segnalo inoltre un’ulteriore anomalia (ancorché minore) della formula incriminata: nella doppia sommatoria, occorrerebbe distinguere il numero dei prodotti dipartimentali NPd dal numero dei prodotti dipartimentali del settore NPd,s.
Grazie ancora, caro Peppe/Gedeone.
Ringrazio Paolo Bertoletti per il suo commento e ne approfitto per ricordare che in tempi non sospetti (era il 2014) era stato uno dei primi a capire perché la distribuzione di riferimento usata per trasformare il voto standardizzato nell’indicatore ISPD era incoerente con l’evidenza sperimentale: https://www.roars.it/laudace-standardizzazione-crui-dei-voti-vqr-se-la-conosci-la-eviti/comment-page-1/#comment-24273
Nel seguito, Giacomo Poggi difenderà questa incoerenza: in un certo senso, l’idea sottostante è che, se i dati non seguono il modello del dipartimento virtuale (alquanto artificiale, perché trascura ogni interazione), è perché c’è qualcosa di anomalo nei dipartimenti italiani.
Riguardo alla radice quadrata, nelle mie slide va a moltiplicare la media degli standard score: di conseguenza, dividere per N (quando si calcola la media degli standard score) e poi moltiplicare per radice di N, è proprio equivalente alla divisione per radice di N della “famigerata nota metodologica”.
Mi spiace aver generato confusione, ma speravo fosse di aiuto sottolineare che ISPD differisce dalla classica media dei voti non solo per le standardizzazioni a livello di SSD, ma anche a causa di un fattore di amplificazione, che è appunto la radice quadrata di N. Questo fattore di amplificazione porta a interessanti paradossi, gia discussi a suo tempo. Per esempio, la fusione di due dipartimenti gemelli fa aumentare ISPD (se sono entrambi sopra ISPD=50) oppure lo fa diminuire (se sono entrambi sotto ISPD=50).
Il venire meno delle abituali proprietà di additività rende difficile se non impossibile attribuire meriti e colpe ai singoli ricercatori o ai singoli SSD. Contro ogni intuizione, assorbire in un dipartimento nuovi docenti meno “performanti” di quelli già afferenti potrebbe far salire ISPD invece che farlo scendere. Trovate tutti i dettagli in questo post che spiega anche una procedura grafica basata sulla regola del parallelogramma:
https://www.roars.it/volete-scalare-la-classifica-dei-dipartimenti-eccellenti-il-trucco-sta-in-un-parallelogramma/
Grazie mille ancora, ora ho capito anche il perché dell’effetto imbuto sui valori medi, mentro mi ero proprio dimenticato del tutto il post sul “parallelogramma” (e ho visto in commento che Bertoli-Barsotti aveva già notato l’anomalia sull’indice della sommatoria).
Seminario illuminante!! Il sistema immagino sia simile per la recente VQR….
E pensare che il direttore del nostro Dipartimento aveva detto che la classifica de iDipartimenti di eccellenza dipendeva esclusivamente dalla % di prodotti A!!
che in questa totale follia, forse sarebbe una cosa sensata (o meno insensata).