L’errore nella formula ISPD dei dipartimenti di eccellenza. Ricorsi in vista?

«Chi è pazzo può chiedere di essere esentato dalle missioni di volo, ma chi chiede di essere esentato dalle missioni di volo non è pazzo.»: è questo il famoso Comma 22. Un espediente romanzesco? In quel caso sì, ma non nel caso della Nota metodologica che spiega come è stata ottenuta la classifica dei dipartimenti di eccellenza: «Se la formula utilizzata per la graduatoria è quella pubblicata allora non è corretta, ma se la formula utilizzata non è quella pubblicata allora non è rispettata la norma di Legge». Le conseguenze potrebbero essere devastanti: se la classifica è stata ottenuta con una formula diversa da quella pubblicata, cosa succederebbe se la classifica fosse oggetto di ricorso al TAR? A riprova del clima da ultimi giorni di Pompei, pare che l’Anvur sia da tempo al corrente del problema ma che non sappia o non voglia chiarire il dilemma.

• Secondo quanto dispone la Legge 11 dicembre 2016, n. 232, art. 1, comma 319, la definizione del calcolo dell’ISPD deve essere stabilita e fornita da ANVUR

• ANVUR rende nota la formula nella cosiddetta “Nota Metodologica” (d’ora in avanti Nota). Per il quinquennio 2023 – 2027, la Nota è stata recentemente pubblicata con link reperibile alla pagina https://www.mur.gov.it/it/aree-tematiche/universita/programmazione-e-finanziamenti/dipartimenti-di-eccellenza

• In base alla Nota, la formula del voto standardizzato di dipartimento è:

Formula del voto standardizzato di Dipartimento per i Dipartimenti di Eccellenza 2023-2027

https://mur-gov-it.prod.cineca.it/sites/default/files/2022-05/Nota%20metodologica%20ISPD-ANVUR.pdf

• E’ da notare che questa è la stessa formula pubblicata -solo con leggera differenza di font- da ANVUR nel precedente esercizio (Dipartimenti di Eccellenza quinquennio 2018 – 2022):

Formula del voto standardizzato di Dipartimento per i Dipartimenti di Eccellenza 2018-2022

https://www.mur.gov.it/sites/default/files/2020-09/12%20maggio%202017%20-%20Nota%20metodologica%20ISPD-ANVUR.pdf

• Se ne dovrebbe desumere che questa è la formula utilizzata in entrambi gli esercizi, Dipartimenti di Eccellenza 2018-2022 e Dipartimenti di Eccellenza 2023-2027, per il calcolo del voto standardizzato di dipartimento e quindi per quello del corrispondente ISPD (che è una semplice trasformazione monotona del voto standardizzato di Dipartimento)

• Purtroppo la formula contiene un refuso, ovvero è sbagliata, nel senso che è incoerente con quanto specificato nel testo della Nota stessa, dove si dice che si calcola “somma normalizzata dei voti standardizzati di ogni singolo prodotto”. La formula riporta, invece, la somma di una trasformazione lineare dei voti standardizzati di ogni singolo prodotto – per meglio dire, una impropria trasformazione lineare, poiché e non rappresentano affatto media e sqm dei punteggi che sono già standardizzati.

• L’effetto di questa trasformazione è alquanto distorsivo e difficilmente prevedibile agli effetti pratici nel ranking finale. Ciò che è certo, è che i dati dei punteggi di Dipartimento -se effettivamente determinati con la formula pubblicata nella Nota- risulterebbero largamente sovra-dispersi rispetto al valore teoricamente previsto e utilizzato al denominatore per la normalizzazione (tendenzialmente di un fattore moltiplicativo dello sqm che si può stimare essere vicino a 3)

• La formula del voto standardizzato di dipartimento andrebbe ri-scritta nel modo seguente

dove rappresenta la somma (doppia) al variare dei prodotti nel settore e dei settori presenti nel Dipartimento. Questa formula dovrebbe portare, in accordo alla teoria sottostante al calcolo del punteggio, a punteggi ISPD distribuiti tendenzialmente in modo uniforme nel range 0-100 (ciò che peraltro comunque non risulta empiricamente realizzato, giacché la distribuzione ISPD risultante ha una forte connotazione di forma a “U”)

• L’errore è stato comunicato ad ANVUR, che ha dato sollecito riscontro della segnalazione, ma al momento la formula nella “Nota” non risulta essere stata emendata

• Conclusione paradossale:
• se la formula utilizzata per la determinazione della Graduatoria dei Dipartimenti di Eccellenza è quella (sbagliata) pubblicata nella Nota, allora essa darà luogo a un ranking imprevedibilmente distorto e inattendibile;
• se la formula utilizzata non è quella pubblicata nella Nota, ma ne è stata utilizzata un’altra, allora non è stata rispettata la lettera della legge, che stabilisce la pubblicazione della formula utilizzata per il calcolo della Graduatoria. Resterebbe inoltre da chiarire quale sia stata la formula realmente