Reclutamento: la classifica dei migliori atenei? La decide l’arbitro M…inistro

Il 2015 è l’anno in cui la quota premiale per le “politiche di reclutamento degli atenei” ha assunto il suo valore più alto nella ripartizione del Fondo di Finanziamento Ordinario degli atenei. Ma chi vince e chi perde nella classifica del “reclutamento virtuoso”? Essendo entrambe basate sui dati della VQR 2004-2010, le classifiche 2014 e 2015 dovrebbero essere identiche. Ma – a sorpresa – sono molto diverse. Quando il Ministro era Maria Chiara Carrozza, il suo ateneo, la Scuola Superiore Sant’Anna, ha stravinto con un +116% rispetto ad un’ipotetica ripartizione uniforme, ma un anno dopo, sotto il Ministro Giannini, la Sant’Anna è scesa al quarto posto con un più modesto +16%. Viceversa il Politecnico di Bari passa da un -90% nel 2014 a +4,4% nel 2015, superando il Politecnico  di Milano che, da uno strepitoso +88% del 2014, precipita a +3,9% nel 2015. Come si spiega tutto ciò? Con un intervento dell’arbitro Moreno? In questo post, Beniamino Cappelletti Montano  spiega come siano state costruite le due classifiche in conflitto tra loro, calcolando quanti milioni di euro siano stati sottratti alle università meridionali grazie all’algoritmo anomalo del 2014. Vengono infine evidenziate le ragioni tecniche e giuridiche che sconsigliano l’uso degli indicatori della VQR per valutare le politiche di reclutamento.

1. Due ministri, due classifiche totalmente diverse … ma basate sugli stessi dati

Poche settimane fa sono state rese note le assegnazioni del FFO 2015. Quella di quest’anno si distingue come l’annualità in cui il peso della quota premiale per le “politiche di reclutamento degli atenei” ha assunto il suo valore più alto. L’intendimento è, o dovrebbe essere, quello di spingere le università ad assumere i docenti migliori incentivando la meritocrazia nei concorsi universitari. Obiettivi senz’altro condivisibili, ma l’impressione di chi calpesta i corridoi dei nostri atenei, in realtà, è che i cambiamenti auspicati dai fautori della valutazione ex post, o meglio di questa valutazione ex post, non siano arrivati. Anzi, non possano arrivare. Vediamo perché.

La valutazione delle politiche di reclutamento è stata per la prima volta utilizzata come parametro per distribuire l’FFO nel 2013, dall’allora Ministro Carrozza. «Daremo un premio alle università che reclutano i migliori ricercatori», diceva l’ex-ministro in una intervista. Già, ma come? M.C. Carrozza decise di utilizzare l’indicatore IRAS3, utilizzato dall’ANVUR per la VQR 2004-2010. Rinviamo alla apposita pagina sul sito dell’ANVUR per le spiegazioni dettagliate su come è definito tale indicatore. In parole povere possiamo dire che lRAS3 si basa sulla valutazione degli atenei ristretta ai prodotti presentati dai docenti neo-assunti o neo-promossi nel periodo 2004-10. L’ANVUR, per ciascuna Area Scientifica, elabora un indicatore, che chiama R_mob,Italia , il quale misura di quanto la qualità aggregata di tali pubblicazioni sia superiore (R_mob,Italia > 1) o inferiore (R_mob,Italia < 1) alla media nazionale dell’Area.

L’attuale Ministro, S. Giannini, ha scelto di utilizzare gli stessi dati usati dal suo predecessore, in attesa della nuova VQR 2011-14. Ci si aspetterebbe quindi che le classifiche «degli atenei che hanno reclutato i migliori docenti» siano le stesse per entrambi i ministri … ed invece … le performances degli atenei sono risultate diverse a seconda del Ministro che le ha calcolate!!!

Il MIUR non ha pubblicato tali classifiche, ma solo le tabelle di assegnazione del FFO e da queste non è immediato capire se un dato ateneo sia stato – e di quanto – “virtuoso” nella sua politica di reclutamento.

È però possibile ricostruire tale classifica procedendo a ritroso ed è quanto abbiamo fatto per i lettori di Roars. Siamo cioè partiti dalle tabelle di assegnazione della quota premiale del FFO 2013 (Ministro Carrozza) e abbiamo confrontato quanto, in percentuale, un ateneo ha avuto in più o in meno rispetto a quanto avrebbe ottenuto nella situazione teorica in cui tutti gli atenei avrebbero avuto le medesime performances (cioè R_mob,Italia = 1 per tutte le Aree e per tutti gli atenei). Si ottiene così un indicatore di performance, che misura quanto virtuose (per il MIUR) sono state le politiche di reclutamento di un dato ateneo.

 Tabella 1 – Valutazione delle politiche di reclutamento
(periodo 2004-10) effettuata dal MIUR nel 2013 e 2014-2015

Come mostrato nella Tabella 1, l’ateneo primo indiscusso in questa classifica è la Scuola Sant’Anna di Pisa, a cui è stato assegnato il 116% in più rispetto a quanto avrebbe ottenuto nella situazione teorica di performances uguali per tutti gli atenei. Notiamo anche che vi sono diversi atenei che hanno ottenuto perfino il 100% in meno, cioè 0 (zero) euro: Palermo, Seconda Università di Napoli e Università Stranieri di Siena. Non se la passano molto bene nemmeno a Bari (Università e Politecnico): -90%, cioè la quasi totalità della quota premiale relativa al reclutamento. Restano le briciole anche a Messina e Calabria (-87%), alla Stranieri di Perugia (-86%) e a Catania (-85%).

Abbiamo poi ripetuto il calcolo utilizzando le (identiche) tabelle di ripartizione del FFO 2014 e 2015 (Ministro Giannini) … e … abbiamo trovato una classifica completamente diversa … pur essendo basata sugli stessi dati, cioè la valutazione del reclutamento avvenuto negli anni 2004-10

La Scuola Sant’Anna di Pisa retrocede dal primo posto al quarto posto, passando da uno stratosferico +116% ad un molto più modesto +17%. Ma le sorprese non si esauriscono qui. Le Università di Palermo, la Seconda Università di Napoli e la Stranieri di Siena, bistrattate dal “metodo Carrozza” col minimo punteggio possibile (-100% e 0 € di finanziamenti), registrano un enorme balzo in avanti passando, rispettivamente, ad un più dignitoso -20%, -22% e -12%. Da non credere la prestazione del Politecnico di Bari. I medesimi dati sul suo reclutamento vengono valutati -90% dal Ministro Carrozza e addirittura +4,4% dal Ministro Giannini, consentendo al Poliba perfino di superare il Politecnico di Milano, che a sua volta retrocede dal +88% al +3,9%.

Ma come è possibile che dati uguali portino a classifiche (e quindi a finanziamenti) così diverse?

Semplice: è vero che i dati di partenza, ovverosia le tabelle dell’ANVUR per ciascun ateneo, sono gli stessi. Diversa è invece la formula utilizzata dai due Ministri per giungere ad un “indice di ateneo” a partire dai dati relativi alle Aree. La formula corretta, sul piano matematico-statistico, è quella utilizzata da S. Giannini: somma di tutte le valutazioni ottenute dai docenti neo-assunti o neo-promossi. Invece M.C. Carrozza pone d’ufficio uguali a 0 le valutazioni (perfino quelle valutate “eccellente”) dei docenti che hanno avuto la sfortuna di appartenere ad un’Area sotto la media nazionale (R_mob,Italia < 1). Insomma, è come se calcoli una media ponderata con pesi uguali a 0 per certi gruppi docenti, indipendentemente dalle loro valutazioni individuali.

L’irragionevolezza del “metodo Carrozza” risulta lampante dal seguente esempio. Supponiamo che un ateneo ottenga valutazioni dell’indicatore R_mob,Italia = 0,99 per tutte le Aree. Cioè le pubblicazioni valutate di tutto il personale neo-assunto o neo-promosso sono, da un punto di vista statistico, assolutamente in linea con la media nazionale. Ci aspetteremmo che il nostro ateneo si posizioni intorno a metà classifica e riceva un finanziamento vicino al finanziamento medio della totalità degli atenei … e invece la procedura di calcolo utilizzata dall’ex-Ministro Carrozza lo relega all’ultimo posto, con 0 € di finanziamenti.

A proposito di finanziamenti, cerchiamo di capire quanti soldi il “metodo Carrozza” ha ingiustamente sottratto ad alcuni atenei e ha invece portato ad altri. E quanti danni avrebbe potuto fare a regime, cioè nel caso in cui i successori della Carrozza avessero utilizzato o decidessero di utilizzare la procedura da lei inaugurata. I dati sono riportati nella Tabella 2 (il diverso peso delle due colonne si spiega con l’aumento progressivo della quota premiale):

Tabella 2 – Atenei beneficiari di finanziamenti extra rispetto al dovuto,
per effetto del metodo di calcolo usato dal MIUR nel 2013

Tabella 3 – Atenei penalizzati, con percentuale di definanziamento rispetto al dovuto,
per effetto del metodo di calcolo usato dal MIUR nel 2013

Osservando le due tabelle, non si può non notare come, ancora una volta, gli atenei a cui – per un uso non corretto degli indicatori – vengono sottoratti ingenti finanziamenti siano collocati quasi interamente nell’Italia Meridionale.

Ma questa analisi in un certo senso sfata anche alcune delle argomentazioni addotte da chi ha difeso le ultime distribuzioni dei punti organico con la motivazione che sia giusto togliere possibilità di nuove assunzioni ad atenei che – “si sa” – reclutano male per darle ad altri dove – “si sa” – i concorsi sono molto più meritocratici. Gli stessi dati del MIUR portano infatti alle seguenti paradossali conclusioni:

Meritocrazia all’italiana 1: Dare il turn-over più alto all’ateneo che (secondo il MIUR) recluta peggio di tutti

Meritocrazia all’italiana 2: Premiare i peggiori e penalizzare i migliori

Meritocrazia all’italiana 3: Carrozza a Il Mattino: «Il Sud migliori e non accusi» …
Ma la Federico II è sugli stessi livelli della Normale di Pisa!

2. Si può usare la VQR valutare le politiche di reclutamento?

Ma, al di là delle libere interpretazioni della formula della media ponderata, Carrozza e Giannini potevano utilizzare la VQR per valutare le politiche di reclutamento degli atenei? Parrebbe di no. Vi sono sostanzialmente tre leggi che regolano la valutazione ex-post, e, a quanto pare, sia Carrozza che Giannini non ne hanno seguita nemmeno una.

Errore n.1

La legge 9 agosto 2013, n. 98 afferma che «la valutazione delle politiche di reclutamento va effettuata a cadenza quinquennale». Invece la VQR 2004-10 aveva cadenza settennale e la VQR 2011-14 cadenza quadriennale. Già solo questo basterebbe per rendere quantomeno “improprio” l’uso di IRAS3 per la quota premiale per le politiche di reclutamento.

Errore n.2

La legge 240/2010 (legge Gelmini) afferma che la valutazione delle politiche di reclutamento deve essere fondata sulla (intera) produzione scientifica «elaborata in data successiva alla presa di servizio ovvero al passaggio a diverso ruolo o fascia nell’ateneo». Invece i prodotti valutati nella VQR (che peraltro sono solo una piccolissima selezione delle pubblicazioni dei valutati) non devono essere necessariamente «elaborati» prima della presa di servizio, come è specificato esplicitamente dall’ANVUR nella Sezione 2.3 del bando della VQR. Ma non è tutto. Il Decreto Legislativo 29 Marzo 2012 n. 49 disciplina in maniera analitica come debba essere condotta la valutazione delle politiche di reclutamento. Non è sufficiente la valutazione delle pubblicazioni dei neo-reclutati o neo-promossi, ma, per legge, occorre considerare anche un complesso di altri indicatori, come specificato nell’articolo 9 (comma 1):

Le politiche di reclutamento del personale sono valutate in relazione a:

a) la produzione scientifica dei professori e dei ricercatori elaborata in data successiva alla presa di servizio presso l’ateneo ovvero al passaggio a diverso ruolo o fascia nell’ateneo, tenuto conto delle specificità delle rispettive aree disciplinari;

b) la percentuale di ricercatori a tempo determinato in servizio che non hanno trascorso l’intero percorso di dottorato e di post-dottorato, o, nel caso delle discipline di area medica, di scuola di specializzazione, nella università in cui sono stati reclutati come ricercatori;

c) la percentuale dei professori reclutati da altri atenei;

d) la percentuale dei professori e ricercatori in servizio presso l’ateneo, responsabili scientifici di progetti di ricerca, comunitari e internazionali;

e) il grado di internazionalizzazione del corpo docente, valutato in termini di numerosità di docenti provenienti dall’estero o chiamati dall’ateneo in qualità di vincitori di progetti di ricerca finanziati dall’Unione Europea;

f) la struttura e i rapporti dell’organico del personale docente e ricercatore, dirigente e tecnico amministrativo anche tenuto conto degli indirizzi di cui all’articolo 4

Né l’ex-Ministro Carrozza né l’attuale Ministro Giannini hanno mai applicato tale norma. Ma la responsabilità non è unicamente la loro. Vi è un terzo protagonista di questa assurda vicenda: l’ANVUR. Basta leggere il comma 2:

Il periodo di riferimento della valutazione, la ponderazione dei criteri e la definizione dei parametri per l’attuazione del comma 1 sono stabiliti dall’ANVUR entro 90 giorni dalla data di entrata in vigore del presente decreto

Dall’entrata in vigore del “presente decreto” non sono passati 90 giorni, ma … circa 3 anni e mezzo. Eppure non risulta che l’ANVUR abbia mai emanato tale delibera, né d’altronde che il MIUR abbia mai sollecitato l’Agenzia in tal senso.

Errore n.3

Risulta inapplicata anche una norma del lontano 2007, voluta da dall’allora Ministro Fabio Mussi. Si tratta della legge 25 Ottobre 2007, n. 176, il cui articolo 7 (comma 1-bis) afferma che:

La qualità dell’attività scientifica e didattica dei ricercatori assunti dalle università a seguito di concorsi banditi successivamente alla data di entrata in vigore della legge di conversione del presente decreto è sottoposta, dopo tre anni dalla data di assunzione, alla valutazione dell’Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR), di cui all’articolo […].

In caso di valutazione negativa il Ministero dell’università e della ricerca, in sede di ripartizione del fondo per il finanziamento ordinario delle università per gli anni successivi provvede a detrarre dalla quota spettante all’università interessata una quota pari al trattamento economico complessivo medio dei ricercatori universitari. La valutazione è ripetuta dopo ulteriori tre anni

Si noti che anche nel caso, tutto da dimostrare, di una sua eventuale abrogazione implicita da parte del Dlgs 49/2012, tale legge ha comunque espletato i suoi effetti sui quasi 5 mila concorsi da ricercatore a tempo indeterminato, banditi a partire dal 2007 nei nostri atenei. (Ma se prevalesse una interpretazione estensiva del termine “ricercatore”, che includa anche quelli a tempo determinato, essa si applicherebbe ad un numero molto maggiore di concorsi). Una norma tesa a responsabilizzare atenei e decisori, basata su valutazioni puntuali e analitiche, senza più nascondersi dietro i dati aggregati della VQR. Una norma che non necessitava di alcun decreto attuativo… eppure, incredibilmente, rimasta inapplicata.

3. Conclusioni: IRAS3 utile per discussioni al bar, non per migliorare reclutamento

Al di là degli aspetti normativi, è bene sottolineare che l’indicatore finora utilizzato, cioè l’IRAS3 della VQR, è inadatto ad essere utilizzato per la valutazione ex post del reclutamento per ragioni intrinseche a come esso è costruito.

IRAS3 infatti è tarato sulle Aree. Invece, come noto, il reclutamento non avviene per Aree, bensì per Settori Scientifico Disciplinari. Un’Area può contenere al suo interno anche svariate decine di Settori. Può quindi accadere che due SSD della stessa Area si comportino anche molto diversamente tra loro, oppure che uno stesso SSD abbia performances diverse a seconda del Dipartimento di appartenenza.

In altre parole, questo tipo di valutazione non fornisce a rettore e organi politici dell’ateneo alcuna possibilità di monitoraggio e di intervento specifici volti a migliorare la qualità del reclutamento di un certo SSD in un dato Dipartimento.

Un altro problema, poi, è che i risultati della VQR hanno mostrato spesso una grande eterogeneità all’interno di una stessa Area, e quindi il risultato positivo o negativo di un ateneo può riflettere non tanto una buona politica di reclutamento ma semplicemente una più o meno fortunata distribuzione dei concorsi / promozioni nei SSD di una certa Area.

Peraltro la scelta dell’ANVUR di considerare le Aree appare per certi versi “un male necessario”. Infatti se si facesse riferimento ai settori, i dati riguarderebbero un numero di prodotti mediamente molto piccolo, con eccezione forse per qualche mega-ateneo, e questo comprometterebbe la robustezza statistica dei risultati.

Si tenga infine presente che IRAS3 non tiene conto di tutti i soggetti neo-reclutati dalla struttura. Infatti i docenti entrati in ruolo nel corso del 2010 sono stati esentati dalla partecipazione alla VQR. E per quelli entrati in ruolo nel 2008 e 2009 era prevista la presentazione di un solo prodotto.

Insomma, IRAS3 può essere forse utile agli appassionati delle statistiche universitarie, ma il suo ruolo per aumentare il grado di meritocrazia nei concorsi universitari è molto opinabile. Non è forse un caso che la legge vigente prevede altri strumenti, ignorati dai ministri Carrozza e Giannini.