L’ultimo grido della valutazione all’italiana è l’introduzione della premialità a geometria variabile nella ripartizione dell’Fondo di finanziamento ordinario. Per valutare la qualità del reclutamento, il MIUR ha usato un indicatore per le Università statali e un altro, diverso, per le università non statali, entrambi diversi da quello previsto nel bando VQR. Ce lo spiega l’ANVUR: «Rispetto all’indicatore descritto nel Bando VQR, il MIUR ha richiesto alcune modifiche. Per le Università statali, l’indicatore è calcolato prendendo in considerazione come variabile dimensionale il peso in termini di Punti Organico (PO) degli addetti reclutati nel periodo di riferimento, invece del semplice numero di addetti. Per le Università non statali, l’indicatore è calcolato prendendo in considerazione come variabile dimensionale il peso in termini dei prodotti attesi di IRAS1». Ma chi ci perde e chi ci guadagna? Grazie ad una provvidenziale fuga di notizie, siamo riusciti fare i conti necessari e ve lo possiamo mostrare, ateneo per ateneo. Insieme alla nota, ANVUR ha pubblicato il file Excel degli indicatori aggregati VQR usati dal MIUR nella ripartizione della quota premiale. Nel comunicato trovano anche conferma le voci di corridoio sulla data di pubblicazione dei risultati completi della nuova VQR: «Il Rapporto ANVUR contenente i dati analitici per Università, Dipartimento e aree scientifiche sarà presentato il prossimo 21 Febbraio».
0,75 IRAS1 + 0,2 IRAS2 + 0,01 IRAS3 + 0,01 IRAS4 + 0,03 IRAS5
Ben diversa la formula che si ricava (per le università) dal D.M. 998/2016 del MIUR:
[0,65 (0,85 IRAS1 + 0,075 IRAS3 + 0,075 IRAS4)+ 0,20 IRAS2]/0,85 =
= 0,65 IRAS1 + 0,235 IRAS2 + 0,057 IRAS3 + 0,057 IRAS4
In breve, il MIUR ha smorzato l’importanza dell’indicatore principe, IRAS1 (quello che misura i voti conseguiti nella valutazione dei lavori scientifici), e ha gonfiato il peso di IRAS3 (finanziamenti) e IRAS4 (numero di allievi nell’alta formazione), nonché quello di IRAS2 (qualità del reclutamento) che è anche stato ridefinito in due modi diversi per università statali e non statali.
ANVUR passa sotto silenzio anche l’introduzione da parte del MIUR di una correzione per “sterilizzare” gli effetti della protesta #STOPVQR, che modifica l’indicatore IRAS1 calcolato da ANVUR. Insomma: una specie di sconfessione dell’IRAS1 della VQR, che il Presidente della VQR aveva invece magnificato come misura fedele della “convergenza” tra peggiori e migliori e atenei.
Una “convergenza”, ricordiamolo, che era del tutto attesa a causa della nuova scala dei voti che, eliminando le penalità negative e rendendo meno frequenti i voti massimi, crea inevitabilmente l’illusione ottica di un accorciamento delle distanze, anche se non fosse cambiato nulla.
Ma perché ANVUR ha segnalato solo la modificazione di IRAS2 da parte del MIUR? Non lo sappiamo, Ma sappiamo che si tratta di una modifica di non poco conto. Che è possibile quantificare grazie al documento che è circolato tra i rettori (e arrivato a Roars da diverse fonti) più o meno in contemporanea con la conferenza stampa prenatalizia di Graziosi.
Quel documento conteneva sia l’IRAS2 usato dal ministero, sia l’IRAS2 preferito da ANVUR. E le differenze non sono da poco, come illustrato dai due grafici qui sotto. Nel primo si riporta per ogni ateneo la variazione percentuale di FFO tra IRAS2 ministeriale e IRAS2 di Anvur. Nel secondo ci sono i soldi spostati dai due indicatori. Si tratta complessivamente di circa il 10% dell’FFO distribuito sulla base di Iras2. C’è chi guadagna, anche parecchio, e c’è chi perde, anche parecchio.
[1] «La valutazione finale delle Istituzioni finalizzata alla distribuzione della quota premiale del FFO riguarderà separatamente gli indicatori di area IRAS1-IRAS5 (o con sottoinsiemi di essi), opportunamente integrati per trasformarli in un indicatore unico riferito all’Istituzione» (Bando VQR 2011-2014, p. 23)
Nota di accompagnamento alla pubblicazione degli indicatori aggregati VQR
ANVUR pubblica oggi in forma tabellare i primi risultati sintetici della VQR 2011-14. I dati sono quelli che sono stati utilizzati dal MIUR per la distribuzione della parte premiale del Fondo di Finanziamento Ordinario delle Università (FFO) per l’anno 2016 (cfr. http://attiministeriali.miur.it/anno-2016/dicembre/dm- 29122016.aspx per le Università statali e http://attiministeriali.miur.it/anno-2016/dicembre/dm-29122016- (1).aspx per quelle non statali).
I dati che vengono diffusi sono relativi alle 82 Università statali e non statali destinatarie del FFO; più nel dettaglio, i calcoli effettuati sono relativi da un lato all’aggregato delle Università non statali destinatarie del FFO, e dall’altro a quello delle Statali, ulteriormente distinguendo all’interno di queste ultime le Scuole Speciali (IMT di Lucca, IUSS di Pavia, Scuola Normale Superiore di Pisa, Scuola Sant’Anna di Pisa, SISSA di Trieste). Inoltre, i dati relativi alle Università statali diverse dalle Scuole Speciali sono presentati in due versioni: includendo ed escludendo l’Università di Trento, che non rientra tra quelle destinatarie direttamente della quota premiale del FFO.
Rispetto a quelli discussi nel Bando VQR (http://www.anvur.it/attachments/article/825/Bando%20VQR%202011-2014_secon~.pdf), gli indicatori presentati sono quelli effettivamente usati dal MIUR per la distribuzione della parte premiale, e precisamente:
IRAS1, misurato come rapporto tra la somma delle valutazioni ottenute dai prodotti presentati dall’Istituzione nell’Area e la valutazione complessiva di Area.
IRAS2, calcolato come il precedente IRAS1 nel sottoinsieme delle pubblicazioni e dei prodotti della ricerca presentati dagli addetti alla ricerca che, nel periodo 2011-2014 oggetto di valutazione, sono stati reclutati dalla Istituzione o in essi incardinati in una fascia o ruolo superiore. Rispetto all’indicatore descritto nel Bando VQR, il MIUR ha richiesto alcune modifiche. Per le Università statali, l’indicatore è calcolato prendendo in considerazione come variabile dimensionale il peso in termini di Punti Organico (PO) degli addetti reclutati nel periodo di riferimento, invece del semplice numero di addetti. Per le Università non statali, l’indicatore è calcolato prendendo in considerazione come variabile dimensionale il peso in termini dei prodotti attesi di IRAS1.
IRAS3, misurato sommando i finanziamenti (entrate di cassa) ottenuti partecipando ai bandi competitivi per progetti di ricerca, siano essi nazionali (PRIN, FIRB, FAR, ASI, PNR, …) o internazionali (Programmi Quadro dell’Unione Europea, Agenzia Spaziale Europea, NIH, ecc.). Il valore è espresso come percentuale del valore complessivo dell’Area.
IRAS4, misurato dal numero di studenti di dottorato e iscritti a scuole di specializzazione di area medica e sanitaria, assegnisti di ricerca, borsisti post-doc. Il valore è espresso come percentuale del valore complessivo dell’Area.
Il Rapporto ANVUR contenente i dati analitici per Università, Dipartimento e aree scientifiche sarà presentato il prossimo 21 Febbraio.
- Dati relativi alla VQR 2011-2014
- Nota di accompagnamento in versione pdf
Appendice: Estratto dal Bando VQR 2011-2014
Per quanto riguarda la qualità delle pubblicazioni, si calcolano i seguenti indicatori (nella loro
definizione si fa riferimento all’area, ma è da intendersi che essi saranno calcolati anche per settore concorsuale e settore scientifico-disciplinare e in tali casi l’area va sostituita con settore concorsuale o settore scientifico-disciplinare nelle definizioni seguenti):
1. L’indicatore quali-quantitativo IRAS1, con peso 0,75, misurato come rapporto tra la somma delle valutazioni ottenute dai prodotti presentati dall’Istituzione nell’Area e la valutazione complessiva di Area.
2. L’indicatore quali-quantitativo IRAS2, con peso 0,20, calcolato come il precedente IRAS1 nel sottoinsieme delle pubblicazioni e dei prodotti della ricerca presentati dagli addetti alla ricerca che, nel periodo 2011-2014 oggetto di valutazione, sono stati reclutati dalla Istituzione o in essi incardinati in una fascia o ruolo superiore.
3. L’indicatore qualitativo R, definito come rapporto tra il voto medio attribuito ai prodotti attesi dell’Istituzione nell’Area e il voto medio ricevuto da tutti i prodotti dell’Area.
4. L’indicatore qualitativo X, definite come il rapporto tra la frazione di prodotti eccellenti dell’Istituzione nell’area e la frazione di prodotti eccellenti dell’area.
Il profilo di qualità relativo alle caratteristiche dell’ambiente della ricerca si ottiene calcolando i seguenti indicatori:
5. L’indicatore quali-quantitativo di attrazione risorse IRAS3, con peso 0,01, misurato sommando i finanziamenti (entrate di cassa) ottenuti partecipando ai bandi competitivi per progetti di ricerca, siano essi nazionali (PRIN, FIRB, FAR, ASI, PNR, …) o internazionali (Programmi Quadro dell’Unione Europea, Ente Spaziale Europeo, NIH, ecc.). Il valore è espresso come percentuale del valore complessivo dell’Area.
6. L’indicatore quali-quantitativo di alta formazione IRAS4, con peso 0,01, misurato dal numero di studenti di dottorato e iscritti a scuole di specializzazione di area medica e sanitaria, assegnisti di ricerca, borsisti post-doc. Il valore è espresso come percentuale del valore complessivo dell’Area.
7. L’indicatore quali-quantitativo di miglioramento IRAS5, con peso 0,03. Viste le differenze significative tra la VQR 2004-2010 e la VQR 2011-2014, l’indicatore di miglioramento non utilizzerà i valori degli indicatori ottenuti nei due esercizi di valutazione, ma sarà basato sulla posizione dell’Istituzione nella distribuzione dell’indicatore R, distribuzione eventualmente quantizzata in fasce. Non saranno penalizzate le Istituzioni situate nella fascia più elevata nei due esercizi.
Ma i reclutati sono considerati anche in IRAS1? reclutare porta benefici sia su IRAS1 che su IRAS2? se è così trovo corretta la scelta di ponderare per i punti organico. Nel caso di scorrimenti da ricercatori ad associati è corretto che ti pondero per 0,2 cioè il costo di passaggio da un ricercatore ad associato. Visto che già ti finanzio su IRAS1 ti finanzio solo la progressione su IRAS2. Grazie per l’attenzione e il lavoro che condividete con tutti.
A me sembra che IRAS2 nasca già come un doppione, dato che si riferisce ad un sottoinsieme di prodotti valutati. La ratio è pesare maggiormente i prodotti dei “reclutati”, credo. Se però questo peso diviene esorbitante, i nodi vengono al pettine. Infatti, se il parametro dimensionale è il voto cumulativo dei prodotti dei reclutati (che mi sembra più o meno quanto prevede il bando VQR), chi ha fatto pagare tasse più alte agli studenti si trova nella condizione di aver ricevuto più punti organico e viene ulteriormente premiato, aggravando il divario tra atenei “ricchi” e “poveri”.
Insomma, IRAS2 diventa una specie di cofinanziamento ministeriale dei reclutamenti. Sarà per questo che si sono sperimentate altre variabili dimensionali?
E la differenza tra università statali e non statali da cosa dipende? Entra in gioco lo #stopVQR che ha modificato i voti in modo diverso tra le due categorie di atenei?
In ogni caso, desta perplessità l’uso di indicatori diversi da quello del bando, definiti ex-post e per di più differenziati tra atenei statali e non statali. Che senso ha spendere centinaia di milioni per la VQR, se poi le alchimie dell’ultima ora spostano più milioni del presunto “merito”?
proprio perchè IRAS 2 è un doppione è corretto ponderarlo per i punti organico. Su IRAS1 il ricercatore “pesa” come l’ordinario quindi con IRAS2 finanzio il costo aggiuntivo dello scorrimento. Concordo assolutamente sul discorso tasse perchè le assegnazioni del turn over premiano gli atenei con avanzo maggiore rispetto alle spese personale. Il vero motore del sistema è l’assegnazione punti organico su cui c’è un’attenzione molto minore rispetto al FFO. Di fatto FFO gira su numero iscritti parte quota base (dopo 3 anni siamo già a regime) e numero docenti su quota premiale. I meccanismi seguono quello che determina l’assegnazione punti organico. Trovo il sistema FFO raffinato, è la politica nazionale che è schizofrenica. Sugli altri Atenei, beh, forse la magagna è proprio lì, perchè se assumo 1 lo finanzio 2 volte però visto che il fondo se lo giocano solo tra di loro probabilmente assumono tutti e non fanno scorrimenti.
“proprio perchè IRAS 2 è un doppione è corretto ponderarlo per i punti organico.”
_________________
Mettiamo pure da parte il discorso sul cambiamento delle regole a partita in corso. Ma se è vero che la ponderazione con i punti organico è più corretta, come mai il MIUR se ne accorge solo quest’anno e non la applica anche alle università non statali?
IRAS 2 comunque, per quanto ponderato sui punti organico, concorre da solo all’assegnazione del 20% della quota premiale, mentre tutti gli altri IRAS vengono sintetizzati nel primo indicatore (IRFS); dunque ha un valore molto alto, se non del tutto sproporzionato. Rispetto all’ossservazione di De Filippis per cui “reclutare porta benefici sia su IRAS1 che su IRAS2”, io direi: dipende dal risultato che, nella VQR, ottengono i prodotti dei neoreclutati. Atenei come Genova (IRFS 2,36%, IRAS2 3,67%), Bologna (IRFS 6,22%, IRAS2 8,55%) e Torino (IRFS 4,17%, IRAS2 5,72%) se ne avvantaggiano; altri, come Milano (IRFS 4,27%, IRAS2 3,02%), Bari (IRFS 2,49%, IRAS2 1,11%) o Perugia (IRFS 2,03%, IRAS2 1,53%) ne vengono penalizzati.
La ponderazione per i punti organico ha senso solo in ottica FFO per assegnare risorse in modo che gli Atenei abbiano le risorse calibrate sul proprio corpo docente, Bologna perde molto nella ponderazione perchè ha fatto evidentemente molti scorrimenti oltre ad essere dimensionalmente ormai il secondo ateneo italiano. Le università non statali non partecipano al FFO, parliamo di Bocconi & c, giusto? al momento dai dati che sono disponibili non mi sembra che sia possibile nessuna comparazione tra statali e non statali, peccato, bisognerà aspettare i dati completi della VQR per farsi un’idea. Mi sembra possibile solo una comparazione all’interno del gruppo statali e all’interno del gruppo non statali dividendo IRAS1 per peso prodotti attesi. Ecco su IRAS2 c’è molta poca trasparenza, dovrebbero rendere disponibile la tabella dei punti organico e dei prodotti attesi dei reclutati, al momento non si capisce quanta parte del risultato è determinato dalla dimensione e quanto dalla valutazione. Lungi da me il ruolo del difensore del MIUR ma è evidente che certi aggiustamenti sono necessari per mantenere le variazioni di FFO in un ambito di sostenibilità dei bilanci degli Atenei, certo bisogna vigilare che questo venga fatto nell’interesse generale e non di qualcuno. Sarebbe folle applicare dei criteri a priori e assegnare risorse senza valutare la congruità dell’assegnato.Un’ultima considerazione, nel periodo 2004-2010, cioè il periodo dei reclutati vecchia VQR, non c’erano i punti organico. Di fatto si sono assegnate risorse dal 2013 al 2015 proporzionate alla fotografia del bando VQR 2004-2010, non ricordo l’anno esatto forse 2011. Quindi gli Atenei penalizzati dal turn over si sono ritrovati però risorse premiali congrue alla loro dimensione a pieno organico.
“Le università non statali non partecipano al FFO, parliamo di Bocconi & c, giusto?”
___________________________________________
Sbagliato. Lo scrive anche il comunicato ANVUR (riprodotto nel post), il quale fornisce i link ai due distinti D.M. (ripartizione quota premiale per univ. statali e per univ. non statali):
____________________________________________
«I dati sono quelli che sono stati utilizzati dal MIUR per la distribuzione della parte premiale del Fondo di Finanziamento Ordinario delle Università (FFO) per l’anno 2016 (cfr. http://attiministeriali.miur.it/anno-2016/dicembre/dm- 29122016.aspx per le Università statali e http://attiministeriali.miur.it/anno-2016/dicembre/dm-29122016- (1).aspx per quelle non statali)»
____________________________________________
Se si segue il secondo link, si trova la tabella che ripartisce 11.184.000 Euro di quota premiale per le università non statali:
Quello ripartito alle università private però non è un fondo a loro favore che è extra FFO? l’aumento del contributo alle non statali diminuisce automaticamente quello delle statali? Pensavo che sul FFO insistessero solo le statali con cui primariamente pagano gli stipendi del personale. Il contributo delle non statali non credo sia necessario che segua le dinamiche del personale come invece è importante che faccia quello delle statali per la tenuta del sistema.
L’ unico commento che mi sento di fare prima di poter vedere i dati completi della VQR è che invece della valutazione ex-post che in molti richiedono da tempo, siamo arrivati alla valutazione *con criteri decisi ex-post*.
Non bastava l’ anvur che modifica i criteri *dopo* la conclusione del secondo periodo di valutazione. Adesso vediamo che anche il MIUR trova corretto ri-modificare gli indicatori.
Se fosse il campionato di calcio sarebbero state già aperte almeno 3 inchieste…
Come è possibile allora che tra i commissari della ASN ci siano professori di università non statali, come il pensionato Francesco Capriglione della Guglielmo Marconi nella commissione di Diritto dell’economia?
Ciò è illegale, ancor più alla luce di queste nuove norme