Non ci crederete, ma alcuni terremoti sono prevedibili. Un esempio ce lo fornisce il terremoto sulla quota premiale del Fondo di Finanziamento Ordinario delle università. Già a metà marzo, il Presidente dell’Agenzia di valutazione Andrea Graziosi era «pronto a fare scommesse»: «chi prenderà meno soldi saranno le università che prima prendevano di più, perché la convergenza è oggettivamente in atto». Un azzardo? Pare di no: nove mesi dopo, la profezia si è puntualmente avverata. Ma come faceva Graziosi ad esser così certo fin da marzo dei risultati della VQR 2011-2014, prima ancora di iniziare le valutazioni? Forse sapeva che la “convergenza” dei risultati VQR era scritta nelle stelle, anzi nella nuova scala dei punteggi che, come dimostrato da Roars, produce l’illusione ottica di un accorciamento delle distanze, persino senza variazioni dei reali valori in campo. Una variazione puramente nominale che però travaserà milioni di euro da un ateneo all’altro. L’ANVUR vorrebbe far credere che «gli esercizi di valutazione abbiano raggiunto uno degli obiettivi che si erano prefissati: favorire una convergenza verso uno standard comune e più elevato della qualità della ricerca […]». Un affascinante story-telling, non c’è che dire. Peccato che a spostare il grosso dei soldi non sia stato il merito, ma un banale cambio delle scale numeriche usate per dare i voti. E che l’ANVUR lo sapesse ancor prima che partisse la VQR.

scommettitore

Lo scorso 19 dicembre, il Presidente dell’ANVUR, Andrea Graziosi, ha tenuto una conferenza stampa che ha colto di sorpresa la comunità universitaria. Nessun preavviso sul sito dell’ANVUR. Ad un tratto, appaiono su corriere.it classifiche e grafici targati ANVUR.  La fonte del materiale è il Presidente dell’ANVUR, della cui conferenza stampa viene data notizia sui siti dei maggiori quotidiani. Bisognerà però attendere qualche ora perché slide e comunicato stampa appaiano anche sul sito dell’agenzia di valutazione. Un’operazione che aveva l’apparenza di essere stata varata in tutta fretta sull’onda di una qualche emergenza. Ma quale emergenza? Per capirci qualcosa di più, può essere utile confrontare il testo del comunicato stampa del 19 dicembre con un intervento tenuto dallo stesso Graziosi ben nove mesi prima, nel corso di un forum organizzato dal Mattino di Napoli. Ma andiamo per ordine.

Il titolo del comunicato stampa del 19 dicembre è eloquente: L’università italiana ha accettato (e vinto) la sfida della qualità della ricerca. La tesi è che i risultati della VQR 2011-2014 dimostrerebbero che

In media, gli atenei che avevano un livello della qualità della ricerca relativamente basso si sono rimboccati le maniche e, se non hanno scalato posizioni, almeno hanno ridotto lo svantaggio.

Una tesi che viene usata per sancire l’utilità e il successo degli esercizi di valutazione governati dall’ANVUR, ma che, paradossalmente, non è accompagnata dalla pubblicazione degli esiti della nuova VQR, di cui vengono forniti solo alcuni dati parziali focalizzati sul confronto tra qualità della ricerca e dimensione degli atenei. La parola chiave del comunicato è la convergenza «verso uno standard comune e più elevato della qualità della ricerca». Rimane oscura la ragione della fretta: non si potevano rimandare le celebrazioni al momento della pubblicazione del Rapporto finale VQR, il quale, tra l’altro avrebbe anche consentito di verificare la fondatezza delle rivendicazioni di successo avanzate da Graziosi?

Ma anche sulla base dei pochi dati disponibili, la principale ragione della convergenza sembra diversa da quella addotta da Graziosi. Infatti, rispetto alla VQR 2004-2010, la nuova VQR 2011-2014 usa una diversa scala di voti che, da sola, produce una sensibile riduzione delle distanze tra gli atenei. Più che testimoniare le virtù della valutazione la convergenza è frutto di un’illusione ottica.

Passa qualche giorno. Incrociando i pochi risultati della VQR trapelati con le regole contenute nella bozza del DM “FFO premiale”, Redazione ROARS fa due conti e scopre che la ripartizione premiale del 2016, basata proprio sulla nuova VQR, sarà soggetta ad un vero terremoto: Catanzaro +43%, Napoli Federico II +20%, Milano Statale -11%, solo per fare alcuni esempi. Un terremoto inatteso,  ma che è riconducibile alla “convergenza” rivendicata da Graziosi. Inutile dire che è difficile giustificare travasi di milioni di euro da atenei storicamente eccellenti ad atenei che nelle classifiche della quota premiale vivacchiavano ai piani bassi. Soprattutto se si scoprisse che ciò deriva in gran parte da una semplice modifica della scala dei voti. Meglio uno “story-telling” sulla riscossa del Sud e sulle virtù taumaturgiche degli esercizi di valutazione, grazie ai quali «la macchina è stata messa in moto». E se le ripartizioni dell’FFO premiale sono di imminente pubblicazione, lo story-telling va sfornato al volo, senza aspettare che sia pronto il rapporto finale VQR che potrebbe arrivare dopo la metà di febbraio.

Il diavolo fa le pentole ma non il coperchio, si suole dire. Per una curiosa coincidenza, lo scorso 16 marzo due redattori di Roars avevano partecipato al Forum per una nuova primavera dell’Università, organizzato dal Mattino di Napoli, a cui aveva preso parte anche Andrea Graziosi. Ebbene, si può dire che la rivendicazione della convergenza «oggettivamente in atto» fosse l’autentico leitmotiv del suo intervento, che riportiamo di seguito insieme a quelli di De Nicolao e Baccini. Lo stesso leitmotiv della conferenza stampa di nove mesi dopo.

«Io sarei pronto a fare scommesse» dichiarava senza esitazione Graziosi che, profeticamente, diceva anche «chi prenderà meno soldi saranno le università che prima prendevano di più». Da dove gli veniva quella sicurezza? Il 16 marzo, ricordiamolo, era l’indomani della scadenza per il conferimento dei prodotti da sottoporre alla valutazione, una scadenza che sarebbe poi stata prorogata fino al 15 aprile. In un certo senso, il calcio di inizio delle valutazioni non era ancora stato fischiato. Forse, dalle parti dell’ANVUR, qualcuno aveva già capito quale sarebbe stato l’effetto della nuova scala dei voti  e ne aveva informato Graziosi. Il quale, se avesse saputo che le nuove regole tendevano comunque ad accorciare le distanze tra peggiori e migliori, avrebbe avuto tutte le ragioni per  scommettere a colpo sicuro.

E qui sorge una domanda: se l’arbitro sapeva già come sarebbero stati distribuiti i premi-partita, a che è servito giocare? A giustificare il suo stipendio di 210.000 Euro annui?

1. Graziosi: «pronto a fare scommesse … chi prenderà meno soldi saranno le università che prima prendevano di più»

DOMANDA. Talvolta l’ANVUR è stata anche messa sotto accusa in quanto ente della valutazione. Ma forse la valutazione deve tener conto deve essere usata in modo … Non rischia questa premialità di essere un rimedio peggiore del male.

GRAZIOSI. Io credo che l’interesse del meridione è quello di avere buone università ed è interesse dell’Italia avere università buone. Il discorso che ha fatto Manfredi è giusto anche da un altro punto di vista. Non possiamo avere solo università tradizionali. Noi rispetto agli Stati Uniti, alla Germania, alla Francia, che hanno sistemi complessi con tantissime forme di istruzione terziaria, abbiamo di fatto una vecchia università. Noi non abbiamo pochi laureati, come si dice [in realtà, dopo il recente sorpasso di Turchia, Messico e Cile, l’Italia occupa l’ultimo posto nella classifica OCSE della percentuale di laureati, NdR], perché noi di ingegneri, di architetti, di avvocati ne abbiamo molti. …

OCSE_EaaG_2015_Graph_Laureati

Abbiamo un settore molto fragile dell’istruzione terziaria superiore in generale. Questo è un problema gigantesco. Questo è un problema politico. … Il problema è quello della qualità di quello che c’è, per quanto riguarda me come ANVUR. Non sono d’accordo neanche con la coppia che è stata posta competizione-solidarietà perché noi ci muoviamo all’interno di un sistema universitario nazionale che si regge su una trentina-quarantina di università statali storiche […] per fortuna ne sono nate tante altre a partire dagli anni cinquanta e sessanta. Io sono molto a favore dell’espansione di questo sistema. Questo sistema – questo io lo dico senza tema di smentita – è andato alla deriva, a partire dagli anni ’70-’80, proprio perché non è stata governata la sua espansione. […] Sono aumentate le università, sono decuplicati i docenti, ad un certo punto, grosso modo [come mostrato qui, nei dati ufficiali non esiste traccia di questa decuplicazione, NdR]. … c’è una deriva che è durata 20-30 anni, pensate all’abolizione dei concorsi nazionali che era un forte elemento di omogeneizzazione del sistema…

Graziosi_decuplicati_docenti

DOMANDA L’errore è nel federalismo in sé?

GRAZIOSI. L’errore è stato non governare un sistema necessario di differenziazione. …. Quando uno fa una fotografia ad un sistema che si è sgranato per trenta-quaranta anni, produce una fotografia sgranata.  … Io sarei pronto a fare scommesse su questa cosa: se io attraverso l’ANVUR … do a questo sistema degli standard centrali per la prima volta dopo trenta o quaranta anni, che poi potranno essere criticati o meno, ma secondo me sono standard centrali. Ti dico cioè: c’è questo criterio, c’è questo indicatore sono veri per tutti gli atenei. Tranne forse qualche ateneo che non ce la fa, ma allora è un problema della politica vedere come affrontare … Io penso il sistema converge non diverge.

Io penso che la valutazione è un forte strumento di convergenza del sistema universitario nazionale. Perché io sto dando per la prima volta a tutti gli atenei che prima andavano ciascuno per la sua strada dei criteri unici nazionali … Dirò di più, il sistema così criticato anche da me, che ci sono pochi soldi per cui la parte premiale è tolta agli altri e non è un di più, rafforza la convergenza. … Bologna prende più soldi perché le università che stavano in basso ne prendevano di meno. Ma se le università che stanno in basso si muovono verso l’alto perché hanno ora degli indici nazionali … io personalmente sono convinto … che alla prossima VQR, se si farà, se ci saranno i risultati, chi prenderà meno soldi saranno le università che prima prendevano di più, perché la convergenza è oggettivamente in atto. Allora per finire, io penso che la valutazione che è uno strumento di chi governa, perché poi ANVUR non fa politica, la politica la deve fare il ministro, è uno strumento di convergenza che può essere usato in una maniera più o meno intelligente dalla politica.  Ed è anche uno strumento… per dare standard qualitativi a un sistema, e mi permetto di parlare da storico, che soprattutto nelle discipline umanistiche e giuridiche e sociali, e soprattutto nelle prime due, aveva sofferto molto la crisi dei sistemi di cultura nazionale. Perché mentre la scienza e la tecnologia sono sempre state integrate nel mondo internazionale della ricerca… le nostre materie, la mia materia, … le nostre discipline, la crisi dei sistemi culturali nazionali,  … la globalizzazione l’hanno sofferta enormemente. Allora costringere queste discipline, come le università meridionali come quella di Bergamo, a guardare criteri nazionali che sono collegati a quelli internazionali, perché questo deve essere il mio lavoro di ANVUR, ricrea anche comunità nazionale aperta al mondo. Io così vedo la mia funzione. Quindi … penso e sono pronto a scommetterci che questa funzione è reale. … La divergenza era la fotografia di un passato senza governo.

DOMANDA. La convergenza di cui lei parla logicamente si coglie nel ragionamento; un po’ meno nella realtà…

GRAZIOSI. Ma perché noi veniamo da quarant’anni di deriva.

DOMANDA. … anche rispetto all’uso della politiche che ha fatto dell’uso che la politica ha fatto della valutazione, perché se ancoriamo in maniera acritica al dato statistico della valutazione un certo tipo di contributo inevitabilmente la discriminazione si produce. Ma c’è un’altra domanda che volevo farle. C’è stata una critica al modello di valutazione che la valutazione docimologica abbia soppiantato i saperi …. Nel senso che un tecnicismo quasi burocratico ha sostituito una valutazione fondata sui saperi. … E’ ancora così? si sono affinati questi strumenti soprattutto in riferimento alle discipline umanistiche erano le più difficili da valutare o alla didattica? Oggi il paese è in grado di offrire una valutazione che tenga conto anche di questi aspetti?

GRAZIOSI. Per quanto riguarda le discipline umanistiche o giuridiche io ho conosciuto l’ANVUR quando ero presidente degli storici andando a protestare per la mancanza di peer review nelle nostre discipline. Che è stata introdotta su larga scala. Credo che attualmente la valutazione delle discipline umanistiche filosofiche sia più sofisticata di prima … Io credo che la valutazione della ricerca che è stata oggetto di dibattito … però sostanzialmente è un cosa che ha un sua logica un suo standard delle sue pratiche. … La questione della didattica è una questione complicatissima e delicatissima perché tocca la libertà dei docenti, tocca la libertà dell’insegnamento.

Tutti dicono: l’Anvur ha prestato poca attenzione alla didattica. Io faccio queste due considerazioni. Primo l’università si distingue dalla scuola … perché l’università è la didattica nella ricerca, quindi per forza uno deve partire dalla ricerca perché la ricerca è quella che qualifica l’università rispetto agli altri istituti. Quindi su questo io non ho dubbi che era giusto partire dalla ricerca. …. Detto questo, quando noi ci siamo messi a cercare i dati sulla didattica, con schede SUA-CDS che sono state criticate, … ci sono arrivate delle zozzerie, permettete l’uso del termine, perché nessuno sapeva cosa e quanto si insegnava in Italia.

Noi facciamo oggi la prima fotografia molto grezza molto sfocata della didattica. … Mentre la ricerca era controllata dagli atenei, la didattica lo era molto meno anche dagli atenei. E lo era anche perché è difficile andare a vedere quello che un professore fa, e forse anche sbagliato. Quindi diventa una cosa molto complicata. Allora stiamo molto attenti … Noi faremo adesso degli strumenti, degli indicatori, che però non sono valutazione della didattica dei docenti che io lascerei completamente fuori. Faremo degli indicatori per valutare quantità e qualità della didattica … Per esempio diremo ai corsi di laurea che tasso di perdita di studenti ha dal primo al secondo anno, quanti crediti gli studenti guadagnano entro il terzo anno, quanti si laureano. Glielo diremo per classi di laurea e per regione … quindi si possono fare i confronti. Ogni anno forniremo questo dato. Forniremo anche un dato qualitativo basato sulla qualità della ricerca della composizione del collegio dei docenti [che non c’è nei corsi di laurea NdR] che è un dato indiretto ma importante. Se io voglio fare un corso, che so, di relazioni internazionali devo pure avere quelli che scrivono di relazioni internazionali. Però ripeto la questione della didattica è una questione veramente delicata e complessa, e la cosa ancora più complessa di cui nemmeno voi iniziate a parlare e che ci stiamo ponendo per la prima volta: c’è dentro l’università una componente di formazione alla professione in senso alto, ingegneri avvocati, medici architetti che andrebbe valutata come la didattica, perché a me mi interessa come università avere il grande medico, il grande avvocato, il grande architetto. Cioè sono tutte questioni di una delicatezza e di una complessità che insomma io ho anche paura quando vengono affrontate.

 

2. De Nicolao: «ANVUR, un’agenzia non all’altezza di coloro che valuta»

DOMANDA. Giuseppe De Nicolao è uno dei fondatori del sito ww.roars.it che analizzala ricerca e la valutazione. Volevo sentire la sua opinione dopo quella dell’ANVUR.

DE NICOLAO. A me dà sempre un senso di irrealtà quando ascolto certi discorsi. Per esempio, l’idea che con gli standard di valutazione noi ci avviciniamo ad una dimensione internazionale. Però, noi che analizziamo quotidianamente il lavoro dell’ANVUR non possiamo non notare che gli standard con cui ha impostato la valutazione sono lontanissimi dagli standard internazionali. C’è una letteratura scientifica sulla valutazione, ci sono delle prassi in nazioni importanti come l’Australia, il Regno Unito e l’ANVUR si è mossa in modo completamente divergente rispetto a quello che è lo stato dell’arte. Per esempio, si è buttata sulle classifiche delle riviste con esiti anche comici: abbiamo avuto il Sole 24 Ore classificato come rivista scientifica, la rivista degli allevatori di suini, Suinicoltura, classificata come rivista scientifica nelle Scienze economiche e statistiche.Sono cose che hanno fatto ridere in Italia – ne ha scritto Gian Antonio Stella sul Corriere – hanno fatto ridere a livello internazionale – se n’è parlato  su Times Higher Education.

CollageCorseraScienceTHE

E che le classifiche di riviste avessero dei rischi e non fossero più una scelta all’altezza era una cosa che gli australiani avevano già mostrato. Nel Regno Unito non si usa la bibliometria per fare la valutazione della ricerca nazionale e -in controendenza – noi usiamo la bibliometria. Tra l’altro la usiamo con metodologie fatte in casa. Non si può dire che stiamo andando verso una standardizzazione internazionale. Il nostro problema è che vorremmo avere un’università all’altezza della ricerca internazionale e ce l’abbiamo perché poi, se andiamo a vedere gli indicatori bibliometrici – quindi la produzione scientifica, le citazioni.

NatureUSAvsItaly

Le nostre discipline scientifiche, dove c’è la copertura statistica di questi dati, mostrano che l’Italia è l’ottava nazione al mondo e che la qualità media – intesa come impatto medio delle pubblicazioni italiane  – ha recentemente superato quello degli Stati Uniti. Questa è stata una notizia data su Nature. Eppure, abbiamo un’agenzia che non è all’altezza di coloro che valuta. Un’agenzia superpagata: 178.500 Euro [percepisce] il membro del Direttivo. Abbiamo un’agenzia in cui uno dei membri è stato nominato e nel suo documento programmatico aveva dei pezzi fatti col copia-incolla, non virgolettati, da testi di altri autori […]

Paolo_Miccoli_ANVUR_Iene_plagio

3. Baccini: «il disegno c’era, si leggeva sui giornali, non in Parlamento»

BACCINI. Provo a rispondere alla domanda se c’era un disegno e chi l’ha voluto.

Secondo me il disegno c’era, si leggeva sui giornali, ma non è stato dibattuto in Parlamento, non è stato preso di petto dalla politica. Si sono fatte una serie di scelte premiali e si è nascosto dietro il merito e la premialità un disegno che era abbastanza chiaro: separare le università in due grandi gruppi, università di serie A e di serie B, [o per dirla in altro modo] università di ricerca e università di didattica [teaching universities]… queste cose uscivano sui giornali nel 2011-2012. Tutti ricordano l’intervista a Sergio Benedetto del consiglio direttivo di ANVUR: ci saranno università di serie A e di serie B, qualcuna la chiuderemo.

Il problema è che nessuno [all’epoca] ha pensato che le università di serie B sarebbero state quasi tutte al Sud [….] e che il meccanismo di premialità sarebbe stato cumulativo, nel modo che hanno raccontato il prof. Viesti ed i suoi colleghi nel libro.

Il problema della valutazione dal mio punto di vista non è tanto quello di dire “non si deve fare la valutazione, non dobbiamo essere valutati […]” Il problema è che la valutazione come è stata messa in piedi in Italia, con i meccanismi di finanziamento automatici collegati a quella valutazione, darà luogo a questa […] università di serie A e di serie B.

E questo è il risultato anche di un errore di ottica. Noi stiamo guardando alle differenze tra università. Noi siamo abituati [a fare affermazioni del tipo]: “l’università di Napoli è peggiore dell’università di Pavia, quella di Napoli è migliore di quella della Basilicata”.

In realtà il problema è che le diversità [in termini di ricerca] interne alle università sono più grandi delle diversità tra le università. E quindi avere un sistema premiale basato [sui risultati conseguiti da un Ateneo] università [finisce per] punire i gruppi buoni dentro le università “peggiori”. E questo significa che le università “peggiori” saranno penalizzate non perché sono peggiori, ma perché il valutatore dal centro non riesce a vedere il [livello di] dettaglio [che sarebbe utile osservare]: non riesce cioè a vedere il gruppo buono dentro l’università peggiore.

DOMANDA. Questo ci riporta su un bivio ideologico. Quando diciamo liberista o statalista perché i margini di intervento in un sistema statalista, non solo pubblico, di fronte ad asimmetrie di questo tipo sono azzerati. O sbaglio?

BACCINI. A dir la verità non sarebbero azzerati. Noi abbiamo scelto una via alla valutazione che è una via non anglosassone, ma è una via che io direi sovietica. Nel senso che abbiamo pensato alla strutturazione di standard nazionali [per riprendere l’espressione usata poco fa dal prof. Graziosi] definiti da un comitato di salute pubblica. […] Il modello britannico, che non è un modello statalista in senso stretto, ha un meccanismo di valutazione molto più rigido di quello italiano, ma che lascia alle comunità scientifiche il meccanismo di valutazione e premia sulla base del singolo gruppo di ricerca e del singolo docente.

Domanda: Voglio citare qui una persona scomparsa, il prof. Giorgio Israel, che ha scritto tanto sul Mattino, ed ha scritto un libro sul primato della docimologia rispetto al dominio del sapere. C’è questo problema oggi?

BACCINI.  […] Sì. Abbiamo chiamato a [definire gli indicatori di valutazione] persone che non erano professionisti. Se si sbaglia l’indicatore poi tutto il meccanismo [di finanziamento premiale] a valle dell’indicatore è sbagliato.

 

Send to Kindle

4 Commenti

  1. È chiaro che l’agenzia è stata utilizzata, credo da ministro Gelmini in poi, quale copertura di scelte politiche.
    Non c’è niente di veramente razionale o, almeno, di ragionevole, negli atti di governo relativi all’università a partire dal 2008. I “foglioni” excel per il FFO si sono fatti giocando con i criteri a dati tutti noti, in modo da dare una parvenza oggettiva a un risultato precostituito.
    I “contingenti assunzionali” sono stati definiti introducendo una inedita premialità per gli atenei che avevano le tasse più alte, in molti casi nel disprezzo della Legge. Apparente oggettività per assumere molto più al Nord che al Sud.
    Adesso si è deciso che al Sud la situazione economica è diventata insostenibile e Graziosi “prepara” il documento sul FFO.
    DISCLAIMER: il mio ateneo (meridionale), storicamente sottofinanziato, ha tratto grande giovamento dall’introduzione della quota premiale e del costo standard, con significativi incrementi del FFO negli ultimi anni. Siamo, credo, un sottoprodotto non previsto.

    • La “perequazione” della protesta è stata solo parziale. Il MIUR ha introdotto un correttivo che serve a riproporzionare l’indicatore IRFS. E’ da notare che MIUR ha anche usato un IRFS diverso da quello fatto circolare dalla CRUI e calcolato da ANVUR. Il MIUR ha cioè usato un IRFS “addomesticato” che ha reso più “dolce” il terremoto prodotto dai risultati VQR. Questo non è bastato: e il MIUR ha introdotto una ulteriore perequazione esterna per evitare che l’illusione ottica (cioè la VQR 2011-2014) producesse disastrosi effetti economici su alcuni atenei.