Valutazione

La valutazione della ricerca in Italia: in ritardo e tecnicamente inadeguata.

In Italia, i meccanismi di valutazione della ricerca hanno così tante storture che è c’è bisogno di ridisegnare il sistema nel suo complesso. Quello attuale non solo è stato mal concepito, ma è stato addirittura peggiorato quando si è passati dal disegno alla realizzazione pratica. Lo stato italiano sta gettando nella macchina della valutazione risorse enormi (costi diretti di ANVUR e soprattutto costi indiretti dei soggetti sottoposti a valutazione) che non sono giustificate in termini di benefici futuri. Perché non è vero che qualsiasi valutazione migliora la ricerca. Una cattiva valutazione, come quella di ANVUR, ha effetti negativi sulla qualità della ricerca. E di questo l’università italiana non ha proprio bisogno.

L’Italia ha svolto il primo esercizio di valutazione triennale della ricerca (VTR) della ricerca ben 15 anni più tardi rispetto alla prima esperienza voluta da Margaret Thatcher nel Regno Unito nel 1986. Quel primo esercizio fu condotto dal CIVR ispirandosi proprio al modello britannico: un’esperienza condotta secondo standard ragionevoli, costosa, con alcuni evidenti difetti che avrebbero dovuto essere superati nelle applicazioni successive. Solo nel luglio 2011 quell’esperienza ha avuto un seguito con l’inizio della VQR 2004-2010 guidata dalla allora neonata Agenzia Nazionale di Valutazione della Ricerca (ANVUR). La VQR si inscrive però in un contesto radicalmente cambiato, perché si svolge in contemporanea ad altre procedure che hanno ANVUR per protagonista: valutazione della didattica (AVA), accreditamento dei dottorati e Abilitazione Scientifica Nazionale. Tutte queste attività investono un mondo universitario che ha appena cambiato la propria struttura istituzionale e di governance secondo i dettami della legge Gelmini (2010). E della legge Gelmini ANVUR e la valutazione sono lo snodo centrale.

Per capire questa affermazione si deve fare un passo indietro e ricostruire la narrazione che ha giustificato gli interventi culminati nella legge Gelmini. Poco importa che questa narrazione non abbia riscontro nei fatti, come ha pazientemente mostrato Giuseppe De Nicolao (http://www.roars.it/online/spesa-risultati-efficienza-miti-leggende-e-realta-delluniversita-italiana/). Questa narrazione è stata per lungo tempo ciò-che-tutti-sanno su università e ricerca in Italia: un mondo dominato da una casta di baroni completamente autoreferenziale, votata a difendere i propri interessi corporativi e familiari. L’università italiana produce poca e cattiva ricerca, sforna laureati di cui le imprese non hanno bisogno perché anche i corsi di studio sono disegnati ad uso e consumo dei baroni e dei loro figli. L’università è perciò in parte responsabile del declino dell’Italia. Le risorse che lo stato dedica all’università sono usate in modo inefficiente e quindi sono eccessive.  La soluzione a questo sfacelo viene individuata nella creazione di un organismo centrale che valuta con parametri oggettivi le università, la ricerca che producono e la didattica che erogano. Tale visione salvifica viene sposata sia da Mussi –ministro del governo Prodi e artefice del primo progetto di ANVUR- che poi da Maria Stella Gelmini. Ed è, per così dire, accettata e metabolizzata dalla comunità accademica italiana come estrema linea di difesa rispetto ad una opinione pubblica largamente ostile ai baroni. Perché la valutazione è considerata la soluzione a tutti i problemi? Perché tutti i paesi OCSE adottano sistemi più o meno complessi di valutazione della ricerca e di assicurazione di qualità della didattica. La valutazione permette di verificare se le risorse sono usate in modo efficiente, di rendere conto ai contribuenti del modo in cui sono spesi i loro soldi; e, grazie alle tecnologie bibliometriche, di scardinare le baronie, distinguendo oggettivamente la buona ricerca da quella autoreferenziale.

Ma questa fiducia sulla valutazione è fondata? E’ davvero sorprendente che non esistano in letteratura analisi sistematiche relative ai benefici ed ai costi della introduzione ed attuazione di questi sistemi di valutazione. In particolare non esistono evidenze degli effetti sulla qualità e quantità della ricerca dell’adozione di differenti sistemi di valutazione e finanziamento. In un recente articolo su Nature John P.A. Ioannidis scrive in relazione al tema della distribuzione dei fondi per la ricerca basati su processi di valutazione, che

è uno scandalo che miliardi di dollari siano spesi senza sapere il miglior modo per distribuire quel denaro.

J.P. Ioannidis, More time for research: Fund people not projects,
Nature 477, 529–531

In Italia non solo non si è fatta nessuna analisi benefici, ma non si è neanche tratto vantaggio del fatto di arrivare buoni ultimi ai processi di valutazione, il che ci avrebbe permesso di copiare le buone pratiche adottate altrove.

Un buon disegno dell’intero sistema richiederebbe la definizione di almeno quattro istituzioni in costante interazione tra loro: il ministro che è ovviamente responsabilità delle scelte politiche; una agenzia di valutazione che svolge funzioni di organo tecnico, curando il rigore scientifico e la trasparenza della stessa; un agenzia che coordini le attività di finanziamento; un organo rappresentativo delle comunità scientifiche che interloquisca con il ministro sulle scelte politiche e definisca o concorra a definire i criteri di valutazione della ricerca.

L’Italia si è invece dotata di un sistema di valutazione e finanziamento della ricerca completamente sbilanciato, privo cioè dei contrappesi (check and balances) che servono al controllo reciproco dei principali attori. Al centro di tutto sta l’ANVUR agenzia plenipotenziaria cui sono attribuite – configurazione ormai unica al mondo dopo la recente chiusura della francese AERES – sia le funzioni di valutazione della ricerca che quelle di “assicurazione della qualità” dell’insegnamento universitario. Il consiglio direttivo, composto da sette membri, con compiti direttamente operativi è nominato dal ministro. La comunità scientifica ha un organo di rappresentanza istituzionale, il Consiglio Universitario Nazionale (CUN), disegnato secondo una logica di rappresentanza obsoleta, e che per questa ragione, è ormai tenuto ai margini delle decisioni. A fronte di questo il finanziamento della ricerca non è gestito centralmente ed avviene attraverso mille rivoli diversi non coordinati. Di fatto il sistema nella sua configurazione attuale finisce per attribuire alla politica e alla ristrettissima élite di consulenti scelti dalla politica e gravitanti intorno ad ANVUR un potere enorme e senza contrappesi su ricerca ed università. In particolare alla comunità accademica è stata sottratta la funzione centrale di definire i criteri di valutazione della ricerca. Voglio sottolineare l’importanza e la delicatezza di questo ultimo punto. ANVUR ritiene, stando a quanto scrive uno dei membri del consiglio direttivo, che quest’ultima affermazione equivalga a dire che i professori vogliono decidere come essere valutati. In tutte le esperienze internazionali di valutazione, all’agenzia di valutazione competono scelte eminentemente tecniche, mentre i criteri di valutazione (per esempio le liste delle riviste) sono messi a punto e costruiti da organismi rappresentativi della comunità scientifica o comunque costruiti con il concorso pieno e trasparente della comunità scientifica. Solo in Italia si è ritenuto che quei criteri debbano essere definiti dalla élite dei baroni di nomina ministeriale raccolti in ANVUR.

In Italia dunque tutti i piani sono sovrapposti e confusi, come mostra in maniera eclatante ciò che è accaduto per il disegno della VQR. Il Ministro (Maria Stella Gelmini) scrisse un decreto che dettava le metodologie e gli strumenti della valutazione. L’ANVUR, anziché far notare al ministro che in nessun paese del mondo il ministro dice all’agenzia come si valuta, fece qualche ritocco alle indicazioni ministeriali: il ministro aveva previsto che si dovesse usare la peer review; l’ANVUR specificò che avrebbe riguardato il 50% dei prodotti. Il Ministro aveva previsto che ci dovessero essere dei gruppi di esperti di valutazione (GEV) nominati dall’ANVUR e che ognuno di questi gruppi avesse un presidente scelto tra i membri. L’ANVUR nominò prima i presidenti dei GEV e poi, evidentemente con l’aiuto di questi ultimi, i 450 membri dei GEV. Ovviamente questo meccanismo di nomine a cascata ha facilitato la scelta di individui “organici” o “allineati” rispetto a chi esercita il potere di nomina. Tanto che almeno un GEV è stato occupato in massa da un gruppi di coautori e sostenitori di uno stesso partito politico (Fare per fermare il declino: vedi slide #18 di http://www.roars.it/online/i-love-anvur-sette-buone-ragioni-per-amare-lanvur/)). Il ministro stabilì che si potesse usare la bibliometria. L’ANVUR sollecitò i GEV, persone competenti in medicina, chimica, filosofia, giurisprudenza, etc., a creare bibliometria fai da te e scrivere classifiche di riviste. Infine uno dei membri del consiglio direttivo dell’ANVUR spiegò quasi fosse lui il ministro a un quotidiano nazionale (La Repubblica, 4 febbraio 2012) che:

Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.

La confusione nel disegno ha prodotto un altro effetto negativo. Se si attribuisce al consiglio direttivo di ANVUR compiti direttamente operativi è necessario che quel consiglio direttivo abbia competenze tecniche in merito alla tecniche di valutazione. Su www.roars.it esiste ormai ampia documentazione che le tecniche di valutazione adottate da ANVUR non rispondono agli standard minimi adottati in analoghi esercizi esteri. La vicenda delle centinaia di riviste che l’ANVUR ha “certificato” come scientifiche è significativa di un approccio tecnicamente inadeguato ai temi della valutazione della ricerca e dell’uso della bibliometria. Più in generale le scelte della VQR sono andate in una direzione completamente contraria alle raccomandazioni da tempo note in letteratura ed adesso sintetizzare nella San Francisco Declaration On Research Assessment (DORA: http://am.ascb.org/dora/).

L’adozione in Italia di meccanismi di valutazione della ricerca ha così tante storture che è difficile pensare ad interventi minimi di correzione. C’è bisogno di ridisegnare il sistema nel suo complesso, perché quello attuale non solo è stato mal concepito, ma è stato addirittura peggiorato quando si è passati dal disegno alla realizzazione pratica. Lo stato italiano sta gettando nella macchina della valutazione risorse enormi (costi diretti di ANVUR e soprattutto costi indiretti dei soggetti sottoposti a valutazione) che non sono giustificate in termini di benefici futuri. Perché non è vero che qualsiasi valutazione migliora la ricerca. Una cattiva valutazione, come quella di ANVUR, ha effetti negativi sulla qualità della ricerca. E di questo l’università italiana non ha proprio bisogno.

 

 

Send to Kindle
Tag: , , , , , , , , , , , , , , , , , , , ,

19 Comments

  1. Condivido pienamente questo articolo.
    Bisogna che la comunità accademica e i responsabili politici prendano coscienza che ci stiamo muovendo in Italia, sul tema della valutazione, in direzione opposta a quella che serve per lo sviluppo della ricerca, e per di più spendendo (o sperperando) notevoli risorsa.
    Una valutazione adeguata deve far riferimento a quanto scritto nella San Francisco Declaration On Research Assessment (DORA: http://am.ascb.org/dora/).
    E l’organizzazione della valutazione in Italia deve tener conto delle esperienze dei paesi a noi vicini come Francia e Germania.

    • Proprio così: l’Italia aveva un gran vantaggio di partenza, pur essendo ritardataria. Fare tesoro delle esperienze altrui. Cosa che non si é fatta con i risultati ben noti.

  2. ANVUR si sta rivelando sempre’ piu’ una grande occasione mancata, anche se alla fine la disponibilita’ di una grande mole di dati potrebbe forse consentire delle rielaborazioni con qualche distorsione in meno.

    Senza voler parlare di malafede ci sono criticita’ che riducono non di poco l’affidabilita’ di questa VQR. Per onesta’ va detto che, con tutte le critiche di questo mondo che si possono fare ai metodi ANVUR, chi viaggia in acque molto profonde e’ meglio che qualche riflessione seria cominci a farla, senza cercare troppe scuse.

    Mi permetto comunque di segnalare alcune stranezze:

    – La commistione Peer Review / Bibliometrico presuppone una distribuzione di punteggi molto vicina tra i due metodi, se cosi’ non e’ l’indicatore normalizzato R e’ distorto dal maggiore peso dell’ uno sull’altro metodo (che non credo ci sia distribuzione uniforme delle due metodologie per struttura).

    – Non faccio lo statistico di mestiere, mi sarei pero’ aspettato di veder comparire anche degli intervalli di confidenza delle varie soglie numeriche. Per esempio R=1 e’ cosi diverso da 0.98 o 1.01?
    Se non altro per tenere conto di fluttuazioni dovute a eventuali errori materiali come mancati agganci ISI, SCOPUS causa DOI inserito male, citazioni che su CINECA cambiano ogni giorno, per cui il paper cambia casella nella matrice, etc…

    – la disomogeita’ di percentuali di E, B, A etc ha spinto ANVUR a rinormalizzare gli indicatori, ma questo non e’ stato fatto internamente alle aree, per cui ad esempio SubGEV diversi hanno percentuali di prodotti E notevolmente diverse. Questo distorce le medie di area, pesando in modo uguale voti di provenienza diversa.
    I ranking dei dipartimenti ne risultano alterati, poiche’ e’ premiata la prevalenza numerica di persone valutate dal SubGEV piu’ generoso. Questo effetto e’ affatto non trascurabile sui dipartimenti post 240, che sono strutture piu’ grandi e maggiormente eterogenee.

    Per ragioni di spazio non vado oltre con l’elenco e mi limito a osservare che tanta confusione nasce anche da un eccesso di dettaglio, probabilmente non necessario.

    Da piccolo mi avevano insegnato che per descrivere la dinamica di un gas non dovevo sforzarmi di scrivere l’ equazione di ogni molecola, ma forse avevo capito male io….

    • Giuseppe De Nicolao says:

      Grazie del commento che punta il dito sul cuore della questione. Nelle prime settimane, l’attenzione si è focalizzata sulle classifiche double-face: una prima versione desumibile dal rapporto finale (atenei) oppure fornita dai GEV (dipartimenti), mentre una seconda differente versione veniva data in pasto alla stampa. Nel frattempo, è rimasta in ombra la questione dell’affidabilità dei “voti” della VQR. Non è questione da poco perché è su questi voti che dovrebbe basarsi la distribuzione della quota premiale del FFO. Non a caso la linea Maginot dell’ANVUR è ribadire che i voti sono OK e che gli eventuali pasticci sulle classifiche dopo tutto contano poco perché non influenzeranno la distribuzione dei fondi. In realtà, non è vero che le classifiche sono solo folklore: basta ricordare il clamore con cui il Corriere della Sera ha annunciato il “sorpasso” (vero o presunto che sia, vista la natura fluttuante delle classifiche) di Milano Bicocca ai danni di Milano Statale e la prontezza con cui l’università di Parma ha segnalato sulla sua home page il quinto posto che avrebbe ottenuto se l’ANVUR non avesse modificato i segmenti dimensionali ad uso e consumo della stampa. Detto questo, la questione dell’affidabilità dei voti è senza dubbio più centrale delle classifiche stesse (che sarebbero ulteriormente minate alle fondamenta sei i voti fossero inaffidabili). Le questioni tecniche sollevate nel commento di Marcati sono assai critiche e gettano forti dubbi sul valore dei voti forniti da ANVUR. È lo stesso rapporto tecnico ad ammettere che non è possibile comparare i voti di aree diverse, ma che la stessa incomparabilità esista tra i sub-GEV è alquanto plausibile. Se ciò fosse confermato, saremmo di fronte ad un castello di sabbia.

  3. Basta consultare le tabelle allegate ai rapporti dei GEV
    La disomogeneita’ tocca tutti, prendo solo alcuni esempi.
    In area 9, nella tabella 4.1 dell’allegato al rapporto del GEV, il subGEV 9a ha il 42.1% di prodotti eccellenti, il 9b ha invece il 73%.
    Nell’area 6 tabella 2.8 dell’allegato, il subGEV1 ha il 44.7% di prodotti E contro il 21.51 del subGEV 3.
    In area 5 la tabella 2.6 e’ dettagliata per SSD, due settori molto grandi BIO 10 al 38.47% di prodotti E contro il BIO14 al 46.39%.
    Ma il fenomeno mi pare generalizzato.

    • Giuseppe De Nicolao says:

      Rispetto alle disomogeneità nelle percentuali di eccellenti, l’ANVUR potrebbe difendersi sostenendo che le disomogeneità derivano dalla diversa qualità della ricerca nei diversi subGEV. Credo che la vera chiave sia nell’Appendice A del rapporto finale. Non a caso, la granularità della tabella A1.1 si arresta al livello di area. Se venisse resa nota la tabella disaggregata su scala più fine (SSD o subGEV, per es.) si evidenzierebbero le disomogeneità all’interno delle aree. Tale tabella quantificherebbe le distorsioni causate dagli inediti “quadrati magici”, tali forse da invalidare l’intera VQR. Difficile credere che per qualche magia le disomogeneità che si osservano tra le aree svaniscano quando la granularità diventa più fine.

  4. Approfitto della discussione per chiedere un chiarimento a chi ha analizzata a fondo i dati VQR.

    Se il voto è una una combinazione lineare con pesi interi dei punteggi (1, 0.8, 0.5, 0, -0.5, -1) perché nei file excel vengono riportati valori con svariate cifre decimali? Non dovrebbe avere una sola cifra decimale?

    Magari mi sono perso qualche passaggio io…

  5. Pingback: L’università nei tempi del berlusconismo - Francesco Sylos Labini - Il Fatto Quotidiano

  6. Pingback: L’università nei tempi del berlusconismo | Ultime Notizie Blog

  7. Pingback: L’università nei tempi del berlusconismo | Notizie italiane in tempo reale!

  8. Pingback: Università: tra un rettore e Higgs, in Italia verrebbe reclutato il primo | Notizie italiane in tempo reale!

  9. Pingback: Università: tra un rettore e Higgs, in Italia verrebbe reclutato il primo - Francesco Sylos Labini - Il Fatto Quotidiano

  10. Questo argomento è quasi parallelo a quanto detto in https://www.roars.it/online/vincenzo-me-pate-a-me/#comments mi sembra ci sia una certa concordanza sulle idee di base, ma poi si discute all’infinito su i metodi di valutazione e soprattutto, da esterno ne ho la sensazione, c’è una eterna discussione tra chi siede nella Cabina di Regia e chi non è riuscito ad entrare. Non vorrei ripetere quanto ho scritto nell’altro thread quantomeno per evitare l’aumento di entropia della discussione. Forse vale la pena di unificare le discussioni sotto un titolo del tipo: Collaborazione tra scuola e società economica, quali valutazioni, quali strumenti, quali obbiettivi……

  11. Pingback: Università, la coerenza meritocratica dei bocconiani - Il Fatto Quotidiano

  12. Pingback: Su crisi finanziaria, politica e mistificazione - Il Fatto Quotidiano

  13. Pingback: Su crisi finanziaria, politica e mistificazione | Notizie italiane in tempo reale!

  14. Pingback: ValderaSolidale » SU CRISI FINANZIARIA, POLITICA E MISTIFICAZIONE

  15. Pingback: La grande mistificazione della crisi finanziaria - micromega-online - micromega

  16. Pingback: Su crisi finanziaria, politica e mistificazione – Coscienzeinrete Magazine

Leave a Reply

Sostieni ROARS

Sostieni ROARS