Pagelle agli atenei? L’Anvur manca di base scientifica

L’intervista di Anna Di Russo (Corriere dell’Università Job) a Giuseppe De Nicolao, redattore del sito Roars. La VQR riuscirà a far valere il merito? Le pagelle degli atenei: perché in testa ci sono le università delle città medio piccole? C’è pericolo di strumentalizzazioni? Il CNR ha ragione di recriminare per il modo in cui è stato valutato? Esiste un modo alternativo di valutare?

__________________

Oggi in molti scrivono che il mondo della ricerca è finalmente riuscito ad accettare l’idea di farsi esaminare. L’operazione aiuterà a far valere il merito? 

In Italia, non sembra possibile avvicinarsi alla valutazione della ricerca senza evocare il giorno del giudizio o toni da “giustiziere della notte”. Non è un’esagerazione. C’è una dichiarazione di un collaboratore dell’ANVUR che merita di essere riportata per esteso:

facciamo funzionare l’ANVUR), lasciamo che gli ordinari vecchi vadano in pensione, facciamo mobbing su quelli giovani ma mediocri o peggio per farli andare in pensione (p.es. tagliamoli fuori dalle commissioni di concorso e facciamone degli zombies). Quando poi i nostri colleghi avranno imparato ed il clima sarà cambiato, allora i soldi saranno ben spesi. In questo processo ci saranno delle ingiustizie? Purtroppo sì, ma sempre meno di quelle che ci sono state finora con il sistema baronale tradizionale.

Mobbing, colleghi da “zombizzare” e giustizia sommaria: le abilitazioni secondo un esperto dell’ANVUR

L’autore di questa dichiarazione è ancora al suo posto e l’agenzia non ha ritenuto di dover rispondere a chi aveva denunciato una plateale violazione del codice etico. Altrove, per esempio nell’Inghilterra così spesso sbandierata come modello, nessuno si sognerebbe di difendere la giustizia sommaria. Nel governo di un sistema complesso è necessario “conoscere per deliberare” e una conoscenza insufficiente o errata porta a decisioni inadeguate. In Italia, i peggiori nemici della valutazione sono i “crociati della valutazione” che, ignari dei risvolti scientifici, tecnici e sociali, ne hanno una visione taumaturgica, quasi la sua sola evocazione avesse poteri magici. Valutare è difficile, valutare richiede competenze tecniche, valutare richiede consapevolezza dei margini di incertezza di quanto viene misurato e anche l’umiltà di comprendere che ci sono aspetti non valutabili quantitativamente che possono essere più importanti di quelli quantificabili. I crociati della valutazione, messi di fronte ad errori macroscopici e ad obiezioni circostanziate da evidenze scientifiche o confronti internazionali, si rifugiano in proverbio buoni per tutte le stagioni sul meglio che sarebbe nemico del bene e insinuano che chi critica finisce per fare il gioco dei miscredenti, ovvero dei “nemici della valutazione”. Ridurre il tutto ad un gioco di “buoni e cattivi” e di “premi e punizioni” è una semplificazione che ha molta presa, ma che porta fuori strada. Qui è in gioco lo sforzo di comprendere meglio una realtà estremamente sfaccettata per aiutarla a crescere meglio. La ricerca è un fenomeno sociale articolato con dimensioni storiche, geografiche e generazionali. Difficile credere che per farla prosperare basti distribuire alla meno peggio caramelle e pezzi di carbone. E in ogni caso, la cautela nell’uso d’incentivi e disincentivi deve essere commisurata alla qualità delle informazioni raccolte. Tornando alla VQR, è giusto prendere atto che si è fatto un primo passo, ma anche che si è partiti barcollando.

L’Anvur ha presentato le pagelle. C’è il rischio che queste possano essere strumentalizzate?

Purtroppo, l’ANVUR si è mossa in modo poco professionale, compromettendo il proprio ruolo tecnico/scientifico. Gli addetti ai lavori sanno bene che le pagelle degli atenei, così care ai mass-media perché facili da raccontare e da recepire, non hanno base scientifica. Non a caso, l’agenzia di valutazione inglese, l’HEFCE afferma di non aver prodotto e di non aver intenzione di produrre nessuna classifica delle istituzioni valutate, mentre i rapporti dell’ANVUR pullulano di classifiche ad ogni angolo. L’agenzia di valutazione inglese, invece di fare classifiche, produce i cosiddetti “profili di qualità”, utilizzati per ripartire le risorse tra gli atenei. Anche l’ANVUR produce qualcosa di analogo, ma poi preferisce alimentare le chiacchiere da bar, più adeguate ad un tabloid che ai rapporti tecnici di un’agenzia che abbia ambizioni di serietà scientifica.

In testa alle classifiche ci sono le università delle città medio piccole. Come si può spiegare questo risultato?

Il motivo per cui le agenzie di valutazione che operano in modo professionale si rifiutano categoricamente di pubblicare classifiche è tutt’altro che ideologico, ma, piuttosto, di natura scientifico-tecnica. Come non si possono confrontare le mele con le pere, allo stesso modo non si possono confrontare atenei di dimensioni diverse senza falsare la competizione. Su ROARS abbiamo mostrato che per elementari ragioni statistiche – note a tutti gli esperti – all’interno di un gruppo di atenei che produce ricerca di qualità analoga, quelli più grandi hanno maggiori probabilità di stare al centro classifica. L’ANVUR ha cercato di metterci una pezza suddividendo gli atenei in tre categorie dimensionali, ma si tratta solo di un palliativo, perché, all’interno di ciascuna categoria dimensionale, si ripropone l’handicap per gli atenei più grandi. Inoltre, le classifiche così ottenute dipendono da dove si collocano le linee di demarcazione. Fenomeni arcinoti che fanno sorridere gli esperti, ma che orientano l’opinione pubblica e distorcono le scelte delle matricole. È lecito domandarsi se all’ANVUR manchi la competenza tecnica o se subordini il rigore scientifico alla costruzione di un consenso intorno ad una particolare visione di sistema universitario che vede nella retorica delle classifiche un potente strumento di persuasione, a prescindere dalla loro serietà.  Ricordiamo che l’operazione VQR era stata promossa dal suo coordinatore Sergio Benedetto con dichiarazioni che vedevano le classifiche come strumento punitivo:

Alla fine del vostro lavoro avremo una mappatura dell’università italiana, con indicata la serie A la serie B… e la serie Z [….] E qualche sede dovrà essere chiusa.

A non uscirne benissimo è il Cnr. Nicolais ha sottolineato che ci sono realtà, come appunto il Cnr, che oltre a fare ricerca si occupano anche di trasferirla alle aziende e alle istituzioni. L’Anvur non sempre ha considerato la missione dei vari enti…

Per il CNR, di gran lunga l’ente di ricerca più grande, può valere ovviamente quanto già detto a proposito delle classifiche che difficilmente vedono primeggiare i grandi. Credo tuttavia che il grosso problema sia aver affrontato la valutazione del CNR secondo metriche costruite su misura dell’università, senza un confronto internazionale con enti di ricerca analoghi. Qualche tempo fa era stata SCImago a sviluppare un’analisi bibliometrica della produzione scientifica di alcuni enti di ricerca europei, tra cui il CNR. Sebbene questi confronti vadano presi con cautela, il CNR non sfigurava, mentre invece la VQR ci restituisce, questa volta a livello nazionale, un quadro meno lusinghiero. È lecito domandarsi se sia stato corretto richiedere ai ricercatori del CNR di presentare sei pubblicazioni ciascuno, ovvero il doppio di quelle richieste agli universitari. L’assunto è che gli universitari assolvono un doppio compito di didattica e di ricerca, mentre i ricercatori degli enti di ricerca, dediti alla sola ricerca dovrebbero avere una produttività doppia. In questo modo per gli enti è aumentata la probabilità di trovarsi di fronte a prodotti mancanti che, tra l’altro, comportano una penalità negativa erodendo il contributo dei prodotti “buoni”. Ma è proprio vero che, siccome negli enti non ci sono lezioni da tenere, il modello di riferimento per tutti gli enti di ricerca può essere un universitario che lavora il doppio, anzi che raddoppia la propria produzione di eccellenza? Un approccio scientifico avrebbe richiesto un confronto internazionale per individuare delle metriche che tenessero conto delle specificità qualitative e quantitative non solo dei diversi enti, ma anche dei loro sottoinsiemi.

Quale potrebbe essere un modo alternativo di valutazione?

Se si leggono le statistiche bibliometriche internazionali riportate dall’ANVUR (Parte terza del Rapporto Finale ANVUR: I confronti internazionali nelle Aree bibliometriche), dati interessantissimi, ma su cui è stata messa la sordina, la ricerca italiana occupa un ruolo di tutto rispetto con risultati quantitativi e qualitativi che, rapportati agli investimenti, sono del tutto congrui se non addirittura di rilievo. Si tratta di un patrimonio che deve essere tutelato e potenziato: sarebbe da irresponsabili menare una clava a casaccio. A proposito di merito ed eccellenza, parole spesso usate a sproposito, non possiamo permetterci un’agenzia di valutazione che sconta un grave ritardo tecnico-scientifico nei confronti dello stato dell’arte della letteratura scientometrica ed anche nei confronti delle esperienze di valutazione internazionali. Una valutazione imprecisa ed amatoriale non solo distorce l’allocazione delle risorse ma svolge un ruolo diseducativo nei confronti dei ricercatori, incentivando comportamenti opportunistici con tutti i danni che ne conseguono. L’uso naive della bibliometria ci vede in controtendenza nei confronti non solo dell’esperienza inglese e australiana, ma anche dell’intera comunità scientifica internazionale (DORA. Contro la bibliometria-fai-da-te. ANVUR sempre più sola), come testimoniato dalla recente San Francisco Declaration on Research Assessment, secondo la quale

the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.

Quale potrebbe essere un modo alternativo di fare valutazione? La risposta è semplice: chi arriva tardi sulla scena della valutazione ha il vantaggio di poter imparare dagli errori e dalle esperienze altrui. Non è quindi il caso di reinventare la ruota, magari fabbricandola quadrata come i “quadrati magici” bibliometrici dell’ANVUR, ma si tratta di andare sul sicuro usando metodi bibliometrici collaudati o procedure di valutazione già adottate altrove: meno ideologia e più studio della letteratura e delle esperienze internazionali.

E anche più attenzione al rispetto del codice etico: in nessun paese del mondo, l’agenzia di valutazione  nazionale può fare finta di nulla di fronte ad un suo collaboratore che evoca “mobbing” e “zombizzazioni” dei colleghi.

________

Domande di Anna Di Russo; una versione leggermente più breve è apparsa su Corriere dell’Università Job che ringraziamo per l’autorizzazione a riprodurre il testo.