Rassegna Stampa

Pagelle agli atenei? L’Anvur manca di base scientifica

L’intervista di Anna Di Russo (Corriere dell’Università Job) a Giuseppe De Nicolao, redattore del sito Roars. La VQR riuscirà a far valere il merito? Le pagelle degli atenei: perché in testa ci sono le università delle città medio piccole? C’è pericolo di strumentalizzazioni? Il CNR ha ragione di recriminare per il modo in cui è stato valutato? Esiste un modo alternativo di valutare?

__________________

Oggi in molti scrivono che il mondo della ricerca è finalmente riuscito ad accettare l’idea di farsi esaminare. L’operazione aiuterà a far valere il merito? 

In Italia, non sembra possibile avvicinarsi alla valutazione della ricerca senza evocare il giorno del giudizio o toni da “giustiziere della notte”. Non è un’esagerazione. C’è una dichiarazione di un collaboratore dell’ANVUR che merita di essere riportata per esteso:

facciamo funzionare l’ANVUR), lasciamo che gli ordinari vecchi vadano in pensione, facciamo mobbing su quelli giovani ma mediocri o peggio per farli andare in pensione (p.es. tagliamoli fuori dalle commissioni di concorso e facciamone degli zombies). Quando poi i nostri colleghi avranno imparato ed il clima sarà cambiato, allora i soldi saranno ben spesi. In questo processo ci saranno delle ingiustizie? Purtroppo sì, ma sempre meno di quelle che ci sono state finora con il sistema baronale tradizionale.

Mobbing, colleghi da “zombizzare” e giustizia sommaria: le abilitazioni secondo un esperto dell’ANVUR

L’autore di questa dichiarazione è ancora al suo posto e l’agenzia non ha ritenuto di dover rispondere a chi aveva denunciato una plateale violazione del codice etico. Altrove, per esempio nell’Inghilterra così spesso sbandierata come modello, nessuno si sognerebbe di difendere la giustizia sommaria. Nel governo di un sistema complesso è necessario “conoscere per deliberare” e una conoscenza insufficiente o errata porta a decisioni inadeguate. In Italia, i peggiori nemici della valutazione sono i “crociati della valutazione” che, ignari dei risvolti scientifici, tecnici e sociali, ne hanno una visione taumaturgica, quasi la sua sola evocazione avesse poteri magici. Valutare è difficile, valutare richiede competenze tecniche, valutare richiede consapevolezza dei margini di incertezza di quanto viene misurato e anche l’umiltà di comprendere che ci sono aspetti non valutabili quantitativamente che possono essere più importanti di quelli quantificabili. I crociati della valutazione, messi di fronte ad errori macroscopici e ad obiezioni circostanziate da evidenze scientifiche o confronti internazionali, si rifugiano in proverbio buoni per tutte le stagioni sul meglio che sarebbe nemico del bene e insinuano che chi critica finisce per fare il gioco dei miscredenti, ovvero dei “nemici della valutazione”. Ridurre il tutto ad un gioco di “buoni e cattivi” e di “premi e punizioni” è una semplificazione che ha molta presa, ma che porta fuori strada. Qui è in gioco lo sforzo di comprendere meglio una realtà estremamente sfaccettata per aiutarla a crescere meglio. La ricerca è un fenomeno sociale articolato con dimensioni storiche, geografiche e generazionali. Difficile credere che per farla prosperare basti distribuire alla meno peggio caramelle e pezzi di carbone. E in ogni caso, la cautela nell’uso d’incentivi e disincentivi deve essere commisurata alla qualità delle informazioni raccolte. Tornando alla VQR, è giusto prendere atto che si è fatto un primo passo, ma anche che si è partiti barcollando.

L’Anvur ha presentato le pagelle. C’è il rischio che queste possano essere strumentalizzate?

Purtroppo, l’ANVUR si è mossa in modo poco professionale, compromettendo il proprio ruolo tecnico/scientifico. Gli addetti ai lavori sanno bene che le pagelle degli atenei, così care ai mass-media perché facili da raccontare e da recepire, non hanno base scientifica. Non a caso, l’agenzia di valutazione inglese, l’HEFCE afferma di non aver prodotto e di non aver intenzione di produrre nessuna classifica delle istituzioni valutate, mentre i rapporti dell’ANVUR pullulano di classifiche ad ogni angolo. L’agenzia di valutazione inglese, invece di fare classifiche, produce i cosiddetti “profili di qualità”, utilizzati per ripartire le risorse tra gli atenei. Anche l’ANVUR produce qualcosa di analogo, ma poi preferisce alimentare le chiacchiere da bar, più adeguate ad un tabloid che ai rapporti tecnici di un’agenzia che abbia ambizioni di serietà scientifica.

In testa alle classifiche ci sono le università delle città medio piccole. Come si può spiegare questo risultato?

Il motivo per cui le agenzie di valutazione che operano in modo professionale si rifiutano categoricamente di pubblicare classifiche è tutt’altro che ideologico, ma, piuttosto, di natura scientifico-tecnica. Come non si possono confrontare le mele con le pere, allo stesso modo non si possono confrontare atenei di dimensioni diverse senza falsare la competizione. Su ROARS abbiamo mostrato che per elementari ragioni statistiche – note a tutti gli esperti – all’interno di un gruppo di atenei che produce ricerca di qualità analoga, quelli più grandi hanno maggiori probabilità di stare al centro classifica. L’ANVUR ha cercato di metterci una pezza suddividendo gli atenei in tre categorie dimensionali, ma si tratta solo di un palliativo, perché, all’interno di ciascuna categoria dimensionale, si ripropone l’handicap per gli atenei più grandi. Inoltre, le classifiche così ottenute dipendono da dove si collocano le linee di demarcazione. Fenomeni arcinoti che fanno sorridere gli esperti, ma che orientano l’opinione pubblica e distorcono le scelte delle matricole. È lecito domandarsi se all’ANVUR manchi la competenza tecnica o se subordini il rigore scientifico alla costruzione di un consenso intorno ad una particolare visione di sistema universitario che vede nella retorica delle classifiche un potente strumento di persuasione, a prescindere dalla loro serietà.  Ricordiamo che l’operazione VQR era stata promossa dal suo coordinatore Sergio Benedetto con dichiarazioni che vedevano le classifiche come strumento punitivo:

Alla fine del vostro lavoro avremo una mappatura dell’università italiana, con indicata la serie A la serie B… e la serie Z [….] E qualche sede dovrà essere chiusa.

A non uscirne benissimo è il Cnr. Nicolais ha sottolineato che ci sono realtà, come appunto il Cnr, che oltre a fare ricerca si occupano anche di trasferirla alle aziende e alle istituzioni. L’Anvur non sempre ha considerato la missione dei vari enti…

Per il CNR, di gran lunga l’ente di ricerca più grande, può valere ovviamente quanto già detto a proposito delle classifiche che difficilmente vedono primeggiare i grandi. Credo tuttavia che il grosso problema sia aver affrontato la valutazione del CNR secondo metriche costruite su misura dell’università, senza un confronto internazionale con enti di ricerca analoghi. Qualche tempo fa era stata SCImago a sviluppare un’analisi bibliometrica della produzione scientifica di alcuni enti di ricerca europei, tra cui il CNR. Sebbene questi confronti vadano presi con cautela, il CNR non sfigurava, mentre invece la VQR ci restituisce, questa volta a livello nazionale, un quadro meno lusinghiero. È lecito domandarsi se sia stato corretto richiedere ai ricercatori del CNR di presentare sei pubblicazioni ciascuno, ovvero il doppio di quelle richieste agli universitari. L’assunto è che gli universitari assolvono un doppio compito di didattica e di ricerca, mentre i ricercatori degli enti di ricerca, dediti alla sola ricerca dovrebbero avere una produttività doppia. In questo modo per gli enti è aumentata la probabilità di trovarsi di fronte a prodotti mancanti che, tra l’altro, comportano una penalità negativa erodendo il contributo dei prodotti “buoni”. Ma è proprio vero che, siccome negli enti non ci sono lezioni da tenere, il modello di riferimento per tutti gli enti di ricerca può essere un universitario che lavora il doppio, anzi che raddoppia la propria produzione di eccellenza? Un approccio scientifico avrebbe richiesto un confronto internazionale per individuare delle metriche che tenessero conto delle specificità qualitative e quantitative non solo dei diversi enti, ma anche dei loro sottoinsiemi.

Quale potrebbe essere un modo alternativo di valutazione?

Se si leggono le statistiche bibliometriche internazionali riportate dall’ANVUR (Parte terza del Rapporto Finale ANVUR: I confronti internazionali nelle Aree bibliometriche), dati interessantissimi, ma su cui è stata messa la sordina, la ricerca italiana occupa un ruolo di tutto rispetto con risultati quantitativi e qualitativi che, rapportati agli investimenti, sono del tutto congrui se non addirittura di rilievo. Si tratta di un patrimonio che deve essere tutelato e potenziato: sarebbe da irresponsabili menare una clava a casaccio. A proposito di merito ed eccellenza, parole spesso usate a sproposito, non possiamo permetterci un’agenzia di valutazione che sconta un grave ritardo tecnico-scientifico nei confronti dello stato dell’arte della letteratura scientometrica ed anche nei confronti delle esperienze di valutazione internazionali. Una valutazione imprecisa ed amatoriale non solo distorce l’allocazione delle risorse ma svolge un ruolo diseducativo nei confronti dei ricercatori, incentivando comportamenti opportunistici con tutti i danni che ne conseguono. L’uso naive della bibliometria ci vede in controtendenza nei confronti non solo dell’esperienza inglese e australiana, ma anche dell’intera comunità scientifica internazionale (DORA. Contro la bibliometria-fai-da-te. ANVUR sempre più sola), come testimoniato dalla recente San Francisco Declaration on Research Assessment, secondo la quale

the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.

Quale potrebbe essere un modo alternativo di fare valutazione? La risposta è semplice: chi arriva tardi sulla scena della valutazione ha il vantaggio di poter imparare dagli errori e dalle esperienze altrui. Non è quindi il caso di reinventare la ruota, magari fabbricandola quadrata come i “quadrati magici” bibliometrici dell’ANVUR, ma si tratta di andare sul sicuro usando metodi bibliometrici collaudati o procedure di valutazione già adottate altrove: meno ideologia e più studio della letteratura e delle esperienze internazionali.

E anche più attenzione al rispetto del codice etico: in nessun paese del mondo, l’agenzia di valutazione  nazionale può fare finta di nulla di fronte ad un suo collaboratore che evoca “mobbing” e “zombizzazioni” dei colleghi.

________

Domande di Anna Di Russo; una versione leggermente più breve è apparsa su Corriere dell’Università Job che ringraziamo per l’autorizzazione a riprodurre il testo.

 

Send to Kindle
Tag: , , , , , , , , , , , , ,

6 Comments

  1. Pingback: Lapsus e fiocco rosa – Ocasapiens - Blog - Repubblica.it

  2. Da un primissimo sguardo d’insieme a dati e tabelle mi pare che uno dei punti più sgangherati dell’Esercizio rimanga la giustapposizione dei due metodi di valutazione (bibliometria e peer-review), mal tarati nella fissazione ed implementazione delle rispettive classi di merito.
    Dico cioè che, nonostante il tentativo di far passare sottotraccia le differenza di giudizio ottenute con i due metodi, e l’avvertimento a non confrontare fra di loro “settori non-bibliometrici” e “settori bibliometrici”, il vulnus all’affidabilità dell’impresa è piuttosto elevato.
    E questo sia perché non esistevano “classi bibliometriche pure” (cfr. i “quadrati magici” di Benedetto), e quindi si sono sempre sommate pere e mele, ma anche perché, a gran dispetto dei tentativi di impedire la summenzionata comparazione fra Aree, nei fatti il capitolo statistico-finanziario che si aprirà con l’utilizzo della VQR per il FFO non potrà che fare questo, cioè utilizzare i dati grezzi e i rispettivi profili di qualità (nelle diverse Aree) per fare i conti.
    Ricordo che in UK per un esercizio come il RAE/REF è invece un assioma inviolabile il fatto che gli standard valutativi e il loro rispetto siano del tutto comparabili all’interno e fra le diverse Aree di ricerca. Anche per questo si usa solo la peer-review, e il compito dei responsabili dell’Esercizio è quello, per l’appunto, di particolarizzare gli standard di qualità per l’uso concreto nelle rispettive aree, da parte dei singoli revisori, mantenendone intatta la validità e la comparabilità.
    Insomma, o si fa seriamente un esercizio come questo, basato sulla comparabilità, e si è capaci di farlo, o ci si dichiara incapaci dall’inizio e non si tenta di gabellare vino da tavola con vino DOCG.
    Ci sono molte altre prassi valutative di sistema, al di fuori del Regno Unito, che non si basano su valutazioni comparative, e che rimangono non a caso le più usate e le meno problematiche.

  3. Un’altra primissima annotazione sui dati forniti da questo Esercizio. L’ANVUR ha pubblicato, fra l’altro, una serie di tabelle statistiche dei risultati relativi ai “Soggetti Valutati”. Parliamo cioè dei singoli accademici/ricercatori che hanno conferito i loro N prodotti (N fra 0 e 6) come contributo alla valutazione della propria Struttura che, sola, era da considerare come Oggetto della valutazione (melius: come “Struttura valutanda” poteva considerarsi o l’Area di Ricerca, o l’intera Università, o il Dipartimento, secondo le prescrizioni del Bando).
    Ebbene, grande è stata la sorpresa nel vedere la presentazione dei risultati secondo un livello di dettaglio che, sebbene sempre fornito per aggregati statistici, non era previsto ab ovo. Anzi, v’è stata l’ulteriore anbalisi della prestazione dei reclutati post-2006 e pre-2006, che prefigura un qualche utilizzo separato e separabile di questo Esercizio per altri fini, ad esempio per la determinazione di una frazione (20%?) della quota premiale dell’FFO.
    Non devo ricordare qui gli innumerevoli richiami da parte di tutte le parti in causa a considerare significativo (almeno per quanto si può concedere) solo il dato a livello aggregato, visto che la stessa procedura di conferimento dei prodotti da parte dei singoli era stata orientata a massimizzare il risultato atteso della struttura, e non quello individuale.

    • Eh sì Renzo hai ragione. Suggerisco a tutti di guardare con attenzione le tabelle 4.14 e 4.15 del rapporto di Area13. Si può calcolare per ogni dipartimento il numero di ricercatori che ha avuto voto medio inferiore a 0, voto medio zero e così via. Che il mobbing e la caccia agli zombies abbia inizio!

    • Marco Bella says:

      Capisco di trattare un argomento controverso, ma i dati che più di tutti sarebbero utili sono proprio i dati individuali dei singoli prodotti inviati per la VQR. Come già osservato le classifiche basate sui dati aggregati sono molto variabili in base proprio a come sono aggregati i dati. Inoltre, la presenza di pochi inattivi stravolge la posizione dei singoli dipartimenti. Come sarebbe possibile per una struttura migliorare se la lista degli inattivi non è nota? Inoltre, come giustamente osservato, in alcuni casi è possibile addirittura risalire alle valutazioni individuali disaggregando i dati. Nella mia area (03) coloro che erano attivi erano oltre il 97%: non ci vedrei davvero nulla di male se arrivasse un minimo di stigma sull’altro 3%. Insomma, OK a tutte le critiche motivate verso ANVUR, no al mobbing, però forse qualche velata critica a non ha nemmeno 3 prodotti in 7 anni andrebbe mossa…

    • Non si intendeva che i dati individuali relativi agli “inattivi” debbano essere un segreto, per l’Università: del resto esistono ed esistevano già ben più semplici metodi per verificare la produzione scientifica del personale accademico.
      Si rimarcava come il “proprium” della valutazione VQR, pur passando attraverso l’attribuzione di una classe di merito a ciascun prodotto conferito, sia la valutazione delle strutture, ed era in vista di tale scopo che sono state pensate le regole principali, nonché sono stati scelti i prodotti, da parte dei singoli.

Leave a Reply

Sostieni ROARS

Sostieni ROARS