VQR: Gli errori della formula ammazza-atenei dell’ANVUR

“E qualche sede dovrà essere chiusa” annuncia il coordinatore del VQR, ma la formula per dare la pagella agli atenei scricchiola. Non si può dividere per zero e, nel caso di uno “sciopero del VQR”, la formula premierebbe gli atenei che rifiutano di collaborare e punirebbe chi ha fatto diligentemente i compiti. Esiti paradossali,

frutto di disattenzione, ma anche dell’ossessione punitiva di voler usare voti negativi che instaurano meccanismi di punizione collettiva. Un ossessione che è frutto di anni di campagne di stampa contro l’università e la ricerca italiane. Al punto che persino il coordinatore del VQR ha una percezione distorta della qualità della produzione scientifica italiana. Infatti, ritiene assodata la sua mediocrità rispetto a quella mondiale. Ma basta un rapido sguardo alle statistiche bibliometriche di Scopus per vedere che la quasi totalità degli atenei statali italiani ha un “impatto normalizzato” superiore alla media mondiale.

Come noto, la pubblicazione dei criteri che verranno utilizzati nell’esercizio di Valutazione della Qualità della Ricerca (VQR 2004-2010) è stata posticipata a fine febbraio, probabilmente anche a causa delle incongruenze e degli errori segnalati su ROARS nei due articoli “VQR: la bibliometria fai-da-te dell’ANVUR”, parte I e parte II. Nel frattempo, il 4 febbraio scorso è stata pubblicata su Repubblica una lunga intervista al coordinatore del VQR, Sergio Benedetto, che non si limita a spiegare diversi aspetti dell’imminente procedura di valutazione, ma si spinge a prefigurarne le conseguenze sul futuro degli atenei italiani:

Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa. Ora rivedremo anche i corsi di dottorato, con criteri che porteranno a una diminuzione molto netta.

Come già discusso da Alberto Baccini e Francesco Sylos Labini, l’intervista di Benedetto ha suscitato grande perplessità a causa dell’invasione di campo dell’ANVUR che, travalicando i compiti assegnati per legge all’agenzia, si candiderebbe a sostituire il MIUR nell’elaborazione di decisioni eminentemente politiche.

Lo scopo del presente articolo, però, è di natura più tecnica e si propone di analizzare quella che, in base alle indiscrezioni, sarebbe la formula “ammazza-atenei” con cui verranno assegnate le pagelle che serviranno a costruire la classifica ANVUR degli atenei, primo passo per procedere alla chiusura dei corsi di laurea magistrale o di intere sedi. Per facilitare l’esposizione di argomenti un po’ tecnici, si farà ricorso all’espediente narrativo di immaginare un dialogo tra due professori italiani che discutono la formula proposta dal loro collega  Edward Lionheart, coordinatore del VQR di una nazione immaginaria, la Ruritania. Nonostante i personaggi di fantasia, il contenuto tecnico dell’analisi rispecchia integralmente quanto trapelato sul VQR italiano.

Uno strano “teorema”

Peppe aveva appena finito di correggere le prove in itinere dei suoi studenti. Scrisse 27 sull’ultimo compito e, mentre lo spostava sopra il mucchio degli altri, vide sulla scrivania pochi fogli che attirarono la sua attenzione. Il titolo era enigmatico: “L’interpretazione autentica delle percentuali del Bando”. Notò subito la terminologia statistica ed anche una manciata di assiomi e di teoremi.

“Strano, non l’ho scritto io e non è nemmeno uno dei progetti che ho assegnato agli studenti”. Aveva ancora la biro rossa in mano e, sovrappensiero, si mise a correggere. Mentre segnava in rosso, corrugava la fronte. Il primo teorema, pur formulato con il tipico linguaggio impreciso degli studenti, era quasi accettabile. Ma la “dimostrazione” del secondo teorema lo lasciò a bocca aperta.

Teorema 2

Ipotesi Si valutano tutti i prodotti di ricerca pubblicati da studiosi italiani nel periodo 2004-2010.

Tesi La distribuzione delle valutazioni rispetta con elevata probabilità la distribuzione percentuale [dei prodotti di ricerca mondiali].

Dimostrazione Impossibile per l’imprecisione della tesi, e per la mancanza dell’ipotesi che la distribuzione di qualità dei prodotti di italiani rispecchi quella mondiale, ma penso conveniate con me che la tesi è credibile.

Molti colleghi, di fronte a qualche strafalcione degli studenti, ne attribuivano subito la colpa alla deleteria introduzione del 3+2, evocando i fasti del vecchio ordinamento quinquennale degli studi. Peppe non amava questo tipo di retorica, ma di fronte a certe violenze perpetrate ai danni del linguaggio logico-matematico vacillava anche lui. “Ha ragione quel brontolone di Gedeone” pensò “dobbiamo smetterla di promuovere tutti”. Rinunciò a proseguire la lettura e si interrogò sulla provenienza dei misteriosi fogli.

“Ah, ecco! Deve averli dimenticati Gedeone quando è venuto a parlarmi di quella “classifica di Nonna Papera” proposta dall’ANVUR della Ruritania”. Qualche giorno prima, il suo collega Gedeone era venuto a chiedere lumi su una procedura bibliometrica per classificare le riviste che faceva acqua da tutte le parti. Peppe gli aveva detto che si trattava un metodo abbandonato da decenni ed aveva persino recuperato una ricca bibliografia scientifica che ne dimostrava l’inconsistenza statistica.

Il maestro del terrore

Gedeone invitò Peppe ad accomodarsi sulla poltroncina nuova di zecca chiedendogli il motivo della visita.

“Devi aver dimenticato questi fogli nel mio ufficio. Credo che facciano parte della tesina di un tuo studente”

Gedeone diede un occhiata perplesso, ma il suo volto si schiarì subito: “No, non sono di uno studente, ma me li ha mandati Edward, il mio collega ruritano. Lo sai che è stato nominato membro del consiglio direttivo dell’ANVUR, l’Agenzia Nazionale di Valutazione dell’Università Ruritana? Anzi, è lui che coordina l’esercizio di Valutazione della Qualità della Ricerca, il VQR della Ruritania.”

“Edward? Mi sfugge …”

“Ma sì, Edward Lionheart! Non ti ricordi il suo seminario dell’anno scorso? Eri proprio tu che mi avevi detto che i suoi baffi ti ricordavano un famoso attore di film horror …”

“Ah sì, adesso mi ricordo. Assomigliava in modo impressionante a Vincent Price!” esclamò Peppe.

Gedeone sorrise, ripensando alle battute che avevano scambiato un anno prima.

“Ma non divaghiamo. Edward mi ha mandato in anteprima la formula che intende usare per stilare la classifica scientifica degli atenei ruritani. È una cosa importante. Potranno finalmente chiudere le sedi che sono al di sotto della media mondiale e concentrare le risorse sulle strutture  eccellenti. Insomma, proprio come Vincent Price, anche Edward è un “maestro del terrore”, ma per i professori fannulloni!

Peppe esitò un attimo prima di replicare, pensando che, dopo tutto, Edward era un amico di Gedeone, ma non seppe resistere.

“Non so se ti ricordi, ma ‘I Maghi del Terrore’ era una “horror-comedy” di Roger Corman in cui i tre maghi, più che far paura, facevano ridere. Ecco, temo che il tuo Edward sia altrettanto maldestro quanto i tre maghi del film.”

“Ma no! Edward è uno bravissimo. Figurati che ha più di 10.000 citazioni e un h-index superiore a trentacinque!

“Non metto in dubbio che sia bravissimo nel suo campo. Il suo seminario è stato uno dei migliori degli ultimi anni. Ma l’eccellenza scientifica, da sola, non basta per coordinare un esercizio di valutazione nazionale. Guarda, per esempio. il Teorema 2 …”

“… Sì, va bene, lo ammetto, è formulato in modo poco rigoroso. Lo so che, se fosse un tuo studente, lo inseguiresti col forcone. Ma, una volta tanto, guarda alla luna e non al dito che la indica. La sostanza è giusta. È noto che il sistema universitario italiano e quello ruritano sono allo stesso livello. E non vorrai negare che, nella migliore delle ipotesi, la distribuzione della qualità degli articoli italiani rispecchia quella mondiale. Metà sopra la media mondiale e metà sotto, o persino peggio. È una supposizione più che credibile!”

Il pregiudizio errato del Grande Valutatore

Peppe sospirò profondamente, prima di impadronirsi della tastiera del PC di Gedeone digitando

normalized impact countries

nella casella di ricerca di Google. Fece clic sulla quarta risposta aprendo un articolo pubblicato sul SCImago Lab Blog dal titolo

The research impact of National Higher education Systems

In un attimo, Peppe indicò a Gedeone una figura che riassumeva la distribuzione dell’impatto normalizzato degli atenei delle prime 50 nazioni, selezionate in base alla produzione scientifica

Gedeone, sapeva che Peppe era ferratissimo su questi argomenti, ma pensò di poterlo finalmente cogliere in fallo.

“Va bene il grafico, ma, come scrive Francesco Giavazzi, in Italia abbiamo  cento università e, per di più, tutte “offrono, oltre ai corsi di triennio, corsi di biennio e di dottorato”. Pertanto, tra queste cento ce ne sono almeno 40 che non entrano nemmeno in classifica e che andrebbero chiuse. Vedi che io e Edward abbiamo ragione!” affermò con tono trionfante di chi ha messo al tappeto l’interlocutore.

“E tu ti fidi di Giavazzi?” chiese Peppe con un espressione a metà tra il compatimento e il rimprovero. Poi spiegò che in Italia ci sono 95 atenei che comprendono:

• 28 atenei non statali di cui 13 telematici;
• 9 istituti speciali (3 università per stranieri, 3 scuole speciali e 3 istituti di alta formazione dottorale), tra cui la SISSA di Trieste, la Scuola Normale e la Scuola Sant’Anna di Pisa;
• 58 università statali in senso stretto.

“Ebbene, nella classifica di SCImago ritroviamo 3 istituti speciali e 55 università statali, di cui una sola ha un impatto normalizzato inferiore alla media mondiale [l’ Univ. del Molise]. Le uniche tre università statali che non entrano in classifica sono l’Orientale di Napoli, l’Università del Foro Italico di Roma e lo IUAV di Venezia, le cui dimensioni o i cui settori di ricerca giustificano la mancata inclusione in una classifica bibliometrica. Se cerchi atenei da chiudere, faresti meglio a rivolgere l’attenzione a quelli non statali, di cui solo quattro entrano nella classifica di SCImago.”

Per un attimo, Gedeone, pensò di tirare in  ballo le altre classifiche internazionali degli atenei come la classifica QS o Times Higher Education, ma rinunciò. Era troppo noto che quelle classifiche si basavano su un cocktail di indicatori, solo in parte legati all’eccellenza scientifica, i quali favorivano gli atenei più ricchi e quelli anglosassoni. Per di più, tranne quella di Leiden, non normalizzavano le distorsioni legate alle dimensioni degli atenei. Diede un’occhiata al grafico e  tentò un’estrema difesa, non troppo convinta:

“Hai ragione, ma ci sono diverse nazioni che fanno molto meglio di Italia e Ruritania. Vedi. per esempio, l’Olanda, la Svizzera e la Danimarca”.

“È un argomento che non regge. Come trovi spiegato su ROARS, la spesa italiana per l’università, in proporzione al PIL, è 31-esima su 34 nazioni considerate, con un valore pari al 65% della media OCSE (OCSE Education at a Glance 2011, pag. 227). Peggio di noi solo Repubblica Slovacca, Ungheria e Brasile. Potendo contare su risorse limitate, il risultato del sistema universitario statale italiano appare molto buono. Per essere ancora più precisi, dovremmo rapportare i risultati scientifici non alla spesa universitaria complessiva, ma alla sola spesa per ricerca e sviluppo nel settore accademico (Higher education Expenditure on R&D – HERD). Se ti interessa saperne di più sull’efficienza del sistema della ricerca italiana dovresti leggerti l’edizione 2011 dell’International Comparative Performance of the UK Research Base. Alcuni grafici [Fig. 6.2, pag. 65, Fig. 6.4, pag. 66] mostrano in modo chiaro che la ricerca universitaria italiana è  più efficiente di quella francese, tedesca e giapponese sia come articoli prodotti che come citazioni ricevute. Oppure, cerca anche “The Scientific Impact of Italy” su Google.

Ma non divaghiamo troppo. La situazione della Ruritania è del tutto paragonabile a quella dell’Italia e pertanto …”

“… mi stai dicendo che il mio amico Edward ha preso un abbaglio affermando che la distribuzione della qualità degli articoli scientifici ruritani rispecchia quella mondiale. Devo ammettere che hai ragione. Sarebbe un pessimo colpo alla sua reputazione, se si sapesse in giro che il “Grande Valutatore”, come lo ha chiamato un’intervistatrice un po’ accondiscendente, non ha la più pallida idea delle statistiche bibliometriche degli atenei che intende valutare e ridimensionare”.

The formula

Gedeone aveva accusato il colpo e voleva riguadagnare terreno. “Però, dovrai ammettere” disse “che Edward è stato geniale nel trovare la formula che calcola la quota percentuale di finanziamento di ogni struttura. Questa formula è il cuore di tutta la valutazione nazionale in quanto permette non solo di ripartire la quota premiale, ma di dare le “pagelle” ad atenei e dipartimenti, costruendo le classifiche che potranno essere usate per ridimensionare e chiudere le strutture che otterranno voti bassi.”

In effetti, Edward doveva risolvere un problema non banale. Inevitabilmente, ognuna delle 14 aree disciplinari avrebbe usato dei metri di giudizio diversi, nel senso che la percentuale di prodotti

• eccellenti (livello A, +1)
• buoni (livello B, +0,8)
• accettabili (livello C, +0,5)
• limitati (livello D, +0)

sarebbe stata diversa da area ad area. Bisogna evitare che una struttura venisse premiata o punita solo in base alla sua composizione, per esempio perché in essa prevaleva un’area in cui un metro di giudizio particolarmente severo aveva dato punteggi più bassi che nelle altre aree. Ebbene, nel terzo foglio, Edward aveva riportato la formula che, mediante opportune normalizzazioni, risolveva lo spinoso problema.

Peppe, gli occhi fissi sulla formula, rimase in silenzio per un minuto che sembrò un eternità. Gedeone, intanto, lo guardava soddisfatto, degustando senza fretta, come un buon calice di vino, il colpo messo a segno. Improvvisamente, Peppe alzò la testa e ruppe il silenzio esclamando:

“Ma questa formula non funziona!”

Gli errori della formula ammazza-atenei

Gedeone ascoltava pietrificato. Il punto fondamentale era che il VQR ruritano, il cui bando era ampiamente ricopiato da quello italiano, per i prodotti della ricerca aveva tre ulteriori livelli di classificazione, il cui punteggio era negativo:

• non valutabile per tipologia o data (livello E, -1)
• plagio o frode (livello F, -2)
• mancante (livello  G, -0,5 per ogni pubblicazione mancante)

“Adesso ti darò quattro ragioni per cui la formula non funziona”, disse Peppe, che aveva aperto Excel e costruiva esempi illustrativi in tempo reale in cui, per semplicità, considerava una sola area.

Incongruenza 1. Dato che i punteggi assegnati ai prodotti della ricerca possono essere negativi, il denominatore  della frazione potrebbe essere uguale a zero e, come tutti sanno, non si può dividere per zero.

“Adesso stai esagerando!”, insorse Gedeone, “è un paradosso del tutto teorico; non succederà mai che il punteggio complessivo di un’intera area si annulli. È vero che ci sono troppi fannulloni e che i prodotti di livello D riceveranno zero punti, ma quel denominatore non diventerà mai nullo ….”

“… potrei dirti che noi due, da buoni ingegneri, non scriveremmo mai una frazione senza prevenire possibili divisioni per zero, ma preferisco risponderti passando direttamente al secondo problema” lo interruppe Peppe.

Incongruenza 2. Cosa succederebbe se, per protesta contro le procedure poco trasparenti dell’ANVUR, qualcuno lanciasse uno “sciopero del VQR”, rifiutando di caricare sul sito docente del CINECA i propri prodotti della ricerca. Se lo sciopero avesse successo, il denominatore potrebbe diventare negativo. Per quanto riguarda i numeratori, il punteggio delle strutture (dipartimenti o atenei) “obbedienti” sarebbe ovviamente positivo, mentre sarebbe negativo quello delle strutture “renitenti”. Dato che la divisione di due numeri negativi fornisce un risultato positivo, la formula assegnerebbe finanziamenti positivi alle strutture “renitenti”, lasciando in rosso quelle obbedienti, a cui la formula assegnerebbe valori negativi. Anzi, assegnerebbe maggiori finanziamenti a chi avesse aderito più massicciamente allo sciopero del VQR!

Incongruenza 3. Consideriamo il punteggio di una struttura relativo ai prodotti di un’area disciplinare. Se per protesta o per scarsa produttività il punteggio fosse negativo, il relativo finanziamento dovrebbe essere nullo. A quel punto, però, la somma delle percentuali per le strutture concorrenti della stessa area risulterebbe superiore al 100%. Per far tornare i conti, bisognerebbe “multare” le strutture che ottengono punteggi negativi e trasferire il ricavato alle strutture “virtuose”. È realistico?

Incongruenza 4. Questa è la più grave di tutte. I punteggi negativi finiscono per colpire indiscriminatamente nel mucchio, facendo ricadere sulle pecore bianche le colpe delle pecore nere. Immaginiamo due strutture A e B che hanno produzione scientifica quantitativamente e qualitativamente equivalente, ma la struttura B ha un numero maggiore di “fannulloni” che non presentano prodotti della ricerca, accumulando punteggi negativi. Con la formula ammazza-atenei, la struttura B avrà un finanziamento anche molto inferiore, sebbene, dal punto di vista scientifico, abbia prodotto risultati equivalenti a quelli della struttura A. Di fatto, i ricercatori attivi della struttura B, vedrebbero vanificata una parte, anche rilevante, dei loro sforzi a causa di colleghi inattivi o di colleghi che si sono dimenticati/rifiutati di caricare i propri prodotti sul sito del CINECA. Insomma, un meccanismo di punizione collettiva che, in vista delle future valutazioni, incentiva comportamenti opportunistici. Primo tra tutti, quello di inserire come coautori nei propri articoli i colleghi inattivi. Un’espediente che tutti metteranno in pratica per prevenire future penalizzazioni che ricadrebbero anche sui colleghi attivi, soprattutto se si considera la possibile chiusura o declassamento a teaching university.

Insomma, con questa formula la valutazione invece di essere un incentivo al miglioramento e alla crescita, sembra ridursi ad uno strumento di punizione collettiva, destinato a far ricadere sulle spalle di chi lavora le “colpe” dei colleghi fannulloni, tirando a fondo indiscriminatamente gli uni e gli altri. Difficile non collegare questa deformazione al pregiudizio negativo, clamorosamente smentito dalle statistiche bibliometriche, che il coordinatore del VQR nutre sulla qualità della produzione scientifica del suo paese.

L’incongruenza della formula ammazza-atenei è resa ancora più evidente se la si confronta con la formula del RAE/REF (Research Assessment Exercise fino al 2008, Research Excellence Framework dal 2008) del Regno Unito. Se usiamo i coefficienti del 2008, per una generica struttura il finanziamento sarebbe proporzionale a

7*NA + 3*NB + NC

dove NA, NB, NC indicano il numero di prodotti di livello A, B e C, rispettivamente. Nel RAE non esistono le penalità negative. Nella tabella appena mostrata, secondo l’ANVUR il Politecnico di Zenda finirebbe ultimo in classifica e sarebbe candidato alla chiusura, mentre per il RAE/REF britannico sarebbe l’ateneo più finanziato, ricevendo il 52% del finanziamento premiale di tutta la Ruritania.

A proposito di confronti, vale la pena di riportare questa dichiarazione ufficiale dal sito del RAE

RAE2008 results are in the form of a quality profile for each submission made by an HEI [Higher Education Institution]. We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.

Il RAE dice chiaramente che non compila classifiche né intende farlo in futuro. Produce dei profili di qualità, assimilabili al numero dei prodotti nei diversi livelli di qualità. Tali profili sono poi utilizzati per distribuire il “quality-related research funding” con formule come quella appena mostrata.

Un’altra valutazione è necessaria

Gedeone, però non era del tutto convinto: “Va bene, su molte cose avrai anche ragione, ma un metodo di valutazione va pur trovato. Le critiche vanno bene se sono costruttive. Meglio una valutazione con qualche errore che nessuna valutazione. Le tue obiezioni assomigliano troppo a pretesti per proteggere posizioni antimeritocratiche.”

“Caro Gedeone, ti farò un paragone. Se tu dovessi fissare un tassello ad espansione per appendere un pesante specchio e ti mancasse il trapano che faresti? Aspetteresti il tempo necessario a procurartelo. E se tua moglie ti accusasse di non volerlo appendere perché hai paura di valutarti allo specchio? Per dimostrare che non temi la valutazione lo appenderesti ad un chiodino? In tal caso, avresti sette anni di guai garantiti!”

Gli errori del VQR non possono essere liquidati come semplici distrazioni tecniche, ma sono il frutto naturale delle gravi falle architetturali del processo di valutazione, tra cui

• la confusione tra progettisti dei criteri e valutatori;
• la confusione tra eccellenza scientifica e competenza nel gestire e condurre processi divalutazione;
• la mancanza di tempo e trasparenza nella definizione dei criteri bibliometrici;
• l’uso di punteggi negativi frutto di un’ossessione punitiva talmente forte da sconfinare nella sciatteria matematica.

Prefigurando la compilazione di classifiche, il coordinatore del VQR dichiara di volersi avventurare in una scalata da cui si tengono alla larga persino gli esperti del RAE/REF britannico. E annuncia che, sulla base del VQR, “qualche sede dovrà chiudere“. Ma mostra di non essere al corrente dei dati bibliometrici relativi al posizionamento internazionale della ricerca del suo paese. E propone una formula per il calcolo delle percentuali di finanziamento del tutto inedita, che presenta diverse incongruenze se non errori veri e propri.

Sembra difficile dare torto a chi ha chiesto di fermare la macchina prima che finisca nel burrone. Un’altra valutazione è possibile, anzi necessaria.