VQR, classifiche ed errori di misura

In questo breve contributo viene discusso l’effetto dell’ “errore di misura” sulle classifiche delle strutture nella VQR. Mediante delle semplici simulazioni numeriche viene mostrato che anche una piccola probabilità di errore da parte delle commissioni nella valutazione del singolo articolo può comportare un significativo cambiamento del ranking. Inoltre, viene discussa la sensibilità delle classifiche alla particolare scelta dei punteggi numerici assegnati ai lavori: persino la modifica di un singolo valore assegnato ad una classe di merito – ad esempio, l’attribuzione di 0.7 invece di 0.8 per i lavori ritenuti “buoni” – può incidere sostanzialmente sulla classifica delle strutture.

Sono i primi giorni di agosto. Giorni di ferie, in cui mi sono ripromesso di non occuparmi di ricerca o didattica per un po’. Ma continua a frullarmi nella mente una battuta con un collega all’indomani della pubblicazione dei risultati della VQR e delle relative classifiche: “ma hanno tenuto conto dell’errore di misura?”. Ed allora decido di rompere parzialmente la promessa, aprire il portatile e fare qualche semplice simulazione.

Prima di procedere vorrei formulare una triplice premessa.

Per prima cosa non concordo con molti degli assunti e dei metodi adottati dall’ANVUR, anche se li riproporrò nel seguito in maniera semplificata: a mio modestissimo parere, credo che diversi aspetti della VQR, nella sua attuale impostazione, non la rendano adeguata ad effettuare una valutazione scientificamente seria dell’università e degli enti di ricerca, come ampiamente suggerito nei vari contributi di ROARS.

Secondo: pur non rientrando direttamente tra i soggetti valutati, in quanto nel periodo di riferimento ero prima addottorando e poi assegnista di ricerca, faccio presente che il mio dipartimento ed il mio gruppo di ricerca hanno ottenuto una buona valutazione; pertanto non è certo con spirito di rivalsa che sono arrivato alle considerazioni che riporterò di seguito.

Come ultimo punto, vorrei inoltre sottolineare che le riflessioni espresse in questa sede devono essere prese con le dovute cautele, a causa delle varie e già menzionate semplificazioni, che renderanno le mie valutazioni poco più di un sudoku estivo. Un sudoku che però potrebbe risultare piuttosto istruttivo.

La domanda da cui sono partito è la seguente: come vengono influenzati i vari ranking e le relative valutazioni della VQR dalla presenza dell’ “errore di misura”? I valutatori, infatti, in virtù della loro natura umana, non sono infallibili e potrebbe capitare – ad esempio – che un prodotto buono sia classificato come eccellente e viceversa. Anche nel caso in cui la classificazione fosse eseguita in modo automatico, potrebbe capitare che qualcuno dei parametri bibliometrici considerati risulti erroneo: con una citazione in più o in meno si passa facilmente da una classe di merito all’altra. E’ pertanto più che lecito chiedersi come questi fenomeni possano influenzare la valutazione finale di un’intera struttura.

Non avendo a disposizione i dati reali procederò ad effettuare alcune simulazioni su dei soggetti fittizi. Considererò 100 strutture di ricerca con un numero di ricercatori valutati compreso tra 20 e 40. Per ogni ricercatore supporrò che la valutazione di ciascuno dei suoi tre lavori possa aver assunto con uguale probabilità i valori numerici [0, 0.5, 0.8, 1] adottati dall’ANVUR (per semplicità ho escluso i casi relativi ai valori -1 e -2, statisticamente meno frequenti). La fotografia dell’insieme di strutture che si ottiene in questo modo è riportata nella figura 1. Come si può osservare dal grafico, la media della valutazione varia tra 0.48966 e 0.68667, con una distribuzione della media che sembra affetta solo moderatamente dall’effetto imbuto, a causa della relativa omogeneità tra le dimensioni delle strutture. Mi preme sottolineare che la scelta di considerare ugualmente probabile la classificazione di merito di un lavoro è arbitraria e intesa unicamente a generare lo scenario iniziale, che resterà fisso per il resto delle simulazioni.

Supponiamo ora che le valutazioni possano essere soggette ad errore, con una probabilità relativamente bassa. In particolare, ipotizziamo che nel solo 1% delle singole pubblicazioni, la valutazione possa aver sopravvalutato (o sottovalutato) il prodotto di una classe di merito (passando ad esempio da 0.5 a 0.8, o da 1 a 0.8). Con una terminologia derivata dal calcolo delle probabilità mi riferirò con il termine “realizzazione” ad una fotografia delle strutture valutate, nell’ipotesi che siano stati effettuati degli errori casuali con la probabilità considerata.

In figura 2 ho riportato un esempio di realizzazione, confrontando la media tra i soggetti in assenza ed in presenza dell’errore di valutazione. Come era prevedibile, in alcuni casi l’errore ha effetti positivi sulla media, in altri ha un effetto negativo. In figura 3 ho invece riportato l’effetto dell’errore sul rank delle strutture, che arriva, in questa particolare realizzazione, ad un’oscillazione massima di ben 18 posizioni.

Naturalmente, le due figure viste in precedenza, trattando una singola realizzazione, non possono assumere un elevato valore statistico. Per ovviare a questo problema in figura 4 viene riportata la probabilità di avere una differenza delle posizioni nel ranking maggiore o uguale di una certa soglia, ottenuta considerando 1000 realizzazioni. La probabilità di avere una variazione del ranking di 5 o più posizioni è del 10%!

C’è da sottolineare che i valori ottenuti sono relativi alla particolare popolazione di strutture considerata, ma l’aspetto interessante è che anche una probabilità minima di errore pari all’1% sulla valutazione del singolo lavoro porta ad avere delle differenze non trascurabili sulla classifica globale. Per vedere l’effetto di una maggiore incidenza di errore di valutazione ho considerato anche una probabilità di errore sul singolo articolo del 5%, il che significa sbagliare di una sola classe la valutazione di un lavoro su 20 – ipotesi in fondo non così irragionevole. In tal caso si ottiene il grafico riportato in figura 5. Lascio a voi lettori i commenti.

C’è poi un secondo aspetto della VQR che mi ha fatto riflettere molto, ossia l’assegnazione dei valori numerici [0, 0.5, 0.8, 1] alle quattro “classi di merito” considerate. Tale scelta è del tutto arbitraria, ma le sue conseguenze sulla valutazione e sui ranking delle strutture sono tutt’altro che banali.

In via ipotetica, se le classi di valutazione dei lavori fossero solo due, la classifica ottenuta risulterebbe sempre la medesima, qualunque fosse il valore assegnato a ciascuna delle due classi (purché si trattasse di valori numerici distinti). Ma da tre classi di merito in su, i valori assegnati contano in modo considerevole. Considerando un banale esempio, un’ipotetica struttura con due lavori valutati 0.5 e 1 otterrebbe una media inferiore ad una struttura con due lavori stimati 0.8 e 0.8. E cosa accadrebbe se invece di 0.8 si scegliesse il punteggio di 0.7 o 0.75? La posizione relativa in classifica delle due strutture cambierebbe.

Qual è dunque il criterio giusto per scegliere i punteggi da attribuire alle singole classi di merito? Le possibili scelte numeriche equivalgono, ovviamente, a pesare in maniera diversa ciò che si ritiene eccellente, buono ed accettabile. Per fare un paragone sportivo, è come passare da un campionato con tre punti assegnati alla squadra vincitrice piuttosto che due – con tre punti la vittoria è più “premiata” rispetto al pareggio. Io, nel mio piccolo, non saprei quale criterio adottare, ma sono curioso di capire come le classifiche possano essere influenzate da quella che, alla fine dei conti, è una scelta del tutto arbitraria.

Ad ogni modo, in figura 6 è possibile vedere qual è la variazione nella media se consideriamo la sola variazione del valore numerico scelto per i prodotti di buona qualità, passando da 0.8 a 0.7, mentre in figura 7 viene mostrato l’effetto della stessa variazione sul ranking. A parte un’ovvia diminuzione del valore della media, in ben 16 casi abbiamo una variazione della posizione in classifica maggiore o uguale a 5 posizioni!

Figura 7: Variazione del ranking delle strutture con un cambiamento di un solo valore di una classe.

Variazioni ancora più significative possono essere ottenute se a cambiare sono i valori numerici assegnati a due classi di merito invece che ad una sola. In figura 8 è riportata la variazione nel ranking ottenibile se i valori numerici assegnati sono [0, ⅓, ⅔, 1]. Il grafico che se ne ricava ha qualcosa di grottesco se si pensa all’eventuale studente che deve scegliere tra la Facoltà A e la Facoltà B alla quale iscriversi (mi si perdoni il termine Facoltà, ma sono un nostalgico).

Figura 8: Variazione del ranking delle strutture con un cambiamento del valore di due classi.

Vorrei ora esprimere una considerazione finale sui risultati ottenuti. Ho esaminato due diversi aspetti per cercare di capire la “sensibilità” di alcuni dei procedimenti adottati nella VQR. Le prove che ho effettuato non hanno la pretesa di fornire dei risultati validi in senso assoluto, ma di mostrare, da un punto di vista un po’ diverso da quelli espressi in precedenza su ROARS, che le classifiche sono degli strumenti caratterizzati da un tale livello di sensibilità ed arbitrarietà che il loro impiego dovrebbe essere inteso solo come un dispettoso sudoku estivo. E non certo per dividere i buoni dai cattivi o per “indirizzare” le scelte degli studenti.