Le promesse non mantenute del sistema di valutazione CRUI-UniBas

Lo scorso marzo, la CRUI ha sottoscritto un accordo quadro con l’Università della Basilicata per l’utilizzo di uno strumento software (SSVPSA ) fornito da quest’ultima, per riprodurre una valutazione simil-VQR due volte l’anno. Una differenza rispetto alla VQR è che lo strumento si propone di eliminare totalmente il giudizio umano. Hanno aderito circa la metà degli atenei. A giugno erano circolati due documenti che descrivevano le valutazioni fornite dal sistema, integrati da un altro documento, pervenuto a luglio, secondo il quale il sistema era stato “integrato […] senza costo aggiuntivo”, e, oltre a una valutazione “tipo FFABR”, accennava a una variazione che si è poi rivelata molto significativa rispetto a quanto promesso in precedenza per la valutazione “tipo VQR”; a fine ottobre, le funzionalità effettivamente fornite per valutazioni “tipo VQR” sono diventate un po’ più chiare, ma non troppo. A titolo di esempio, nel quadrato bibliometrico ci sono due  “triangoli delle Bermuda” (dove la VQR faceva intervenire la peer review) in cui l’algoritmo naviga a vista con correzioni “ad hoc” contrarie al più elementare buonsenso. La metodologia della VQR ha molti aspetti discutibili, come già evidenziato da ROARS. E la stessa ANVUR ha chiarito che “l’indicatore è costruito con riferimento ad uno specifico SSD e non deve essere utilizzato per confronti diretti tra SSD diversi”. Con l’adozione di SSVPSA si concretizza il  rischio di mettere in circolo risultati di qualità ancora peggiore e che essi vengano utilizzati per orientare la ricerca all’interno degli atenei. Non solo: l’altro obiettivo era supportare gli atenei nelle VQR e al momento quanto promesso in proposito non viene fornito.

1. Una VQR ogni sei mesi: eccoci qua

Il 17 marzo 2017 ROARS commentava l’iniziativa della CRUI di sottoscrivere un accordo quadro con l’Università della Basilicata per l’utilizzo di uno strumento software fornito da quest’ultima, per riprodurre una VQR due volte l’anno, con la differenza di eliminare totalmente il giudizio umano. In particolare, i documenti nel frattempo circolati negli atenei aderenti all’iniziativa indicano esplicitamente questi obiettivi per lo strumento:

• supportare la partecipazione degli atenei alle procedure nazionali (ovvero, le prossime VQR);
• essere utilizzato anche per le procedure interne di autovalutazione e di programmazione della ricerca.

La prima utilizzazione di tale “Sistema di supporto per la valutazione della produzione scientifica degli atenei” (SSVPSA nel seguito) negli atenei aderenti avviene in questi giorni (novembre 2017).

Il costo annuo per l’utilizzo del SSVPSA da parte di un ateneo dipende dal numero di docenti che ne fanno parte; se tutti gli atenei aderissero, il costo totale per gli atenei sarebbe di circa 500.000€/anno, cioè di 2 milioni ogni 4 anni (periodo di osservazione dell’ultima VQR).

A giugno (periodo in cui il mio ateneo ha aderito) erano circolati due documenti (che personalmente ho visionato solo a fine settembre) che descrivevano le valutazioni fornite dal sistema. Successivamente (a luglio) è pervenuto un altro documento, che sotto il titolo “ulteriori funzionalità”, menzionando che il sistema era stato “integrato […] senza costo aggiuntivo”, oltre a una valutazione “tipo FFABR” accennava a una variazione che si è poi rivelata molto significativa rispetto a quanto promesso in precedenza per la valutazione “tipo VQR”; a fine ottobre, con le operazioni preparatorie alla prima tornata di utilizzo del SSVPSA, le funzionalità effettivamente fornite per valutazioni “tipo VQR” sono diventate un po’ più chiare, ma non troppo.

L’iniziativa stessa dimostra che la peer review non è nella cultura della CRUI, ciononostante nel seguito fornisco un’analisi di tale tipo sulle funzionalità del SSVPSA; nella prima parte, per come sono state descritte nei primi documenti, cioè, verosimilmente, per come sono state promesse alla CRUI (e per questo motivo non si può considerare privo di interesse analizzarle); nella seconda parte, per come sembra siano effettivamente fornite, per quanto descritto nelle informazioni disponibili agli atenei aderenti. L’analisi è in gran parte relativa ai settori bibliometrici come quello a cui appartengo, perché non ho esperienza di valutazione nei settori non bibliometrici.

Non ripeto le osservazioni critiche sulla VQR vera e propria, e sull’utilizzo dei suoi risultati da parte di CRUI e MIUR, già ampiamente esposte da ROARS, in particolare le osservazioni a proposito delle operazioni aritmetiche sui percentili, e delle normalizzazioni.

Non discuto nemmeno quanto le caratteristiche di un articolo scientifico solitamente valutate nella peer review per consentirne la pubblicazione (quali significatività, originalità, qualità tecnica e della presentazione) siano o meno correlate con le “misure” (percentile delle citazioni, e percentile della journal metric della rivista; le virgolette sono dovute a quanto già ampiamente evidenziato da ROARS) la cui combinazione con il metodo delle rette, detto delle “cravatte bibliometriche” su ROARS, forniva la valutazione automatica dei prodotti nella VQR 2011/14.

2. “Superare il limite di due prodotti” e “rimuovere la componente dei revisori esperti”… però, come?

Questa sezione analizza le caratteristiche del sistema descritte nei due documenti sul SSVPSA circolati a giugno 2017 (o in precedenza) e intitolati:

• Allegato n.1, Caratteristiche principali del sistema di supporto per la valutazione della produzione scientifica degli atenei;
• Allegato n.2, Descrizione tecnica, Modello di Autovalutazione della Produzione Scientifica per le Valutazioni Basate sul Modello della VQR 2011-2014

Il secondo documento è denominato SSVPSA-A2 nel seguito. Per la valutazione “tipo VQR”, esso prevedeva per gli atenei aderenti la possibilità di personalizzare alcune funzioni, relative al numero di prodotti da valutare per soggetto, e, per i settori bibliometrici, le autocitazioni e il trattamento dei noti “triangoli”, quelli dove la VQR prevedeva informed review (IR). Era quindi naturale considerare con particolare attenzione questi aspetti del SSVPSA.

2.1 Il numero di prodotti da valutare

In SSVPSA-A2 veniva affermato che il SSVPSA:

è concepito per superare il limite dei due prodotti per soggetto indicato dalla VQR 2011-2014, e valutare per intero la produzione scientifica dei soggetti valutati

Si prevedeva per default di valutare 20 lavori per soggetto nell’arco di 4 anni. Non vi è traccia di discussione sulle ragioni che potrebbero aver condotto ad introdurre il limite di 2 lavori per soggetto nella VQR 2011-14 (e 3 nella precedente); ragioni naturalmente discutibili, anche per il fatto di utilizzare lo stesso limite per tutte le aree e settori, questo perché la numerosità della produzione scientifica è estremamente variabile in settori scientifico-disciplinari diversi (e anche all’interno degli stessi).

Figura 1

Questo è attestato ad esempio dalle soglie per la ASN, sebbene queste ultime non abbiano un significato statistico ben definito. La figura 1 visualizza con uno scatter plot le soglie relative al numero di articoli su 10 anni richieste per l’abilitazione alla I fascia nei settori concorsuali / settori scentifico-disciplinari bibliometrici (soglie pubblicate in allegato al DM 29/7/16 N.602). I valori sono riportati da sinistra a destra nello stesso ordine (per SC/SSD) in cui figurano nell’allegato al DM. Osserviamo quanto segue.

• Si vede che il valore di default di 20 prodotti per soggetto su 4 anni (5 prodotti l’anno in media), corrispondenti a 50 prodotti su 10 anni, è maggiore delle soglie di quasi tutti i settori. Si può presumere che utilizzando tale limite, per un’ampia frazione dei soggetti valutati, compresi molti di coloro che raggiungono la soglia per l’abilitazione, vi sia un alto numero di prodotti mancanti.
• In SSVPSA-A2 si fa notare che con un limite alto, o se non si pone un limite, un soggetto può raggiungere, anche volontariamente, con un alto numero di prodotti con bassa valutazione, un punteggio simile a quello di un soggetto con meno prodotti che hanno tuttavia alta valutazione; non si fornisce tuttavia una soluzione. Il problema, per soggetti che hanno una produzione numericamente simile a quella corrispondente alle soglie ASN, esiste per molti settori anche fissando un limite più basso di quello di default.
• Porre un limite molto più basso di 20, come quello della VQR (2 prodotti in 4 anni, corrispondenti a 5 prodotti in 10 anni nel grafico) ha altri difetti; ad esempio, specie per la valutazione dei singoli, in settori con produzione numericamente alta si appiattiscono i risultati potendo considerare solo una piccola frazione della produzione di ogni soggetto. In ogni caso, se per scegliere il “male minore” si usa un valore simile a quello della VQR, non si “supera il limite” imposto da quella.
• Dovrebbero essere ovvie le conseguenze di un limite di 20 prodotti in 4 anni, o anche solo 10 prodotti (corrispondenti a 25 prodotti in 10 anni nel grafico), nel caso i risultati venissero usati per il confronto tra aree diverse (anche solo all’interno di un ateneo): la numerosità della produzione dominerebbe sulla qualità, comunque misurata. Non si può tuttavia contare sull’ovvietà di tali conseguenze, se si pensa che l’invito, nel rapporto finale della VQR 2011/14, a non usare i risultati per il confronto fra aree diverse è stato immediatamente disatteso dal MIUR con le classifiche per i dipartimenti di eccellenza. Inoltre si è visto, con le pseudo-mediane dell’ASN poi diventate “soglie”, che non è ovvio poter stabilire tali limiti in modo oggettivo, anche per la scarsa qualità dei dati a disposizione.

Inoltre SSVPSA-A2 non precisava, per valutazioni di gruppi di soggetti (es. dipartimenti), se ciascun prodotto dei 20 per soggetto (o il diverso numero fissato per l’ateneo) dovesse essere utilizzato da un soggetto solo, e se, in tal caso, SSVPSA risolvesse (e come, anche in riferimento alla letteratura) il problema di ottimizzazione combinatoria della scelta dell’insieme migliore di prodotti che soddisfi le condizioni date, problema la cui soluzione potrebbe essere per lo meno costosa, in termini computazionali, con 20 prodotti a testa, specie nei casi in cui la ricerca procede facendo interagire ricercatori con competenze diverse in varie combinazioni – e procede forse anche meglio, rispetto al caso di gruppi a compartimenti stagni.

2.2 Le autocitazioni

In SSVPSA-A2 si afferma:

coerentemente con l’impostazione della VQR 2011-2014, è possibile tenere in considerazione l’incidenza delle autocitazioni sulla valutazione dei prodotti. Per default, il sistema attribuirà la classe ai prodotti considerando tutte le citazioni ricevute. E’ possibile però personalizzare i parametri in modo da considerare solo una frazione delle autocitazioni (es: 50%).

Per “frazione delle autocitazioni” si suppone si intenda quella delle autocitazioni considerate (per determinare il percentile delle citazioni del prodotto) rispetto alle autocitazioni totali. Tale possibilità non è coerente con l’impostazione della VQR 2011-14, in cui molti GEV prevedevano di poter sottoporre a IR i prodotti per i quali la percentuale di autocitazioni (sulle citazioni totali) supera il 50%. Si tratta di una frazione definita in modo diverso rispetto a quella menzionata in SSVPSA-A2. Cioè i lavori sottoposti a IR nella VQR non coincidono con quelli la cui “metrica” delle citazioni verrebbe modificata, e il trattamento è diverso nei due casi.

2.3 Il triangolo alto e il triangolo basso

In SSVPSA-A2 viene descritto un trattamento per i triangoli “alto” e “basso” che prevede quanto segue. Dato il punteggio p, ottenuto, mediante il noto sistema delle rette, con la combinazione del percentile delle citazioni e del percentile della journal metric:

• Per il prodotti nel triangolo alto, il punteggio è p aumentato del 10% (per default)
• Per il prodotti nel triangolo basso, il punteggio è p diminuto del 10% (per default)

Figura 2

Si ottiene un risultato come quello in figura 2, dove si nota, per coppie di punti come quelle agli estremi di ciascuna freccia, che un prodotto p1 che è inferiore a p2 sia per il numero di citazioni, sia per il valore della “metrica” della rivista, ottiene un punteggio migliore, mentre se si vuole usare una misura automatica, probabilmente si vorrebbe che fosse una funzione monotona non decrescente di ciascuna delle due “metriche” considerate.

L’anomalia si avrebbe per qualunque valore diverso da 0 della percentuale di correzione (cioè un fattore moltiplicativo diverso da 1), e più in generale per qualunque soluzione che assegni alla parte di una striscia appartenente al triangolo un unico valore, diverso da quello assegnato al resto della striscia; ad esempio, una correzione additiva applicata ai triangoli.

Figura 3

Infatti, in figura 3, spostandosi seguendo le frecce verdi, si vorrebbe che il punteggio non diminuisse, mentre spostandosi seguendo le frecce rosse, si vorrebbe che non aumentasse. L’unica soluzione, se si vuole usare un unico valore per la parte di striscia appartenente al triangolo, è lasciare il punteggio invariato rispetto al resto della striscia.

Nella VQR la IR era prevista in questi casi in modo che un esperto potesse dirimere il dubbio dovuto a valutazioni discordanti nelle due dimensioni del quadrato, quindi per poter dare valutazioni diverse a prodotti posizionati nello stesso punto del triangolo, cioè fare in modo che la valutazione non fosse una funzione delle due “metriche”, basandosi anche sul contenuto degli articoli.

SSVPSA-A2 descrive solo una non-soluzione per sopperire alla mancanza di IR, in uno dei casi in cui era utilizzata.

3. Allora proviamo con la “metodologia” FFABR? Ma la sua “elaborazione non va confusa con la valutazione della qualità dei risultati scientifici” (lo dice l’ANVUR!)

I triangoli e i prodotti con molte autocitazioni non esauriscono i casi per i quali nella VQR, anche per i settori bibliometrici, era previsto il ricorso ad esperti valutatori: questo valeva anche per i prodotti recenti, per i quali il tempo per accumulare citazioni è troppo corto per sperare di ottenere risultati sensati, e per altri tipi di prodotti, come le monografie.

Ciononostante, può darsi che qualcuno negli atenei aderenti all’iniziativa CRUI avesse creduto al fatto che il SSPVSA fornisse delle soluzioni per compensare la mancanza del ricorso ad esperti.

Nel frattempo MIUR e ANVUR avevano varato il FFABR (Fondo per il Finanziamento delle Attività Base di Ricerca) per assegnare 45 milioni di euro (3000 € a testa) a 15000 Ricercatori e Professori Associati individuati secondo un opportuno punteggio.

Trattandosi di una cifra nettamente inferiore a quelle distribuite in base ai risultati della VQR, era facile sospettare che in questo caso si preferisse andare ancora meno per il sottile.

In effetti il bando FFABR conteneva già un’affermazione curiosa rispetto al numero di prodotti da valutare: “Per ogni SSD è stabilito un numero massimo (scelto con riferimento alla produttività caratteristica del SSD) di prodotti” senza indicare cosa si intendesse per “produttività caratteristica”. E questi numeri massimi sono ampiamente scorrelati con le soglie ASN citate in precedenza: ad esempio, nel FFABR per tutti i settori della Fisica (eccetto Fisica Matematica) il numero massimo di prodotti considerati è 10, mentre le soglie ASN hanno, per i diversi SC/SSD di Fisica (sempre escludendo Fisica Matematica), valori decisamente diversi tra loro (da 21 a 82).

Un documento dell’ANVUR apparso di recente (datato 17 ottobre 2017, consultato il 26 ottobre) sulla “metodologia FFABR” certifica[1] che quello utilizzato è un “indicatore della produzione scientifica” la cui «elaborazione non va confusa con la valutazione della qualità dei risultati scientifici», trattandosi di un “correttivo alla mera conta dei prodotti”. Si precisa anche che “l’indicatore è costruito con riferimento ad uno specifico SSD e non deve essere utilizzato per confronti diretti tra SSD diversi che richiederebbe [sic] quantomeno l’adozione di procedure di normalizzazione/standardizzazione”. Notiamo il “quantomeno” sperando che risenta anche delle osservazioni di ROARS sulla normalizzazione.

Naturalmente, la “metodologia” non prova nemmeno a inventare una soluzione per compensare l’assenza di esperti valutatori: ai contributi “non bibliometrici” (compresi i contributi in volume, le monografie, i brevetti, etc., per i settori bibliometrici) si assegna un punteggio fisso. Per i “triangoli” le idee non sono chiarissime, perché a pag. 12 il documento sostiene che la pubblicazione “non viene utilizzata ai fini del calcolo del punteggio” e nella frase successiva che l’appartenenza ai triangoli “non incide sul calcolo del punteggio”, cioè che la pubblicazione viene utilizzata contandola come se non appartenesse al triangolo.

Per il resto la metodogia FFABR utilizza per i settori bibliometrici una valutazione simile a quella della VQR, a parte che si utilizzano le categorie Scopus così come sono, mentre nella VQR il GEV poteva definire l’insieme di riviste da considerare (e ad es. il GEV01 lo ha fatto per il settore INF/01 ignorando le categorie WoS/Scopus, ritenute non significative).

Una novità importante è l’introduzione di un peso per i prodotti che tiene conto del numero di autori: per pochi autori il peso vale 1 ma a partire da N+2, dove N è compreso fra 1 e 5, e diverso a seconda delle aree, il peso inizia a diminuire avendo valore 1/(1+log10(n-N)) dove n è il numero di autori. Ad esempio, con N=1 (il valore per l’area 1) e n=3 il peso è circa 0.769. Inoltre, per le aree 3,5,6,7 e 11b il peso viene ridotto del 10% per i coautori dal secondo al penultimo (non viene spiegato perché).

I fornitori del SSVPSA, o chi glielo ha commissionato, hanno ritenuto opportuno introdurre una modalità di valutazione “tipo FFABR” e, come già detto all’inizio, non fornire la valutazione “tipo VQR” nella forma promessa in precedenza, ma in una forma derivata da quella “tipo FFABR”. Poco male perdere la prima, dirà il lettore in base a quanto visto nella sezione precedente, ma comunque delle promesse erano state fatte, e forse in base a quelle si era saliti sul carrozzone.

Una questione non trascurabile è che la valutazione FFABR, oltre ad essere un “correttivo alla mera conta” (non c’era bisogno che lo dicesse l’ANVUR per accorgersene, ma non guasta), è pensata per i singoli autori. La VQR è invece nata per valutare strutture, per via del nota possibilità di utilizzo di un prodotto da parte di un solo autore, in caso di più autori appartenenti a uno stesso ateneo. Non discutiamo qui su quanto ci si può aspettare che le inevitabili imperfezioni di qualunque valutazione, rispetto a una indefinibile valutazione ideale, si distribuiscano uniformemente nel caso di valutazione di strutture, mentre per singoli autori, a meno che non siano molto eclettici nella propria produzione, qualcuno risulterà necessariamente penalizzato e qualcuno premiato.

Ma che cosa dovrebbe fornire attualmente il SSVPSA come valutazione “tipo VQR”, cioè per gruppi di soggetti? Il manuale menziona:

Indicatori VQR-Like, considerando i 2 migliori prodotti valutati secondo parametri mutuati da quelli della VQR 2011-2014

quindi si dice addio al “superare il limite dei due prodotti”. Il team di supporto al SSVPSA ci ha poi informato che nella valutazione tipo VQR “è possibile imporre la regola dell’utilizzo unico del prodotto nell’ambito dell’Ateneo” e “il sistema offre un algoritmo automatico per l’ottimizzazione delle scelte” ma “Il modulo di selezione dei prodotti sarà offerto agli Atenei aderenti all’avvio della prossima VQR”. Ovvero: se qualcuno pensava di usare il sistema per vedere, prima della prossima VQR, che valutazione “tipo VQR” otterrebbe la sua struttura o il suo ateneo, non potrà farlo.

D’altra parte, non è dichiarato, in mancanza di tale modulo, che cosa forniscono le valutazioni dei gruppi di soggetti, che sono offerte dal sistema, con un punteggio totale dei prodotti; in particolare non è dichiarato se ad esempio:

1. Vengono sommate le valutazioni dei soggetti, oppure:
2. Vengono sommate le valutazioni dei prodotti considerati fino a un dato limite di prodotti, dipendente dal numero di soggetti.

Il problema è che il peso dei prodotti in funzione del numero di autori introdotto per il FFABR è (forse ovviamente) sensato solo per valutazioni dei singoli: per il prodotto esemplificato in precedenza, con 3 autori, che supponiamo tutti interni al gruppo di soggetti (es. dipartimento) il peso è 0.769 nella valutazione di ciascuno: non vorremmo certo che il prodotto venisse pesato 3*0.769, come nell’ipotesi 1: se ad esempio il prodotto è “eccellente”, corrispondente a 1 nella VQR e a 10 nella FFABR, il prodotto finirebbe per contare 2.306, o 23.06.

Nell’ipotesi 2, il prodotto verrebbe contato una volta sola, ma quale peso andrebbe usato per la sua valutazione? Facile, peso 1 perché gli autori sono tutti interni al gruppo. Però come andrebbe pesato un prodotto con 3 autori interni e 3 esterni? La metodologia FFABR non fornisce, ovviamente, una risposta, dato che è una valutazione di singoli autori.

Le questioni qui discusse potrebbero certamente essere risolte in futuro dall’ANVUR, magari introducendo altre tabelline di numeri di prodotti per settore, e altri pesetti, che poi qualcuno userà per decidere com’è meglio mettere i nomi sui lavori per avere migliori risultati in questa o quella valutazione.

4. Conclusioni

La metodologia della VQR ha molti aspetti discutibili, come già evidenziato da ROARS, e l’utilizzo dei suoi risultati, che palesemente non tiene conto di tali aspetti, sta avendo sempre più effetti sull’orientamento della ricerca, vista in particolare l’iniziativa dei Dipartimenti di Eccellenza.

Il sistema qui considerato ha l’obiettivo dichiarato di fornire una valutazione completamente automatica, senza compensare in alcun modo l’impossibilità di ricorrere ad esperti valutatori.

È quindi prevedibile che la qualità dei risultati sia peggiore rispetto a quella della VQR, ma vi è il concreto rischio che questi risultati vengano utilizzati, ad esempio già all’interno degli atenei, per produrre ulteriori effetti sull’orientamento della ricerca: infatti quello dell’uso nella “programmazione della ricerca” è un obiettivo dichiarato. L’altro obiettivo era supportare gli atenei nelle VQR, e al momento quanto promesso in proposito non viene fornito.

[1] A meno che l’ANVUR non si autoaccusi di travisarsi, ma tutto è possibile dopo la dichiarazione che “il re è nudo” fatta dal re in persona, e la successiva pretesa che sia stata travisata. Vedasi https://www.roars.it/anvur-attacca-report-con-un-taglio-capzioso-si-travisa-la-risposta-del-presidente/