Una VQR ogni sei mesi basata sul Protocollo ANVUR-STAMINA. Lo propone la CRUI.

«Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian VQR 2011–2014». E anche: «The VQR 2011–2014 has too many vulnerabilities that make it unsound and often controversial» a causa di «conceptually misleading criteria for normalizing and aggregating the bibliometric indicators in use». Stiamo citando articoli pubblicati in note riviste scientifiche peer-reviewed che si occupano di bibliometria. In breve, per la comunità scientifica, la bibliometria anvuriana è una sorta di metodo STAMINA della valutazione. Come reagisce la CRUI? Protesta? Niente affatto. Al contrario, si è fatta promotrice di un Sistema di Supporto per la Valutazione della Produzione Scientifica degli Atenei che adotta il protocollo ANVUR-STAMINA per lo svolgimento semestrale in tutti gli atenei di valutazioni automatizzate su larga scala senza l’utilizzo di peer-review (l’equivalente di due VQR all’anno, estese a tutta la produzione scientifica). Ovviamente l’adozione non avverrà a costo zero, ma dietro pagamento di quote di abbonamento non irrisorie. E a seguito di accordi (i cui costi nessuno conosce) con i grandi produttori internazionali di banche dati bibliometriche (Elsevier e Clarivate).

1. L’antefatto

Il 9 di febbraio 2016 la CRUI (a VQR già ampiamente avviata), in accordo con il “team di valutazione” dell’Università della Basilicata, rendeva disponibile agli atenei che lo richiedevano un software (sviluppato dal team) che simulava le cravatte bibliometriche della VQR e che, dato un articolo, ne restituiva il posizionamento nelle fasce di merito definite dall’ANVUR:  eccellente, elevato, discreto, accettabile, limitato. In pratica, il software faceva in maniera automatica quanto ciascuno avrebbe dovuto fare manualmente utilizzando le tabelle di valutazione bibliometrica messe a disposizione dall’Anvur. Ricordiamo anche che molti articoli, pubblicati in riviste considerate da Scopus e WOS multidisciplinari, secondo le regole previste dall’ANVUR non potevano essere immediatamente inseriti nelle fasce di merito per cui il software restituiva la seguente frase:

La rivista appartiene a categorie interdisciplinari di ISI o di Scopus. Il prodotto sarà  riassegnato dal GEV ad una differente categoria, e valutato come illustrato nel documento di precisazione sui criteri bibliometrici pubblicato dall’ANVUR,

oppure alcuni andavano nella zona di informed peer review, altri ancora, essendo del 2014 e non in fascia eccellente venivano  assegnati  alla informed peer review.

2. Il cruscotto bibliometrico

L’8 marzo scorso, durante l’ultima riunione della commissione ricerca della CRUI, presieduta dal rettore di Bicocca  Messa, è stato presentato agli atenei il Sistema di Supporto per la Valutazione della Produzione Scientifica degli Atenei

un progetto CRUI-UniBas che ha l’obiettivo di dotare il sistema universitario italiano di uno strumento condiviso di autovalutazione dei prodotti della ricerca.

Sempre secondo il documento di presentazione, pervenuto alla redazione,

Le caratteristiche principali del sistema sono le seguenti:

– Il sistema consentirà di effettuare valutazioni automatizzate della produzione scientifica delle aree e dei settori bibliometrici utilizzando parametri mutuati dalla VQR 2011-2014.

– Il sistema adotta criteri ispirati a quelli della VQR. I criteri della VQR sono stati adattati allo svolgimento di valutazioni automatizzate su larga scala senza l’utilizzo di peer-review. In questo modo, sarà possibile valutare tutta la produzione scientifica dei singoli in un quadriennio, piuttosto che due soli lavori come ha fatto la VQR 2011-2014.

– il sistema fornirà a ciascun Ateneo che aderisce all’offerta un cruscotto di indicatori relativi alla produzione scientifica per diversi livelli di aggregazione (singoli, ssd, aree, settori concorsuali), che gli Atenei potranno utilizzare come supporto decisionale per le loro elaborazioni.

–  il sistema sarà disponibile per lo svolgimento delle procedure di valutazione in due periodi (per il 2017 presumibilmente da maggio a luglio e da settembre a novembre); ciascuna procedura di valutazione durerà al più 4 settimane.

3. La pseudoscienza bibliometrica diventa “strumento condiviso”

Il testo di presentazione è più lungo, ma già dagli stralci ricaviamo delle informazioni importanti.

In primo luogo che i criteri VQR si avviano a diventare lo standard (quello adottato dal futuro “strumento condiviso di autovalutazione dei prodotti della ricerca”) della valutazione adottata da tutte le università italiane. Il software è stato addirittura aggiustato per eliminare totalmente il giudizio umano.

Poco importa che i criteri VQR siano pseudoscientifici. Non lo dicono solo quelli di ROARS.

Su Scientometrics è da poco uscito un articolo [qui] in cui fin dal titolo si raccomanda di “evitare di adottare la combinazione di citazioni e metriche delle riviste, come usate nella valutazione della ricerca italiana” [ne avevamo già parlato qui].

Abramo e D’angelo sostengono che ANVUR è stata totalmente sorda alle critiche e raccomandazioni su metodologia e indicatori impiegati per la VQR 2004-2010, emerse nel dibattito scientifico internazionale (Franco, 2013; Abramo, D’Angelo, and Di Costa, 2014; Abramo and D’Angelo, 2015; Baccini and De Nicolao, 2016; Baccini, 2016), ed ha riproposto imperterrita esattamente lo stesso schema per la VQR 2011-2014. L’unica sostanziale differenza è la formula usata per combinare le citazioni dell’articolo e l’indicatore di prestigio della rivista, una formula che CRUI adesso propone addirittura come standard. Abramo e D’Angelo mostrano, dati alla mano, come quella combinazione non regga un semplice test predittivo. E nelle amare conclusioni dell’articolo scrivono (i grasssetti sono nostri):

The current authors (also Italian) are not surprised to witness the mistaken use of indicators to assess the country’s research institutions. Instead, the surprise is that the indicator was proposed, published (and then adopted) without any sort of empirical demonstration or theoretical argument that would legitimate it […]. While the co-authors of the proposal are neophytes in bibliometrics, we would at least expect that such senior scientists (Sergio Benedetto, ANVUR executive committee, responsible for the VQR; Giorgio Parisi, winner of the Max Plank medal for theoretical physics and other international awards) would insist on the scientific method as a constant of all their work. […] However to any international readers we can signal that the VQR framework is already prey to so many and such limitations, as evidenced in the works cited in introduction […] that an exercise to extricate and further quantify this particular damage would indeed be of scarce value. What we can say to such international readers, hoping they are not so deaf as ANVUR, is: ‘‘Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian VQR 2011–2014’’.

4. I criteri della VQR? “Concettualmente ingannevoli”

Un’altro fronte di critica al metodo della VQR 2011-2014 arriva da un altro articolo uscito di recente. Franceschini e Maisano [si veda qui], riprendendo argomenti e grafica della junk arithmetic di Peppe e Gedeone, mostrano le debolezze del metodo di valutazione e normalizzazione che la CRUI propone di estendere a tutte le università italiane. Nell’abstract, senza mezzi termini, denunciano l’uso di

conceptually misleading criteria for normalizing and aggregating the bibliometric indicators in use.

Nella tabella 7 del loro paper sintetizzano i problemi del metodo ANVUR in questo modo:

[Authors] believe that the bibliometric evaluation process of the VQR 2011–2014 contains too many questionable operations. Also, even if (erroneously) deciding to combine [citations] and [journal metrics], we believe that this could be done avoiding dubious transformations/normalizations that alter the scales of the initial data.

E concludono, anche loro amaramente (i grassetti sono nostri):

In light of the arguments gathered and developed in this paper, we are doubtful whether the whole procedure – once completed thanks to the participation of tens of thousands of individuals, including evaluation experts, researchers, administrative staff, government agencies, etc. – will lead to the desired results, i.e., providing reliable information to rank universities and other research institutions, depending on the quality of their research. We understand the importance of national research assessment exercises for guiding strategic decisions, however, we believe that the VQR 2011–2014 has too many vulnerabilities that make it unsound and often controversial.

5. Il metodo STAMINA della valutazione: quanto ci costa?

La CRUI si sta quindi facendo promotrice dell’adozione generalizzata di un protocollo di valutazione non validato dalla comunità scientifica internazionale. Una sorta di metodo STAMINA della valutazione, che non sarà limitato alla sola VQR, con effetti sulla distribuzione delle risorse FFO che abbiamo mostrato -per fortuna- essere ridicoli; ma che diverrà lo standard condiviso in tutti gli atenei per le autovalutazioni periodiche. Ovviamente l’adozione non avverrà a costo zero, ma dietro pagamento di quote di abbonamento non irrisorie. E a seguito di accordi (i cui costi nessuno conosce) con i grandi produttori internazionali di banche dati bibliometriche (Elsevier e Clarivate)

Costi aggiuntivi per gli atenei che si aggiungono a costi che la commissione ricerca della CRUI  sembra ignorare. Infatti le università (o la maggior parte di esse) uno strumento per la valutazione, il monitoraggio e l’analisi della produzione scientifica ce lo hanno già. Si chiama IRIS e nel suo modulo Reportistica e analisi fornisce agli atenei uno strumento per la autovalutazione condotta su SSD, settori concorsuali, dipartimenti, aree  e su singoli individui. E’ uno strumento che gli atenei hanno comprato a caro prezzo da CINECA e che mantengono a fatica, spesso con poco personale a disposizione. Ma almeno sono autonomi nella gestione dei propri dati, possono decidere di fare una analisi della propria produzione scientifica quando ritengono di averne la necessità, e, come ci insegnano i fondamentali di qualsiasi esercizio di valutazione, possono scegliere gli indicatori sulla base della finalità che intendono perseguire.

Allo stesso modo la maggior parte degli atenei sottoscrive un abbonamento a WOS e Scopus e per ciascuno dei propri autori ha a disposizione i dati bibliometrici. Anche l’accesso a questi due strumenti ha costi molto elevati (quanto spende il sistema universitario italiano per l’accesso alle banche dati bibliometriche?), ma con un po’ di accortezza si possono fare analisi anche raffinate.

Alcuni atenei sottoscrivono poi un abbonamento a Scival o a Incites (gli strumenti di Elsevier e Clarivate per analisi bibliometriche avanzate) che posizionano la ricerca della istituzione rispetto al mondo utilizzando un ampio set di indicatori condiviso a livello mondiale.

Inoltre molti atenei sottoscrivono l’abbonamento alle API premium dei due database da cui estraggono dati bibliometrici più complessi, come i percentili per gli articoli e per i diversi indicatori dei journals, tutti dati importati in IRIS e quindi utilizzabili indipendentemente dall’acquisto di Scival o Incites.

A questo punto ci chiediamo:

• sulla base di quali riflessioni e considerazioni scientifiche è stata fatta questa proposta della CRUI?
• Dove è la documentazione che analizza lo stato dell’arte negli atenei e spiega cosa fornisce in più il software per l’autovalutazione rispetto al modulo reportistica e analisi che gli atenei hanno già a disposizione, ma che pochissimi utilizzano (e perché non lo utilizzano)?
• E’ stata condotta un’analisi delle reali esigenze degli atenei, per verificare se la strumentazione attualmente posseduta da questi ultimi risulta insufficiente?
• E’ opportuno che i singoli atenei, nella loro autonomia e con le loro diverse esigenze, si allineino totalmente a metodiche e indicatori concepiti per un esercizio di valutazione nazionale, i quali producono conseguenze che non appaiono sufficientemente analizzate?

La CRUI ha chiesto agli atenei una preadesione entro il 21 marzo, fornendo anche una proiezione dei costi che variano dai 10.000 euro per un ateneo di medie dimensioni ai 22000 per un ateneo di grandi dimensioni. A questi costi si devono sommare i costi per le API premium di Scival che molti atenei hanno già, ma essi dovranno comunque sborsare “solo” un 20 % in più per permettere al database, che pure pagheranno, di poter funzionare. Mentre gli atenei che hanno acquistato le API premium di WOS per ora non potranno usarle. I costi sono calcolati sulla base di una sola valutazione annuale, per effettuarne più d’una (due ad esempio) dovrà essere messo in conto un 50% in più.

La CRUI propone dunque  uno strumento che è praticamente un doppione di quanto gli atenei a fatica manutengono. Ci si chiede come mai la CRUI promuova uno strumento che utilizza indicatori non validati dalla comunità internazionale (e a dire il vero neppure da quella nazionale), e per quali motivi si arroghi il diritto di decidere quando e come gli atenei debbano effettuare le proprie valutazioni.

Non fa male ricordare questi riferimenti.

Abramo, G., D’Angelo, C.A., (2016). Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian national research assessment exercise (VQR 2011-2014). Scientometrics, 109(3), 2053-2065

Abramo, G., D’Angelo, C.A. (2015). The VQR, Italy’s second national research assessment: Methodological failures and ranking distortions. Journal of the American Society for Information Science and Technology, 66(11), 2202-2214.

Abramo, G., D’Angelo, C.A., Di Costa, F. (2014). Inefficiency in selecting products for submission to national research assessment exercises. Scientometrics, 98(3), 2069-2086.

Anfossi, A., Ciolfi, A., Costa, F., Parisi, G., & Benedetto, S. (2016). Large-scale assessment of research outputs through a weighted combination of bibliometric indicators. Scientometrics, 107(2), 671-683.

Baccini, A. (2016). Napoleon and the bibliometric evaluation of research: Considerations on university reform and the action of the national evaluation agency in Italy. [Napoléon et l’évaluation bibliométrique de la recherche: Considérations sur la réforme de l’universitéet sur l’action de l’agence nationale d’évaluation en Italie] Canadian Journal of Information and Library Science, 40(1), 37-57.

Baccini, A., De Nicolao, G. (2016). Do they agree? bibliometric evaluation versus informed peer review in the Italian research assessment exercise. Scientometrics, 108(3), 1651–1671.

Franceschini, Fiorenzo and Domenico Maisano. 2017. Critical Remarks on the Italian Research Assessment Exercise Vqr 2011–2014. Journal of Informetrics, 11(2), 337-57.

Franco, G. (2013). [The scientific sector MED44 facing the task of assessing the quality of research (2004-2010) of the ANVUR (National Agency of Assessing University Research): lights and shadows]. [Il settore scientifico-disciplinare MED44 di fronte all’esercizio di valutazione della qualità della ricerca (VQR 2004-2010) dell’ANVUR: luci e ombre.] La Medicina Del Lavoro, 104(6), 483-485.