Il mondo fluttuante degli indicatori bibliometrici: l’impatto del nuovo CiteScore Elsevier sulla VQR.

Da qualche mese (giugno 2017) Scopus ha messo in pratica una piccola rivoluzione annunciata qualche tempo fa: 1) le valutazioni numeriche dei classici indicatori bibliometrici pubblicati da Scopus (IPP, SNIP, SJR) vengono modificate, talvolta anche pesantemente; 2) il ri-calcolo ha valenza ed effetti retroattivi. Consideriamo l’effetto di questa “rivoluzione” sulle metriche utilizzate da ANVUR per la recente VQR 2011-14, per un’Area “non bibliometrica” come la 13. Nella pratica, le discrepanze fra i vecchi valori 2014 e quelli ricalcolati oggi per lo stesso anno sono sufficienti per determinare, per un certo numero di journal, un “salto di classe” (da A a B, da B ad A, da B a C, ecc.) sia per l’indice SJR che per il CS (già IPP) rispetto a valori attribuiti nella VQR 2011-14. A rigore, le classificazioni in fasce A, B, …, E, andrebbero tutte ricomputate da ANVUR, con possibili ripercussioni su medie e varianze nazionali di settore, i cui valori a loro volta influenzano il calcolo di indicatori standardizzati e/o normalizzati tuttora in uso, come p.es. l’indice R (pensiamo ai requisiti per la qualificazione del collegio dei docenti del dottorato – vd. Linee guida per l’accreditamento delle sedi e dei corsi di dottorato) o l’ISPD usato per selezionare i “dipartimenti di eccellenza”. In alternativa a un diligente lavoro di revisione delle valutazioni (che obiettivamente è poco verosimile che ANVUR voglia realmente intraprendere) è almeno auspicabile che la consapevolezza dell’occorrenza di fluttuazioni di questo tipo induca ad interpretare ed utilizzare con maggior spirito critico le quantificazioni tratte dalla VQR.

1. La rivoluzione del nuovo “impact factor” di Scopus

Da qualche mese (giugno 2017) sono stati resi disponibili i nuovi punteggi dello SJR (SCImago Journal Rank) 2016. Lo SJR è un indice calcolato dallo SCImago Group e riportato da Elsevier fra le metriche a corredo dei journal della sua banca dati Scopus.

Con questo Elsevier ha messo in pratica la piccola rivoluzione annunciata qualche tempo fa (http://www.editage.com/insights/elsevier-announces-the-launch-of-a-new-metric-citescore; vd. anche Van Noorden; “Controversial impact factor gets a heavyweight rival”, Nature 540 (7633), 325-326. 2016).

La novità sta essenzialmente nell’allargamento del panorama delle tipologie di documento che Scopus considera “citabili” agli effetti del conteggio del numero delle citazioni. Adesso TUTTI i documenti pubblicati nei journal indicizzati da Scopus sono “citabili” (ad eccezione degli “abstract”). D’altra parte le citazioni conteggiate sono quelle ricevute da TUTTI i tipi di documenti (ad eccezione degli “abstract”). In sostanza, non c’è più possibilità di inconsistenza fra documenti citabili e citazioni conteggiate. In particolare, diversamente da quanto accade per il JIF nel calcolo effettuato dal JCR, i documenti al denominatore nel calcolo della media-citazioni sono gli stessi per i quali si computano le citazioni al numeratore.

Potrebbe sembrar piccola cosa, se non fosse che:

1. le valutazioni numeriche dei classici indicatori bibliometrici pubblicati da Scopus (IPP, SNIP, SJR) vengono modificate, talvolta anche pesantemente;
2. il ri-calcolo ha valenza ed effetti retroattivi.

1.1 La rivoluzione del punteggio CiteScore

Quella che era la metrica-base, la classica media citazioni-per-paper denominata da Scopus fino allo scorso anno “IPP” (Impact per Publication, il corrispettivo del celebre JIF, journal impact factor, calcolato sul database WoS da Thomson-Reuters – oggi acquisito dalla Clarivate Analytics, https://clarivate.com), viene adesso indicata con il nuovo nome di “CiteScore” (CS). I nuovi valori del CS 2016 sono stati calcolati il 31-5-2017 e resi pubblici da Scopus in chiaro (vd. ad es. https://journalmetrics.scopus.com ).

Il CS rappresenta sempre il numero medio di citazioni-per-paper calcolato sugli articoli pubblicati nella finestra temporale dei tre anni precedenti a quello della rilevazione delle citazioni (p.es., il CS 2016 conteggia le citazioni osservate nel corso del 2016 di documenti pubblicati negli anni 2013, 2014 e 2015, su journals del database Scopus), ma spesso dà luogo a valori numerici abbastanza diversi dall’IPP. Il fatto di aver incrementato il numero dei prodotti citabili ha rivoluzionato le classifiche dei journals, con un effetto un po’ a macchia di leopardo, più o meno importante a seconda della politica editoriale dello specifico journal. Per farsene una idea basti citare i casi di riviste blasonate come Nature e The Lancet che passano da una media citazioni-per-paper rispettivamente di 30.8 e 31.8 del 2014 (IPP 2014) agli attuali ben più modesti valori di 13.3 e 6.9 (CS 2016). Nella classifica assoluta (sui più di 22000 journals monitorati da Scopus), The Lancet passa dal 10° posto al 315° posto. La riforma della metrica ha determinato un impatto anche nei ranking specifici di categoria (che peraltro dipendono fortemente da come Scopus definisce le categorie e le relazioni di appartenenza – ma questo è un altro problema). Ad esempio, il blasonato British Medical Journal (decorrenza 1945), passa da un IPP= 7 del 2014, che gli valeva un posto largamente entro i primi 100 nella categoria “Medicine” (ASJC 2700) e la stabile collocazione nel primo quartile di categoria, all’attuale CS=1.49 che gli vale il 701° posto nella stessa categoria, e il declassamento al secondo quartile di categoria.

1.2 Retroattività – un grande Errata-Corrige sullo storico

Un aspetto interessante di questa ri-definizione della banca dati dei documenti citabili sta nel fatto che Scopus ha effettuato un ricomputo delle sue metriche, sulla base del nuovo metodo, per tutto lo storico fino al 2011 (i.e. con dati risalenti al triennio 2008-2010), rimpiazzando i vecchi valori – non più disponibili.

Per certi versi, si tratta di una sorta di grande errata-corrige, logicamente motivato dall’esigenza di ricostruire una coerenza formale con i dati correnti.

2. Impatto sulle valutazioni ANVUR – VQR

Se la qualità di un prodotto di ricerca fosse, come dovrebbe essere in un mondo ideale, quella del prodotto di ricerca stesso, potremmo dire che non è cambiato assolutamente nulla.

Purtroppo la pratica di giudicare un prodotto di ricerca in base agli indici di impatto della rivista su cui è il prodotto è pubblicato espone (paradossalmente) la valutazione alle oscillazioni peculiari delle metriche di impatto dei journal – compresa la contingente disavventura qui sopra riportata.

Per capire qualcosa di più, consideriamo con maggior dettaglio l’effetto su SJR e IPP, metriche utilizzate da ANVUR per la recente VQR 2011-14, per un’Area “non bibliometrica” come la 13.

Consideriamo, ad esempio, la lista di journal predisposta dal GEV 13 per la sotto-area “Statistics and Mathematical Methods”. In essa troviamo un elenco complessivo di 569 journal. Di questi, la stragrande maggioranza, 411, sono indicizzati Scopus e quindi riportano valori effettivi (e non imputati) dei due indicatori, IPP 2014 e SJR 2014. Come è noto, in base a questi valori i journal sono stati classificati in 5 categorie di merito ordinate, a scalare, da A ad E.

Nella seguente Figura 1 si riportano (al netto di ben 18 journal che nel frattempo sono diventati “inattivi”) i dati delle medie delle citazioni-per-paper per come erano attribuite 2 anni fa, in base all’indice IPP 2014, e come sono oggi in base all’indice CS 2016. La distanza dalla bisettrice dà una misura della obsolescenza della classifica per media citazioni-per-paper, a distanza di soli 2 anni (l’effetto dispersivo è in parte anche dovuto al nuovo metodo di calcolo della media).

La morale è che la valutazione di impatto di un journal può risultare assai più instabile di quanto non ci si possa aspettare.

Nel seguente Figura 2 si illustra invece l’effetto errata-corrige. Per lo stesso gruppo di journal indicizzati Scopus della sotto-area “Statistics and Mathematical Methods” si riportano le valutazioni dell’indice SJR 2014 per come è stato ricomputato oggi da Scopus e quelli precedentemente pubblicati e a suo tempo utilizzati dal GEV 13 per la VQR 2011-14.

Anche qui si possono apprezzare significative discrepanze – più gravi per importanza rispetto al caso in Figura 1, visto che qui si tratta di dati per la stessa finestra temporale, gli stessi journal e lo stesso indicatore.

Un grafico del tutto analogo vale per il CS 2014, per come è ricalcolato oggi, vs IPP 2014.

Nella pratica, le discrepanze fra i vecchi valori 2014 e quelli ricalcolati oggi per lo stesso anno sono sufficienti per determinare, per un certo numero di journal, un “salto di classe” (da A a B, da B ad A, da B a C, ecc.) sia per l’indice SJR che per il CS (già IPP) rispetto a valori attribuiti ai journal nella VQR 2011-14 (almeno con riferimento a Area 13).

Non è semplice quantificare con esattezza l’entità del fenomeno “salto di classe”, anche perché gli indicatori mancanti per quei journal presenti in lista GEV che non risultano indicizzati da Scopus vengono determinati con una imputazione (peraltro approssimativa), a sua volta malauguratamente dipendente dai valori effettivamente disponibili degli indicatori Scopus. Una volta corretti gli indicatori Scopus, andrebbero dunque ricalcolate tutte le imputazioni. Tuttavia, una stima approssimativa del numero dei salti di classe si può ottenere come segue: si sostituiscono ai valori di IPP2014 i nuovi valori CS2014 in tutte le occorrenze disponibili, che poi sono quelle dei journal effettivamente indicizzati Scopus (si escludono 21 journals che non hanno un CS2014 definito da Scopus, p.es. perché divenuti “inattivi”, o per altri motivi). Si ricorda che i journal non indicizzati Scopus ricevono un valore fittizio di IPP2014 (ovvero di CS2014) imputato con metodi di regressione.  Si procede quindi ad attribuire le fasce di merito, come stabilito dal GEV 13, ovvero: a) si effettua un riordino decrescente dei journal in funzione dell’indicatore CS2014, dal valore più grande al più piccolo, e b) si attribuisce la fascia A ai journal appartenenti al primo 10% della lista ordinata, la fascia B ai journal appartenenti al successivo 20%, la fascia C ai journal appartenenti al successivo 20%, la fascia D ai journal appartenenti al successivo 30%, la fascia E ai journal appartenenti al successivo 20%. La domanda ora è quanti journal sono rimasti nella stessa fascia attribuita in base all’indicatore IPP nella VQR 2011-14 e quanti hanno cambiato fascia utilizzando la nuova metrica CS (per quegli stessi anni)?

Dalla seguente tabella si evince un tasso di misclassification pari a circa il 10% dei journal (57 casi su 548), peraltro con effetti su media e varianza di SSD difficilmente computabili in prima battuta, ma da valutare attentamente.

La stessa procedura di “aggiornamento” può essere effettuata per il ranking di fascia determinato dall’indicatore SJR. I risultati sono analoghi.

Si potrebbe un po’ provocatoriamente concludere che, a rigore, le classificazioni in fasce A, B, …, E, andrebbero tutte ricomputate da ANVUR (quanto meno per Area 13), con possibili ripercussioni su medie e varianze nazionali di settore, i cui valori a loro volta influenzano, anche in maniera importante, il calcolo di indicatori standardizzati e/o normalizzati tuttora in uso, come p.es. l’indice R (pensiamo ai requisiti per la qualificazione del collegio dei docenti del dottorato – vd. Linee guida per l’accreditamento delle sedi e dei corsi di dottorato).

In alternativa a un diligente lavoro di revisione delle valutazioni (che obiettivamente è poco verosimile che ANVUR voglia realmente intraprendere) è almeno auspicabile che da questa vicenda si possa imparare qualcosa. La consapevolezza dell’occorrenza di fluttuazioni di questo tipo delle metriche di impatto attualmente in uso dovrebbe indurre gli operatori ad ogni livello ad interpretare ed utilizzare in futuro con minor rigidità e maggior spirito critico le quantificazioni tratte dalla VQR.