I reprobi e gli eletti (nella storia del pensiero economico)

Anche quest’anno, come sempre, Clarivate Analytics, la società proprietaria di Web of Science e che diffonde i dati relativi all’Impact Factor, ha pubblicato la lista delle riviste escluse dal Journal Citation Reports (JCR) per comportamenti citazionali scorretti. La piccola e integrata comunità mondiale degli storici del pensiero economico è sotto shock: ben tre delle riviste dello sparuto pacchetto di riferimento a livello mondiale sono finite nella lista nera perché una rivista italiana ha citato in modo anomalo le due riviste della società europea e della società americana di settore. La vicenda è rilevante perché rivela come i produttori di dati citazionali sanzionino l’uso strategico delle citazioni soltanto nei casi più eclatanti, tollerando un diffuso comportamento strategico che premia i network scientifici più estesi. La vicenda mostra inoltre come gli incentivi creati in un solo paese, l’Italia, possano avere conseguenze devastanti su un’intera comunità scientifica mondiale. La vicenda mostra infine che i tentativi di adattarsi al sistema da parte di piccole comunità scientifiche sono fondamentalmente perdenti. Queste dovrebbero prendersi la responsabilità della loro scelta. Meglio sarebbe rifiutarsi di partecipare al gioco delle classifiche di riviste.

ANTEFATTO. Anche quest’anno, come al solito, nel mese di giugno,  Clarivate Analytics, la società proprietaria di Web of Science e che diffonde i dati relativi all’Impact Factor, ha pubblicato la lista delle riviste escluse dal Journal Citation Reports (JCR) per comportamenti citazionali scorretti.

FATTO. La piccola e integrata comunità mondiale degli storici del pensiero economico è sotto shock: ben tre delle riviste dello sparuto pacchetto di riferimento per il settore a livello mondiale sono finte nella lista nera. Le riviste coinvolte sono

• Journal of the History of Economic Thought (JHET),  la rivista della società americana di storia del pensiero economico (Cambridge University Press),
• European Journal of the History of Economic Thought (EJHET), la rivista della società europea ESHET , (Routledge),
• History of Economic Ideas (HEI), rivista con sede a Pisa (Fabrizio Serra Editore).

Le tre riviste sono escluse dai ranking pubblicati da Clarivate nel JCR per il 2017 e quindi non potranno fregiarsi dell’Impact Factor. E’ utile ricordare che l’Impact Factor di una rivista è il numero medio di citazioni ricevute in un anno di riferimento (in questo caso il 2017) dagli articoli pubblicati sulla rivista nei due anni precedenti (2016 e 2015).

La questione è rilevante? La questione è rilevante per almeno tre motivi:

1. da un lato, pone l’attenzione sulle pratiche adottate dalle comunità scientifiche in relazione ad abitudini e strategie di pubblicazione e citazionali;
2. dall’altro, come vedremo in seguito, rivela quanto tali pratiche siano di fatto sanzionate soltanto nei casi più eclatanti, ma invece si tolleri un diffuso comportamento strategico che premia i network scientifici più estesi
3. Infine, la vicenda mostra come gli incentivi creati in un solo paese possano avere conseguenze su un’intera comunità scientifica.

Mi pare, in ogni caso, che non siamo di fronte ad un “errore” di Clarivate o a una una mela marcia in un sistema che altrimenti funziona: siamo di fronte al prodotto di un sistema di incentivi sbagliati. Al tempo stesso, il caso della storia del pensiero economico mostra anche che i tentativi di adattarsi al sistema da parte di piccole comunità scientifiche sono fondamentalmente perdenti. Queste dovrebbero prendersi la responsabilità della loro scelta. Meglio sarebbe rifiutarsi di partecipare al gioco delle classifiche di riviste.

Le definizioni

Cosa siano i comportamenti citazionali scorretti è, come sempre, una questione di definizioni. Per Clarivate, di fatto, [qui il documento tecnico] le pratiche sanzionabili sono di due tipologie diverse:

• l’uso anomalo da parte di una rivista di autocitazioni per “pompare” il proprio impact factor;
• l’”accatastamento di citazioni” (citation stacking) cioè lo scambio ripetuto e anomalo di citazioni tra gruppi ristretti di riviste nel periodo di tempo (citation window) su cui si calcola l’IF.

Le tre riviste di storia del pensiero economico sono cadute in quest’ultima categoria: in particolare, JHET e EJHET hanno beneficiato (recipient) delle citazioni provenienti in modo anomalo da HEI (donor).

Ciò significa che HEI nel corso del 2017 ha citato in modo anomalo articoli pubblicati su JHET e EJHET nei due anni precedenti (2016 e 2015).

Rimane dunque da spiegare la definizione di anomalia: nel caso dell‘accatastamento di citazioni,  l’evidenza si basa sul valore di due indicatori:

• Una quota “anomala” di citazioni provenienti dalle riviste coinvolte, che entrano nel computo del (numeratore dell’) IF. Nel nostro caso, secondo i dati Clarivate, HEI ha generato il 56% ed il 64% delle citazioni che entrano nel computo del numeratore dell’IF di, rispettivamente, EJHET e JHET.
• Una concentrazione “anomala” di citazioni provenienti dalle riviste coinvolte ad articoli pubblicati negli anni di riferimento per il calcolo dell’IF. A questo fine Clarivate analizza per ogni rivista l’andamento delle citazioni che ha ricevuto nel 2017 ad articoli pubblicati in ciascuno degli anni 2014-2017. Nel nostro caso, nel 2017 l’86% e l’88% delle citazioni donate da HEI e ricevute rispettivamente da EJHET e JHET nel corso del 2017 sono riferite ad articoli pubblicati nel 2015 e nel 2016 (e solo il 14% e il 12% ad articoli pubblicati nel 2014 e 2017). Nel grafico seguente ho riportato l’anomalia calcolata su dati WoS.

Tutte le evidenze indicano che anomalia c’è stata. E come conseguenza HEI (donor) e EJHET e JHET (recipients) sono esclusi dall’edizione 2017 del Journal of Citation Report.

ALLE ORIGINI DELL’ACCATASTAMENTO CITAZIONALE

Ma a questo punto occorre chiedersi: queste soglie indicano che al di sotto di esse il comportamento scorretto non esiste o che il suo impatto è trascurabile? E se il caso è il secondo, quali sono le condizioni di diffusione di tali meccanismi e quali le loro conseguenze?

L’accatastamento di citazioni è fenomeno ben noto a chi si occupa di bibliometria. Ci sono molti modi diversi di pompare gli indicatori citazionali delle riviste. Qua si può leggere uno dei casi recenti più clamorosi.

Ci sono poi casi di cartelli citazionali, dove diverse riviste si accordano per scambiarsi mutuamente citazioni  (un esempio documentato è qui; per l’Italia un caso fu documentato da Francesco Margiocco su Il SecoloXIX; qui l’evidenza complessiva)

Il caso delle riviste di storia del pensiero economico è paradigmatico, pur mostrando – o forse proprio per quello – una differenza dai normali cartelli: la rivista donor non ha tratto alcun vantaggio diretto dallo schema.

Non è difficile capire cosa è successo: HEI nel 2017 ha pubblicato questo articolo (da ora in poi Lange et al.).

Si tratta di una rassegna (survey) dei contributi di storia del pensiero economico usciti nel corso del 2015 e 2016 sulle altre riviste di storia del pensiero economico e non solo. L’articolo contiene ben 212 riferimenti bibliografici (cited reference), un numero quasi quadruplo rispetto alla media: infatti i 21 articoli di HEI indicizzati su WoS nel corso del 2017 contengono complessivamente 1,267 riferimenti bibliografici, con una media di circa 60 riferimenti per ogni articolo.

Questo solo articolo dà luogo a 170 citazioni valide nel database WoS (42 riferimenti sono a materiali cosiddetti “non-source” cioè non inclusi in WoS). Ecco le riviste che hanno beneficiato delle citazioni:

EJHET e il JHET, le due riviste sospese insieme ad HEI, sono tra le riviste che hanno beneficiato maggiormente delle citazioni provenienti da Lange et al.  Le citazioni generate da Lange et al. rappresentano per il JHET il 63,1% delle citazioni ricevute nel corso dell’anno; per EJHET il 53,5%  e per HOPE solo(!) il 52,7%. I primi due dati sono molto vicini al primo valore di anomalia citazionale usato da Clarivate, ad indicare che si contano sulle dita di una mano le citazioni generate da altri articoli pubblicati su HEI nel 2017 verso articoli pubblicati su EJHET e JHET nei due anni precedenti.

Ma la rivista che ha beneficiato del maggior numero di citazioni è History of Political Economy (HOPE), che non è stata inclusa da Clarivate nella lista nera. Ci ritorneremo tra breve.

DUE QUESTIONI DA CHIARIRE

A questo punto ci sono due questioni da chiarire:

Domanda 1. Se si legge l’abstract, Lange et. al. è il secondo articolo di rassegna pubblicato da HEI; nel 2016 era stato pubblicato un articolo di Giulia Bianchi che copriva gli articoli pubblicati nel periodo 2014-2015. Perché nel 2016 Clarivate non ha rilevato nessuna anomalia?

Domanda 2. Se HOPE è la rivista che ha maggiormente beneficiato delle citazioni provenienti da Lange et. al, perché non è indicata tra le riviste che hanno beneficiato di accatastamento citazionale?

Risposta alla domanda 1. Perché la rassegna del 2016 conteneva un numero di riferimenti bibliografici (69) molto minore di Lange et. al., generando un numero di citazioni (56) che non impattavano sui due indicatori di anomalie calcolati da Clarivate. Bianchi (2016) è infatti entrata nel calcolo dell’IF di JHET per 17 citazioni e solo per 9 per quello del EJHET; anche in questo caso il maggiore beneficiario fu HOPE con 18 citazioni valide ai fini dell’IF. (Le informazioni su questo punto contenute nella lettera inviata a Clarivate dagli editor di EJHET e JHET non sono corrette).

Risposta alla domanda 2. La risposta alla seconda domanda è invece più complicata. Dai dati che abbiamo potuto ricostruire, delle 91 citazioni ricevute da HOPE nel 2017 ben 48 provengono da Lange et_al, pari al 52,7%. Si può forse ipotizzare che Clarivate consideri 55% come soglia critica (EJHET 56% e JHET 64%) per l’anomalia nel primo indicatore, anche perché, in relazione al secondo, nel grafico seguente, non emergono sostanziali differenze tra le riviste escluse e HOPE.

Chi guadagna e chi perde dalle decisione di Clarivate?

Fino a questo punto mi sono limitato ad analizzare i fatti dietro la decisione di Clarivate. Cominciamo ora a fare qualche riflessione più generale.

La prima è solo all’apparenza di ordine tecnico.
Le riviste colpevoli di citation stacking sono state eliminate dal calcolo dell’IF. Ma allo stato tutte le citazioni “anomale” continuano a essere incluse nel database WoS. Per cui tutti gli articoli e tutte le riviste citati da Lange et al. continuano a godere di un vantaggio citazionale generato da una pratica che Clarivate ha deciso di sanzionare.

In particolare HOPE, grazie all’articolo di HEI, è salita ad un valore di IF 2017 di 1,415 dal precedente 0,595 del 2016; un valore pari a 5 volte il valore dell’IF medio degli anni 2011-2015.

Se si rimuovono dal calcolo dell’IF di HOPE le citazioni provenienti dall’articolo di HEI, l’IF si attesta su 0,662 valori in linea con la storia citazionale della rivista.

Nel grafico seguente ho riportato gli andamenti dell’IF delle riviste nel periodo 2011-2016; ed ho calcolato il valore dell’IF per HEI, EJHET e JHET. Il dato di HOPE per il 2017 è quello del JCR. Come si vede gli effetti dell’”accatastamento citazionale” su HOPE è del tutto simile a quello che avrebbero subito JHET e EJHET se non fossero stati sanzionate da Clarivate.

E’ anche possibile calcolare l’andamento dell’IF delle riviste di storia del pensiero economico al netto degli effetti dell’accatastamento citazionale. Il grafico seguente mostra che in assenza di citation stacking i valori dell’IF sarebbero rimasti sui valori consueti degli ultimi anni.

Un incidente tecnico di facile risoluzione?

La tentazione di liquidare il caso come “incidente tecnico” è molto forte. Gli argomenti sono due, ma nessuno dei due appare a mio parere robusto.

Secondo il primo argomento si tratterebbe di un incidente “tecnico”. Come scrivono gli editor di EJHET e JHET in una lettera congiunta a Clarivate, sarebbe solo la ridotta dimensione del settore ad aver spinto Clarivate a valutare erroneamente come anomalo, un comportamento “usuale” (la pubblicazione di una rassegna). Sarebbe così sufficiente che Clarivate ritornasse sulla sue decisione, o che concedesse la possibilità agli editor di fare le proprie ragioni prima di vedere iscritta la propria rivista nella lista nera.

Che la storia del pensiero economico sia un ambito disciplinare molto specialistico con comportamenti citazionali sui generis è sicuramente vero: ne avevo parlato qui.

Ed è altrettanto vero che la ridotta dimensione del settore ha permesso a Clarivate di avere vita facile nello scoprire l’anomalia citazionale. Ma l’anomalia citazionale rimane comunque e non è un errore tecnico, come ho mostrato in quanto precede.

Il secondo argomento riguarda invece una presunta “anomalia” dell’episodio nel suo complesso. HEI con la sua rassegna avrebbe innalzato l’IF di riviste del suo stesso settore senza trarne alcun vantaggio. Il managing editor di HEI, commentando l’accaduto su Scholarly Kitchen, ha scritto che JHET e EJHET non hanno alcun ruolo nella vicenda.

Quanto accaduto alle riviste di storia del pensiero non è però una anomalia nel panorama della letteratura scientifica. E’ vero che la modalità più nota di “accatastamento citazionale” è generata dalla collusione tra riviste che si accordano per lo scambio incrociato di citazioni. Ma ci sono molti precedenti del tutto analoghi al caso considerato. Ci sono molti precedenti noti. Mi limito a ricordare quello più clamoroso che riguardò la rivista Chaos, Solitons and Fractals e il suo allora editor in chief El Naschie che, grazie alla manipolazione di citazioni, portò alla ribalta nei ranking internazionali l’Università di Alessandria d’Egitto. In quel caso le citazioni a Chaos Solitons and Fractals provenivano in gran parte da un’altra rivista The International Journal of Nonlinear Sciences and Numerical Simulation (qui la storia raccontata per i lettori di Roars).

LA PISTA ITALIANA

Nei commenti dei lettori internazionali, sfugge verosimilmente lo sfondo istituzionale su cui si innesta questa vicenda. In Italia gli esercizi di valutazione massiva della ricerca, le carriere degli studiosi (ASN) e finanche la loro partecipazione ai collegi di dottorato di ricerca, dipendono, nelle scienze sociali ed umane, da classifiche di riviste messe a punto dall’agenzia ministeriale di valutazione ANVUR.

Questa classifiche sono costruite a partire dagli indicatori bibliometrici calcolati sia da WoS (VQR) che da Scopus (VQR e ASN). Assicurare citazioni alle riviste del proprio settore per farle salire in alto nelle classifiche è di interesse delle comunità scientifiche. In particolare, ai fini della carriera individuale, è fondamentale che alcune riviste della propria area di ricerca siano classificate come riviste di Fascia A.

Sia chiaro che non sto sostenendo che HEI abbia pubblicato le rassegne al solo fine di pompare le citazioni delle riviste di settore. Sto sostenendo che i riferimenti bibliografici contenuti nelle rassegne di HEI sono preziosi per difendere/rafforzare la posizione delle riviste nelle classifiche da cui dipendono le sorti degli studiosi italiani.

Le citazioni di HEI hanno permesso alle riviste di migliorare in modo sostanziale il loro posizionamento nei database Scopus, i cui indicatori sono quelli che vengono considerati nelle classifiche di riviste utilizzate per l’ASN. (E Scopus è del tutto impermeabile alle squalifiche per doping bibliometrico decise dal suo concorrente Clarivate).

Indicatori SCOPUS per le riviste di storia del pensiero economico nel 2013

Indicatori SCOPUS per le riviste di storia del pensiero economico nel 2017

La storia delle riviste di HET mostra come le regole imposte in un paese modifichino in modo drammatico le condizioni di sfondo in cui avviene la comunicazione scientifica. E come un battito d’ali in Italia (una regola definita dall’agenzia di valutazione) possa causare un uragano sul sistema di comunicazione scientifica prevalente a livello mondiale (la lista nera per le maggiori riviste di storia del pensiero economico).

Questa anomalia è stata rilevata per HET a causa delle ridotte dimensioni del settore, ma quante altre riviste stanno pompando le proprie citazioni per scalare le classifiche senza essere “scoperte”?

La morale della storia

Nella discussione sui social media, Yann Giraud lamenta il fatto che una “private company “acts as a cop in science”; e Beatrice Cherrier si è chiesta se l’intento di WoS non sia quello di “[to] kill small (hence non profitable) fields)”.

Più prosaicamente, credo che la morale della storia sia questa. Clarivate deve salvaguardare il suo prodotto di punta: WoS. Quindi deve vigilare affinché gli indicatori citazionali appaiano solidi e difficilmente manipolabili da editori delle riviste e ricercatori. Detto in termini più espliciti: Clarivate deve tenere il livello di doping bibliometrico entro soglie accettabili.

A questo fine ogni anno fa una lista nera di reprobi, in modo tale che chiunque, soprattutto gli editor delle riviste, sia in grado di misurare bene i propri comportamenti citazionali, mantenendo il livello di doping al di sotto di uno standard predefinito:  non aumentare troppo le autocitazioni; non accatastare citazioni oltre una certa soglia.

Ogni anno, per le più diverse ragioni, qualcuno viene trovato positivo al controllo antidoping. Scatta la punizione che ha l’obiettivo di esporre i reprobi sulla pubblica piazza: per un anno una rivista non avrà più l’IF. Ma i dati gonfiati restano nel database.

Se non si esce dalla logica dell’uso delle classifiche (bibliometriche o non bibliometriche) di riviste per valutare la qualità della ricerca non ci sarà nessuna via d’uscita: inutile lamentarsi del poliziotto cattivo quando sono le comunità scientifiche ad avere attribuito il compito di poliziotti della scienza a Clarivate e Scopus.

E la comunità degli storici del pensiero economico non ha dato segnali di volersi sottrarre alla logica delle classifiche di riviste, salvo lamentarsi delle regole di Clarivate, quando le cose non sono andate per il verso giusto. Per rendersene conto basta notare come l’Impact Factor di JHET sia collocato in evidenza nella home page della rivista.

Per l’Italia la situazione è ancora più delicata perché è l’agenzia governativa di valutazione ad avere attribuito a un gruppo ristretto di docenti il compito di fare i poliziotti della scienza di stato, usando anche i dati di Clarivate e Scopus. Le comunità scientifiche hanno prodotto in risposta qualche brusio e chiacchiere intorno alle macchinette del caffè, e soprattutto la corsa precipitosa ad occupare i posti disponibili per partecipare al grande gioco della valutazione all’italiana.

Considerazioni finali

Questa vicenda potrebbe essere l’occasione perché anche la piccola comunità degli storici del pensiero economico ripensi le sue strategie di comunicazione scientifica.

Quando nel 2008/2009 l’European Science Foundation pubblicò una classifica di riviste scientifiche nell’area delle scienze umane, tutte le riviste di storia della scienza firmarono un durissimo documento in cui dichiararono di rifiutarsi di essere indicizzate. L’ESF ha in seguito rinunciato a pubblicare classifiche di riviste.

DORA prevede esplicitamente impegni per i publisher delle riviste, ma non mi pare che nessuna rivista di storia del pensiero economico abbia aderito a quei principi.

Ci sono decine di sperimentazioni di open science per superare le rigidità della comunicazione scientifica imposte dai grandi publishers internazionali e dalle imprese che producono indici citazionali. Una comunità piccola potrebbe facilmente cooperare per intraprendere qualcuna di queste strade, anziché chiudersi nel fortino a difesa degli indici citazionali delle proprie riviste nei ranking nazionali e internazionali.

Questa vicenda potrebbe anche essere l’occasione per la piccola comunità scientifica degli storici del pensiero economico di prendere posizione ferma contro le pratiche di valutazione basate sui ranking di riviste, come quelle adottate pervasivamente in Italia.

[Conflitto di interessi. Sono stato presidente della Associazione Italiana per la Storia dell’Economia Politica. In passato ho pubblicato su alcune delle riviste interessate da questo articolo e non escludo di farlo in futuro. Conosco personalmente alcuni degli editor delle riviste interessate.]