Uso e abuso dell’IF

La discussione internazionale su IF e suoi utilizzi va avanti anche con decisioni da parte di alcune linee editoriali piuttosto radicali. L’indicatore elaborato da Garfield con l’idea di individuare, in un periodo di scarsità di risorse,  i titoli fondamentali di cui le biblioteche universitarie non potevano fare a meno, circoscrivendo quindi la spesa a questi titoli,  è diventato nel corso del tempo un indice utilizzato per definire l’eccellenza (di persone, gruppi, istituzioni). Negli ultimi tempi sembra però che la sua fama cominci a vacillare.

Recentemente è apparso su biorxiv.org  un articolo di Lariviere et al. A simple proposal for the publication of journal citation distributions  che propone alcune semplici regole per una maggiore trasparenza nella esposizione dei valori di IF da parte delle riviste. L’articolo parte dall’assunto che poiché la distribuzione delle citazioni è molto difforme all’interno di una rivista e che solo pochi articoli ricevono la maggior parte delle citazioni, sarebbe più corretto, per evitare l’abuso o usi poco corretti di questo indicatore, che ogni rivista esponesse sul proprio sito la distribuzione delle citazioni in base alle quali si calcola l’IF. Per far questo gli autori dell’articolo considerano 11 riviste di 7 editori con un IF fra 3 e 30 e le citazioni del 2015 ad articoli del 2013-2014. L’analisi mostra come nelle 11 riviste ci siano il 65-75% delle pubblicazioni poco citate e poche pubblicazioni (fra il 15 e il 25%) che raccolgono il 50 % delle citazioni, con Nature e Science che tendono ad avere un maggior numero di articoli con citazioni elevate delle altre riviste prese in considerazione.

Nell’analisi percentuale  delle pubblicazioni citabili con un numero di lavori con citazioni sotto il valore dell’IF è evidente come ci sia un comportamento simile nelle riviste indipendentemente dalla disciplina e dalla ampiezza della rivista.

Scopo dell’articolo è scoraggiare  (come già fatto da DORA, Leiden Manifesto e Metric Tide) da un utilizzo scorretto del’IF per la valutazione della ricerca e dei ricercatori attraverso la dimostrazione della distribuzione delle citazioni. Ciò porta dunque alla necessità di esaminare ogni singolo articolo piuttosto che basarsi su un numero che dà conto solo per una parte piccolissima di articoli.

La ricerca di Lariviere et al. mira a recuperare il valore originario dell’IF che era quello di poter fare comparazioni fra riviste e si conclude con una serie di raccomandazioni:

• Agli editori affinché pubblichino la distribuzione delle citazioni http://rspb.royalsocietypublishing.org/citation-metrics e rendano disponibile la lista degli articoli citati affinché possa essere analizzata da Crossref
• Agli autori affinché si dotino di un ORCID che colleghi inequivocabilmente il loro nome ai loro articoli.

Secondo gli autori questi accorgimenti potrebbero rendere più sensati e meno opachi l’utilizzo e la comprensione degli indicatori, ferma restando la necessità di leggere i lavori di ricerca per un giudizio sulla qualità.

“we hope that the broader message is clear: research assessment needs to focus on papers rather than journals, keekping in  mind that downloads and citation counts cannot be considered as reliable proxies of the quality of an individual piece of research. We would always recommend that a research paper is best judged by reading it”.

L’articolo ha suscitato parecchie discussioni  ed è stato commentato da Ludo Waltman nel blog del CWTS dove si critica la posizione poco netta di Lariviere et al. che mentre considerano inappropriato l’utilizzo dell’IF per la valutazione di ricerca e ricercatori sembra siano favorevoli ad un utilizzo per la valutazione delle riviste.

La distinzione pare a Waltman poco sensata poiché l’uso dell’IF per  valutare la qualità di una rivista ha diretta ripercussione sugli articoli che leggeremo o non leggeremo ed è quindi una maniera indiretta per comparare articoli.

Secondo Waltman o si assume che l’uso dell’IF in certi casi e a certe condizioni può essere utilizzato a livello di riviste e a livello di singolo articolo, oppure si assume che questa cosa non è possibile, mentre gli autori dell’articolo su Bioarxix.org non assumono né l’una né l’altra posizione.

Sarah de Rijcke nel suo post sempre sul blog del CWTS vede come molto difficile la dismissione dell’IF da parte di ricercatori e valutatori concludendo che :

Our research findings suggest that in calling for researchers and evaluators to ‘drop’ the JIF, people are actually calling for quite fundamental transformations in how scientific knowledge is currently manufactured in certain fields. This transformation is the primary, and also the quite daunting, task

Phil Davis nel suo commento all’articolo pubblicato su The Scholarly Kitchen mette in dubbio il fatto che la pubblicazione delle distribuzioni delle citazioni possa in qualche modo distrarre dal cattivo uso (o dall’abuso) dell’IF.

Intanto in questo editoriale su mBIO della American Society of Microbiology leggiamo quanto segue:

ASM journals focus on publishing high-quality science that has been rigorously peer reviewed by experts and evaluated by academic editors. The primary mission of ASM is to advance microbial science. At the recent Journals Board meeting that took place during ASM Microbe 2016 in Boston, MA, the editors in chief and the ASM leadership decided to no longer advertise the IFs of ASM journals

Insomma la discussione sull’IF (luci e ombre) prosegue nelle comunità scientifiche con una visione più critica che mette in luce le  debolezze (assurdità) di determinati usi. Ci auguriamo che queste riflessioni giungano presto anche ai decisori politici e a chi, a vario titolo, si occupa di valutazione della ricerca.