Bibliometrics (is) for dummies

Non sarà il canto delle sirene che ci innamorerà,

noi lo conosciamo bene, l’abbiamo sentito già

Francesco De Gregori, Il Canto delle Sirene, Terra di Nessuno (1987)

L’Abilitazione Scientifica Nazionale (ASN – http://abilitazione.miur.it/) è tra le più importanti novità introdotte alla Legge 30 dicembre 2010, n. 240 (c.d. “riforma Gelmini” dell’Università),[1] che all’art. 16, comma 1 la indica quale “requisito necessario per l’accesso alla prima e alla seconda fascia dei professori”. Il medesimo articolo stabilisce al comma 3 che appositi regolamenti attuativi prevedano, tra l’altro, “l’attribuzione dell’abilitazione con motivato giudizio fondato sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche”. Il regolamento che stablisce i criteri e parametri per la valutazione dei candidati ai fini dell’attribuzione dell’ASN, pubblicato con Decreto MIUR del 7 giugno 2012 n. 76,[2] si spinge tuttavia alquanto più in là, stabilendo all’art. 6 che l’ASN possa essere attribuita esclusivamente ai candidati che non solo siano stati giudicati positivamente dalla commissione bensì anche abbiano “indicatori dell’impatto della produzione scientifica complessiva [che] presentino i valori richiesti” per ogni fascia e settore concorsuale.

In particolare, per la massima parte dei settori concorsuali afferenti alle aree disciplinari 1-9 e per il macrosettore concorsuale 11/E (Psicologia) il regolamento identifica degli “indicatori bibliometrici”, così definiti nell’allegato A al regolamento medesimo:[3]

a) il numero di articoli su riviste contenute nelle principali banche dati internazionali e pubblicati nei dieci anni consecutivi precedenti la data di pubblicazione del decreto di cui all’articolo 3, comma 1, del Regolamento.[4] Per questo indicatore la normalizzazione per l’età accademica interviene soltanto nel caso in cui questa sia inferiore a dieci anni;

b) il numero totale di citazioni ricevute riferite alla produzione scientifica complessiva normalizzato per l’età accademica;

c) l’indice h di Hirsch normalizzato per l’età accademica.

Il punto (b) fa riferimento esplicito alle citazioni ricevute dalle pubblicazioni di ogni candidato e il punto (c) introduce l’utilizzo dell’indice h di Hirsch che altro non è che un indice derivato dal numero di citazioni per ogni pubblicazione.[5]

Le citazioni sono dunque l’elemento fondamentale per il calcolo di due dei tre indicatori bibliometrici definiti condizione necessaria (sebbene non sufficiente) per il conseguimento dell’ASN. Vediamo in dettaglio di che si tratta e da che cosa dipende di fatto l’accesso all’ASN.

L’analisi delle citazioni: definizione e origini

L’analisi delle citazioni è uno dei principali metodi della bibliometria, che si occupa dello studio quantitativo della letteratura scientifica. Il termine “bibliometria” viene fatto risalire a Alan Pritchard, che nel 1969 lo definì come “l’applicazione dei metodi matematici e statistici a libri e altri mezzi di comunicazione”.[6] Nello stesso periodo Nalimov e Mulchenko utilizzavano il termine “scientometria” per indicare “l’applicazione di quei metodi quantitativi che si occupano dell’analisi della scienza vista come un processo informativo”.[7] La bibliometria ebbe come obiettivo originario la costruzione di modelli atti a descrivere la produzione e la diffusione dei saperi, e le sue prime ricadute applicative riguardarono la gestione delle biblioteche e degli archivi bibliografici. Viene spesso indicato quale esempio ante litteram di questo tipo di impiego lo studio di Gross e Gross, che nel 1927, allo scopo di fornire elementi utili alle piccole biblioteche per selezionare le riviste di chimica cui abbonarsi, analizzarono quali riviste venivano citate più frequentemente nel volume del 1926 del Journal of the American Chemical Society.[8] Tra i tanti esempi recenti, può esser menzionato uno studio nel quale, grazie all’analisi delle citazioni, si è verificato che la Sciences-Engineering Library dell’Università della California a Santa Barbara è abbonata al 98% delle riviste in cui i membri della locale faculty pubblicano o da cui selezionano gli articoli compresi nella bibliografia delle loro pubblicazioni. In base a questi risultati l’autrice dello studio conclude per l’appropriatezza delle scelte del servizio bibliotecario e fornisce dati utili ad una razionale programmazione degli abbonamenti.[9]

L’applicazione della bibliometria e in particolare dell’analisi delle citazioni alla valutazione della ricerca scientifica si deve a Derek J. de Solla Price,[10] considerato il padre della scientometria, e a Eugene Garfield.[11] Quest’ultimo è il fondatore e presidente dell’Institute for Scientific Information[12] (acquisito all’inizio degli anni ’90 dal colosso multinazionale dell’informazione e della comunicazione Thomson Reuters).[13] Garfield è tra l’altro inventore di molteplici strumenti bibliometrici tra cui il Science Citation Index,[14] attualmente disponibile in rete tramite l’archivio Web of Science[15] di proprietà di Thomson Reuters. Oggi suona quanto meno singolare apprendere che secondo lo stesso Garfield “the Science Citation Index (SCI) was not originally created either to conduct quantitative studies, calculate impact factors, nor to facilitate the study of history of science […] SCI and citation indexing were meant not only to aid information retrieval, but also to facilitate SDI, i.e. Selective Dissemination of Information“.[16] Malgrado queste premesse, la bibliometria diviene rapidamente strumento di valutazione a supporto delle scelte politiche e economiche riguardanti la ricerca scientifica (science policy), in particolar modo a partire dagli anni ’70, con la nascita negli Stati Uniti di un vero e proprio “science indicators movement” in risposta alla drastica riduzione dei finanziamenti alla ricerca dovuta alla crisi economica di quel periodo e all’esigenza di offrire al governo e all’opinione pubblica elementi concreti e sintetici in grado di riassumere lo stato della ricerca scientifica statunitense in un contesto progressivamente globalizzato.[17] Da allora, l’analisi delle citazioni è divenuta lo strumento principe della bibliometria “valutativa”, non limitandosi ad affiancare la lettura delle pubblicazioni bensì sostituendosi ad essa, e generando talora situazioni “estreme” quali quella che si sta verificando oggi in Italia con l’ASN.

Limiti e manipolabilità delle citazioni bibliografiche

There is only one thing in the world worse than being talked about, and that is not being talked about

Oscar Wilde, The Picture of Dorian Gray, 1890

I limiti noti all’impiego del numero di citazioni per costruire indici bibliometrici da applicare alla valutazione della ricerca (ad esempio, per una rivista l’impact factor[18] e per uno studioso l’h index)[19] sono che esso:

(*) decontestualizza le citazioni, il che implica tra l’altro l’impossibilità di:

– distinguere le citazioni “positive” (ovvero che menzionano una pubblicazione sottolineandone la bontà e l’utilità, ad esempio quale premessa utile a successivi studi) da quelle “negative” (ovvero che criticano o confutano in tutto o in parte la pubblicazione citata);

– discriminare il rilievo delle citazioni in base alla collocazione (ad esempio, citazioni collocate nell’introduzione di un articolo, nei metodi o nella discussione);

– escludere dal computo citazioni di pubblicazioni revocate (magari in quanto identificate successivamente come il risultato di plagio, finzione o falsificazione di risultati);

(*) non tiene conto della collocazione del singolo studioso nell’elenco degli autori (il cui ordine in diversi ambiti ha un significato più o meno preciso in relazione al contributo relativo fornito da ogni singolo autore alla realizzazione del lavoro);

(*) non tiene conto di numerosi aspetti che differenziano le pubblicazioni tra settori disciplinari diversi e spesso anche tra ambiti di ricerca distinti all’interno del medesimo settore, tra i quali:

– frequenza, dimensione e natura delle pubblicazioni;

– numero di citazioni per pubblicazione (tra l’altro, alcune riviste impongono limiti al numero complessivo di riferimenti bibliografici);

– numero di autori di una pubblicazione;

(*) solitamente non differenzia le citazioni di (o in) libri rispetto a quelle di (o in) articoli in riviste;

(*) è facilmente distorto da fenomeni quali:

– la citazione di una pubblicazione da parte del medesimo autore in lavori successivi (autocitazione);

– la diversa probabilità di essere citate che hanno tipologie differenti di pubblicazioni (ad esempio, articoli originali rispetto a rassegne della letteratura);

– la probabilità crescente di esser citata che ha una pubblicazione man mano che aumenta il suo numero di citazioni (manifestazione particolare del fenomeno generale noto come “effetto San Matteo”);[20]

– l’attribuzione impropria del ruolo di autore a chi non ne ha i requisiti (cosiddetta “gratuitous authorship“), spesso imposta da studiosi anziani a ricercatori giovani e inesperti, talora offerta da questi ultimi a colleghi affermati per ottenerne in cambio favori, più in generale “scambiata” tra studiosi per aumentare il numero di pubblicazioni e di conseguenza la probabilità di essere citati.

Quest’ultimo tipo di distorsione ricade a pieno titolo nella cattiva condotta scientifica (“scientific misconduct“),[21] che comprende comportamenti ancor più sottili che hanno tra l’altro conseguenze imponderabili sul numero e sul significato delle citazioni. Tra di essi va ricordato in primo luogo il cosiddetto “citation plagiarism“, probabilmente traducibile come “plagio citazionale”, che consiste nel trascurare di citare le fonti bibliografiche appropriate, sia per attribuirsi la primogenitura di un risultato (ignorando analoghe osservazioni in precedenza pubblicate da altri) sia citando pubblicazioni meno pertinenti (ad esempio allo scopo di compiacerne gli autori). Questo fenomeno era già stato descritto nel 1980 dallo stesso Eugene Garfield, che lo aveva definito “citation amnesia“,[22] e nelle sue diverse manifestazioni è noto anche come “disregard syndrome“[23] oppure “bibliographic negligence“.[24]

La decisione di citare una determinata pubblicazione può essere influenzata anche attraverso tattiche di vero e proprio marketing. E’ noto il caso di un articolo pubblicato nel 2008 sulla rivista Acta Crystallographica Section A, il quale includeva la seguente frase “autopromozionale”: “This paper could serve as a general literature citation when one or more of the open-source SHELX programs (and the Bruker AXS version SHELXTL) are employed in the course of a crystal-structure determination”. L’articolo ricevette rapidamente oltre 6600 citazioni. Nello stesso periodo, il secondo articolo più citato della medesima rivista ne aveva ricevute 28.[25]

Ancora più grave tuttavia è la manipolabilità delle citazioni. Già nel 1999 un saggio pubblicato su Science ammoniva riguardo alla possibilità che si formassero dei “citation cartel” (ovvero delle intese tra studiosi con l’obiettivo di aumentare artatamente le citazioni di determinati lavori).[26] Sebbene manchino tuttora studi sistematici a riguardo, un “citation cartel” con significative conseguenze sull’impact factor di una rivista è stato descritto di recente in particolare dettaglio:[27]

Cell Transplantation is a medical journal published by the Cognizant Communication Corporation of Putnam Valley, New York. In recent years, its impact factor has been growing rapidly. In 2006, it was 3.482. In 2010, it had almost doubled to 6.204. When you look at which journals cite Cell Transplantation, two journals stand out noticeably: the Medical Science Monitor, and The Scientific World Journal. According to the JCR, neither of these journals cited Cell Transplantation until 2010. Then, in 2010, a review article was published in the Medical Science Monitor citing 490 articles, 445 of which were to papers published in Cell Transplantation. All 445 citations pointed to papers published in 2008 or 2009 — the citation window from which the journal’s 2010 impact factor was derived. Of the remaining 45 citations, 44 cited the Medical Science Monitor, again, to papers published in 2008 and 2009. Three of the four authors of this paper sit on the editorial board of Cell Transplantation. Two are associate editors, one is the founding editor. The fourth is the CEO of a medical communications company. In the same year, 2010, two of these editors also published a review article in The Scientific World Journal citing 124 papers, 96 of which were published in Cell Transplantation in 2008 and 2009. Of the 28 remaining citations, 26 were to papers published in The Scientific World Journal in 2008 and 2009. We are beginning to see a pattern. […]The two review articles described above contributed a total of 541 citations toward the calculation of the Cell Transplantation‘s 2010 impact factor. Remove them and the journal’s impact factor drops from 6.204 to 4.082.

Rispetto alle autocitazioni, per la cui identificazione (ed eventuale eliminazione dai conteggi) esistono strumenti automatici di semplice e immediato impiego, i “citation cartel” sono per il momento estremamente difficili da individuare. Il caso descritto in precedenza è particolarmente evidente sia in quanto riguarda riviste e non singoli studiosi sia in quanto particolarmente grossolano. E’ verosimile che gli scambi di citazioni tra singoli studiosi possano risultare invece molto più difficili da identificare, per quanto lo sviluppo di piattaforme sociali dedicate alla ricerca scientifica, come ad esempio BiomedExperts (http://www.biomedexperts.com), fornisca strumenti potenzialmente utili da affiancare agli archivi di citazioni per consentire uno studio più sistematico del fenomeno.

Le banche dati selezionate da ANVUR per l’analisi delle citazioni

Cadde la pioggia, strariparono i fiumi, soffiarono i venti e si abbatterono su quella casa, ed essa cadde, e la sua rovina fu grande.

Mt, 7:27

Nella delibera n. 50 del 21 giugno 2012[28] l’ANVUR precisa che le banche dati da utilizzare per il calcolo degli indicatori bibliometrici sono:

a) ISI Web of Science[29]

b) Scopus[30]

ISI Web of Science è una banca dati di citazioni di proprietà di Thomson Reuters, che include sei diversi archivi: Science Citation Index Expanded (8300 riviste da 150 diverse discipline, a partire dal 1900), Social Sciences Citation Index (4500 riviste da 50 diversi ambiti disciplinari riconducibili alle scienze sociali, a partire dal 1900), Arts & Humanities Citation Index (2300 riviste di ambito artistico e umanistico, oltre a singoli documenti da 6000 riviste di scienze sociali, a partire dal 1975), Conference Proceedings Citation Index (148000 atti di convegni in libri e riviste da 256 diversi ambiti disciplinari), Index Chemicus (oltre 2,6 milioni di composti, a partire dal 1993) e Current Chemical Reactions (oltre un milione di reazioni chimiche a partire dal 1986), oltre agli archivi dell’Institut National pour la Propriété Industrielle (INPI) dal 1840 al 1985.[31] Scopus è un archivio di estratti e citazioni di proprietà di Elsevier, società del gruppo Reed-Elsevier, con sede ad Amsterdam.[32] Elsevier è il principale editore mondiale in campo medico e scientifico ed è stato recentemente criticato in maniera severa da migliaia di studiosi a causa della sua politica commerciale aggressiva e dei costi di abbonamento particolarmente elevati imposti alle istituzioni accademiche.[33] In base alle informazioni fornite sul suo sito web,[34] Scopus contiene 19500 riviste, 400 pubblicazioni di settore, 360 serie di libri, oltre agli articoli in corso di stampa di più di 3850 riviste, per un totale di 49 milioni di documenti. Scopus stima la propria crescita intorno ai due milioni di documenti all’anno. Secondo un recente confronto, rispetto a ISI Web of Science l’ambito di riviste coperto da Scopus è più ampio, con il limite però che ad oggi i documenti indicizzati precedenti al 1996 rappresentano una quota minore.[35]

Il processo di selezione delle riviste da indicizzare è definito come articolato e severo sia da ISI Web of Science[36] che da Scopus,[37] ma in ultima analisi entrambi utilizzano criteri arbitrari e soggettivi (ad esempio: “convincing editorial policy“, “academic contribution to the field“), formali (“timeliness of publication“, “full text in English“) e talora autoreferenziali (“citedness of journal articles in Scopus“). Complessivamente il processo di selezione non è chiaro, non consente verifiche e in ogni caso non offre elementi a supporto della pur diffusa convinzione secondo cui l’indicizzazione sarebbe automaticamente sinonimo e garanzia di qualità scientifica. E’ stato anzi recentemente sottolineato come alcune altre banche dati, ad esempio EBSCO, includano riviste con politiche editoriali discutibili, in apparenza principalmente per incrementare il numero di documenti indicizzati, in una prospettiva meramente commerciale.[38] Resta da verificare se ISI Web of Science e Scopus siano del tutto immuni da un tale comportamento.

Esistono poi indizi convincenti riguardo al fatto che le riviste contrattano le modalità di indicizzazione in ragione del calcolo dell’impact factor. Gli Editor di PLoS Medicine hanno a suo tempi cercato di chiarire le regole applicate da ISI Web of Science:[39]

During discussions with Thomson Scientific over which article types in PLoS Medicine the company deems as “citable,” it became clear that the process of determining a journal’s impact factor is unscientific and arbitrary. After one in-person meeting, a telephone conversation, and a flurry of e-mail exchanges, we came to realize that Thomson Scientific has no explicit process for deciding which articles other than original research articles it deems as citable. We conclude that science is currently rated by a process that is itself unscientific, subjective, and secretive. During the course of our discussions with Thompson Scientific, PLoS Medicine‘s potential impact factor – based on the same articles published in the same year – seesawed between as much as 11 (when only research articles are entered into the denominator) to less than 3 (when almost all article types in the magazine section are included, as Thomson Scientific had initially done—wrongly, we argued, when comparing such article types with comparable ones published by other medical journals).

Quali siano le conseguenze di queste contrattazioni sul numero e sulla tipologia di citazioni per i singoli autori non è noto, ma è possibile concludere che rappresentano comunque una potenziale ulteriore e significativa fonte di distorsione dei risultati di qualunque analisi citazionale.

I motivi più seri di preoccupazione riguardo all’affidabilità di queste banche dati derivano tuttavia probabilmente da alcune evidenze che suggeriscono che i risultati da esse forniti sono soggetti a variazioni incontrollabili che non consentono la riproducibilità dei risultati a distanza di tempo. Alcuni anni fa gli Editor del Journal of Experimental Medicine, del Journal of Cell Biology e del Journal of Experimental Physiology acquistarono da Thomson Reuters i dati relativi alle citazioni delle loro riviste e di alcune altre riviste loro concorrenti. Il loro scopo non era quello di verificare l’integrità dei dati, quanto di determinare quali fossero gli argomenti più o meno citati. I risultati delle loro analisi furono alquanto sorprendenti:[40]

When we examined the data in the Thomson Scientific database, two things quickly became evident: first, there were numerous incorrect article-type designations. Many articles that we consider “front matter” were included in the denominator. This was true for all the journals we examined. Second, the numbers did not add up. The total number of citations for each journal was substantially fewer than the number published on the Thomson Scientific, Journal Citation Reports (JCR) website (http://portal.isiknowledge.com, subscription required). The difference in citation numbers was as high as 19% for a given journal, and the impact factor rankings of several journals were affected when the calculation was done using the purchased data (data not shown due to restrictions of the license agreement with Thomson Scientific).

Alla richiesta di spiegazioni riguardo a discrepanze così grossolane, Thomson rispose dapprima che erano dovute all’esistenza di due archivi distinti, uno utilizzato per il calcolo degli impact factor e l’altro per il loro “Research Group” interno, il quale, secondo Thomson, si occuperebbe di associare le citazioni ai singoli articoli. Thomson fornì un ulteriore insieme di dati, ma neppure questi furono in grado di riprodurre gli impact factor già pubblicati per le diverse riviste. Questa è la conclusione degli Editor delle tre riviste:[41]

It became clear that Thomson Scientific could not or (for some as yet unexplained reason) would not sell us the data used to calculate their published impact factor. If an author is unable to produce original data to verify a figure in one of our papers, we revoke the acceptance of the paper. We hope this account will convince some scientists and funding organizations to revoke their acceptance of impact factors as an accurate representation of the quality—or impact—of a paper published in a given journal.

Le citazioni contenute nelle banche dati commerciali dunque sono non solamente selezionate in base a criteri soggettivi e non trasparenti, ma sono anche imprevedibilmente variabili e non riproducibili. A conferma pur minima e estremamente circoscritta di questa situazione propongo la mia personale esperienza. La tabella 1 elenca il numero di citazioni ricevute dalle mie pubblicazioni secondo Scopus.

Tabella 1. Citazioni 2001-2012 delle pubblicazioni di Cosentino, Marco affiliato a Università degli Studi dell’Insubria, Varese, indicizzate in Scopus.

Da novembre a maggio le citazioni di tutti gli anni hanno subito “ritocchi” più o meno significativi. Per le citazioni degli ultimi anni ha senza dubbio a che fare con il completamento del processo di indicizzazione (in particolar modo per il 2012), tuttavia per gli anni precedenti una motivazione del genere appare poco verosimile tanto più quanto più si retrocede nel tempo. Si può piuttosto ipotizzare che l’aumento sia dovuto all’indicizzazione di ulteriori riviste in precedenza non comprese nell’archivio. E’ possibile allora concludere che il numero di citazioni può in ogni caso solamente aumentare (sorti “magnifiche e progressive”)? Probabilmente no: nel novembre 2012 il mio h index automaticamente calcolato da Scopus era 18, lo scorso 4 maggio aveva raggiunto la “soglia psicologica” di 20, ma oggi 8 maggio è tristemente ridisceso a 19. Qualche citazione deve dunque essersi persa per strada, ma ovviamente non vi è modo di sapere quale, né come o perché.

Le banche dati selezionate da ANVUR sono dunque non trasparenti riguardo ai criteri di selezione dei documenti da indicizzare, sicuramente non includono tutte le pubblicazioni potenzialmente disponibili e nemmeno offrono garanzie di comprendere quelle di più elevata qualità scientifica (qualunque cosa si voglia intendere con questa o con analoghe espressioni). Forniscono inoltre risultati variabili e non riproducibili per ragioni non chiare. Infine, non va dimenticato che si tratta di banche dati prodotte da soggetti privati per scopi commerciali. Questo implica che:

(*) i proprietari/fornitori non sono vincolati ad alcun obbligo che non sia compreso nei contratti sottoscritti da chi ne acquista l’accesso;

(*) l’accesso medesimo ha dei costi di regola non noti a causa dei vincoli spesso imposti dai proprietari/fornitori, ma comunque stimabili in diverse decine o centinaia di migliaia di dollari a seconda delle dimensioni dell’utenza (e risultano di conseguenza del tutto inaccessibili a chi non disponga di un abbonamento istituzionale).

Alla luce di queste ultime considerazioni appare se possibile ancor più singolare e discutibile la scelta di utilizzare queste banche dati come riferimento per il calcolo di indicatori vincolanti a norma di legge per l’accesso alle procedure di valutazione per l’ASN.

Potrebbe esser peggio. Potrebbe piovere!

Malgrado i suoi evidenti limiti, l’analisi delle citazioni continua a riscuotere interesse come strumento di misurazione del cosiddetto “impatto” della ricerca scientifica. Le ragioni, come già accennato, vanno probabilmente ricercate nei fenomeni di globalizzazione, commercializzazione e finanziarizzazione della ricerca, che non è questa la sede per analizzare e approfondire. Val la pena tuttavia menzionare alcune delle più recenti tendenze sul tema, quale ad esempio la cosiddetta article level metrics (ALM), adottata anche da un editore senza fini di lucro come PLoS.[42]

L’ALM si propone di valutare l’impatto quantitativo di singoli articoli considerando molteplici indicatori in grado di misurare aspetti differenti della visibilità e dell’influenza di un articolo, tra cui la fruizione sul web (visualizzazione e download), le citazioni, la popolarità sui social network, la menzione da parte di mezzi di informazione e blog, la discussione e l’eventuale valutazione ricevuta in forum tematici e così via.

Sembra dunque di non poter fare a meno di concordare con la bontà del consiglio paradossale di recente fornito tra il serio e il faceto agli eventuali “aspiranti scienziati”:[43]

Cominciate a stringere amicizie su Facebook, iscrivetevi a Twitter e datevi da fare per raccogliere tanti followers. E per quanto riguarda l’argomento di ricerca, ispiratevi a Voyager e ricordate che le scie chimiche sono cliccatissime, quasi più dell’oroscopo di Brezsny.

L’analisi meramente quantitativa delle citazioni è d’altra parte quella pratica che ha consentito di raggiungere “prestazioni bibliometriche” di tutto rispetto a “scienziati” del calibro di Ike Antkare,[44] Primo Capitolo[45] e Stronzo Bestiale.[46] Qualche anno fa Eugenio Picano, in quel suo piccolo capolavoro che era e resta “La Dura Vita del Beato Porco”,[47] così replicava a un anonimo referee che aveva elencato ben 16 lavori da citare nel manoscritto inviato a una rivista:

Tali lavori vertevano su una varietà di argomenti differenti, nessuno dei quali minimamente attinente a quello da noi trattato. L’unico denominatore comune di questi 16 disparatissimi articoli era l’autore, presumibilmente qualcuno che il revisore stima grandemente e che ritiene giusto che venga citato più spesso. Per far fronte a questa obiezione, abbiamo modificato l’introduzione e aggiunto, dopo la revisione della letteratura pertinente, un sottoparagrafo intitolato “Confronto con la letteratura non attinente” che discute questi articoli ed accoglie anche alcuni dei suggerimenti più asinini degli altri revisori.

Visto l’uso che degli indicatori bibliometrici basati sull’analisi delle citazioni si sta facendo nel contesto delle procedure di ASN, oggi si potrebbe raccomandare invece la sistematica inclusione di una parte dedicata al “Confronto con tutte le precedenti pubblicazioni dell’autore”, meglio se previo opportuno accordo di scambio con colleghi disponibili (la cosiddetta citazione di scambio), in modo da aggirare i sistemi in grado di discriminare le autocitazioni. Mi auguro anzi che ROARS sia quanto prima indicizzato e per questo invio a parte alla Redazione l’elenco completo delle mie pubblicazioni, da accludere in una apposita sezione bibliografica dedicata ai riferimenti NON citati in questo articolo (articolo che ovviamente posterò su FB e su ogni altro social network a portata di click e “tweetterò” quanto più possibile nella speranza che venga presto adottata l’article level metrics, magari già in occasione della prossima tornata dell’ASN).

Ringraziamenti

Sono debitore per molteplici degli aspetti trattati alla competenza e all’esperienza dei tanti Colleghi italiani e stranieri con i quali ho avuto modo di confrontarmi e approfondire i numerosi e controversi temi della valutazione della ricerca scientifica e della bibliometria utilizzata a scopi valutativi. Tra di essi, la mia gratitudine va prima di tutto agli amici di CoNPAss (http://www.professoriassociati.it/) e Rete29Aprile (http://www.rete29aprile.it/), nonché a molti degli iscritti alla mailing list UNILEX (http://cnu.cineca.it/docum06/unilex.html) e ai frequentatori del gruppo FaceBook ROARS (https://www.facebook.com/groups/222457594480176/?fref=ts): gran parte dei contenuti di questo articolo deriva da loro segnalazioni, e varie riflessioni sono maturate come conseguenza di discussioni con molti di loro. Paradossalmente, non si può evitare infine di riconoscere che molte delle motivazioni per approfondire questi temi originano dalla necessità di autodifesa nei confronti delle conseguenze nefaste della Legge 240/10, tra cui in primo luogo la “vessatoria voluttà valutativa” (vvv?) che ha pervaso l’università italiana. E dunque:

There is no such thing as a problem without a gift for you in its hands. You seek problems because you need their gifts.

Richard Bach, Illusions: The Adventures of a Reluctant Messiah (1977)

Nota aggiunta durante la pubblicazione

Tra i limiti dell’analisi meramente quantitativa delle citazioni va annoverata anche l’incapacità di distinguere le citazioni ricevute da articoli successivamente ritrattati. Il tema è stato recentemente approfondito in occasione della 3^rd World Conference on Research Integrity  svoltasi a Montreal dal 5 all’8 maggio 2013 (http://wcri2013.org/). In quell’occasione Ivan Oransky, co-fondatore del blog Retraction Watch (http://retractionwatch.wordpress.com/) ha presentato una serie di evidenze[1] che indicano tra l’altro come il numero di ritrattazioni nell’ambito biomedico (prendendo a riferimento gli articoli indicizzati in PubMed – http://www.ncbi.nlm.nih.gov/pubmed) è in rapida crescita[2] e la maggior parte delle ritrattazioni è dovuta a cattiva condotta scientifica (scientific misconduct).[3]

Le scarse informazioni disponibili riguardo alle citazioni degli articoli ritrattati indicano in ogni caso che essi continuano a essere citati dopo la ritrattazione, che viene ammessa in meno dell’8% delle citazioni.[4] Sebbene dopo la ritrattazione il numero di citazioni crolli in media del 65%, l’anno precedente alla ritrattazione non vi è traccia di riduzione del tasso di citazione, il che suggerisce come la ritrattazione non sia prevedibile da parte della comunità scientifica.[5] Questo aspetto è motivo di ulteriore preoccupazione per quanto riguarda la validità dell’analisi citazionale, dato che il tempo medio per la ritrattazione di un articolo è spesso di diversi anni.[6] Un altro studio rileva come le riviste scientifiche in un terzo dei casi manchino di pubblicizzare in un qualsiasi modo la ritrattazione.[7]

Gli strumenti attualmente disponibili per l’analisi delle citazioni non sono in grado di discriminare le citazioni ricevute dagli articoli ritrattati. Un ulteriore aspetto che andrebbe considerato sarebbe inoltre probabilmente la necessità di eliminare dal conteggio delle citazioni di articoli non ritrattati quelle derivanti da articoli ritrattati. Complessivamente, queste evidenze rafforzano la conclusione che l’analisi quantitativa delle citazioni non è in alcun modo una misura attendibile di qualità scientifica di un articolo (e tanto meno di uno studioso).