Bibliometrics? Yes, please! We are Serbian (and Italian)

È possibile valutare i singoli articoli con strumenti bibliometrici come le classifiche di riviste? L’ARC australiana ha provato e rinunciato, mentre l’agenzia inglese, l’HEFCE, lo esclude tassativamente. L’ANVUR italiana non ha tenuto conto di questi precedenti, adottando metodologie prive di basi scientifiche, già scartate o abbandonate da altri. Non si può però parlare di un completo isolamento internazionale dell’Italia, dato che la bibliometria anvuriana trova qualche riscontro nelle metodologie adottate in Serbia, dove le riviste sono classificate in base ai percentili dell’Impact Factor. In attesa di vedere le conseguenze in Italia, in Serbia è recentemente esploso il caso di due riviste bosniache, indicizzate da Thomson Reuters, che fanno girare soldi e citazioni per dopare gli indici bibliometrici di chi vi scrive e delle riviste stesse.

In Italia, l’ANVUR ha svolto un ruolo chiave nel determinare una vera e propria svolta bibliometrica sia nelle procedure di valutazione della ricerca (la VQR 2004-2010 i cui risultati usciranno ad ore) che nelle procedure di abilitazione scientifica nazionale (ASN). Quando si confrontano queste scelte con gli standard scientifici bibliometrici e con le migliori pratiche internazionali non si può che notare l’isolamento dell’Italia che ha preferito intraprendere la strada di un inedito fai-da-te bibliometrico affidato a scienziati valenti nel loro campo, ma privi nella quasi totalità dei casi di competenze scientometriche. Alcune conseguenze sono sotto gli occhi di tutti, soprattutto nel caso dell’ASN, in cui la definizione degli indicatori (la famigerata età accademica, oggetto di una FAQ fantasma comparsa per poche ore o poi svanita nel nulla), la raccolta dei dati (affidata alla buona volontà dei docenti senza alcun controllo di completezza) e la loro elaborazione per calcolare le mediane (pubblicate e poi ritrattate perché l’ANVUR non era sicura della formula giusta) evocano una sgangherata epica degna del Brancaleone di Monicelli. Nel caso della VQR gli effetti sono meno decifrabili, ma fin d’ora è lecito dubitare dell’affidabilità di risultati che si fondano su metriche largamente empiriche che introducono distorsioni capaci  di alterare le classifiche e la distribuzione della quota premiale. Inevitabilmente, sarà il tempo a dire quali saranno le conseguenze, più o meno gravi, del fai-da-te bibliometrico. In gioco, non c’è soltanto la correttezza delle valutazioni che incidono sulla distribuzione dei fondi e sulle carriere individuali, ma anche l’incentivazione di comportamenti opportunistici, capaci di incidere sul significato stesso che i ricercatori attribuiscono alla propria missione scientifica.

Ma l’isolamento dell’Italia è veramente assoluto oppure esiste un qualche altro luogo dove sono adottate valutazioni bibliometriche in qualche modo paragonabili? Se da un lato le nazioni in cui esiste un’esperienza consolidata nel campo della valutazione della ricerca non danno credito alla bibliometria naive, la Serbia sembra offrire un laboratorio che, in qualche misura, anticipa l'”esperimento sociale” italiano. In particolare, in Serbia il Ministero dell’Istruzione e della Scienza ha definito una regola completamente automatica per la valutazione della produzione scientifica che elimina ogni tipo di discrezionalità:

The rule book evaluates result depending on result type and group of sciences to which result belongs. Types of results are the followings: papers published in journals, papers published in conferences proceedings, monographs, papers published in monographs, etc. Three categories of journals depending on the value of JIF are introduced (Table 2).

Fonte: Dragan Ivanović1, Dušan Surla2, and Miloš Racković2, “Journal evaluation based on bibliometric indicators and the CERIF data model”, ComSIS Vol. 9, No. 2, June 2012, DOI: 10.2298/CSIS110801009I

A partire da questa suddivisione in tre fasce e dalla classificazione in tre diverse aree scientifiche vengono attribuiti dei punteggi a ciascun articolo. Una suddivisione delle riviste in fasce di merito in base ad indicatori bibliometrici, tra cui anche l’Impact Factor, è presente nelle regole bibliometriche adottate nella VQR italiana per la valutazione delle pubblicazioni nei settori cosiddetti bibliometrici.

Avere un meccanismo di valutazione del tutto automatico e privo di discrezionalità sembra essere lo strumento ideale per una valutazione finalmente oggettiva e immune da favoritismi, un obiettivo spesso invocato da chi vede il ricorso a tecniche bibliometriche, fosse anche rudimentali, come la risposta obbligata al dilagare di concorsi truccati e al proliferare di fannulloni (anche se poi le statistiche bibliometriche aggregate su scala nazionale mostrano che la produttività dell’università italiana è del tutto in linea e a volte persino superiore a quella delle superpotenze scientifiche).

La bibliometria è un importante strumento conoscitivo, soprattutto quando un uso su  scala aggregata permette di evidenziare fenomeni statisticamente rilevanti. Assolutamente più problematico il suo uso nella valutazione delle singole pubblicazioni, dei singoli ricercatori ed anche nella selezione dei progetti da finanziare. Tutta la letteratura scientifica mette in evidenza sia l’inaccuratezza di questo tipo di misure sia l’incentivazione di comportamenti opportunistici. A testimonianza di una consapevolezza sempre più diffusa dei pericoli della bibliometria naive basterà citare la recente Declaration on research Assessment (DORA) che è stata ampiamente sottoscritta da ricercatori, società scientifiche e riviste, anche di assoluto prestigio.

Se torniamo al case serbo, merita qualche interesse il caso di due riviste bosniache indicizzate nel Web of Science che vengono utilizzate come “leva bibliometrica” per accumulare citazioni, come denuncia Pero Šipka, presidente del serbo “Centre for Evaluation in Education and Science”:

All in all, the results strongly suggest that two DRUNPP journals and a group of authors from a few Serbian academic institutions are organized into an arrangement that has to be labeled as “joint unethical enterprise”

Nel suo dettagliato report, intitolato

Legitimacy of citations in predatory publishing: The case of proliferation of papers by Serbian authors in two Bosnian WoS-indexed journals

Šipka analizza i dati di pubblicazioni e citazioni delle seguenti  riviste:

• HealthMed, ISSN 1840‐2291
• TTEM, ISSN 1840‐1503

entrambe indicizzate nel Web of Science della Thomson Reuters, le quali sono pubblicate dall’organizzazione DRUNPP.  Šipka solleva seri dubbi sulle procedure di peer review:

Some authors are allowed to publish limitlessly without regular reviewing in journals of formally high international prestige. This brings them quite tangible benefits (so called points) important for their careers and incomes. In return, the editors collect from them a substantial amount of money for fictitious editing job and, on top of this, as a sort of tip, some fictitious citations to help their journals maintaining the status of highly esteemed publications. What this enterprise makes extraordinary and unprecedented, are clear signs of forced collections of this non‐monetary fee: if authors in their citing role are not sufficiently generous, editors simply snatch their “deserved” tip forcefully, by adding themselves some impact‐inflating self‐citations to the paper reference lists. Being practical people, in order to protect themselves from crossing the self‐citation rate limits, they occasionally put citations onto other DRUNPP journal account.

Quello che è stato messo in piedi sembra essere un “gioco bibliometrico” in cui c’è da guadagnare per tutti, autori ed editori, ma a scapito dei cittadini che finanziano la ricerca statale con le proprie tasse visto che i costi di pubblicazione finiscono per essere scaricati anche sui progetti di ricerca:

Business strategy of Serbian authors involved might also be a “success”. Their costs were substantial, especially if they have been publishing massively. For an orientation, more than 100 Serbian researchers authored 3 or more papers in the two DRUNPP journals during the observed period. (The group was “championed” by a person who published 18 papers, although he is not likely to have paid full price thanks to the special role he played in the whole enterprise.) Still, the investments seems to be profitable, at least for those authors who are participating in the projects supported from government sources and/or are applying for higher positions. And, of course, those project participants who manage to reimburse publication charges are the biggest winners. They were practically making their careers (and money) by direct support from others, they share the State R&D budget with, and indirect support by all members of the national academic community, they are competing with. The number of papers published in HealthMed and TTEM within this extraordinary scheme was not possible to determine in this study, since the information about personnel employed on the state‐supported projects and their spending are still not publicly accessible in Serbia.

Un caso estremo, le solite “mele marce” si dirà. E tuttavia, a fronte di innumerevoli avvertimenti relativi al pericolo che i criteri bibliometrici puramente automatici incentivino comportamenti opportunistici, il caso delle due riviste bosniache fornisce un’illustrazione concreta di quanto possa essere facile costruire “giocattoli bibliometrici” i cui danni materiali e simbolici ci devono richiamare alla realtà. L’etica non si impone con i numeri, soprattutto se inaffidabili, ma con la trasparenza e la responsabilità a tutti i livelli,  a partire dai ministri e i valutatori, scendendo giù giù fino a chi si avvicina per la prima volta al mondo della ricerca.