Bibliometria anvuriana: se la conosci la eviti

Non c’è solo Roars che si occupa dei metodi, delle tecniche e dei risultati di ANVUR; ci sono ormai anche articoli di letteratura scientometrica internazionale. Giovanni Abramo e Ciriaco Andrea D’Angelo, i due studiosi italiani di bibliometria più noti a livello internazionale, hanno pubblicato su Scientometrics un articolo nel quale raccomandano, già dal titolo, che per valutare le pubblicazioni si deve “evitare di adottare la combinazione di citazioni e impact factor” che è stata usata nella VQR 2011-2014.

I link alle altre puntate di Waiting for VQR:

• Peer review e bibliometria non concordano. Neanche in Italia
• La “junk arithmetic” della bibliometria fai-da-te della VQR 2011-2014
• La valutazione della ricerca ha un costo molto elevato. Le metodologie di stima sono discutibili, ma la sostanza non cambia
• La VQR? Uno spreco. Il premio vale 58 MLN, la gara ne costa almeno 30

Per valutare la qualità dei risultati della ricerca scientifica e delle organizzazioni pubbliche di ricerca, in Italia è stata istituita l’ANVUR. Logica vorrebbe che l’ANVUR sia la prima ad utilizzare i risultati della ricerca per adempiere al meglio alla sua missione istituzionale. Nulla di più lontano dalla realtà.

Totalmente sorda alle critiche e raccomandazioni su metodologia e indicatori impiegati per la VQR 2004-2010, emerse dall’arena scientifica (Franco, 2013; Abramo, D’Angelo, and Di Costa, 2014; Abramo and D’Angelo, 2015; Baccini and De Nicolao, 2016; Baccini, 2016), l’ANVUR ha riproposto imperterrita esattamente lo stesso schema per la VQR 2011-2014. Unica sostanziale differenza, il modo di combinare le citazioni (C) dell’articolo e l’indicatore di prestigio (J) della rivista, per assegnare un punteggio di merito alle pubblicazioni delle discipline scientifiche (impropriamente dette “bibliometriche”). Si tratta di quella combinazione lineare [discussa da Peppe e Gedeone], che pesava C e J in modo diverso per anno e area disciplinare, che tanto ha fatto impazzire ricercatori, università ed enti di ricerca per selezionare i prodotti migliori secondo le elucubrazioni ANVUR.

Non sarebbe stato sufficiente e più appropriato utilizzare semplicemente il conteggio delle citazioni per predire la qualità relativa delle pubblicazioni scientifiche? E’ quello che si sono chiesti Giovanni Abramo e Ciriaco Andrea D’Angelo (Abramo e D’Angelo, 2016). E’ noto infatti in bibliometria che sono le citazioni ricevute ad indicare l’impatto di un articolo nella comunità scientifica, piuttosto che il J della rivista che misura invece l’impatto medio di tutti gli articoli ivi pubblicati (negli ultimi due o cinque anni, a seconda dell’indicatore). Un problema con C si potrebbe avere quando la finestra temporale per misurare le citazioni è troppo stretta. Il potere predittivo di C potrebbe in quel caso essere limitato, così da suggerire di affiancarlo a J, osservano i due studiosi. Quello che sembra insospettirli però è da dove derivino i diversi pesi indicati dai GEV (e, forse, suggeriti da ANVUR?) a C e J, per anno e area disciplinare.

Secondo Abramo e D’Angelo, nella pubblicazione in cui la miracolosa combinazione C-J viene proposta dall’ANVUR (Anfossi et al., 2016), non c’è infatti riferimento ad alcun metodo scientifico per la determinazione dei pesi: piuttosto sembra sia l’esito di soggettivi voli pindarici dei GEV.

Dopo aver richiamato la letteratura specifica sul problema di come misurare la qualità di una pubblicazione recente, Abramo e D’Angelo hanno dimostrato, con metodo scientifico questa volta, come per le pubblicazioni 2011-2013 (per quelle 2014 l’ANVUR stessa prevedeva la valutazione peer-review, a meno di uno score massimo pari a 1), il conteggio citazionale abbia un potere predittivo, in ogni anno e area disciplinare, sempre superiore all’alchimia C-J propinata dall’ANVUR.

Tanto rumore (tempi e costi) per nulla. Anzi, non proprio per nulla, per avere una misurazione della qualità delle pubblicazioni meno corretta. Tanto, al peggio già evidenziato nella letteratura sopra menzionata, non c’è mai fine.

Riferimenti

Abramo, G., D’Angelo, C.A., (2016). Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian national research assessment exercise (VQR 2011-2014). Scientometrics, 109(3), 2053-2065

Abramo, G., D’Angelo, C.A. (2015). The VQR, Italy’s second national research assessment: Methodological failures and ranking distortions. Journal of the American Society for Information Science and Technology, 66(11), 2202-2214.

Abramo, G., D’Angelo, C.A., Di Costa, F. (2014). Inefficiency in selecting products for submission to national research assessment exercises. Scientometrics, 98(3), 2069-2086.

Anfossi, A., Ciolfi, A., Costa, F., Parisi, G., & Benedetto, S. (2016). Large-scale assessment of research outputs through a weighted combination of bibliometric indicators. Scientometrics, 107(2), 671-683.

Baccini, A. (2016). Napoleon and the bibliometric evaluation of research: Considerations on university reform and the action of the national evaluation agency in Italy. [Napoléon et l’évaluation bibliométrique de la recherche: Considérations sur la réforme de l’universitéet sur l’action de l’agence nationale d’évaluation en Italie] Canadian Journal of Information and Library Science, 40(1), 37-57.

Baccini, A., De Nicolao, G. (2016). Do they agree? bibliometric evaluation versus informed peer review in the Italian research assessment exercise. Scientometrics, 108(3), 1651–1671.

Franco, G. (2013). [The scientific sector MED44 facing the task of assessing the quality of research (2004-2010) of the ANVUR (National Agency of Assessing University Research): lights and shadows]. [Il settore scientifico-disciplinare MED44 di fronte all’esercizio di valutazione della qualità della ricerca (VQR 2004-2010) dell’ANVUR: luci e ombre.] La Medicina Del Lavoro, 104(6), 483-485.