Nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, anziché diminuire è addirittura aumentato. Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, le pubblicazioni italiane, non solo hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), ma hanno raggiunto il secondo posto nel G8, appena dietro al Regno Unito. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future“. La spiegazione?La valutazione migliora l’università” aveva detto nel 2016 Andrea Graziosi, Presidente dell’Anvur, l’agenzia nazionale di valutazione della ricerca. Tuttavia, diversi studi stanno mostrando che l’uso massiccio della bibliometria nella valutazione della ricerca promuove comportamenti opportunistici da parte dei ricercatori. È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich) che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. A partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10. Sembra esserci una sola spiegazione plausibile: la necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Così stando le cose, l’incremento dell’impatto citazionale italiano registrato nei “country ranking” è un miraggio, dovuto a un colossale doping citazionale collettivo.

Link all’articolo: https://journals.plos.org/plosone/article?id=10.1371/pone.0221212

 

1. Il paradosso italiano

Com’è noto, la riforma universitaria introdotta nel 2010 con la legge Gelmini (L240/2010) ha profondamente ridisegnato il sistema della ricerca italiano. Nel nome dell’uso efficiente dei fondi pubblici, i finanziamenti per la ricerca hanno subito tagli severi, il turnover è stato fortemente ridimensionato ed è stato messo in moto un complesso sistema di valutazione della ricerca, gestito dalla neonata Agenzia per la Valutazione della Ricerca e dell’Università (ANVUR). Com’è noto, spina dorsale di questo sistema sono gli indicatori bibliometrici che, da quel momento, svolgono un ruolo fondamentale nell’accademia. Non soltanto sono usati per valutare la performance dei dipartimenti e degli atenei, ma sono entrati anche nelle procedure di reclutamento e promozione dei ricercatori. Ad oggi, superare le cosiddette “soglie bibliometriche”, che nelle scienze dure sono calcolate sulla base di citazioni, pubblicazioni e h-index, è condizione necessaria per ottenere l’Abilitazione Scientifica Nazionale (ASN) nei settori scientifici.

Tuttavia, nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, infatti, anziché diminuire è addirittura aumentato.

Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, nel 2012 le pubblicazioni italiane hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), e l’Italia ha raggiunto il secondo posto nella classifica dei Paesi G8, appena dietro al Regno Unito[i]. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future[ii]. Anche Nature, in un recente editoriale, ha riconosciuto il continuo miglioramento della performance italiana, nonostante il basso livello di spesa pubblica in ricerca e sviluppo (1.3%), ampiamente al di sotto della media europea.[iii]

2. Affama la bestia, schiocca la frusta bibliometrica

Tali risultati sembrano dimostrare che l’Italia sia diventata, grazie alla riforma, una specie di tigre della scienza europea. Tagli alla spesa, uniti al pervasivo uso di misurazioni bibliometriche, sembrerebbero essere la ricetta giusta per conquistare le vette dei ranking internazionali.

Secondo ANVUR, “Italy is one of the international best practices in the design and implementation of research evaluation exercises. In particular, the use of bibliometrics is at the forefront for how it deals with the problems of comparison between disciplines and for the sophisticated use of multiple indicators“. L’Agenzia mette in evidenza il crescente innalzamento della ricerca italiana verso elevati standard scientifici: “After a first phase in which autonomy was accompanied by centrifugal tendencies, in recent years Italian universities have shown a gradual convergence towards higher standards both in teaching […] and in the research activity.[1]

Eppure, prima di proporre l’Italia come un modello vincente, da esportare magari in altri paesi europei e nei giganti emergenti della scienza del XXI secolo, Cina e India, è necessario considerare attentamente il lato oscuro del successo italiano.

3. Una mascherata bibliometrica

Sono sempre di più gli studi che mostrano come l’uso massiccio della bibliometria nella valutazione della ricerca induca comportamenti opportunistici da parte dei ricercatori. Di recente, uno studio di Ioannidis e colleghi ha rivelato che, tra i ricercatori più citati al mondo, ce ne sono alcuni che ricorrono in modo massiccio e sistematico all’autocitazione per far lievitare i propri indicatori. [iv]

Riguardo all’Italia, lavori recenti hanno rilevato un aumento dell’uso strategico delle autocitazioni all’interno di alcuni settori scientifici[v].

È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich)[vi] che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. Tale indicatore misura quante delle citazioni totali ricevute da un Paese provengano dal Paese stesso, cioè quanto dell’impatto totale di un Paese sia dovuto a citazioni “endogene”. In questo modo, l’indicatore è sensibile sia alle autocitazioni che ai cosiddetti “club citazionali” intra-nazionali (gruppi di connazionali che scambiano opportunisticamente citazioni) in quanto entrambi i tipi di citazione provengono dal Paese stesso.

Per la prima volta, viene mostrato chiaramente che la recente impennata dell’impatto citazionale dell’Italia è essenzialmente un miraggio, prodotto da un cambiamento del comportamento citazionale dei ricercatori italiani dopo la riforma.

Confrontando gli andamenti nel tempo dell’Inwardness dei Paesi del G10, a partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10 nella maggior parte dei settori di ricerca. Dietro gli USA, nel 2016, l’Italia diventa, globalmente e nella maggior parte dei campi di ricerca, il Paese con l’Inwardness più alta, a fronte del più basso indice di collaborazioni internazionali.

La spiegazione più probabile di questo fenomeno è che le nuove policy introdotte dalla riforma abbiano indotto nei ricercatori italiani un sostanziale incremento dell’uso strategico delle citazioni. La necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR con ogni mezzo ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Stando così le cose, l’incremento dell’impatto italiano registrato nei ranking citazionali non sarebbe altro che il frutto di un doping citazionale collettivo. Dietro al caso italiano non ci sono politiche della scienza miracolose, ma una gigantesca mascherata bibliometrica.

Che lezione dovremmo trarre da questi dati? Qualcuno potrebbe pensare che l’uso di indicatori più raffinati o la rimozione delle autocitazioni dai calcoli basterebbe a risolvere il problema. Dal nostro punto di vista questa soluzione è invece destinata al fallimento: i ricercatori sono estremamente veloci ad adattarsi ai cambiamenti nella science policy e qualsiasi nuovo indicatore non farebbe altro che stimolare strategie di “gaming” più raffinate, in accordo con la famosa legge di Goodhart (“Quanto una misura diventa un obiettivo, cessa di essere una buona misura”).  Noi pensiamo al contrario che l’insegnamento da ricavare sia che non esiste alcuna bacchetta magica – bibliometrica o di altro tipo – che possa gonfiare la performance scientifica di un Paese. Soltanto un massiccio investimento nella ricerca può farlo.

[1] ANVUR, Rapporto biennale sullo stato del sistema universitario e della ricerca 2018, 2018, https://www.anvur.it/rapporto-biennale/rapporto-biennale-2018/

[i] Nature, Seven days: 6–12 December 2013, https://www.nature.com/news/seven-days-6-12-december-2013-1.14335

[ii] BIS, U. K. International Comparative Performance of the UK Research Base–2016. 2016, https://www.elsevier.com/research-intelligence/research-initiatives/beis2016

[iii] Nature, Editorial, ‘Memo to Italy’s president: your researchers need you’, 27 August 2019, https://www.nature.com/articles/d41586-019-02560-1

[iv] John P. A. Ioannidis et al., ‘A Standardized Citation Metrics Author Database Annotated for Scientific Field’, PLOS Biology 17, no. 8 (12 August 2019): e3000384, https://doi.org/10.1371/journal.pbio.3000384.

[v] Marco Seeber et al., ‘Self-Citations as Strategic Response to the Use of Metrics for Career Decisions’, Research Policy 48, no. 2 (March 2019): 478–91, https://doi.org/10.1016/j.respol.2017.12.004; Federico Scarpa, Vincenzo Bianco, and Luca A. Tagliafico, ‘The Impact of the National Assessment Exercises on Self-Citation Rate and Publication Venue: An Empirical Investigation on the Engineering Academic Sector in Italy’, Scientometrics 117, no. 2 (November 2018): 997–1022, https://doi.org/10.1007/s11192-018-2913-5.

[vi] A. Baccini, G. De Nicolao, E. Petrovich, “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis”, PLOSONE, 09.11.2019 https://journals.plos.org/plosone/article?id=10.1371/pone.0221212

Send to Kindle

50 Commenti

  1. Dal Sole: “Le radici della distonia fra sottofinanziamenti, bibliometria e citazioni vanno cercate, secondo gli autori, almeno un decennio fa.” Sotto queste ‘radici’ se ne celano altre, più profonde e più annose, che hanno soltanto trovato, a mio avviso, un ambiente più favorevole al loro sviluppo nel sec. XXI. Citare o recensire altri, ma in maniera selettiva, per amicizia, compiacenza o opportunismo accademico, si praticava abbondantemente già da molto prima. Su altri si taceva, per opposti motivi. I risultati erano alle volte grotteschi e infantili, come quando (ne faccio un’imitazione), si affermava (in un lavoro sui, mettiamo, modi e regole linguistico-sociali del salutare in varie lingue) che ad esempio in russo “buongiorno” si dice dobryj den’, seguito da v. XY, “…”, p. x. Per non parlare di lunghi brani citati inutilmente, sia per allungare l’articolo sia per gratificare il solito XY. La retorica della compiacenza circolare accademica è abbastanza variegata. Anche la citazione confutativa era/è meglio della zero citazione, come ricordato anche sopra.

  2. L’articolo è interessante, ma il coefficiente “Inwardness”, per come è definito, dipende dalla dimensione del paese. Paesi più piccoli (come Svizzera, Belgio e Olanda) considerati nell’articolo hanno Inwardness piccola perché sono piccoli. Paesi più grossi hanno Inwardness maggiore. Il mondo avrebbe Inwardness 1. Il valore assoluto dell’indice Inwardness soffre di questa limitazione, ma la sua variazione temporale sembra significativa. Per essere sicuri che la conclusione dell’articolo è corretta bisognerebbe vedere se l’Italia è migliorata considerando un indice non influenzato da auto-citazioni e cartelli di citazioni.

    • “Bisognerebbe vedere se l’Italia è migliorata considerando un indice non influenzato da auto-citazioni e cartelli di citazioni.”
      ______
      A titolo informativo, quando abbiamo guardato indici depurati dalle autocitaziomi, l’Italia non appariva migliorata rispetto alle nazioni di controllo.
      Per quanto riguarda la dipendenza dell’inwardness dalle dimensioni (e dalle collaborazioni internazionali) essa è segnalata nell’articolo, come pure il fatto che per la meta-nazione “mondo” l’Inwardness è per definizione uguale a 100. L’anomalia italiana, in effetti, riguarda non il valore assoluto dell’Inwardness, ma la sua variazione a partire da un certo anno.

  3. Volevo solo fare l’avvocato del diavolo, mettermi nei panni di chi dice che in fondo questi criteri hanno un senso.
    Anche se un qualche effetto benefico ci fosse, sarebbe su pochi (quelli che erano onesti, lavoravano volentieri, e non si sono lasciati travisare), e compensato abbondantemente da tanti effetti negativi, che ciascuno ha sotto gli occhi.

  4. Articolo molto interessante, che mette a nudo l’italico vizio di “arrangiarsi”. Mi pare di aver capito che, secondo gli autori, la colpa di questo comportamento “drogato” della ricerca italiana è principalmente dovuto all’ANVUR e ai suoi meccanismi/metodi di valutazione.
    Concordo che metodi e meccanismi di valutazione dell’Anvur sono da criticare e rivedere; quello che secondo me manca è la sottolineatura della propensione alla “disonestà” che permea il sistema paese, anche la ricerca. La scelta di “autocitarsi” in modo sistematico e non funzionale alla ricerca svolta non è prevista dalle regole Anvur, è una scelta personale dei singoli ricercatori, è mancanza di etica. Possiamo cambiare ogni metodo e misura, ma ho l’impressione che il problema profondo e grave sia di tipo etico e non metodologico.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.