Il miracolo scientifico italiano è solo un’illusione, dovuta a doping citazionale, così avevamo scritto in un articolo apparso lo scorso ottobre su Times Higher Education. Eugenio Bruno, sul Sole 24 Ore, dà voce alle obiezioni dell’Anvur, la nostra Agenzia nazionale di valutazione della ricerca. Desta perplessità un’agenzia di valutazione che stila un documento tecnico e lo sottopone a un quotidiano invece che alla comunità scientifica. Non solo: Anvur non si rende nemmeno conto che la figura inviata al Sole è in realtà un’ulteriore prova che dimostra quanto illusorio sia stato il miracolo italiano, a fronte di massicci tagli di risorse e di personale, quelli sì del tutto reali. Il dibattito sul “paradosso italiano” (meno finanziamenti ma boom di citazioni) è esploso in seguito alla pubblicazione lo scorso settembre di un nostro articolo su PLOS ONE. Il significato del nostro articolo è stato generalmente ben compreso all’estero, dove i commenti si sono concentrati sugli effetti distorsivi dei criteri di valutazione numerici in un ambito così delicato come quello della ricerca scientifica. Esemplare il commento di Le Monde che ha puntato il dito non tanto sui ricercatori italiani, ma sull’asineria governamentale (“ânerie gouvernementale”) di chi ha concepito e varato regole destinate inevitabilmente a incentivare comportamenti opportunistici. Scelte sbagliate, quelle italiane, che sono frutto di provincialismo e di ritardi scientifico-culturali che, duole dirlo, traspaiono anche dagli argomenti, tecnicamente inadeguati, usati dall’Anvur.
Il miracolo scientifico italiano è solo un’illusione, dovuta a doping citazionale, così abbiamo scritto in un articolo recentemente apparso su Times Higher Education [1]. Eugenio Bruno, nel suo articolo dello scorso 21 ottobre [2], dà voce alle obiezioni dell’Anvur, la nostra Agenzia nazionale di valutazione della ricerca. Eppure, la tesi del doping trova conferma proprio nel grafico, di fonte Anvur, che accompagna l’articolo di Bruno. Infatti, nella figura, che è tracciata al netto delle autocitazioni, non si vede traccia dell’impetuosa crescita scientifica italiana che tanto aveva impressionato gli estensori di un rapporto commissionato dal governo britannico [3]. Il sorpasso dell’Italia ai danni del Regno Unito appariva imminente e inevitabile se, come avevano fatto gli esperti di Elsevier, si esaminava il grafico senza depurarlo dalle autocitazioni.
___________
Il dibattito sul “paradosso italiano”, iniziato nel 2018 con la pubblicazione di articoli [4-5] che avevano evidenziato un aumento delle autocitazioni italiani in alcuni settori scientifici, è esploso in seguito alla pubblicazione lo scorso settembre di un nostro articolo [6] su PLOS ONE, rivista scientifica sì autorevole, ma non “di area medica” come scrive Bruno. In quella sede abbiamo mostrato attraverso una comparazione internazionale che, a partire dagli anni 2010, il comportamento dei ricercatori italiani ha subito un brusco cambiamento.
I ricercatori italiani, infatti, hanno cominciato ad autocitarsi maggiormente rispetto ai loro colleghi stranieri, cosicché l’Italia ha cominciato a guadagnare posizioni nella classifica citazionale delle nazioni. Lungi dal muovere accuse ai ricercatori italiani, il nostro articolo rintraccia l’origine di questo cambiamento nell’adattamento dei ricercatori ai criteri di valutazione bibliometrici promossi da Anvur. Essendo divenuto indispensabile avere un certo numero di citazioni per far carriera, i ricercatori si sono adattati, autocitandosi o scambiandosi citazioni. La notizia del doping citazionale italiano ha fatto rapidamente il giro del mondo ed è stata ripresa non solo dai quotidiani nazionali [7-9], incluso il Sole 24 Ore [10], ma anche da importanti riviste scientifiche internazionali, quali Nature [11], Science [12] e Physics Today [13].
Il significato del nostro articolo è stato generalmente ben compreso all’estero, dove i commenti si sono concentrati sugli effetti distorsivi dei criteri di valutazione numerici in un ambito così delicato come quello della ricerca scientifica. Più complessa è stata invece l’accoglienza in Italia, dove è stato spesso frainteso, leggendolo, a torto, come un atto di accusa verso comportamenti scorretti dei singoli scienziati e dei gruppi di ricerca. Esemplare il commento di Le Monde [14] che ha puntato il dito non tanto sui ricercatori italiani, ma sull’asineria governamentale (“ânerie gouvernementale”) di chi ha concepito e varato regole destinate inevitabilmente a incentivare comportamenti opportunistici.
Scelte sbagliate, quelle italiane, che sono frutto di provincialismo e di ritardi scientifico-culturali che, duole dirlo, traspaiono anche dagli argomenti usati dall’Anvur. L’obiezione tecnica mossa al nostro indicatore di Inwardness, per esempio, fa leva sulla definizione di autocitazione da noi usata che però, guarda caso, è la stessa definizione usata per il calcolo del Field Weighted Citation Index (FWCI) mostrato nel grafico proposto da Anvur. Miccoli e Rumiati obiettano che l’Inwardness cresce anche nelle altre nazioni, ma come abbiamo spiegato su PLOS ONE, l’anomalia italiana non è tanto la crescita quanto la forte accelerazione della crescita in concomitanza con l’introduzione dei criteri bibliometrici citazionali. Sorprendente anche il commento sui ricercatori che operano nelle scienze umane e sociali. L’Anvur dovrebbe essere la prima a sapere che gran parte dei loro lavori non sono censiti nei database bibliometrici internazionali, ragion per cui il loro caso non è pertinente al dibattito sul doping citazionale. Desta infine perplessità un’agenzia di valutazione che stila un documento tecnico e lo sottopone a un quotidiano invece che alla comunità scientifica.
Dieci anni di riflessioni sui limiti e sui danni delle misurazioni numeriche – la San Francisco Declaration on Research Assessment [15], il Metric Tide britannico [16], il Manifesto di Leiden [17] sull’uso responsabile della bibliometria – sembrano passati invano per i vertici dell’agenzia di valutazione. Non solo: mentre si ostinano a minimizzare, forniscono, seppur inconsapevolmente, altre prove che evidenziano quanto illusorio sia stato il miracolo italiano, a fronte di massicci tagli di risorse e di personale, quelli sì del tutto reali. È ora di riaprire gli occhi e rimboccarsi le maniche.
[Questo post esce in ritardo rispetto agli eventi cui si riferisce. Fu inviato a suo tempo a IlSole24Ore. A seguito di reiterate assicurazioni che sarebbe uscito, abbiamo atteso fiduciosi, invano.]
[1] A. Baccini, G. De Nicolao, E. Petrovich, Italy’s miracle is an illusion, Times Higher Education, https://digital.timeshighereducation.com/THE101019-N34ncq/html5/index.html
[2] E. Bruno, Autocitarsi non è un vizio italiano, Sole 24 Ore, 21 ottobre 2019, https://scuola24.ilsole24ore.com/art/universita-e-ricerca/2019-10-18/anvur-134947.php?uuid=ACqCb7s
[3] BIS, U. K. International Comparative Performance of the UK Research Base–2016. 2016, https://www.elsevier.com/research-intelligence/research-initiatives/beis2016
[4] F. Scarpa, V. Bianco, and L. A. Tagliafico, The Impact of the National Assessment Exercises on Self-Citation Rate and Publication Venue: An Empirical Investigation on the Engineering Academic Sector in Italy, Scientometrics 117, no. 2 (November 2018): 997–1022, https://doi.org/10.1007/s11192-018-2913-5
[5] M, Cattaneo M, Meoli M, Malighetti P. Self-citations as strategic response to the use of metrics for career decisions. Research Policy. 2019; 48(2):478–491. https://doi.org/10.1016/j.respol.2017.12.004
[6] A. Baccini, G. De Nicolao, E. Petrovich, Citation gaming induced by bibliometric evaluation: a country-level comparative analysis, PLOS ONE, 09.11.2019, https://doi.org/10.1371/journal.pone.0221212
[7] G. Stella I prof si citano da soli. Il Corriere della Sera,
[8] M. Esposito, Le autocitazioni dei prof italiani per scalare le classifiche, Il Mattino, https://www.cnr.it/rassegnastampa/19-09/190912/ADVNUX.tif
[9] V.Della Sala, Ricerca, le troppe autocitazioni gonfiano i risultati top dell’Italia, il Fatto Quotidiano, https://www.ilfattoquotidiano.it/in-edicola/articoli/2019/09/12/ricerca-le-troppe-autocitazioni-gonfiano-i-risultati-top-dellitalia/5447777/
[10] Alberto Magnani, Auto-citazioni, il «doping» della ricerca italiana, Il Sole 24 Ore, https://www.ilsole24ore.com/art/boom-auto-citazioni-studio-denuncia-doping-ricerca-italiana-ACnIPdj
[11] Richard Van Noorden Italy’s rise in research impact pinned on ‘citation doping’, Nature News, https://www.nature.com/articles/d41586-019-02725-y?fbclid=IwAR3cfJMU0gH0-JMqg6HMTuXdNH-QGGucJCyLKBoUbWz23izj2Tz8WC5LEBM
[12] G. Guglielmi,Clubby and ‘disturbing’ citation behavior by researchers in Italy has surged, Science Mag, https://www.sciencemag.org/news/2019/09/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged
[13] D. Singh Chawla, Researchers in Italy are increasingly citing researchers in Italy, Physics Today, https://physicstoday.scitation.org/do/10.1063/PT.6.2.20190919a/full/
[14] S. Huet, Recherche scientifique : le faux miracle italien, Le Monde, https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/
[15] San Francisco Declaration on Research Assessment (DORA), https://sfdora.org/
[16] The Metric Tide, https://responsiblemetrics.org/the-metric-tide/
[17] Leiden Manifesto for Research Metrics, http://www.leidenmanifesto.org/
Dialogo sentito casualmente in autobus andando all’università; solo lievemente adattato per focalizzare sul punto essenziale.
Dialogo tra due neolaureati magistrali.
A: Poi riuscirai a pubblicare qualcosa del tuo lavoro di tesi?
B: Sicuramente sì. Ma devo vedere cosa fare. Il mio relatore mi ha suggerito di scrivere un articolo di review.
A: Mi sembra un’ottima idea!
B: Mah, devo vedere, forse come primo lavoro sarebbe meglio un articolo sul problema specifico affrontato nella tesi.
A: Ma no! sai quante citazioni riesci ad avere subito con un articolo di review? Quello lo citano subito in tanti!
B: Beh, sì, partire con tante citazioni può essere un vantaggio.
Ho provato veramente tanta tristezza. L’unico commento a margine è che va dato ad anvur una buona parte del merito di tutto ciò.
Ah quelli de Il Sole!
ANVUR, ovvero la valutazione casareccia e anticulturale delle ricerca. I nomi dei sette “saggi” dell’agenzia cambiano nel tempo, ma il risultato rimane il medesimo: un coktail micidiale di provincialismo, incompetenza e opportunismo.
Miccoli & co dovrebbero solo vergognarsi e fare una pesante autocritica per quella che possiamo eufemisticamente definire un ennesima cantonata. Invece, nulla, sono muri di gomma. Da ciò che scrivono c’è veramente da preoccuparsi perchè si conferma che presente e futuro di Università e Ricerca sono in mano a degli incapaci. Ma questo purtroppo ormai è l’andazzo da noi.
In un paese serio verrebbero cacciati o si dimetterebbero, invece in Italia rimangono indisturbati con i loro profumati stipendi liberi di devastare, come un cancro, il sistema della ricerca pubblica.
L’obbrobio delle autocitazioni oltre a falsare la posizione dell’Itali nello scenario mondiale della ricerca è un enorme danno per qunato riguarda il reclutamento e l’ottenimento dell’abilitazione con successiva chiamata da parte degli atenei nel ruolo di associati o ordinari.
Che ne dite di un candidato che ha ottenuto l’abilitazione, con due mediane, e che per quanto riguarda le citazioni crolla del 50% quando vengono eliminate le autocitazioni? Nel 2018 risultano 109 citazioni dei sui lavori che scendono a 32 escludendo le autocitazioni e a 19 escludendo le autocitazioni di tutti gli autori!
SIGH!!!!!
Quindi, secondo Bruno, Nature, Science e Physics Today sarebbero “media generalisti”?
Sia dalla mia esperienza personale, sia da una vecchia e bella trasmissione televisiva “Prima della prima”, sia dalle osservazioni spiritose più recenti di un antropologo britannico (che sosteneva che l’organizzazione di una mostra è più interessante della mostra in sé), l’indagine sugli aspetti e sui dettagli meno appariscenti o da quinte di un lavoro qualsiasi è molto istruttivo poiché si entra in qualche modo nella sua struttura profonda o nella sua ‘mentalità’ che è poi quella del suo creatore.
Prendiamo l’articolo di E. Bruno, alcuni suoi particolari. PLOS ONE non è una rivista di area medica, come si sostiene, ma è “una rivista scientifica di tipo open access pubblicata da[lla] Public Library of Science (PLOS) … Pubblica ricerche originali riguardanti tutte le discipline di ambito scientifico.” La verifica è semplicissima. Non è stata, inoltre, questa rivista ad accusare “gli scienziati tricolori”, cioè italiani, di questo e di quello. Si tratta, invece, di risultati e commenti contenuti in un articolo, non citato da Bruno, e pubblicato da PLOS ONE; per di più tale articolo non è anonimo o redazionale, e i suoi autori sono, in ordine alfabetico, Baccini, De Nicolao, Petrovich. La ANVUR, per contro, è guidata da una persona con nome e cognome, come ricavabile dall’articolo di Bruno. Trattamento, quindi, non paritario di persone coinvolte in un dibattito di non second’ordine.
Come già detto da altri, il giornalista ha avuto accesso esclusivo o preferenziale ad un documento dell’ANVUR, la quale, coraggiosamente, non lo ha messo anzitutto a disposizione di altri, più competenti in materia del giornalista. Il quale riassume e cita secondo la sua personale lettura, senza evidenziare la scorrettezza e la stranezza di questo modo di procedere in un ambito strettamente tecnico e professionale.
La vicenda si conclude con la mancata pubblicazione sul Sole (rifiuto tacito) della replica dei tre autori.