Nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, anziché diminuire è addirittura aumentato. Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, le pubblicazioni italiane, non solo hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), ma hanno raggiunto il secondo posto nel G8, appena dietro al Regno Unito. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future“. La spiegazione? “La valutazione migliora l’università” aveva detto nel 2016 Andrea Graziosi, Presidente dell’Anvur, l’agenzia nazionale di valutazione della ricerca. Tuttavia, diversi studi stanno mostrando che l’uso massiccio della bibliometria nella valutazione della ricerca promuove comportamenti opportunistici da parte dei ricercatori. È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich) che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. A partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10. Sembra esserci una sola spiegazione plausibile: la necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Così stando le cose, l’incremento dell’impatto citazionale italiano registrato nei “country ranking” è un miraggio, dovuto a un colossale doping citazionale collettivo.

Link all’articolo: https://doi.org/10.1371/journal.pone.0221212

 

1. Il paradosso italiano

Com’è noto, la riforma universitaria introdotta nel 2010 con la legge Gelmini (L240/2010) ha profondamente ridisegnato il sistema della ricerca italiano. Nel nome dell’uso efficiente dei fondi pubblici, i finanziamenti per la ricerca hanno subito tagli severi, il turnover è stato fortemente ridimensionato ed è stato messo in moto un complesso sistema di valutazione della ricerca, gestito dalla neonata Agenzia per la Valutazione della Ricerca e dell’Università (ANVUR). Com’è noto, spina dorsale di questo sistema sono gli indicatori bibliometrici che, da quel momento, svolgono un ruolo fondamentale nell’accademia. Non soltanto sono usati per valutare la performance dei dipartimenti e degli atenei, ma sono entrati anche nelle procedure di reclutamento e promozione dei ricercatori. Ad oggi, superare le cosiddette “soglie bibliometriche”, che nelle scienze dure sono calcolate sulla base di citazioni, pubblicazioni e h-index, è condizione necessaria per ottenere l’Abilitazione Scientifica Nazionale (ASN) nei settori scientifici.

Tuttavia, nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, infatti, anziché diminuire è addirittura aumentato.

Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, nel 2012 le pubblicazioni italiane hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), e l’Italia ha raggiunto il secondo posto nella classifica dei Paesi G8, appena dietro al Regno Unito[i]. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future“[ii]. Anche Nature, in un recente editoriale, ha riconosciuto il continuo miglioramento della performance italiana, nonostante il basso livello di spesa pubblica in ricerca e sviluppo (1.3%), ampiamente al di sotto della media europea.[iii]

2. Affama la bestia, schiocca la frusta bibliometrica

Tali risultati sembrano dimostrare che l’Italia sia diventata, grazie alla riforma, una specie di tigre della scienza europea. Tagli alla spesa, uniti al pervasivo uso di misurazioni bibliometriche, sembrerebbero essere la ricetta giusta per conquistare le vette dei ranking internazionali.

Secondo ANVUR, “Italy is one of the international best practices in the design and implementation of research evaluation exercises. In particular, the use of bibliometrics is at the forefront for how it deals with the problems of comparison between disciplines and for the sophisticated use of multiple indicators“. L’Agenzia mette in evidenza il crescente innalzamento della ricerca italiana verso elevati standard scientifici: “After a first phase in which autonomy was accompanied by centrifugal tendencies, in recent years Italian universities have shown a gradual convergence towards higher standards both in teaching […] and in the research activity.“[1]

Eppure, prima di proporre l’Italia come un modello vincente, da esportare magari in altri paesi europei e nei giganti emergenti della scienza del XXI secolo, Cina e India, è necessario considerare attentamente il lato oscuro del successo italiano.

3. Una mascherata bibliometrica

Sono sempre di più gli studi che mostrano come l’uso massiccio della bibliometria nella valutazione della ricerca induca comportamenti opportunistici da parte dei ricercatori. Di recente, uno studio di Ioannidis e colleghi ha rivelato che, tra i ricercatori più citati al mondo, ce ne sono alcuni che ricorrono in modo massiccio e sistematico all’autocitazione per far lievitare i propri indicatori. [iv]

Riguardo all’Italia, lavori recenti hanno rilevato un aumento dell’uso strategico delle autocitazioni all’interno di alcuni settori scientifici[v].

È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich)[vi] che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. Tale indicatore misura quante delle citazioni totali ricevute da un Paese provengano dal Paese stesso, cioè quanto dell’impatto totale di un Paese sia dovuto a citazioni “endogene”. In questo modo, l’indicatore è sensibile sia alle autocitazioni che ai cosiddetti “club citazionali” intra-nazionali (gruppi di connazionali che scambiano opportunisticamente citazioni) in quanto entrambi i tipi di citazione provengono dal Paese stesso.

Per la prima volta, viene mostrato chiaramente che la recente impennata dell’impatto citazionale dell’Italia è essenzialmente un miraggio, prodotto da un cambiamento del comportamento citazionale dei ricercatori italiani dopo la riforma.

Confrontando gli andamenti nel tempo dell’Inwardness dei Paesi del G10, a partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10 nella maggior parte dei settori di ricerca. Dietro gli USA, nel 2016, l’Italia diventa, globalmente e nella maggior parte dei campi di ricerca, il Paese con l’Inwardness più alta, a fronte del più basso indice di collaborazioni internazionali.

La spiegazione più probabile di questo fenomeno è che le nuove policy introdotte dalla riforma abbiano indotto nei ricercatori italiani un sostanziale incremento dell’uso strategico delle citazioni. La necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR con ogni mezzo ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Stando così le cose, l’incremento dell’impatto italiano registrato nei ranking citazionali non sarebbe altro che il frutto di un doping citazionale collettivo. Dietro al caso italiano non ci sono politiche della scienza miracolose, ma una gigantesca mascherata bibliometrica.

Che lezione dovremmo trarre da questi dati? Qualcuno potrebbe pensare che l’uso di indicatori più raffinati o la rimozione delle autocitazioni dai calcoli basterebbe a risolvere il problema. Dal nostro punto di vista questa soluzione è invece destinata al fallimento: i ricercatori sono estremamente veloci ad adattarsi ai cambiamenti nella science policy e qualsiasi nuovo indicatore non farebbe altro che stimolare strategie di “gaming” più raffinate, in accordo con la famosa legge di Goodhart (“Quanto una misura diventa un obiettivo, cessa di essere una buona misura”).  Noi pensiamo al contrario che l’insegnamento da ricavare sia che non esiste alcuna bacchetta magica – bibliometrica o di altro tipo – che possa gonfiare la performance scientifica di un Paese. Soltanto un massiccio investimento nella ricerca può farlo.

[1] ANVUR, Rapporto biennale sullo stato del sistema universitario e della ricerca 2018, 2018, https://www.anvur.it/rapporto-biennale/rapporto-biennale-2018/

[i] Nature, Seven days: 6–12 December 2013, https://www.nature.com/news/seven-days-6-12-december-2013-1.14335

[ii] BIS, U. K. International Comparative Performance of the UK Research Base–2016. 2016, https://www.elsevier.com/research-intelligence/research-initiatives/beis2016

[iii] Nature, Editorial, ‘Memo to Italy’s president: your researchers need you’, 27 August 2019, https://www.nature.com/articles/d41586-019-02560-1

[iv] John P. A. Ioannidis et al., ‘A Standardized Citation Metrics Author Database Annotated for Scientific Field’, PLOS Biology 17, no. 8 (12 August 2019): e3000384, https://doi.org/10.1371/journal.pbio.3000384.

[v] Marco Seeber et al., ‘Self-Citations as Strategic Response to the Use of Metrics for Career Decisions’, Research Policy 48, no. 2 (March 2019): 478–91, https://doi.org/10.1016/j.respol.2017.12.004; Federico Scarpa, Vincenzo Bianco, and Luca A. Tagliafico, ‘The Impact of the National Assessment Exercises on Self-Citation Rate and Publication Venue: An Empirical Investigation on the Engineering Academic Sector in Italy’, Scientometrics 117, no. 2 (November 2018): 997–1022, https://doi.org/10.1007/s11192-018-2913-5.

[vi] A. Baccini, G. De Nicolao, E. Petrovich, “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis”, PLOSONE, 09.11.2019 https://journals.plos.org/plosone/article?id=10.1371/pone.0221212

Print Friendly, PDF & Email

118 Commenti

  1. “Recherche scientifique : le faux miracle italien”: ne parla Sylvestre Huet nel suo blog ospitato sul sito di Le Monde. Nell’ultima frase, l’articolo non esita a definire “asineria governamentale” le politiche di valutazione della ricerca italiane:
    “le “buone” cifre in numero di articoli e citazioni sono il risultato di un inganno collettivo provocato dall’asineria governamentale”. [les « bons » chiffres en nombre d’articles et de citations sont le résultat d’une duperie collective provoquée par l’ânerie gouvernementale.]
    ___________



    ________
    “L’Italia ha una ricerca scientifica in forte espansione? Impiega sempre più ricercatori? Sta spendendo sempre più denaro pubblico e privato per le sue attività di ricerca e sviluppo? No, no e no. Piuttosto, la stampa si riferisce ai suoi espatriati e ai dottorandi mal pagati. Basti considerare una statistica spietata, la quota del PIL spesa in ricerca per avere una buona idea della situazione …”

    https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/

  3. “Climate costs, biobank genomes and strategic citations”: la rubrica “The week in science” di Nature riassume le notizie salienti della settimana, accostando le autocitazioni italiane al rapporto IPCC sul cambiamento climatico e al progetto del governo UK di sequenziare entro il 2021 l’intero genoma dei 500,000 partecipanti alla UK Biobank. “Italy is climbing international rankings of research impact, but that doesn’t mean the country’s science has improved or become more influential. An analysis suggests the upward trend could be largely the result of Italian academics referencing each other’s articles to satisfy controversial management targets at universities.”



    ___________
    https://www.nature.com/articles/d41586-019-02758-3?fbclid=IwAR28I35W16QkxMe9dtEvzY1ivayH42DUlLMlFlE1K6LEioJalv13sk-upvY

  4. Dalmeet Singh Chawla su Physics Today (“the world’s most popular physics magazine”)
    ________
    Ludo Waltman, an information scientist at Leiden University in the Netherlands who was not involved with either study, agrees. He reproduced the findings of Baccini and colleagues using roughly a million papers from the Web of Science database that were published between 2000 and 2018. “I have obtained essentially the same results,” he says. “I find this disturbing.
    […]
    In a statement to Physics Today, representatives from Italy’s National Agency for the Evaluation of Universities and Research Institutes, the governmental body that defines and enforces the bibliometric guidelines, challenge the interpretation of the publication data. Given that inwardness started rising before 2010, one cannot say the trend is definitely a result of the regulations, write Paolo Miccoli and Daniele Livon, the president and the director of the agency, respectively. “At the moment there are not enough elements to support the view of an Italian paradox in terms of self-citations, nor of a perverse effect of new regulation on this issue,” they conclude.”
    ________


    ____________
    https://physicstoday.scitation.org/do/10.1063/PT.6.2.20190919a/full/#.XYPwK8MW6rY.twitter

  6. Era prevedibile che un fatto talmente mostruoso, come valutare la ricerca in base ai likes che uno riceve, andasse a finire sui media internazionali. Roars è il soggetto più titolato per organizzare una specie di manifesto affinché questa mastodontica boiata venga abolita seduta stante con un decreto urgente di Fioravanti. Il ministro ha l’occasione unica di mostrare la necessaria determinazione cancellando una vergognosa e offensiva idiozia, partorita da un manipolo di pericolosi incompetenti che non ha la più pallida idea di cosa sia la ricerca.

  9. Così come buona pratica scientifica, sarebbe una buona cosa se quando pubblicate sul vostro blog un articolo che riguarda un journal paper che ha 2/3 autori all’interno della vostra redazione indicaste chiaramente parte questo “conflitto di interessi”, anziché presentarlo come uno studio indipendente (“È appena uscito su PLOS ONE l’articolo…”). Dareste un’impressione molto migliore.

    • Ebbene sì, Federico Poloni ci ha smascherato. Io e Baccini speravamo di far passare come autorevole studio indipendente un nostro articolo, confidando che i lettori di Roars mai e poi mai avrebbero immaginato che Baccini e De Nicolao indicati come autori del post subito sotto il titolo (vedi figura qui sotto) fossero gli stessi Baccini e De Nicolao che, poche righe dopo, sono indicati come autori dell’articolo (di nuovo, vedi qui sotto). Accidenti, pensavamo di averla data a bere a tutti e invece arriva Poloni che ci prende in castagna. La prossima volta dobbiamo ricordarci di non spiattellare i nostri cognomi in bella vista nell’abstract del post oppure avere la furbizia di scrivere un post a nome Redazione ROARS.
      ______________

    • Federico Poloni: Il commento seguito dalla conclusione “Dareste un’impressione molto migliore” offre un bell’esempio di come analisi inconsistenti possano apparire, alle “recchie” del profano, come fondate solo per la frase fatta finale. Non importa che il tutto abbia un qualche senso logico, l’importante è la chiosa finale. Comunque, onde evitare fraintendimenti, se seguissero l’arguto e saggio consiglio, non mi darebbero affatto “un’impressione migliore”.

    • Il link citato da Poloni è un trafiletto che si limita a mettere a confronto quanto dichiarato da Anvur a Physics Today con un paragrafo virgolettato preso dall’articolo su PLOS ONE dove veniva anticipata proprio l’obiezione di Miccoli e Livon. Detto questo, Poloni deve rassegnarsi: ogni giorno che passa, diventiamo più astuti nella nostra subdola opera di persuasione occulta ai danni dei lettori di Roars. Poloni potrebbe mostrare anche un po’ di comprensione nei nostri confronti. Senza questi nostri meschini espedienti, chi mai avrebbe dato credito al nostro articolo, a parte Nature, Science, Physics Today e Le Monde?

    • Il contributo segnalato si basa sul database di Ioannidis (100.000 ricercatori), che copre circa 2.300 ricercatori italiani tra i più citati, mentre il fenomeno che abbiamo segnalato è su larga scala e innescato dalla necessità di raggiungere le soglie. Non è guardando a chi stava ben sopra che si possono trovare smentite o conferme.

    • Contributo critico? Forse banalizzerò ma la posizione di D’Antuono e Ciavarella mi sembra ingenua e preconcetta.

      Ingenua perché quello che scoprono è che chi ha/aveva già una valanga di citazioni ha/aveva meno motivazione/necessità di aumentarle. Un po’ come scoprire che se l’acqua è già calda serve meno calore per portala ad ebollizione. E’ vero, ma non serve a discutere del problema di chi ha acceso qualche fuoco in più e perché.

      Preconcetta perché chi si domanda “Is it a minority or the tail of less-rated researchers (either because they are poorly performing or because they are young newcomers) trying to beat the system to rig the bibliometric evaluations through the few self-citations that they can manufacture?” ha già un dichiarato pre-concetto sul significato dlla bibliometria applicata a singoli ricercatori. Con buona pace della San Francisco Declaration on Research Assessment, evidentemente sottoscritta dai soliti sfigati incapaci di procurarsi un po’ di citazioni o giovincelli ancora alle prime armi.

    • Giorgio Pastore:
      Ingenua? Perché?
      Usiamo il tuo esempio. Ti basta che ti dicano che l’acqua è calda perché tu ci creda o, da buono scienziato, credi di dover infilare tu stesso la mano per conoscere la sua temperatura? Se ti basta che te lo dicano beh, allora la posizione ingenua è la tua. Se poi ti accorgi che era già calda perché ci ha messo poco a bollire sei ingenuo uguale perché te ne sei accorto quando era troppo tardi.
      Preconcetta? Forse.
      D’altronde come potrebbe non esserlo se proprio uno dei due autori (ovviamente non io) fa parte degli highly cited. Pertanto, sapendo che lui non ricorre a tali trucchetti, è partito da una idea di base.

      In ogni caso, ANVUR cerca eccellenza e le note negative su di essa potrebbero avere ripercussioni.
      Chiudo citando il commento sul gruppo Facebook di Enzo Marinari:
      Siccome questi risultati verranno certamente usati per togliere finanziamenti alla nostra accademia, questo andrebbe chiarito: “è possibile mostrare che la ricerca di alto livello italiana non sia toccata da questo fenomeno, che coinvolge invece quasi esclusivamente settori di qualità non altissima”. Un disclaimer così aiuterebbe e tanto. E, in fondo, non è solo un disclaimer, ma una nota cruciale senza la quale il bel lavoro di cui discutiamo viene completamente travisato e usato per scopi mondani (fregare noi ricercatori) che non erano quelli degli autori.

    • Pietro D’Antuono: “In ogni caso, ANVUR cerca eccellenza”
      _______________
      Nel 2017 l’allora presidente dell’ANVUR non sembrava pensarla in questo modo, anzi non esitava a riconoscere che i criteri bibliometrici anvuriani erano penalizzanti proprio per i novelli Galilei e Newton. E che questo non lo turbava affatto.
      _______________
      Giulia Presutti (Report): «Qualcuno dice che i criteri bibliometrici scoraggino un po’ la ricerca innovativa».
      Andrea Graziosi (presidente ANVUR): «Io credo sia un’illusione penosa – scusi il termine – immaginarsi che una qualunque comunità in qualunque momento riesca a vedere qual è la cosa innovativa», «la ricerca di eccellenza è sempre fatta da piccolissimi numeri di persone. È stata fatta – e chi la faceva è stato anche messo al rogo, oggi al massimo uno perde un po’ più di tempo per farsi riconoscere», «il suo premio lo avrà quando diventerà lo scienziato più famoso del mondo tra vent’anni. Dovrà ringraziare che nel frattempo è rimasto ricercatore e non l’hanno bruciato vivo. Cioè, francamente, non è che siamo tutti Galilei e Newton.»
      https://www.roars.it/galilei-valutato-dagli-anvuriani-graziosi-dovra-ringraziare-che-e-rimasto-ricercatore-e-non-lhanno-bruciato-vivo/
      ==================
      Pietro D’Antuono: “e le note negative su di essa [ANVUR] potrebbero avere ripercussioni”
      ___________________
      Ha ragione D’Antuono: è meglio lavare i panni sporchi in famiglia. Se stiamo attenti a difendere la nostra la reputazione, avere addestrato una generazione di ricercatori al doping bibliometrico non può certo destare preoccupazione.

    • Pietro D’Antuono:
      L’esempio dell’ acqua era un modo per dire che si tratta della scoperta dell’ acqua calda. Se uno ha più di 10000 citazioni, nessuna persona di buon senso può pensare che siano in maggioranza autocitazioni o che abbia bisogno di dopare le citazioni. L’articolo di Baccini, De Nicolao e Petrovich segnala una correlazione tra aumento delle citazioni e instaurarsi di critri di valutazione automatica dei singoli basata sulla sola bibliometria. Quindi, che la fascia altamente citata non abbia bisogno di trucchetti dovrebbe essere evidente. O no?

      Forse il vero punto del vostro articolo è di ribadire il preconcetto. Molte citazioni = eccellenza nella ricerca è statisticamente, ma non sempre, vero. E soprattutto, non implica come conseguenza “poche citazioni = ricerca ‘poorly performant'”. Non lo implica dal punto di vista logico e neanche fattuale. Non ho bisogno di analisi bibliometriche a supporto per saperlo. Mi basta aver avuto la fortuna nella mia vita professionale di aver incontrato un certo numero di eccellenze assolute (che lo erano indipendentemente dal numero di citazioni).

      Mi piacerebbe che ogni tanto gli “highly cited scientists” la smettessero di contare le proprie citazioni e si guardassero attorno e parlassero con i colleghi, oltre a interrogare database, per capire quanto sia veramente cambiata e in che direzione la qualità della ricerca italiana dopo quasi un decennio di cure anvur.

  15. La valutazione bibliometrica ha indotto una miriade di gravi effetti collaterali. Tra i tanti, particolare menzione merita la tendenza generale a valutare aspetti che con la ricerca, specialmente quella di base, non hanno molto a che fare. Einstein raccomandava ai giovani (e non) di rinchiudersi in un faro in mezzo al mare e meditare. Oggi, in un concorso, oltre alla valutazione bibliometrica, viene richiesto il numero di grants di cui sei stato PI, le attività di terza missione (quanti caroselli hai fatto), le attività gestionali, ecc. ecc. Molto spesso si tratta di aspetti che richiedono un lavoro di marketing adatto per chi ha tale vocazione, dote encomiabile ma che non ha alcuna rilevanza per la ricerca. Anzi, chi ama la ricerca tendenzialmente evita impegni che distolgano l’attenzione. Uno scienziato lo si valuta per ciò che ha prodotto, e se non si è in grado di giudicarlo ci si affidi ad uno o più esperti del campo.

    La rilevanza delle citazioni e delle public relations ha spalancato la strada al paraculismo più cinico, per cui vi sono soggetti di scarso spessore scientifico, ma di grande dinamismo, che riescono a fare carriere incredibili conoscendo a malapena l’ABC. Paradossalmente oggi un giovane Einstein sarebbe probabilmente ignorato.

  16. Mi sono permessa e divertita (ognuno si diverte come può, di domenica) a tradurre, con google tradutt. ma intervenendovi qua e la, parti del testo in ceco, così imparo qualcosa di nuovo. Link completo:
    https://vedavyzkum.cz/ze-zahranici/ze-zahranici/italsky-vyzkum-se-zdanlive-raketove-zlepsuje-mohou-za-to-autocitace.
    “La ricerca italiana sembra migliorare vertiginosamente per autocitazione. ….. Gli studi degli scienziati italiani sono ampiamente citati in proporzione ad altre pubblicazioni scientifiche europee. Tuttavia, risultati di ricerca migliori o superiori alla media non sono chiaramente visibili nel paese. Una recente analisi suggerisce che la tendenza al rialzo delle citazioni da parte degli scienziati locali potrebbe essere in gran parte correlata al fatto che gli scienziati italiani fanno riferimento ai loro articoli tra di loro. ……. Dal 2010, il tasso di citazione degli scienziati italiani è aumentato in modo significativo rispetto ad altri paesi. Tuttavia, ciò può essere correlato all’aumento del numero di citazioni personali, che è stato provocato da una modifica del metodo di valutazione delle prestazioni scientifiche. ………
    Cooperazione sistematica o semplice coincidenza? È stato dimostrato che i risultati bibliometrici distorcono la vera qualità della ricerca italiana. I risultati dello studio di Baccini sono stati supportati anche da vari scienziati mondiali, ad esempio l’olandese Ludo Waltman ha provato a riprodurli utilizzando un altro database e ha raggiunto una conclusione molto simile. Essi confermano quindi la possibile conclusione che il cambiamento nella valutazione italiana della scienza ha portato all’adattamento del comportamento “strategico” degli scienziati italiani, che non può essere confuso con un cambiamento reale nella qualità della ricerca scientifica. Tuttavia, non tutti sono convinti che si sia trattato in Italia di un comportamento di calcolo deliberato. Lo scienziato americano John Ioannidis afferma che il cambiamento nel numero di autocitazioni non è così drammatico [=spettacolare?] e che la fluttuazione può essere causata da un incidente. Tuttavia, l’autore principale dello studio Baccini sostiene che il suo paese potrebbe anche considerare la totale esclusione le autocitazioni dalla valutazione complessiva, o almeno abbassare le soglie di citazione. Allo stesso tempo, egli raccomanda vivamente di maneggiare la bibliometria con cautela, specialmente nel contesto delle politiche di “soglia di citazione” che gli scienziati devono superare per essere promossi o assunti.

  17. Caro Pastore, qui non si tratta di degradare chi ha 10000 citazioni (tutte positive), ma del fatto che le citazioni pompate elevano la soglia di accesso ai diversi benefici, dagli scatti stipendiali, alle quote premiali, ai fondi di ricerca interni ed esterni, nonché alle progressioni di carriera o all’ingresso in ruolo, per tutti gli altri che onestamente si occupano appunto di produrre studi seri originali e realmente innovativi e che dunque non hanno tempo da perdere in giostre citazionali e valutative gratuite o a pagamento.
    Senza contare l’enorme dispendio di risorse di ricerca che va a beneficio delle innumerevoli attività editoriali, ovviamente private.

  18. Credo che non siano ben chiari a tutti i paradossi causati dalla valutazione bibliometrica. Cito un caso ad esempio: oltre 100.000 (10^5) citazioni in 6 anni per un ricercatore che ora è RUA. Orbene, senza voler togliere alcunché agli ampi meriti, va menzionato come con tali numeri chi lavora in un campo di ricerca molto affermato, firmando centinaia di lavori insieme a migliaia di colleghi, si trova, con tali regole, in una situazione di vantaggio incolmabile rispetto a chi, nello stesso SSD, sta lavorando da anni ad un altro esperimento di estrema difficoltà e che deve ancora “partire”. Lo sfigato non si vedrà abilitato perché le mediane sono dopate da numeri inarrivabili. La bibliometria obbliga ad una scelta inequivocabile: fate ricerca solamente nel main stream, fregatevene di problemi aperti se non vi danno forti garanzie di successo bibliometrico a breve, anzi immediate. E’ del tutto ovvio che con questa idiozia muore la ricerca, con danni incalcolabili per tutta la società.

    3-4 anni fa un consigliere di Renzi ebbe a dire: sappiamo bene che la valutazione bibliometrica è un nonsenso ma preferiamo che rimanga, almeno c’è una valutazione oggettiva. Se questo è il livello del pensiero del renziano, beh meno male che s’è messo a fare lo yogurt.

  20. “Be Careful What You Measure” scrive David Rosenthal nel suo blog, commentando l’articolo apparso su PLOS ONE. Questa la conclusione:
    _______
    “So what did the Italian authorities expect when they made hiring, promotion and research funding dependent upon citation counts? Similarly, what did academics expect when they made journal prestige, and thus tenure, depend upon citation counts via Impact Factor? Was the goal to increase citation counts? No, but that’s what they got.”

    https://blog.dshr.org/2019/10/be-careful-what-you-measure.html


    ___________________
    In coda all’articolo c’è anche un interessante commento di Blissex2.

« Commenti meno recenti Commenti più recenti »

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.