A proposito dell’articolo sul “doping citazionale” apparso su Plos One

I sistemi di valutazione bibliometrici devono il proprio successo all’apparente “scientificità”. Tra le possibili critiche, quella giustamente messa al centro dell’attenzione da parte di Baccini, De Nicolao e Petrovich, evidenzia gli effetti degli indicatori bibliometrici sulle tendenze future della ricerca scientifica. Un criterio rilevante per il conseguimento dell’Abilitazione Scientifica Nazionale è quello di avere indici non minori della mediana di chi è già docente della rispettiva fascia. Ciò innesca un meccanismo circolare che porterà gli indici degli abilitati ad aumentare a ogni ciclo. Un processo lucidamente promosso dall’ANVUR che nel 2011 scriveva: “Il criterio della mediana, per la sua natura intrinseca, soddisfa all’obbiettivo di far crescere nel tempo la qualità scientifica della classe dei docenti”. Diviene allora quasi indispensabile, specie per i ricercatori più giovani, evitare le ricerche più difficili, mentre conviene concentrarsi su quelle che garantiscono una ragionevole certezza di pubblicare articoli in tempi brevi. Pertanto, l’obbligo di innalzare ogni anno gli indici bibliometrici, al contrario dell’ingenua identificazione tra qualità e quantità proposta dall’ANVUR, tende più facilmente ad abbassare la qualità della ricerca. Esiste, per la verità, un’alternativa. In un paese come la Francia, i giudizi fondati sulla conoscenza diretta o su poche applicazioni della proprietà transitiva costituiscono ancora una griglia che è in grado di arginare, nella maggioranza dei casi, la frana generale del livello medio.

Il problema di valutare in modo efficace la qualità della ricerca scientifica è ormai avvertito con crescente consapevolezza, e l’adeguatezza dei criteri puramente bibliometrici è stata sottoposta a critiche numerose e variegate. Si tratta di una questione cruciale, le cui ricadute sul “mondo reale” sono ovviamente ancora più importanti degli ingombranti effetti sulla vita lavorativa di chi fa ricerca. La questione meriterà quindi certamente un intervento più articolato su Anticitera, mentre in questo breve contributo vogliamo semplicemente fare qualche considerazione sulla base di un recente studio di Alberto Baccini, Giuseppe De Nicolao ed Eugenio Petrovich (Citation gaming induced by bibliometric evaluation: A country-level comparative analysis) pubblicato su Plos One[1] e ripreso da Gian Antonio Stella sul Corriere della Sera del 12 settembre[2] e dagli stessi autori su Roars[3].

L’idea alla base dei sistemi di valutazione bibliometrici deve il proprio successo all’estrema semplicità ed apparente “scientificità”: valutare il valore scientifico di un articolo contando le citazioni che esso riceve è un criterio quantitativo, oggettivo e neutro che, come le misure delle grandezze fisiche, evita qualsiasi parzialità. Questa idea base viene usata poi come ingrediente essenziale di algoritmi di varia complessità. In genere si omette di ricordare che l’adozione di questi sistemi di valutazione è divenuta necessaria soprattutto perché l’aumento esponenziale del numero delle pubblicazioni ha reso virtualmente impossibile la loro lettura da parte di valutatori umani, in grado di esprimere un giudizio motivato sulla loro qualità.

Le critiche al funzionamento di valutazioni di questo tipo si possono articolare su quattro livelli diversi:

1. si può criticare la facilità più o meno grande con cui si possono violare le regole alla base dei meccanismi di pubblicazione dei risultati scientifici, e quindi delle valutazione bibliometriche; i casi di ricercatori che inventano dati sperimentali o copiano risultati altrui rientrano in questa categoria, mentre la completa automatizzazione dei meccanismi di conteggio e di attribuzione da parte delle maggiori riviste scientifiche rende la diretta alterazione fraudolenta degli indicatori bibliometrici complicata, ma non certo impossibile.
2. Esiste anche la possibilità di eludere le regole senza violarle alla lettera, ad esempio mediante autocitazioni non necessarie o non attinenti (fenomeno enfatizzato nell’articolo sul Corriere della sera, ma in realtà di scarsa importanza perché molti indici non tengono conto delle autocitazioni), o, soprattutto, con la creazione di “circoli citatori” tra gruppi di autori[4] (descritti dagli autori dell’articolo su Plos One).
3. L’efficacia stessa del conteggio delle citazioni, e in particolare dell’indice di Hirsch[5] (detto anche semplicemente “indice h”) come indicatore del livello scientifico di un ricercatore, può essere messa in discussione. Si citano spesso casi di grandi scienziati del passato che, in quanto autori di poche opere, hanno indice h molto basso: nel caso di Copernico, ad esempio, l’indice è 1, perché è ovvio che l’indice h è sempre non maggiore del numero totale di opere scritte. In effetti è certamente assurdo che l’autore di una sola pubblicazione fondamentale, che ha avuto un effetto enorme nel suo ambito di studi ed è stata citata innumerevoli volte, debba essere considerato inferiore a chi ha pubblicato due articoli citati esattamente due volte ciascuno.
4. Si possono infine criticare gli effetti dell’esistenza stessa degli indicatori bibliometrici, e del valore che loro attribuiamo, sulle tendenze future della ricerca scientifica.

L’ultima categoria è decisamente la più importante, ed è giustamente messa al centro dell’attenzione da parte di Baccini, De Nicolao e Petrovich. Si tratta di un concetto familiare ai fisici, che sanno bene come gli strumenti di misura alterano il fenomeno osservato, e anche a sociologi ed economisti, che l’hanno descritto in famose leggi empiriche[6]. È chiaro che assegnare un’importanza formale agli indicatori bibliometrici, come è avvenuto ad esempio nel caso della riforma Gelmini del 2011 i cui effetti sono analizzati dall’articolo su Plos One, produce un cambiamento nelle scelte dei singoli ricercatori che si traducono in comportamenti che aumentano artificialmente i valori degli indicatori stessi. Esplode, in altre parole, quella che a volte è definita una “febbre citatoria”, ed è singolare che qualcuno ancora pensi di difendere l’oggettività degli indici bibliometrici scrivendo frasi del tipo “non bisogna prendersela col termometro se la febbre è alta”.

Alcuni dei principali effetti dell’attribuzione di un valore “ufficiale” all’indice h e a concetti similari sono analizzati dall’articolo su Plos One. In particolare, come si diceva, gli autori studiano la moltiplicazione delle autocitazioni e la costituzione di circoli citatori. C’è tuttavia un altro effetto che ci sembra ancora più importante: la moltiplicazione del numero stesso di articoli pubblicati. Secondo la citata riforma Gelmini, un criterio rilevante per il conseguimento dell’Abilitazione Scientifica Nazionale alle funzioni di professore di I o II fascia è quello di avere indici non minori della mediana di chi è già docente della rispettiva fascia. È chiaro allora che viene innescato un meccanismo circolare che porterà gli indici degli abilitati (e in particolare il numero delle loro pubblicazioni) ad aumentare a ogni ciclo. Il modo più efficiente per cercare di adeguarsi a questa necessità, per il singolo ricercatore, è infatti quello di aumentare il numero dei propri articoli, avendo egli un controllo molto più indiretto sugli altri fattori che influiscono sugli indici. Questo processo circolare  è stato lucidamente previsto e anzi promosso da chi ha ideato le regole. Nel documento dell’ANVUR Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale del 2011, si può leggere infatti:

Tra il 2015 e il 2020 andrà in pensione circa un terzo dei docenti […]. Si porrà dunque in pochi anni il problema di un rapido ricambio del personale accademico. L’esperienza mostra che un massiccio reclutamento del personale in tempi brevi si accompagna spesso ad un conseguente decadimento della qualità scientifica. Il sistema prefigurato nel parere dell’ANVUR mira a evitare effetti negativi di questo tipo, ancorando i criteri ad un processo dinamico di progressivo miglioramento. […] Il criterio della mediana, per la sua natura intrinseca, soddisfa all’obbiettivo di far crescere nel tempo la qualità scientifica della classe dei docenti.

Come si può vedere, il documento citato identifica totalmente l’idea di accrescimento degli indici bibliometrici e quella di miglioramento della qualità scientifica. Come può, in realtà, un ricercatore aumentare il numero delle proprie pubblicazioni per anno? Un primo strumento ovvio è quello di pubblicare separatamente sezioni di quello che prima della riforma sarebbe stato concepito come un singolo articolo[7]. Questo accorgimento, esempi del quale occorreranno quasi certamente alla mente di molti di coloro che lavorano nel campo della ricerca, è quasi innocuo. Un altro sistema semplice per moltiplicare il numero degli articoli pubblicati è quello di formare gruppi di ricercatori che firmano anche gli articoli scritti da tutti gli altri. Gli indici bibliometrici, infatti, non tengono conto neppure del numero degli autori di un articolo. Al di là di quanto pratiche di questo tipo vengano effettivamente messe in atto, quello che è importante rilevare è che la loro moderazione è al momento da attribuire solo ad encomiabili scrupoli individuali, e non certo al fatto che le regole le impediscano o le scoraggino. Ma la cosa più importante è che diviene quasi indispensabile, specie per i ricercatori più giovani, evitare le ricerche più difficili e dal risultato incerto, mentre conviene concentrarsi su quelle che garantiscono a priori una ragionevole certezza di pubblicare articoli in tempi brevi; in altre parole, su ricerche di livello più basso. È quindi chiaro che l’obbligo di innalzare ogni anno gli indici bibliometrici, al contrario dell’ingenua identificazione tra qualità e quantità proposta dall’ANVUR, tende più facilmente ad abbassare la qualità della ricerca.

Ci sono ottimi motivi per ritenere che il livello scientifico di una comunità nazionale dipenda fortemente da fattori strutturali e culturali molto più generali di quelli che possono essere influenzati dalle scelte dell’ANVUR. In altre parole si può sperare che il generale aumento degli indici documentato dall’articolo di Plos One e promosso esplicitamente dalle scelte dell’ANVUR, corrisponda a una mera inflazione a parità di valore scientifico complessivo, senza sostanziali diminuzioni della qualità dei risultati.

In ogni caso, un effetto sicuro della moltiplicazione del numero di articoli pubblicati è la virtuale impossibilità di esprimere giudizi nel merito sui singoli ricercatori, il che a sua volta giustifica a posteriori e rende di fatto obbligatorio il ricorso a metodi bibliometrici, chiudendo in tal modo il circolo vizioso.

Esiste, per la verità, un’alternativa abbastanza diffusa. Le comunità formate dagli studiosi delle varie discipline possono essere ancora sufficientemente piccole, per il momento, da consentire la formazione di una reputazione scientifica affidabile attraverso l’interazione diretta o mediata da pochi passaggi. In un paese come la Francia, dove il senso dello Stato è ancora abbastanza presente tra chi lavora nelle istituzioni pubbliche (e gli indici bibliometrici hanno un ruolo “ufficiale” assai meno rilevante che in Italia), i giudizi fondati sulla conoscenza diretta o su poche applicazioni della proprietà transitiva costituiscono ancora una griglia che è in grado di arginare, nella maggioranza dei casi, la frana generale del livello medio paventata nel documento ANVUR citato prima. In Italia il senso dell’etica pubblica è certamente meno sviluppato, e si sarebbe pertanto portati a essere un po’ meno ottimisti. Anche nel migliore dei casi, comunque, si dovrà riconoscere che il sottoprodotto ultimo della scelta strategica di assegnare alla bibliometria un valore ufficiale sarà (o forse è) un sostanziale ritorno all’elaborazione e alla trasmissione orale di conoscenza, in questo caso riguardante il giudizio sui valori scientifici individuali: l’esatto opposto degli obiettivi di quantificabilità, oggettività, trasparenza e imparzialità  annunciati dagli ideatori e rivendicati dai sostenitori dei criteri bibliometrici.

(testo apparso anche su Anticitera)

[1] https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221212

[2] https://www.corriere.it/cronache/19_settembre_11/i-professori-si-citano-soli-cosi-si-gonfia-ricerca-c471954a-d4cf-11e9-8dcf-5bb1c565a76e.shtml .

[3] https://www.roars.it/citarsi-addosso-ascesa-scientifica-dellitalia-no-solo-doping-per-inseguire-i-criteri-anvur/comment-page-2/ . Il tema in questione è stato in effetti uno dei più trattati da Roars negli ultimi anni.

[4] Vale la pena osservare che questi circoli, per lo più internazionali, si possono anche creare di fatto, senza alcun esplicito accordo e senza neppure che gli interessati abbiano avuto contatti diretti; è chiaro infine che esiste un’estesa area grigia tra una citazione indispensabile e una completamente artificiale.

[5] Un ricercatore ha un indice di Hirsch pari a n se almeno n suoi articoli sono stati citati almeno n volte ciascuno, mentre non ci sono n+1 suoi articoli citati ciascuno almeno n+1 volte.

[6] Si vedano ad esempio la legge di Goodhart (https://en.wikipedia.org/wiki/Goodhart%27s_law) e di Campbell (https://en.wikipedia.org/wiki/Campbell%27s_law).

[7] Gli indici bibliometrici contano infatti il numero di articoli e citazioni e non quello di pagine o battute e dividendo un articolo in due o tre parti si moltiplica anche il numero di citazioni, poiché la stessa citazione sarà contata tante volte quanti sono gli articoli in cui è ripetuta.