I sistemi di valutazione bibliometrici devono il proprio successo all’apparente “scientificità”. Tra le possibili critiche, quella giustamente messa al centro dell’attenzione da parte di Baccini, De Nicolao e Petrovich, evidenzia gli effetti degli indicatori bibliometrici sulle tendenze future della ricerca scientifica. Un criterio rilevante per il conseguimento dell’Abilitazione Scientifica Nazionale è quello di avere indici non minori della mediana di chi è già docente della rispettiva fascia. Ciò innesca un meccanismo circolare che porterà gli indici degli abilitati ad aumentare a ogni ciclo. Un processo lucidamente promosso dall’ANVUR che nel 2011 scriveva: “Il criterio della mediana, per la sua natura intrinseca, soddisfa all’obbiettivo di far crescere nel tempo la qualità scientifica della classe dei docenti”. Diviene allora quasi indispensabile, specie per i ricercatori più giovani, evitare le ricerche più difficili, mentre conviene concentrarsi su quelle che garantiscono una ragionevole certezza di pubblicare articoli in tempi brevi. Pertanto, l’obbligo di innalzare ogni anno gli indici bibliometrici, al contrario dell’ingenua identificazione tra qualità e quantità proposta dall’ANVUR, tende più facilmente ad abbassare la qualità della ricerca. Esiste, per la verità, un’alternativa. In un paese come la Francia, i giudizi fondati sulla conoscenza diretta o su poche applicazioni della proprietà transitiva costituiscono ancora una griglia che è in grado di arginare, nella maggioranza dei casi, la frana generale del livello medio.

Il problema di valutare in modo efficace la qualità della ricerca scientifica è ormai avvertito con crescente consapevolezza, e l’adeguatezza dei criteri puramente bibliometrici è stata sottoposta a critiche numerose e variegate. Si tratta di una questione cruciale, le cui ricadute sul “mondo reale” sono ovviamente ancora più importanti degli ingombranti effetti sulla vita lavorativa di chi fa ricerca. La questione meriterà quindi certamente un intervento più articolato su Anticitera, mentre in questo breve contributo vogliamo semplicemente fare qualche considerazione sulla base di un recente studio di Alberto Baccini, Giuseppe De Nicolao ed Eugenio Petrovich (Citation gaming induced by bibliometric evaluation: A country-level comparative analysis) pubblicato su Plos One[1] e ripreso da Gian Antonio Stella sul Corriere della Sera del 12 settembre[2] e dagli stessi autori su Roars[3].

L’idea alla base dei sistemi di valutazione bibliometrici deve il proprio successo all’estrema semplicità ed apparente “scientificità”: valutare il valore scientifico di un articolo contando le citazioni che esso riceve è un criterio quantitativo, oggettivo e neutro che, come le misure delle grandezze fisiche, evita qualsiasi parzialità. Questa idea base viene usata poi come ingrediente essenziale di algoritmi di varia complessità. In genere si omette di ricordare che l’adozione di questi sistemi di valutazione è divenuta necessaria soprattutto perché l’aumento esponenziale del numero delle pubblicazioni ha reso virtualmente impossibile la loro lettura da parte di valutatori umani, in grado di esprimere un giudizio motivato sulla loro qualità.

Le critiche al funzionamento di valutazioni di questo tipo si possono articolare su quattro livelli diversi:

  1. si può criticare la facilità più o meno grande con cui si possono violare le regole alla base dei meccanismi di pubblicazione dei risultati scientifici, e quindi delle valutazione bibliometriche; i casi di ricercatori che inventano dati sperimentali o copiano risultati altrui rientrano in questa categoria, mentre la completa automatizzazione dei meccanismi di conteggio e di attribuzione da parte delle maggiori riviste scientifiche rende la diretta alterazione fraudolenta degli indicatori bibliometrici complicata, ma non certo impossibile.
  2. Esiste anche la possibilità di eludere le regole senza violarle alla lettera, ad esempio mediante autocitazioni non necessarie o non attinenti (fenomeno enfatizzato nell’articolo sul Corriere della sera, ma in realtà di scarsa importanza perché molti indici non tengono conto delle autocitazioni), o, soprattutto, con la creazione di “circoli citatori” tra gruppi di autori[4] (descritti dagli autori dell’articolo su Plos One).
  3. L’efficacia stessa del conteggio delle citazioni, e in particolare dell’indice di Hirsch[5] (detto anche semplicemente “indice h”) come indicatore del livello scientifico di un ricercatore, può essere messa in discussione. Si citano spesso casi di grandi scienziati del passato che, in quanto autori di poche opere, hanno indice h molto basso: nel caso di Copernico, ad esempio, l’indice è 1, perché è ovvio che l’indice h è sempre non maggiore del numero totale di opere scritte. In effetti è certamente assurdo che l’autore di una sola pubblicazione fondamentale, che ha avuto un effetto enorme nel suo ambito di studi ed è stata citata innumerevoli volte, debba essere considerato inferiore a chi ha pubblicato due articoli citati esattamente due volte ciascuno.
  4. Si possono infine criticare gli effetti dell’esistenza stessa degli indicatori bibliometrici, e del valore che loro attribuiamo, sulle tendenze future della ricerca scientifica.

L’ultima categoria è decisamente la più importante, ed è giustamente messa al centro dell’attenzione da parte di Baccini, De Nicolao e Petrovich. Si tratta di un concetto familiare ai fisici, che sanno bene come gli strumenti di misura alterano il fenomeno osservato, e anche a sociologi ed economisti, che l’hanno descritto in famose leggi empiriche[6]. È chiaro che assegnare un’importanza formale agli indicatori bibliometrici, come è avvenuto ad esempio nel caso della riforma Gelmini del 2011 i cui effetti sono analizzati dall’articolo su Plos One, produce un cambiamento nelle scelte dei singoli ricercatori che si traducono in comportamenti che aumentano artificialmente i valori degli indicatori stessi. Esplode, in altre parole, quella che a volte è definita una “febbre citatoria”, ed è singolare che qualcuno ancora pensi di difendere l’oggettività degli indici bibliometrici scrivendo frasi del tipo “non bisogna prendersela col termometro se la febbre è alta”.

Alcuni dei principali effetti dell’attribuzione di un valore “ufficiale” all’indice h e a concetti similari sono analizzati dall’articolo su Plos One. In particolare, come si diceva, gli autori studiano la moltiplicazione delle autocitazioni e la costituzione di circoli citatori. C’è tuttavia un altro effetto che ci sembra ancora più importante: la moltiplicazione del numero stesso di articoli pubblicati. Secondo la citata riforma Gelmini, un criterio rilevante per il conseguimento dell’Abilitazione Scientifica Nazionale alle funzioni di professore di I o II fascia è quello di avere indici non minori della mediana di chi è già docente della rispettiva fascia. È chiaro allora che viene innescato un meccanismo circolare che porterà gli indici degli abilitati (e in particolare il numero delle loro pubblicazioni) ad aumentare a ogni ciclo. Il modo più efficiente per cercare di adeguarsi a questa necessità, per il singolo ricercatore, è infatti quello di aumentare il numero dei propri articoli, avendo egli un controllo molto più indiretto sugli altri fattori che influiscono sugli indici. Questo processo circolare  è stato lucidamente previsto e anzi promosso da chi ha ideato le regole. Nel documento dell’ANVUR Criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale del 2011, si può leggere infatti:

Tra il 2015 e il 2020 andrà in pensione circa un terzo dei docenti […]. Si porrà dunque in pochi anni il problema di un rapido ricambio del personale accademico. L’esperienza mostra che un massiccio reclutamento del personale in tempi brevi si accompagna spesso ad un conseguente decadimento della qualità scientifica. Il sistema prefigurato nel parere dell’ANVUR mira a evitare effetti negativi di questo tipo, ancorando i criteri ad un processo dinamico di progressivo miglioramento. […] Il criterio della mediana, per la sua natura intrinseca, soddisfa all’obbiettivo di far crescere nel tempo la qualità scientifica della classe dei docenti.

Come si può vedere, il documento citato identifica totalmente l’idea di accrescimento degli indici bibliometrici e quella di miglioramento della qualità scientifica. Come può, in realtà, un ricercatore aumentare il numero delle proprie pubblicazioni per anno? Un primo strumento ovvio è quello di pubblicare separatamente sezioni di quello che prima della riforma sarebbe stato concepito come un singolo articolo[7]. Questo accorgimento, esempi del quale occorreranno quasi certamente alla mente di molti di coloro che lavorano nel campo della ricerca, è quasi innocuo. Un altro sistema semplice per moltiplicare il numero degli articoli pubblicati è quello di formare gruppi di ricercatori che firmano anche gli articoli scritti da tutti gli altri. Gli indici bibliometrici, infatti, non tengono conto neppure del numero degli autori di un articolo. Al di là di quanto pratiche di questo tipo vengano effettivamente messe in atto, quello che è importante rilevare è che la loro moderazione è al momento da attribuire solo ad encomiabili scrupoli individuali, e non certo al fatto che le regole le impediscano o le scoraggino. Ma la cosa più importante è che diviene quasi indispensabile, specie per i ricercatori più giovani, evitare le ricerche più difficili e dal risultato incerto, mentre conviene concentrarsi su quelle che garantiscono a priori una ragionevole certezza di pubblicare articoli in tempi brevi; in altre parole, su ricerche di livello più basso. È quindi chiaro che l’obbligo di innalzare ogni anno gli indici bibliometrici, al contrario dell’ingenua identificazione tra qualità e quantità proposta dall’ANVUR, tende più facilmente ad abbassare la qualità della ricerca.

Ci sono ottimi motivi per ritenere che il livello scientifico di una comunità nazionale dipenda fortemente da fattori strutturali e culturali molto più generali di quelli che possono essere influenzati dalle scelte dell’ANVUR. In altre parole si può sperare che il generale aumento degli indici documentato dall’articolo di Plos One e promosso esplicitamente dalle scelte dell’ANVUR, corrisponda a una mera inflazione a parità di valore scientifico complessivo, senza sostanziali diminuzioni della qualità dei risultati.

In ogni caso, un effetto sicuro della moltiplicazione del numero di articoli pubblicati è la virtuale impossibilità di esprimere giudizi nel merito sui singoli ricercatori, il che a sua volta giustifica a posteriori e rende di fatto obbligatorio il ricorso a metodi bibliometrici, chiudendo in tal modo il circolo vizioso.

Esiste, per la verità, un’alternativa abbastanza diffusa. Le comunità formate dagli studiosi delle varie discipline possono essere ancora sufficientemente piccole, per il momento, da consentire la formazione di una reputazione scientifica affidabile attraverso l’interazione diretta o mediata da pochi passaggi. In un paese come la Francia, dove il senso dello Stato è ancora abbastanza presente tra chi lavora nelle istituzioni pubbliche (e gli indici bibliometrici hanno un ruolo “ufficiale” assai meno rilevante che in Italia), i giudizi fondati sulla conoscenza diretta o su poche applicazioni della proprietà transitiva costituiscono ancora una griglia che è in grado di arginare, nella maggioranza dei casi, la frana generale del livello medio paventata nel documento ANVUR citato prima. In Italia il senso dell’etica pubblica è certamente meno sviluppato, e si sarebbe pertanto portati a essere un po’ meno ottimisti. Anche nel migliore dei casi, comunque, si dovrà riconoscere che il sottoprodotto ultimo della scelta strategica di assegnare alla bibliometria un valore ufficiale sarà (o forse è) un sostanziale ritorno all’elaborazione e alla trasmissione orale di conoscenza, in questo caso riguardante il giudizio sui valori scientifici individuali: l’esatto opposto degli obiettivi di quantificabilità, oggettività, trasparenza e imparzialità  annunciati dagli ideatori e rivendicati dai sostenitori dei criteri bibliometrici.

(testo apparso anche su Anticitera)

[1] https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221212

[2] https://www.corriere.it/cronache/19_settembre_11/i-professori-si-citano-soli-cosi-si-gonfia-ricerca-c471954a-d4cf-11e9-8dcf-5bb1c565a76e.shtml .

[3] https://www.roars.it/online/citarsi-addosso-ascesa-scientifica-dellitalia-no-solo-doping-per-inseguire-i-criteri-anvur/comment-page-2/ . Il tema in questione è stato in effetti uno dei più trattati da Roars negli ultimi anni.

[4] Vale la pena osservare che questi circoli, per lo più internazionali, si possono anche creare di fatto, senza alcun esplicito accordo e senza neppure che gli interessati abbiano avuto contatti diretti; è chiaro infine che esiste un’estesa area grigia tra una citazione indispensabile e una completamente artificiale.

[5] Un ricercatore ha un indice di Hirsch pari a n se almeno n suoi articoli sono stati citati almeno n volte ciascuno, mentre non ci sono n+1 suoi articoli citati ciascuno almeno n+1 volte.

[6] Si vedano ad esempio la legge di Goodhart (https://en.wikipedia.org/wiki/Goodhart%27s_law) e di Campbell (https://en.wikipedia.org/wiki/Campbell%27s_law).

[7] Gli indici bibliometrici contano infatti il numero di articoli e citazioni e non quello di pagine o battute e dividendo un articolo in due o tre parti si moltiplica anche il numero di citazioni, poiché la stessa citazione sarà contata tante volte quanti sono gli articoli in cui è ripetuta.

Send to Kindle

10 Commenti

  1. Mi sembra che gli autori di questo contributo siano troppo benevoli quando scrivono, curiosamente, che l’accorgimento di ”pubblicare separatamente sezioni di quello che prima della riforma sarebbe stato concepito come un singolo articolo” sia ”quasi innocuo”. Quel ”quasi” è appunto curioso, perché gli stessi autori, poco dopo, scrivono che ”In ogni caso, un effetto sicuro della moltiplicazione del numero di articoli pubblicati è la virtuale impossibilità di esprimere giudizi nel merito sui singoli ricercatori, il che a sua volta giustifica a posteriori e rende di fatto obbligatorio il ricorso a metodi bibliometrici, chiudendo in tal modo il circolo vizioso.”

  2. 0. Buona sintesi, molto chiara, tono pacato. O rassegnato? Oppure contemplativo, di chi è nelle condizioni di poter osservare da lontano le devastazioni irrimediabili prodotte dalla valanga composita della presunzione, del potere, dell’incapacità di prevedere certi effetti, dell’incompetenza professionale?
    1. Mi fa senso leggere nello stesso testo i nomi di Copernico e di Gelmini. Il Nuovo che rottama il Vecchio? Che onore per g. La persona giusta nel posto giusto e nel momento giusto. Al negativo, ma che importa. Come faceva capire qualcuno: parlate male di me, criticatemi, non importa, ma nominatemi, spesso, così mi fisso nella memoria storica, scritta e orale. Siamo, infatti, già nell’era post-g. Da non crederci … Con g. che continua a fluttuare sulla superficie della politica, con relativa retribuzione, mentre a centinaia affondano nella melma anvuriana, sulle soglie dell’algoritmo e della disperazione totale.
    2. Sul QUASI. Ha ragione F.d.B. Anch’io ci ho inciampato per un momento. In effetti, la faccenda è ambigua. Assomiglia al romanzo d’appendice, a puntate. Si anticipa l’opera intera, eventualmente ancora nemmeno terminata, attraverso brani staccati che finiscono ciascuno nel punto più intrigante, così il lettore compra il successivo numero del giornale, e quando tutto è pubblicato nel periodico, a pezzi, si stampa il volume. Nel frattempo il romanziere è riuscito a sopravvivere e se è fortunato e/o talentuoso, si potrà sistemare e pubblicare poi soprattutto opere intere. Certamente, nello studio scientifico il momento della suspense/interruzione è ridicolo. 1+2+3 =?; leggerete e saprete il risultato nella prossima puntata. Per altri versi succede anche questo, con argomenti complessi che non sono risolvibili in un solo scritto e che magari impegnano lo studioso per l’intera sua vita. Ma se lo spezzettamento è soltanto apparente, perché primo articolo: 1+2+3 (pubblicato “Qui” col titolo A), secondo articolo: 2+1+3 (pubblicato “Là” col titolo B), terzo articolo 2+3+1 (pubblicato in lingua X col titolo C), quarto articolo: 3+2+1 (pubblicato in lingua Y col titolo D) ecc. (tra parentesi: quanto costa tutto questo?) – e questo succede spessissimo – si tratta soltanto di un continuo travestimento, ma non (solo) per divulgare le proprie idee (giustamente), ma per superare le soglie anvuresche che si basano quasi esclusivamente sulla pura quantità sempre crescente (rimascheramento all’infinito del ‘prodotto’), insondabile qualitativamente, un pozzo nero dove finisce di tutto (e di più). A me è bastata una sola esperienza di questo tipo, in un concorso per ricercatori, per capirlo. Era forse allora un caso episodico (per me). Ora, cioè da qualche anno (anche questo ‘qualche’ si sta allungando), tale modo di procedere è innalzato al rango di sistema, sostenuto con documenti ufficiali dal valore legale.

  3. Tesi: Dato un numero limitato di possibili riferimenti di ogni pubblicazione, all’aumentare del numero totale di pubblicazioni mondiali il numero di citazioni per pubblicazione tenderà al numero di autocitazioni.
    Questo perché la crescita del numero di pubblicazioni è inversamente proporzionale alla probabilità che una pubblicazione sia citata.
    Per un numero teorico infinito di pubblicazioni la probabilità di essere citati da qualcuno diverso da sé è zero.
    Considerando che le pubblicazioni mondiali crescano di 10 volte nei prossimi 10 anni data l’odierna probabilità P che una pubblicazione sia citata da qualcuno diverso dagli autori della stessa pubblicazione tra 10 anni la stessa probabilità sarà dieci volte inferiore.

  4. Comunque non e’ piu’ vero che gli indici sono calcolati sulla fascia di arrivo. Nell’ultima tornata gli indici per associato sono calcolati sulla platea di ricercatori TD e TI, anche se non sappiamo con quale funzione…

    • “I valori soglia sono stati determinati per tutti e tre gli indicatori a partire dall’individuazione dei valori che emergono all’interno della classe dei titolari, vale a dire la popolazione dei professori ordinari per i Commissari e gli aspiranti ordinari, e la popolazione degli associati per gli aspiranti associati. La scelta della popolazione di arrivo come popolazione di riferimento iniziale è resa possibile dall’uniformità delle pratiche di pubblicazione.”
      ANVUR, Documento di accompagnamento alla Proposta relativa alle Soglie per l’Abilitazione scientifica nazionale, 6 luglio 2016, pag. 3
      _______________
      Questo è quello che hanno scritto. Alla luce dei numeri pubblicati negli allegati, non si capisce però se abbiano davvero seguito il criterio dichiarato.

  5. … l’uniformità delle pratiche di pubblicazione … della popolazione di arrivo, — e sicuramente anche, implicitamente, della popolazione di partenza (o, meglio, popolazione aspirante partente, poi in buona parte perdente), perché se non c’è uniformità …. Donde l’uniformità delle pratiche di ricerca, nonché l’uniformità degli argomenti di ricerca, nonché degli stili di scrittura, nonché delle menti implicate in tutta quest’uniformità, menti che tra un po’ saranno sostituite da macchine ‘intelligenti’ che davanti all’uniformità totale se la ridono, perché il compito è facilissimo: indicatore 99 tutto uniforme è più grande di nr. di prodotti 55 uniformi allo stesso modo; il detentore del secondo viene quindi eliminato. Ma lo direbbe già un/a bambino/a di seconda elementare: signora maestra, 55 è più piccolo di 99! Bravo, Anvurino/a! Per non aggiungerci anche discriminazione di genere.

  6. Certo, che l’articolo è troppo benevolo.

    Già dall’inizio si afferma che contare le citazioni sarebbe “un criterio quantitativo, oggettivo e neutro” e già questo è palesemente falso. La scelta delle riviste da inserire nel database (e perchè i libri no?) è tutt’altro che neutra (e gli autori dovrebbero anche ben conoscere i vecchi articoli di Figà Talamanca a riguardo…). I dati non sono riproducibii e gli errori non si contano (basta avere un nome o collaborare con un autore che ha qualche accento nel nome per vedere ridotte del 30/50% le proprie citazioni). Casi marginali, risolvibili correggendo e ampliando i database?

    NO! Basta fare l’esempio di un articolo talmente innovativo originale ed importante che viene citato già quando è in forma di preprint. Queste citazioni, che potrebbero essere moltissime, non verranno mai computate. E bibliometricamente è pure sensatissimo, perchè poi l’articolo ufficiale pubblicato potrebbe essere molto diverso dal preprint. Non penso che nessuno sosterrà mai che essere citati ancor prima della pubblicazione sia un demerito.

    Semplicemente, nella bibliometria non c’è nulla di oggettivo. Quello che in un concorso sarebbe il giudizio individuale di un commissario… viene semplicemente trasferito a quello che è comunque… il giudizio soggettivo di un referee. Bsogna respingere in toto questi specchietti per le allodole, è semplicemente dannoso ed autolesionista affermare che si tratta di dati oggettivi “truccabili”.

  7. Avvertenza: questo è un contributo volutamente provocativo, che tuttavia vuole stimolare una discussione.

    La tesi: l’esasperazione bibliometrica (che tuttavia non è solo in Italia, come ben sà chi faccia valutazioni all’estero, ma che forse in Italia arriva a livelli esasperanti) deriva dalla “paura” ad ammettere che nella ricerca occorra fare una valutazione di merito ed individuale e quindi di voler cercare metodi quantitativi indipendenti dal giudizio; questo è l’effetto della rivolta contro il potere “baronale” e quindi la tesi è che l’ANVUR (e la sua metodologia) sia la causa dello stesso male che si voleva combattere.

    La distorsione italiana: l’idea che i concorsi siano “formalmente” indipendenti dallo specifico contesto e valga il concetto di ssd. All’estero prevale (anche in questo caso tuttavia non sempre) l’idea che si crea una posizione in quanto serve investire su una specifica tematica di ricerca, e quindi si vuole individuare la persona che abbia le migliori capacità su questa tematica (ed altri elementi, quale capacità ad integrarsi nello specifico contesto, di attrarre fondi ecc), concetto molto distante da quello di ssd e concorso “aperto” nel nostro ordinamento, che abbinato al timore che le scelte siano per interessi (di tipo diversi da quelli scientifici) porta come conseguenza la spinta a questa “obiettività” bibliometrica.

    Il commento: opporsi (giustamente) a questa esasperazione bibliometrica richiede di andare alle sue cause, che implica che si elimino i concetti di ssd e concorsi “aperti” e si passi ad una politica della ricerca (separata da quella della carriera, oggi frammischiate) che valuti nello specifico il singolo ricercatore ed il suo contributo effettivo ad aumentare la capacità di ricerca; la bibliometria può essere uno strumento statistico per individuare tendenze, ma non deve essere applicato (se non come uno dei vari elementi) per la valutazione individuale

    Le conseguenze: si ritorna in qualche modo ad un sistema “baronale” (nel senso di qualcuno che dia un giudizio di merito non astratto, ma specifico) ma ove la distorsione italiana è corretta (come avviene ovunque) da una forte valutazione ex-post, ovvero si sceglie il migliore in quanto altrimenti si ha una penalizzazione di tutto il gruppo

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.