Film Chicken Run
Film Chicken Run

I principali media scientifici si alleano contro il metodo più usato nel mondo per valutare le ricerche e i ricercatori. I direttori di riviste e società autorevoli come Nature, Science, Public Library of Science, National Academies of Science eEuropean Molecular Biology Organization hanno pubblicato un articolo-manifesto per spiegare che l’Impact Factor («fattore di impatto»), l’indice che a livello internazionale misura la qualità della ricerca, non ha alcun valore reale. L’inusuale presa di posizione è stata pubblicata il 5 luglio sul sito www.biorxiv.org e ha fatto parecchio rumore nel dibattito internazionale. In Italia, invece, se ne è parlato poco. E forse non è un caso, come vedremo.

Il metodo di valutazione sotto accusa si basa sulle referenze bibliografiche contenuti in ogni articolo scientifico: in poche parole, se una ricerca viene citata da molte altre ricerche è considerata rilevante. L’Impact Factor di una rivista scientifica è la media del numero di citazioni ricevute dagli articoli da essa pubblicati in un certo periodo di tempo, sulla base di una vastissima banca dati di proprietà del colosso dell’informazione anglo-canadese Thomson Reuters. Una semplice cifra, che sintetizza la qualità complessiva di una rivista scientifica. Un Impact Factor superiore a 5 rappresenta un ottimo valore. Le riviste più scadenti annaspano poco sopra lo zero. Nature e Science, le reginette del club, hanno un Impact Factor superiore a 30. Questi numeri, però, sono medie degne dei polli di Trilussa. Secondo i dati presentati nell’articolo su biorxiv.org, gli Impact Factor sono determinati da una piccola percentuale di ricerche molto citate, mentre la maggior parte degli articoli, anche sulle riviste più autorevoli, ottengono pochissime citazioni. Basta allora un pugno di articoli e un po’ di marketing per far impennare l’indice.

Dato che proviene dai primi della classe, la presa di posizione rappresenta un vero ammutinamento. Come se Steven Spielberg girasse un documentario per spiegare che il premio Oscar non vale niente. Per la verità, il malcontento contro l’Impact Factor circola da tempo nei laboratori. Sempre più ricercatori si lamentano per l’abuso di questi parametri quantitativi, adottati non solo per giudicare le riviste ma anche quando si tratta di assegnare finanziamenti o carriere. Secondo i critici, le citazioni contano ormai più dei contenuti. Le ricerche più popolari mettono in secondo piano quelle più coraggiose ma meno conosciute, e la stessa fine fanno i ricercatori. Riducendo tutto a un semplice numero, infine, si crea l’illusione che scienziati e ricerche in campi diversi possano essere misurati con un unico metro in maniera oggettiva.

Già nel 2012 un nutrito gruppo di editori accademici del settore biologico aveva firmato a San Francisco una Dichiarazione sulla Valutazione della Ricerca (http://www.ascb.org/dora/) contro l’utilizzo dei criteri bibliometrici nella valutazione della ricerca. Altre iniziative come il Manifesto di Leida o il rapporto inglese Metric Tide (marea metrica, alla lettera) hanno sollevato obiezioni simili. Peraltro, la comunità scientifica sta dibattendo a 360° sui metodi di valutazione della ricerca: troppe ricerche si rivelano inaffidabili, la scarsità dei fondi trasforma i bandi di concorso in vere e proprie lotterie e l’accessibilità dell’informazione scientifica, anche a scopo di verifica, è una questione sempre più decisiva per la credibilità del sistema.

La presa di posizione odierna, però, rappresenta un salto di qualità, per il prestigio delle firme ma anche per il tempismo. Essa infatti è giunta proprio negli stessi giorni in cui Thomson Reuters firmava un accordo per la vendita dell’Impact Factor, della relativa banca dati e del resto della divisione Scienza e Proprietà intellettuale a due fondi di investimento statunitensi per ben tre miliardi e mezzo di dollari. L’affare verrà perfezionato nei prossimi mesi e certamente l’attacco non aiuterà la trattativa.

In tanto trambusto, colpisce l’immobilismo dell’Agenzia Nazionale per la Valutazione del Sistema Universitario e della Ricerca (Anvur). Con la riforma Gelmini ha avuto l’incarico di attribuire un’abilitazione nazionale ai giovani ricercatori, senza la quale non possono essere assunti dalle università. Per giudicarli, l’Anvur applica solo metodi bibliometrici come l’Impact Factor, ormai internazionalmente screditati. «L’Anvur è l’unica agenzia al mondo ad utilizzarli in modo esclusivo», sostiene il fisico romano Francesco Sylos Labini, tra i fondatori del magazine online Roars (www.roars.it) dedicato all’analisi delle politiche della ricerca. «Probabilmente il governo non si fidava del giudizio soggettivo dei baroni, ma così ha ottenuto il risultato di deresponsabilizzarli ulteriormente».

Nonostante critiche e boicottaggi, l’Anvur non cambia le regole. Anche in futuro, i commissari di valutazione non dovranno nemmeno leggere gli articoli scientifici dei candidati, a differenza di quanto avviene negli altri Paesi. «Come se in un concorso enologico i sommelier non assaggiassero il vino», ha scritto su Roars Alberto Baccini, economista all’Università di Siena. Se neanche all’Anvur qualcuno ha alzato il gomito, la sbornia italiana per la bibliometria è ancora più inspiegabile.

Pubblicato su Il Manifesto 

Send to Kindle

6 Commenti

  1. Non mi pare che contrapporre “disinformatia” di opposizione alla “disinformatia” di regime sia un metodo utile, se non a creare ulteriore confusione. Quando mai l’ANVUR “con la riforma Gelmini ha avuto l’incarico di attribuire un’abilitazione nazionale ai giovani ricercatori”? Per non parlare di questo: “Anche in futuro, i commissari di valutazione non dovranno nemmeno leggere gli articoli scientifici dei candidati, a differenza di quanto avviene negli altri Paesi. “. Mah!

    • fausto_proietti: “Quando mai l’ANVUR “con la riforma Gelmini ha avuto l’incarico di attribuire un’abilitazione nazionale ai giovani ricercatori”
      ____________
      Un incarico che – attribuito o meno – l’Anvur sembra ritenere di aver ricevuto. Basta ricordare le parole più che soddisfatte pronunciate dal Presidente Fantoni in una sede istituzionale come la Commissione cultura della Camera dei deputati:
      ____________
      “C’è circa un 50% di candidati non strutturati e un atro 50% di strutturati. Quindi, c’è stata una notevole partecipazione di non strutturati. I non strutturati, vi ricordo, possono essere stati giovani non ancora inseriti a livello di ricercatori ,quindi assegnisti, giovani che non hanno un incarico anche nemmeno a tempo determinato in termini di ricercatori, possono esser scienziati e docenti stranieri, possono essere docenti e scienziati di enti ricerca o professionisti che hanno fatto domanda. Quindi, larga partecipazione di queste figure e anche largo successo di queste figure. Perché, se si va a vedere tra questi candidati che hanno ricevuto l’abilitazione a professore ordinario, il 19,3% proviene dai non strutturati e tale percentuale sale al 43,3% nel caso dei professori associati.Questo è un risultato non scontato che mostra come l’abilitazione ha aperto la possibilità di una carriera accademica anche al personale [non] in organico, offrendo all’università ampia scelta per il futuro reclutamento. Un ingresso di questo tipo da personale non accademico non era mai avvenuto nel nostro paese. Questo credo che sia un fatto molo rilevante. Questa operazione ha aperto ai non strutturati. e quindi, diciamo, in qualche modo è andata contro le baronie – fatemelo dire da accademico – in maniera sostanziale rispetto a quello che era stato il passato.”
      https://www.roars.it/online/fantoni-alla-camera-lasn-e-meritocratica-e-contro-le-baronie-no-a-cambiamenti-sostanziali/

    • fausto_proietti: “Per non parlare di questo: “Anche in futuro, i commissari di valutazione non dovranno nemmeno leggere gli articoli scientifici dei candidati, a differenza di quanto avviene negli altri Paesi. “. Mah!”
      _____________________
      È vero, si poteva essere più precisi: “Anche in futuro, i commissari di valutazione non dovranno nemmeno leggere gli articoli scientifici dei candidati *esclusi a priori da un algoritmo bibliometrico*, a differenza di quanto avviene negli altri Paesi.
      C’è un’altro passaggio che andrebbe emendato:
      _____________________
      “Per giudicarli, l’Anvur applica solo metodi bibliometrici come l’Impact Factor, ormai internazionalmente screditati”
      _____________________
      Qui forse c’è confusione con la VQR, dove l’IF è effettivamente usato. Nell’ASN, l’IF non entra in gioco, anche se si fa uso di esclusioni automatiche basate su altri indicatori bibliometrici (conteggio di articoli, citazioni, h-index).
      Va detto che è difficile evitare sbavature quando si scrive di valutazione e bibliometria per un quotidiano nazionale (il Manifesto), essendo anche soggetti a limiti di battute abbastanza stringenti. Nel complesso, rimane un’operazione meritoria proporre questi temi a un auditorio più vasto del solito. Soprattutto perché il tenore medio degli articoli sulla valutazione non va molto oltre il rimescolamento delle classiche figurine: baroni-fannulloni-bastone-carota-oggettività-castigamatti.

    • baroni/fannulloni/bastone/carota, ma anche ranking/meritocrazia/bottom-up/top-dowm/impattato/referato/

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.