DORA. Contro la bibliometria-fai-da-te. ANVUR sempre più sola

DORA non è solo la piccola esploratrice  di un cartoon. E’ anche l’acronimo della dichiarazione di San Francisco sulla valutazione della ricerca, che impegna i sottoscrittori a comportamenti responsabili e corretti nelle pratiche di valutazione. La valutazione della ricerca deve rispondere agli stessi standard adottati nel lavoro scientifico. La scienza va salvata dalla cattiva valutazione, principalmente dall’uso delle metriche riferite alle riviste –come l’impact factor- nelle decisioni relative a finanziamento, reclutamento e promozioni. DORA richiede a ciascun ricercatore di impegnarsi a valutare responsabilmente, considerando i contenuti scientifici e non le sole metriche. Ma richiede anche di impegnarsi a contrastare la cattiva valutazione.

Nelle ultime settimane Science ed altre riviste scientifiche hanno diffuso la San Francisco Declaration On Research Assessment (DORA). Un gruppo di  redattori (editors) e editori (publishers) di riviste scientifiche si sono riuniti a  San Francisco, California, il 16 Dicembre 2012 durante la riunione annuale della società americana di biologia cellulare (The American Society for Cell Biology ASCB) ed hanno messo a punto la prima bozza del documento che è adesso pubblicato con la firma di 78 organizzazioni (riviste -tra cui Science, Plos e PNAS – e associazioni scientifiche -tra cui unica italiana Telethon) e 151 studiosi promotori.  E’ appena iniziata l’adesione di studiosi ed organizzazioni alla dichiarazione. Ad oggi ci sono le firme di oltre 3500 studiosi e circa 160 riviste ed associazioni scientifiche.

L’adesione a DORA impegna a supportare l’adozione di pratiche di valutazione della ricerca scientificamente corrette. DORA contiene 18 raccomandazioni rivolte ai diversi attori del mondo della ricerca: agenzie di finanziamento, istituzioni, editori, organizzazioni che producono dati bibliometrici, singoli ricercatori. Tutte le raccomandazioni ruotano introno a tre temi principali:

• “la necessità di eliminare l’uso delle metriche riferite alle riviste –come l’impact factor- per il finanziamento, il reclutamento e le promozioni;
• la necessità di valutare la ricerca per i suoi propri meriti e non sulla base della rivista su cui è pubblicata;
• la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione on-line (riducendo per esempio i limiti non necessari imposti del numero di pagine, figure e riferimenti bibliografici negli articoli, e esplorando nuovi indicatori di importanza e impatto)”.

La dichiarazione prende le mosse dalla constatazione che “i prodotti della ricerca scientifica sono molti e vari, ed includono: articoli di ricerca che descrivono nuova conoscenza, dati, reagenti e software; proprietà intellettuale; e giovani scienziati addestrati”. Ovviamente agenzie di finanziamento, istituzioni e gli stessi scienziati “hanno  il desiderio e la necessità di valutare la qualità e l’impatto dei prodotti della ricerca. Ed è imperativo quindi che la produzione scientifica sia misurata accuratamente e adeguatamente valutata”.

E’ utile rimarcare che  la dichiarazione sottolinea che la ricerca deve essere misurata e valutata. Ma, come vedremo, rifiuta la cattiva misurazione e la cattiva valutazione.

La prima raccomandazione è di carattere generale e vale per tutti gli attori dell’intrapresa scientifica:

1. “Non usare metriche riferite alle riviste, come i fattori di impatto della rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per valutare i contributi del singolo scienziato, o per decisioni relative ad assunzioni, promozioni e finanziamenti.”

Si tratta di una raccomandazione che trova origine nel seminal paper di P.O Seglen (1997): non esiste nessuna relazione tra misure di impatto di una rivista (IF, ma anche h-index e simili) e impatto –a fortiori con la qualità- del singolo articolo. Quindi non è corretto usare indicatori bibliometrici riferiti al contenitore per valutare la qualità del singolo articolo contenuto.

Non è inutile sottolineare che l’intero sistema di valutazione della VQR è costruito scientemente in violazione della prima raccomandazione DORA. Scrivo scientemente perché la “raccomandazione DORA” fu suggerita a suo tempo da Roars in fase di disegno della VQR e fu accuratamente ignorata dal consiglio direttivo. Come abbiamo più volte scritto, il disegno VQR è quanto di più inefficiente e involuto sia stato messo a punto per un esercizio nazionale di valutazione. Si è scelta la via raffinata del modello inglese (che in variante italica suona: ogni ricercatore deve presentare i suoi 3/6 migliori prodotti); e poi si è deciso di valutare prevalentemente con metriche riferite alle riviste o con i  quadrati magici: che correggono la misura (corretta) di impatto del singolo articolo (il numero di citazioni ricevute) con la metrica (sbagliata) della rivista su cui è uscito l’articolo (IF). Il risultato finale è: risultati incredibili e costi elevatissimi.

Le raccomandazioni per istituzioni e finanziatori.

Le pratiche raccomandate da DORA a istituzioni e agenzie di finanziamento sono le stesse e consistono nel:

2-4: rendere espliciti i criteri usati per valutare la produttività scientifica e per le decisioni di assunzione, tenure e promozione, e sottolineare chiaramente, specialmente per i giovani ricercatori, che il contenuto scientifico di un articolo è molto più importante delle metriche della pubblicazione e dell’identità della rivista nel quale è pubblicato.

3-4: considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle pubblicazioni, e considerare un ampio insieme di misure di impatto che includono indicatori qualitativi dell’impatto della ricerca, come l’influenza sulle politiche e sulle pratiche.

Le pratiche di valutazione adottate da enti di finanziamento e istituzioni –in particolare da istituzione dedicate alla valutazione della ricerca- hanno effetti sui comportamenti individuali. DORA sottolinea la necessità di adottare criteri di valutazione che spingano al miglioramento della qualità intrinseca della ricerca e del suo impatto economico e sociale. In particolare DORA ha l’obiettivo di frenare il corto circuito tra qualità/importanza della ricerca e luogo di pubblicazione.

Anche in questo caso non possiamo non notare la distanza siderale dall’approccio pedagogico di ANVUR:

Non è a questo punto inutile ricordare che anche alcune parti di ASN sono costruite in aperto contrasto con le raccomandazioni DORA. In particolare nelle aree non bibliometriche la terza mediana è basata su liste di riviste. E non è neanche inutile ricordare l’aberrazione dell’introduzione della somma degli IF (et similia) nei concorsi da ricercatore svolti negli scorsi anni in Italia.

Le raccomandazioni per gli editori di riviste scientifiche.

Le raccomandazione [6-10] riguardano gli editori di riviste. Le prime due sono relative all’uso degli indicatori bibliometrici a fini di promozione delle riviste. Gli editori che sottoscrivono DORA si impegnano a ridurre l’enfasi sull’IF come strumento di promozione delle riviste, offrendo una pluralità di metriche ed informazioni in grado di fornire un quadro più ricco sulla performance della singola rivista; e a rendere disponibili metriche relative ai singoli articoli pubblicati. La raccomandazione 8 consiste invece nell’”incoraggiare pratiche responsabili per l’individuazione degli autori e nel fornire informazioni sullo specifico contributo di ciascun autore”. La raccomandazione 9 suggerisce l’adozione delle Creative Commons Public Domain Dedication alle riviste open-access. La raccomandazione 10 suggerisce l’eliminazione dei limiti al numero di riferimenti bibliografici negli articoli scientifici e, quando appropriato, il favorire la citazione dei lavori di ricerca originali anziché il rimando a rassegne (review) per stabilire la corretta attribuzione della priorità nei risultati.

Le raccomandazioni per i fornitori di misure scientometriche.

Le quattro raccomandazioni successive (11-14) riguardano le organizzazioni che forniscono metriche. Stiamo principalmente parlando di Elsevier-Scopus e Thomson-Reuter-WoS, ma anche di Google Scholar e altri. Le raccomandazioni prevedono come pratiche da adottare la trasparenza sui dati e sui metodi usati per calcolare tutte le metriche; la fornitura di dati con licenze che non ne limitino il riuso; la definizione di  regole per combattere la manipolazione delle metriche; la definizione precisa delle metriche in riferimento a differenti campi di indagine e tipologie di prodotti di ricerca (articoli e rassegne).

Le raccomandazioni per i ricercatori.

Le ultime 4 raccomandazioni riguardano i singoli ricercatori, sia nelle pratiche citazionali da seguire nello svolgimento della ricerca, che nei comportamenti da adottare quando chiamati a svolgere attività di valutazione.

“15. Quando coinvolti in comitati chiamati a prendere decisioni su finanziamenti, assunzioni, tenure o promozioni, fare valutazioni basate sul contenuto scientifico piuttosto che sulla metrica della pubblicazione”

“16. Quando ciò sia appropriato, citare la letteratura primaria nella quale le osservazioni sono documentate per la prima volta invece di articoli di rassegna al fine di attribuire credito dove il credito è dovuto;”

“17. Usare un insieme di metriche e indicatori per gli articoli […] come evidenza dell’impatto dei singoli articoli pubblicati e degli altri prodotti della ricerca”

L’ultima raccomandazione suggerisce invece di:

“18. Mettere in dubbio le pratiche di valutazione della ricerca che fanno affidamento inappropriatamente su fattori di impatto delle riviste e promuovere e insegnare le migliori pratiche centrate sul valore e l’influenza dei singoli prodotti della ricerca”

Ci sono dunque studiosi che ritengono loro dovere applicare il metodo scientifico alle pratiche di valutazione. DORA mette in luce l’anomalia italiana dove la comunità accademica ha abiurato il metodo scientifico in nome della fede nel potere salvifico dei “parametri oggettivi” della bibliometria. Dove chiunque, come Roars, abbia preso posizione contro pratiche di valutazione senza alcun fondamento scientifico e basate su metriche inappropriate, è stato accusato di essere nemico della valutazione, di benaltrismo e di perfezionismo.

Forse DORA è il segno che la diga sta cedendo perché  chiarisce definitivamente che c’è una cattiva valutazione, e che è compito dello scienziato contrastarla per il bene della scienza. E questo vale anche  in Italia.