Valutazione

DORA. Contro la bibliometria-fai-da-te. ANVUR sempre più sola

DORA non è solo la piccola esploratrice  di un cartoon. E’ anche l’acronimo della dichiarazione di San Francisco sulla valutazione della ricerca, che impegna i sottoscrittori a comportamenti responsabili e corretti nelle pratiche di valutazione. La valutazione della ricerca deve rispondere agli stessi standard adottati nel lavoro scientifico. La scienza va salvata dalla cattiva valutazione, principalmente dall’uso delle metriche riferite alle riviste –come l’impact factor- nelle decisioni relative a finanziamento, reclutamento e promozioni. DORA richiede a ciascun ricercatore di impegnarsi a valutare responsabilmente, considerando i contenuti scientifici e non le sole metriche. Ma richiede anche di impegnarsi a contrastare la cattiva valutazione.

Nelle ultime settimane Science ed altre riviste scientifiche hanno diffuso la San Francisco Declaration On Research Assessment (DORA). Un gruppo di  redattori (editors) e editori (publishers) di riviste scientifiche si sono riuniti a  San Francisco, California, il 16 Dicembre 2012 durante la riunione annuale della società americana di biologia cellulare (The American Society for Cell Biology ASCB) ed hanno messo a punto la prima bozza del documento che è adesso pubblicato con la firma di 78 organizzazioni (riviste -tra cui Science, Plos e PNAS – e associazioni scientifiche -tra cui unica italiana Telethon) e 151 studiosi promotori.  E’ appena iniziata l’adesione di studiosi ed organizzazioni alla dichiarazione. Ad oggi ci sono le firme di oltre 3500 studiosi e circa 160 riviste ed associazioni scientifiche.

L’adesione a DORA impegna a supportare l’adozione di pratiche di valutazione della ricerca scientificamente corrette. DORA contiene 18 raccomandazioni rivolte ai diversi attori del mondo della ricerca: agenzie di finanziamento, istituzioni, editori, organizzazioni che producono dati bibliometrici, singoli ricercatori. Tutte le raccomandazioni ruotano introno a tre temi principali:

  • “la necessità di eliminare l’uso delle metriche riferite alle riviste –come l’impact factor- per il finanziamento, il reclutamento e le promozioni;
  • la necessità di valutare la ricerca per i suoi propri meriti e non sulla base della rivista su cui è pubblicata;
  • la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazione on-line (riducendo per esempio i limiti non necessari imposti del numero di pagine, figure e riferimenti bibliografici negli articoli, e esplorando nuovi indicatori di importanza e impatto)”.

La dichiarazione prende le mosse dalla constatazione che “i prodotti della ricerca scientifica sono molti e vari, ed includono: articoli di ricerca che descrivono nuova conoscenza, dati, reagenti e software; proprietà intellettuale; e giovani scienziati addestrati”. Ovviamente agenzie di finanziamento, istituzioni e gli stessi scienziati “hanno  il desiderio e la necessità di valutare la qualità e l’impatto dei prodotti della ricerca. Ed è imperativo quindi che la produzione scientifica sia misurata accuratamente e adeguatamente valutata”.

E’ utile rimarcare che  la dichiarazione sottolinea che la ricerca deve essere misurata e valutata. Ma, come vedremo, rifiuta la cattiva misurazione e la cattiva valutazione.

La prima raccomandazione è di carattere generale e vale per tutti gli attori dell’intrapresa scientifica:

  1. “Non usare metriche riferite alle riviste, come i fattori di impatto della rivista, come misura surrogata della qualità dei singoli articoli di ricerca, per valutare i contributi del singolo scienziato, o per decisioni relative ad assunzioni, promozioni e finanziamenti.”

Si tratta di una raccomandazione che trova origine nel seminal paper di P.O Seglen (1997): non esiste nessuna relazione tra misure di impatto di una rivista (IF, ma anche h-index e simili) e impatto –a fortiori con la qualità- del singolo articolo. Quindi non è corretto usare indicatori bibliometrici riferiti al contenitore per valutare la qualità del singolo articolo contenuto.

Non è inutile sottolineare che l’intero sistema di valutazione della VQR è costruito scientemente in violazione della prima raccomandazione DORA. Scrivo scientemente perché la “raccomandazione DORA” fu suggerita a suo tempo da Roars in fase di disegno della VQR e fu accuratamente ignorata dal consiglio direttivo. Come abbiamo più volte scritto, il disegno VQR è quanto di più inefficiente e involuto sia stato messo a punto per un esercizio nazionale di valutazione. Si è scelta la via raffinata del modello inglese (che in variante italica suona: ogni ricercatore deve presentare i suoi 3/6 migliori prodotti); e poi si è deciso di valutare prevalentemente con metriche riferite alle riviste o con i  quadrati magici: che correggono la misura (corretta) di impatto del singolo articolo (il numero di citazioni ricevute) con la metrica (sbagliata) della rivista su cui è uscito l’articolo (IF). Il risultato finale è: risultati incredibili e costi elevatissimi.


Le raccomandazioni per istituzioni e finanziatori.

Le pratiche raccomandate da DORA a istituzioni e agenzie di finanziamento sono le stesse e consistono nel:

2-4: rendere espliciti i criteri usati per valutare la produttività scientifica e per le decisioni di assunzione, tenure e promozione, e sottolineare chiaramente, specialmente per i giovani ricercatori, che il contenuto scientifico di un articolo è molto più importante delle metriche della pubblicazione e dell’identità della rivista nel quale è pubblicato.

3-4: considerare, ai fini della valutazione della ricerca, il valore e l’impatto di tutti i prodotti della ricerca (inclusi i datasets e il software) in aggiunta alle pubblicazioni, e considerare un ampio insieme di misure di impatto che includono indicatori qualitativi dell’impatto della ricerca, come l’influenza sulle politiche e sulle pratiche.

Le pratiche di valutazione adottate da enti di finanziamento e istituzioni –in particolare da istituzione dedicate alla valutazione della ricerca- hanno effetti sui comportamenti individuali. DORA sottolinea la necessità di adottare criteri di valutazione che spingano al miglioramento della qualità intrinseca della ricerca e del suo impatto economico e sociale. In particolare DORA ha l’obiettivo di frenare il corto circuito tra qualità/importanza della ricerca e luogo di pubblicazione.

Anche in questo caso non possiamo non notare la distanza siderale dall’approccio pedagogico di ANVUR:

Non è a questo punto inutile ricordare che anche alcune parti di ASN sono costruite in aperto contrasto con le raccomandazioni DORA. In particolare nelle aree non bibliometriche la terza mediana è basata su liste di riviste. E non è neanche inutile ricordare l’aberrazione dell’introduzione della somma degli IF (et similia) nei concorsi da ricercatore svolti negli scorsi anni in Italia.

Le raccomandazioni per gli editori di riviste scientifiche.

Le raccomandazione [6-10] riguardano gli editori di riviste. Le prime due sono relative all’uso degli indicatori bibliometrici a fini di promozione delle riviste. Gli editori che sottoscrivono DORA si impegnano a ridurre l’enfasi sull’IF come strumento di promozione delle riviste, offrendo una pluralità di metriche ed informazioni in grado di fornire un quadro più ricco sulla performance della singola rivista; e a rendere disponibili metriche relative ai singoli articoli pubblicati. La raccomandazione 8 consiste invece nell’”incoraggiare pratiche responsabili per l’individuazione degli autori e nel fornire informazioni sullo specifico contributo di ciascun autore”. La raccomandazione 9 suggerisce l’adozione delle Creative Commons Public Domain Dedication alle riviste open-access. La raccomandazione 10 suggerisce l’eliminazione dei limiti al numero di riferimenti bibliografici negli articoli scientifici e, quando appropriato, il favorire la citazione dei lavori di ricerca originali anziché il rimando a rassegne (review) per stabilire la corretta attribuzione della priorità nei risultati.

Le raccomandazioni per i fornitori di misure scientometriche.

Le quattro raccomandazioni successive (11-14) riguardano le organizzazioni che forniscono metriche. Stiamo principalmente parlando di Elsevier-Scopus e Thomson-Reuter-WoS, ma anche di Google Scholar e altri. Le raccomandazioni prevedono come pratiche da adottare la trasparenza sui dati e sui metodi usati per calcolare tutte le metriche; la fornitura di dati con licenze che non ne limitino il riuso; la definizione di  regole per combattere la manipolazione delle metriche; la definizione precisa delle metriche in riferimento a differenti campi di indagine e tipologie di prodotti di ricerca (articoli e rassegne).

Le raccomandazioni per i ricercatori.

Le ultime 4 raccomandazioni riguardano i singoli ricercatori, sia nelle pratiche citazionali da seguire nello svolgimento della ricerca, che nei comportamenti da adottare quando chiamati a svolgere attività di valutazione.

“15. Quando coinvolti in comitati chiamati a prendere decisioni su finanziamenti, assunzioni, tenure o promozioni, fare valutazioni basate sul contenuto scientifico piuttosto che sulla metrica della pubblicazione”

“16. Quando ciò sia appropriato, citare la letteratura primaria nella quale le osservazioni sono documentate per la prima volta invece di articoli di rassegna al fine di attribuire credito dove il credito è dovuto;”

“17. Usare un insieme di metriche e indicatori per gli articoli […] come evidenza dell’impatto dei singoli articoli pubblicati e degli altri prodotti della ricerca”

L’ultima raccomandazione suggerisce invece di:

“18. Mettere in dubbio le pratiche di valutazione della ricerca che fanno affidamento inappropriatamente su fattori di impatto delle riviste e promuovere e insegnare le migliori pratiche centrate sul valore e l’influenza dei singoli prodotti della ricerca”

Ci sono dunque studiosi che ritengono loro dovere applicare il metodo scientifico alle pratiche di valutazione. DORA mette in luce l’anomalia italiana dove la comunità accademica ha abiurato il metodo scientifico in nome della fede nel potere salvifico dei “parametri oggettivi” della bibliometria. Dove chiunque, come Roars, abbia preso posizione contro pratiche di valutazione senza alcun fondamento scientifico e basate su metriche inappropriate, è stato accusato di essere nemico della valutazione, di benaltrismo e di perfezionismo.

Forse DORA è il segno che la diga sta cedendo perché  chiarisce definitivamente che c’è una cattiva valutazione, e che è compito dello scienziato contrastarla per il bene della scienza. E questo vale anche  in Italia.

 

Send to Kindle
Tag: , , , , , , ,

8 Comments

  1. La dichiarazione DORA la sottoscrivo.

    Ho sempre pensato che se un lavoro ha 300 citazioni su una rivista di IF basso vale di piu’ che se le ha su una rivista con IF alto.

    Il problema e’ se un lavoro non ha citazioni o poche (sotto il centinaio).

    Tipica situazione da concorso:

    Commissario 1:
    “E’ un lavoro bellissimo, introduce una favolosa transformazione tra operatori in spazi di Sobolev”.

    Commissario 2:
    “Si, ma e’ stato fatto 10 anni fa e nessuno ha utilizzato questa trasformazione. Il lavoro non ha citazioni”.

    Commissiario 1:
    “Non si giudica un lavoro dall’impact factor della rivista o dalla citazioni che riceve. Bisogna guardare il contentuto del lavoro. E’ una trasformazione bellissima. Il candidato mi ha detto che gli ha scritto un e-mail Henri Poincare’, congratulandosi per il favoloso risultato.”

    Commissiario 2:
    “Ma Poincare’ e’ morto nel 1912.”

    Commissario 1:
    “Visto! La trasformazione e’ cosi favolosa, che gli hanno scritto addirittura dall’aldila’”.

    Commissario 2:
    “Beh, di fronte a tale prodigio di trasformazione, non resta che … genuflettersi”.

  2. Premesso che ho firmato la dichiarazione DORA e che condivido le critiche sollevate in particolare verso la Thomson Reuters devo anche dire che non è corretto usarla per criticare l’ANVUR.

    Anzi dovremmo chiedere all’ANVUR di essere ancora più stringente l’H-index ad esempio dovrebbe essere legato al contributo dell’autore per un dato lavoro.

    Utilizzate in modo intelligente le analisi delle citazioni sono uno strumento valido per limitare la soggettività dei commissari e quindi le promozioni (in tutti i sensi grants concorsi etc) dei mediocri.

    ma analizziamo in modo più preciso alcuni punti sollevati dalla dichiarazione.

    1. Avoid using journal metrics to judge individual papers or
    individuals for hiring, promotion and funding decisions.

    2. Judge the content of individual papers and take into
    account other research outputs, such as data sets, software
    and patents, as well as a researcher’s influence on policy
    and practice.

    3. Balance the Impact Factor with other metrics and reduce
    emphasis on the JIF in journal promotion. Article-level
    metrics are more specific than journal-based metrics.

    4. Declare detailed authorship contributions.

    5. Avoid limits on reference lists and remove reuse and access
    limitations. Where appropriate, cite the primary literature.

    6. Open data used to calculate metrics.

    7. Account for article types in reporting metrics; define what
    constitutes inappropriate manipulation of metrics.

    8. Promote and teach best practice focussing on the value
    and influence of specific research outputs.

    Due cose importanti

    I) DECISAMENTE MEGLIO USARE LE CITAZIONI DEI SINGOLI LAVORI

    II) DEFINIRE ESATTAMENTE IL CONTRIBUTO DEI DIVERSI AUTORI. su questo molte riviste di area biomedica si stanno allineando

    • Nel post ci sono scritte le ragioni per cui E’ CORRETTO usare Dora per criticare ANVUR. Sulla base almeno della raccomandazione 1. Come vedrà l’h-index non c’entra nulla con le critiche.

  3. “La raccomandazione 10 suggerisce l’eliminazione dei limiti al numero di riferimenti bibliografici negli articoli scientifici”

    Mi pare invece che un limite alle citazioni costituisca un elemento di responsabilizzazione per gli autori, ed una possibile calmierazione al fenomeno della “citation courtesy”, che gonfia gli i.f. delle riviste e/o il h-index degli autori.

  4. Pingback: ANVUR sempre più sola | ricercatoripolito

  5. Pingback: Boicottare Science, Nature e Cell? « Oggi Scienza

  6. Pingback: Ricerca scientifica: tanto spendi, tanto ottieni | Francesco Sylos Labini

  7. Pingback: Ricerca scientifica: spesa e risultati

Leave a Reply