Times Higher Education anticipa oggi che tutti i sette Research Council del Regno Unito, che finanziano circa 3 miliardi di sterline di ricerca ogni anno, hanno firmato la Dichiarazione di San Francisco sulla Valutazione della Ricerca (DORA), invitando la comunità accademica a smettere di usare l’impact factor delle riviste come proxy per la qualità della ricerca. I Research Council britannici si uniscono ai circa 13.000 studiosi e alle 450 organizzazioni che hanno firmato Dora che, come ricorderanno i lettori di Roars, è stata promossa dall’ American Society for Cell Biology nel 2012 per invitare ricercatori, università, riviste, editori e finanziatori a migliorare il modo in cui valutano la ricerca. Il professor Stephen Curry, professore di biologia strutturale all’Imperial College di Londra, annuncerà i nuovi firmatari della dichiarazione su Nature dell’ 8 febbraio.
Tra non molto l’Italia, grazie ai ministri che si sono succeduti al MIUR e grazie soprattutto ad ANVUR, resterà il solo paese occidentale ad applicare massivamente, per ogni tipo di decisione (abilitazione scientifica, selezione dei commissari di concorso, collegi di dottorato, …), metriche basate sull’impatto delle riviste o su surrogati di tali metriche, come le liste di riviste per le aree non bibliometriche.
Fra dieci anni, quando molti di noi saranno stati ingiustamente bloccati nelle carriere, si dirà che errore è stato tutto ciò…
Beh’, ci vuole il morto , o,più d’uno, per megliorare le condizioni di una strada, ponte.
L’aspetto più sconcertante è che tali indicatori siano stati usati. Che poi qualcuno si accorga che non hanno senso è solo una blanda dimostrazione dell’esistenza del buon senso. Che l’Italia sia adagiata sul conformismo più soffocante e sulla celebrazione della stupidità umana dipende poi solo da noi, dai nostri Rettori e dai nostri colleghi dirigenti ministeriali.
e dai colleghi universitari che hanno avuto tutto da guadagnarci…
“…per ogni tipo di decisione (abilitazione scientifica, selezione dei commissari di concorso, collegi di dottorato,…”
A dire il vero non mi risulta che l’ i.f. sia utilizzato in nessuna delle selezioni di cui sopra…
Negli indicatori ASN dei settori bibliometrici non è effettivamente usato. L’idea di una categorizzazione dei “contenitori” è ampiamente presente nei settori non bibliometrici (riviste di classe A) e, nel caso dell’Area 13, si avvale di indicatori di impatto (SJR (Scimago Journal Indicator) e SNIP (Source Normalized Impact per Paper)).
L’Impact factor (o indicatori similari) è pure usato nella VQR (vedi le cosiddette “cravatte bibliometriche”) e, di conseguenza, anche nell’accreditamento dei collegi di dottorato.
Nella sostanza, per quanto riguarda l’uso dell’impact factor, Miur e Anvur ne fanno uso e sono lontani dall’adeguarsi alle migliori pratiche internazionali.
Onestamente mi pare un uso del tutto residuale nel contesto citato “abilitazione scientifica, selezione dei commissari di concorso, collegi di dottorato”: nel primo no, nel secondo no, nel terzo in modo indiretto e combinato e solo in alcuni dei molteplici criteri per l’accreditamento (ovvero solo laddove è considerata la VQR). Bisognerebbe rettificare queste affermazioni “approssimative” e dare informazioni più puntuali, a beneficio di tutti. Un conto è un post (come questo) un conto è un “articolo”.
Uso dell’IF o di surrogati di tali metriche, come altre Journal metrics e le liste di riviste per le aree non bibliometriche concettualmente equivalenti:
1) ASN: sì in area 13 + tutti i settori non bibliometrici.
2) Commissari: sì (come sopra).
3) Collegi dottorato: sì perché si usano i criteri ASN (vedi punto 1) e anche X ed R della VQR medi del collegio. Essendo due di quattro criteri che vanno soddisfatti in ragione di 3 su 4, l’uso è tutt’altro che indiretto.
Non stiamo parlando della bibliometria applicata ai settori bibliometrici? Ecco, nei settori bibliometrici l’IF, e nessun suo surrogato, non è utilizzato nella ASN e nella selezione dei commissari ASN (o locali, che in buona parte ricalcano i criteri nazionali).
Il punto non è la demonizzazione dell’ IF, o del CS, o simili indicatori di rivista. Il punto è (a mio parere) che questo indicatore dovrebbe essere usato solo per valutare la rilevanza della sede di pubblicazione, che è solo uno dei criteri di valutazione della qualità dei prodotti della ricerca. Non possiamo far finta che un alto I.F. (nella subject category) non significhi generalmente rivista di maggior prestigio e con maggior selezione dei lavori da pubblicare. Allo stesso modo un lavoro scientifico non si può valutare sulla base della rivista sulla quale è pubblicato. Il prestigio della sede editoriale è comunque sempre entrato nella valutazione dell’articolo. E’ difficile pensare che una valutazione equilibrata non debba considerare sia criteri oggettivi (numerici, bibliometrici) sia criteri soggettivi (dei commissari, come ad esempio qualità, originalità, rigore metodologico, etc).
“Non possiamo far finta che un alto I.F. (nella subject category) non significhi generalmente rivista di maggior prestigio e con maggior selezione dei lavori da pubblicare.” Non userei il termine prestigio, ma “popolarità accademica” o impatto. L’IF altro non è che il numero di citazioni medie in un ristretto arco temporale. Ma la questione è di secondaria importanza. E’ più rilevante la seconda parte della frase: allo stato non esistono evidenze conclusive che un più elevato IF significhi “maggiore slezione e maggiore qualità degli articoli. Sembra anzi che le riviste con più elevato IF tendano a pubblicare less reliable science.
https://www.frontiersin.org/articles/10.3389/fnhum.2018.00037/full
[…] volte su queste pagine (qui, qui, qui, qui e qui) si è affrontato il tema della San Francisco Declaration on research assessment (DORA) […]