Bibliometria / Valutazione

Nature: meno paraocchi bibliometrici, meglio leggere i lavori scientifici

 

«Universities: adopt as standard practice a requirement that committees actually read candidates’ research, as is done in the REF [la VQR inglese NdR] exercise. Emphasize how researchers approach questions when evaluating candidates.» Questa è solo una delle raccomandazioni che chiudono un articolo apparso su Nature che denuncia le ricadute negative dei paraocchi bibliometrici troppo spesso indossati dai revisori, sia di progetti che di ricercatori. Per quanto largamente disattesa in Italia, la raccomandazione non è nuova. Merita però attenzione un’analisi quantitativa che rivela come sulla breve distanza (tre anni dalla pubblicazione) gli articoli più innovativi hanno minore probabilità di rientrare nel top 1% dei più citati rispetto a quelli meno innovativi. Ma poi c’è il graduale sorpasso, un’ulteriore dimostrazione che i criteri della VQR italiana, in aggiunta agli errori aritmetici (il ricorso alla somma di numeri ordinali), erano inadeguati anche dal punto di vista concettuale.

 

Rimandando i lettori alla lettura dell’articolo, riportiamo di seguito la lista di raccomandazioni che conclude l’articolo:

Researchers: stop relying exclusively on short-term citation counts and JIFs in guiding the choice of topics and where to submit. Stop including them in funding applications.

Funders: insist on multiple ways to assess applicants’ and institutions’ publications. Stop grant applicants from providing short-term citation counts and JIFs. Scrub them from proposals and ban them from being discussed in reviews. Include experts outside the main field on review panels, and periodically examine the performance of grant applicants using five- or even ten-year windows. The ERC, although still too young to implement such a long-term window for evaluation purposes, aspires to do precisely this in the future.

Reviewers: resist seeking out and relying on metrics, especially when calculated over less than a three-year window.

Editors: reject shoddy metrics used to evaluate journals. Advocate for metrics to be assessed over longer time spans, as done by Research Policy5 and recommended in a joint proposal from editors at several high-profile publishers, including Nature10.

Universities: adopt as standard practice a requirement that committees actually read candidates’ research, as is done in the REF exercise. Emphasize how researchers approach questions when evaluating candidates.

Reviewers are blinkered by bibliometrics, Nature, 26.04.2017

Send to Kindle
Tag: , , , ,

2 Comments

  1. Pingback: "Nature": meno paraocchi bibliometrici, meglio leggere i lavori scientifici - S.I.M.O.H.

  2. Francesco1 says:

    Si ritrova sperimentalmente ciò che ho sempre affermato: il numero di citazioni di un articolo è significativo solo al di sopra di un certo (piuttosto alto) valore. Al di sotto, semplicemente non è significativo: è un dato che può essere pesantemente alterato da pratiche di ‘ingegneria bibliometrica’, in definitiva una misura all’interno del suo range di errore.
    E’ come usare uno strumento con un errore di più o meno 100 unità di misura, e poi considerare 25 come maggiore di 7… insomma, molta gente diventa professore in base ad un calcolo che, fatto da un suo studente ne causerebbe l’immediata bocciatura…

Leave a Reply

Sostieni ROARS

Sostieni ROARS