Sul Journal of the American Medical Association un articolo di Joyner, Paneth e Ioannidis punta il dito contro lo spreco di fondi pubblici legato alla valutazione bibliometrica di ricerche. Numero di pubblicazioni, citazioni e premi possono facilmente divenire self-rewarding artifacts capaci di tenere in vita (ex-)grandi idee anche dopo che hanno tradito le loro promesse in termini di benefici sanitari.
«When NIH funds translational or preclinical research with specific deliverables promised (as in the case of personalized medicine, and stem cell therapy), independent assessors should regularly appraise whether these deliverables were achieved and, if so, at what cost, and with what effect. Assessors must be objective, independent of the funding source, and have no professional stake in whether a particular line of research is deemphasized. The deliverable criterion should include public health benefit achieved by these initiatives (ie, measurable reductions in mortality and morbidity). Criteria such as number of publications, citations, prizes, and recognition are irrelevant as these are simply self-rewarding artifacts of the system. After several decades of substantial investment, the fundamental question is whether these big ideas have improved quality of life and life expectancy, by how much, for how many, and for whom. These are public dollars that should benefit the many, not the few.»
Joyner, M. J., Paneth, N., & Ioannidis, J. P. (2016). What Happens When Underperforming Big Ideas in Research Become Entrenched?. JAMA.
La bibliometria applicata su scala fine è pura spazzatura, non esiste alcuna base scientifica anzi come sappiamo dalla meccanica quantistica la misura modifica il dato. Per esempio i miracoli avvenuti in certe aree dell’ingegneria trovano facile spiegazione con la comparsa di alcuni giornali “open access” dedicati ai circuiti citazionali, la moltiplicazione degli “special issue”… Poichè certi comportamenti sono vietati dai codici etici di quasi tutti gli atenei, penso sia opportuno che cominciamo a chiedere ai Rettori provvedimenti disciplinari contro i tarantolati dalla bibliometria. Uno con una carriera alle spalle, che negli ultimi tre anni ha il 90% delle citazioni, significa che o ha fatto una scoperta da Nobel oppure come più probabile è un imbroglione. Cominciamo nel nostro piccolo a sputtanarli
La misura modifica il dato eccome, quando si parla di citazioni.
Ma è soprattutto l’h index quello che non significa assolutamente nulla. Avere un singolo articolo con un numero enorme di citazioni è un fatto significativo poco relazionato con l’h index, (anzi, spesso del tutto invisibile. Bisognerebbe farci su uno studio statistico ma è facilissimo trovare esempi (su una qualunque banca dati) di persone con h index superiore a quello che ha un solo lavoro super-citato.
Il problema è che le citazioni sono significative proprio quando non servono per fare valutazioni DI MASSA…
cioè servono per segnalare una eccellenza, mentre se si usa una differenza di 10 o 20 citazioni per stabilire che Tizio è più bravo di Sempronio, la probabilità di errore diventa altissima.