La bibliometria applicata al singolo ricercatore è quanto mai controversa. Si può usare l’Impact Factor delle pubblicazioni per valutare il profilo di un ricercatore? Esiste un indice bibliometrico utilizzabile per fare una graduatoria di ricercatori? Come va usato l’h-index? Come dare il giusto peso al numero di coautori? Come pesare articoli, monografie e capitoli di libri? C’è chi ha provato a dare qualche risposta e qualche raccomandazione per un uso non amatoriale degli strumenti bibliometrici.
Se da un lato è ormai assodato che non esiste l’”indicatore perfetto”, quel numero che da solo è in grado di esprimere il valore di una ricerca o di un ricercatore, dall’altro sempre più spesso università e centri di ricerca richiedono misure “oggettive” ed indicatori di performance individuale per poter gestire carriere, distribuire fondi e borse e per il reclutamento. In ciò il problema grosso è rappresentato dal fatto che chi utilizza gli indicatori non li progetta, non li conosce, e spesso tende ad usarli male o a sproposito. Spesso dunque all’inadeguatezza dell’indicatore di per sé problematico (si pensi per esempio all’uso diffuso di IF o h index) si somma l’inadeguatezza dell’utilizzatore che non è in grado di interpretarlo.
In ambito internazionale è iniziata da qualche tempo una riflessione da parte degli studiosi di bibliometria sulla possibilità (e il senso) dell’utilizzo degli indicatori bibliometrici per misurare la performance dei singoli.
In particolare ci si interroga sul ruolo che gli indicatori possono avere nella valutazione dei singoli e cosa la comunità degli studiosi di bibliometria possa fare a supporto degli utenti per favorire un utilizzo consapevole e corretto degli indicatori.
Se ne è dibattuto recentemente alla 14. ISSI Conference di Vienna http://www.issi2013.org/about.html che ha dedicato una intera sessione al tema degli indicatori bibliometrici e della loro applicazione (o non applicazione) alla valutazione dei singoli.
Sull’argomento, forniamo due segnalazioni: in primo luogo un post di Paul Wouters, intitolato appunto “Bibliometrics of individual researchers” che riassume e discute gli esiti della sessione di Vienna.
Inoltre, Paul Wouter (Direttore del CWTS di Leiden) e Wolfgang Glänzel (KU Leuven), nel loro intervento The dos and don’ts in individual level bibliometrics” riportato qui sotto, tentano di formulare due decaloghi delle cose da fare e da non fare, che si pongono come un primo contributo alla riflessione, non esaustivo e certamente ampliabile.
[…] su ROARS.it Share this:FacebookTwitterEmailStampaMi piace:Mi piace Caricamento… 1 ottobre 2013 in Rassegna […]
Come al solito, molto interessante.
Mi risulta che l’ultima VQR fosse basata esclusivamente sull’impact factor…
E qualcuno sta iniziando ad utilizzarla per la valutazione degli SSD ed a breve, immagino, per i singoli ricercatori. Allora ben vengano l’h-index e/o le citazioni!!!
iniziamo a far sparire l’h-index contemporaneo… inventato per far risalire in barca chi non ha fatto nulla per anni!!!
Concordo che lo h-index contemporaneo possa essere rivisto, ma dire che è stato fatto apposta, mi sembra un’affermazione un po’ discutibile…
Si potrebbe allora dire che l’h-index favorisce posizioni di rendita.
Piuttosto il contemporaneo ristabilisce un certo equilibrio fra più e meno anziani: questi ultimi sono fortemente penalizzati dagli indici “totali”.
L’uso dell’indice h-contemporaneo è un’anomalia del tutto italiana. In particolare, è un indice bibliometrico che solleva diversi problemi di affidabilità. Affidare la carriera delle persone a indici bibliometrici problematici è sintomatico del dilettantismo con cui è stato affrontato il problema del reclutamento. L’immmagine che viene in mente è quella di sprovveduti apprendisti stregoni bibliometrici che compulsano la letteratura alla caccia della formula magica che bilanci anzianità e produttività recente. Riporto alcune considerazioni tecniche scritte nel 2012 (https://www.roars.it/abilitazioni-lanvur-scodella-lindice-di-katsaros/).
_________________
“aumenta il peso attribuito alle citazioni degli articoli recenti che sono però anche quelle più inaffidabili a causa dei ritardi di registrazione nei database i cui effetti sono spesso sottovalutati (si legga per esempio quanto scritto a pagina 5-30 del rapporto Science and Engineering Indicators 2010 del National Science Board relativamente all’uso dei dati WoS, http://www.nsf.gov/statistics/seind10/). […]
Un’indagine bibliometrica (Scientometrics 83(1), 243-258, 2010, http://sole.dimi.uniud.it/~massimo.franceschet/publications/scientometrics09.pdf) condotta su un campione di ricercatori italiani di computer science ha mostrato che non esisteva una correlazione statisticamente significativa tra l’h-contemporaneo di Google Scholar e quello di ISI. Anzi, tra tredici indici bibliometrici, l’h-contemporaneo era l’unico che non si correlava significativamente quando si cambiava il database (ibidem, Table 3, Spearman correlation, p-value = 0,1 > 0,05). Per quanto il campione di ricercatori fosse assai limitato (13 ricercatori dell’Università di Udine), desta qualche allarme il fatto che l’h-contemporaneo fosse l’indicatore più sensibile alla scelta del database.”
Fame coacta vulpes alta in vinea uvam adpetebat, summis saliens viribus.
Riguardo all’indice h contemporaneo, un altro aspetto interessante dal punto di vista tecnico è il modo in cui il coefficiente “quattro” influisce sul risultato. Ricopio un commento di fscarpa58:
__________________________
«Non è meglio dell’H-index. Un punto cruciale ed invece appena accennato è il coefficiente moltiplicativo (quattro).
Viene detto (sia da ANVUR che nel riferimento bibliografico),
“il tutto moltiplicato per 4 per ottenere valori numerici ragionevoli, come suggerito in [1].”
Non è vero
Il fattore moltiplicativo è applicato all’interno dell’algoritmo non alla fine. Lo scopo sottinteso da ANVUR è quello di aumentare la risoluzione della misura che altrimenti sarebbe penalizzata dalla natura discreta dell’indice.
Ma quel coefficiente gioca invece un ruolo significativo e non lineare sui risultati, lo stesso ruolo della pendenza della retta nell’H-index (45°). Il numero quattro è del tutto arbitrario e neppure supportato dalle argomentazioni “estetiche” della retta a 45° dell’h-index.
Un esempio semplificato e imperfetto ma calzante
Dopo aver applicato la formula usando il quattro supponiamo
TIZIO, Si: 6-3-3-1-1 segue hc=3
CAIO , Si: 6-3-2-2-1 segue hc=2
Ma se ora uso otto come coefficiente allora ottengo
TIZIO, Si: 12-6-6-2-2 segue hc=3
CAIO , Si: 12-6-4-4-2 segue hc=4
Il risultato si capovolge! Non va confuso con un semplice coeff. che influenza solo la risoluzione.»
https://www.roars.it/abilitazioni-lanvur-scodella-lindice-di-katsaros/comment-page-2/#comment-1452