«Come scientometristi, scienziati sociali e amministratori della ricerca, abbiamo osservato con crescente preoccupazione il pervasivo uso scorretto degli indicatori nella valutazione delle performance scientifiche». L’anno scorso, durante il convegno STI 2014, la comunità degli scientometristi sembra essersi improvvisamente resa conto dei danni collaterali e delle distorsioni create da un cattivo o maldestro uso degli indici bibliometrici prodotti e messi a disposizione dalla comunità stessa. E, verificato che i buoi erano scappati, ha provato a chiudere il recinto con un decalogo pubblicato su Nature che sta rimbalzando in tutte le liste di discussione.
L’anno scorso, durante il convegno STI 2014 http://sti2014.cwts.nl tenutosi a Leiden la comunità degli scientometristi sembra essersi improvvisamente resa conto dei danni collaterali e delle distorsioni create da un cattivo o maldestro uso degli indici bibliometrici prodotti e messi a disposizione dalla comunità stessa. E, verificato che i buoi erano scappati, ha provato comunque a chiudere il recinto, con un articolo pubblicato nel top journal per eccellenza (Nature) che sta rimbalzando in tutte le liste di discussione. Insomma, una volta preso atto di quelle che vengono definite unintended consequences, ha pensato di avviare una sorta di opera moralizzatrice.
E in effetti è vero, lo stesso indicatore può essere utile o dannoso a seconda del set di dati di partenza, del livello di applicazione, delle modalità di aggregazione dei dati, e l’interpretazione dei risultati della sua applicazione dipende dalla interazione con altri indicatori e dalla analisi del contesto.
Dalle riflessioni di Leiden è nato un documento formulato in prima istanza da Diana Hicks (Georgia Institute of Thecnology) e poi perfezionato nel corso di questi mesi con la collaborazione di Paul Wouters, Ludo Waltman, Sarah de Rijcke (CWTS, cioè il centro che questi indici bibliometrici li elabora e che produce e vende report bibliometrici sulla base dei quali istituzioni e nazioni orientano le loro politiche della ricerca) e Ismael Rafols (CSIC) e pubblicato da Nature qualche giorno fa.
Il “Leiden Manifesto for research metrics” contiene 10 principi rivolti a chi utilizza le metriche per scopi valutativi e parte proprio da una preoccupazione crescente rispetto al loro uso scorretto:
Come scientometristi, scienziati sociali e amministratori della ricerca, abbiamo osservato con crescente preoccupazione il pervasivo uso scorretto degli indicatori nella valutazione delle performance scientifiche.
I 10 principi che si propongono di fornire indicazioni per porre rimedio alle storture create ovunque nel mondo dall’introduzione maldestra della bibliometria sono tutti egualmente importanti. Li citiamo qui sotto rimandando alla lettura dell’articolo per una loro trattazione più approfondita.
- La valutazione quantitativa deve supportare il giudizio qualitativo
- Misurare le prestazioni in relazione alla missione di ricerca dell’istituzione, del gruppo o del ricercatore
- Salvaguardare l’eccellenza nella specifica ricerca locale
- Mantenere aperto, trasparente e semplice il processo di acquisizione dei dati e quello di analisi
- Consentire ai valutati di verificare i dati e l’analisi
- Tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione
- Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro portafoglio scientifico [Wouters è anche il responsabile del progetto ACUMEN ndr]
- Evitare finta concretezza e falsa precisione
- Riconoscere gli effetti sistemici della valutazione e degli indicatori
- Verificare regolarmente la qualità degli indicatori ed aggiornarli
Le potenzialità dell’uso della bibliometria non vengono affatto negate, ma esse sono valide fintanto che lo strumento (correttamente utilizzato) non si trasforma in fine a cui tendere.
Le migliori decisioni si prendono combinando statistiche robuste con un’adeguata sensibilità rispetto agli obiettivi ed alla natura della ricerca che viene valutata. C’è necessità di una evidenza sia quantitativa che qualitativa; entrambe oggettive a proprio modo. Le decisioni prese in merito alla scienza devono basarsi su processi di elevata qualità che poggiano a loro volta su dati di elevata qualità.
L’indice h mi sembra una buona statistica, robusta e non così facilmente alterabile ‘maldestramente’. Ricordiamoci che non appena si parla di valutazione della ‘qualità’ ognuno può dire la sua – senza limiti – ed è proprio questo baco ciò che ha invocato a livello mondiale l’uso della bibliometria.
Certo va usato con cognizione: non per paragonare aree diverse, non per dire che uno che ha 20 di h-index è uno scienziato migliore di uno che ha 19.
Certo potrebbe essere migliorato cercando ad esempio di appurare il ruolo dell’autore nelle pubblicazioni visto che in molte aree, specialmente scientifiche, lo spesso alto numero di autori implica ruoli e pesi notevolmente diversi riguardo il prodotto scientifico. Forse un indice h calcolato solo sui prodotti in cui si è principal investigator (o pesato per questo fattore) sarebbe un altro passo avanti, e ancora meno “bugerabile”.
Certo sappiamo bene che strumenti buoni messi in mani cattive diventano strumenti cattivi. Un esempio di cattivo uso è ciò che si è fatto dell’indice h nella ASN: questo indice è nato proprio perché numero prodotti e numero citazioni sono indici bibliometrici poco adeguati se presi crudi. Allora è da incompetenti usare sia l’indice h che le citazioni e il numero di prodotti perché si deteriora l’informazione contenuta nell’indice, inventato apposta (da gente del mestiere) per evitare gli altri due. Allora è ancora più da incompetenti tirare fuori dal cilindro l’indice “h-c”, una distorsione dell’indice che sembra fatta apposta per far rientrare all’ultimo momento i “ritardatari”…(quanti cv di colleghi ho visto che non hanno fatto nulla o quasi per anni e che, bacchettati dalla Gelmini, improvvisamente sono diventati iper-produttivi!)
Confesso di avere una certa simpatia per l’h-index. Non credo però che si possa sostenere:
“L’indice h mi sembra una buona statistica, robusta e non così facilmente alterabile ‘maldestramente’.”
Infatti, per esempio,
https://hal.inria.fr/hal-00713564/document
http://arxiv.org/abs/1412.5498
http://www.hitlabnz.org/administrator/components/com_jresearch/files/publications/2011_Detecting_h-index_Manipulation_Through_Self-Citation_Analysis.pdf
L’h-contemporaneo è una della conquantina di varianti dell’indice h. Tutte nate per coprire le falle/incongruenze di h. Nella ASN a mio parere non era sbagliato l’indice in sé (comunque un indice di scarso successo in letteratura); era folle l’idea di usare uno strumento che potesse essere manipolato in modo estremamente semplice, alterando l’età accademica).
L’h-Index non è facilmente manipolabile? Un collega di Palermo dopo anni di assenza di pubblicazioni ne ha prodotte una ventina quasi in contemporanea, in ognuna ha citato tutte le precedenti, e così in due anni ha ottenuto l’h-index più elevato del suo ssd. Il fatto è che gli indicatori vanno usati tenendo conto della loro semplicità, limitatezza e manipolabilità, non in modo acefalo. Inoltre va tenuto conto che la ricerca non può essere misurata con un solo numeretto, ma vanno considerati criteri multipli.
Beh, il collega ha dimostrato una certa prontezza di spirito. Quando tutto ciò sarà prassi comune, l’università italiana sarà finalmente risanata.
[…] JIF. Nel 2013 i biomed lanciano la Dichiarazione di San Francisco (Dora), nel 2014 i bibliomet il Manifesto di Leida. Fine riass. […]