La misura del numero di pubblicazioni e di citazioni di uno scienziato, e poi dell’indice H che è essenzialmente correlato al numero di citazioni (nella gran parte dei casi, la radice quadrata diviso 2), è uno strumento di cui è bene discutere pregi e difetti per usarlo ed interpretarlo in maniera sensata. Il numero di citazioni, che indica quanti ricercatori hanno letto e, in principio, trovato interessante ed utile un articolo, è un indice di popolarità e non direttamente di qualità. Il problema centrale è se popolarità implichi qualità: una semplice scorsa alla storia della scienza mostra che non la implica affatto in tantissimi casi.

Alcune istituzioni scientifiche di prestigio, come l’Accademia delle scienze francese, si sono dunque preoccupate di stilare delle linee guida sul corretto uso degli indici bibliometrici come degli strumenti da usare con grande cautela e da persone esperte, da affiancare sempre e necessariamente ad una valutazione puntuale della qualità di un ricercatore basata sullaconoscenza effettiva dei suoi contribuiti scientifici (bisogna leggersi gli articoli e, possibilmente capirli, per giudicare). Questi indici sono soggetti a deformazioni di vario tipo, tra i cui l’incompletezza e la manipolazione dei database, come dimostrato dall’eclatante caso di Ike Antkare.

Vi sono anche banche date certificate (ISI Web of Knowledge, ecc.), che indicizzano solo le pubblicazioni e le citazioni che compaiono su riviste in cui sia stata adottata la revisione da parte di pari: queste sono però sostanzialmente incomplete in tanti settori. In genere le scienze naturali, l’ingegneria e  la medicina sono le più monitorate; un discorso completamente diverso andrebbe fatto per le scienze sociali, economia, letteratura, legge, ecc., dove le monografie (non censite sui database) sono le pubblicazioni principali. Inoltre vi è il problema delle auto-citazioni, del fatto che il numero di citazioni di un articolo è proporzionale al numero di autori dello stesso, ecc.

In aggiunta, l’indice H è un indice integrale ed aumenta con l’età:  è necessario perciò normalizzare l’indice H con gli anni di carriera altrimenti s’introduce un effetto sistematico per il quale si sovrastima l’attività di scienziati anziani e si sottostima quella di scienziati giovani. Ci sono poi i falsi positivi, ad esempio scienziati che orientano la propria carriera con l’intento di massimizzare non tanto la qualità scientifica, quanto i propri indici bibliometrici: questo può essere ottenuto in vari modi, alcuni dei quali non eticamente corretti, come ad esempio firmando articoli non propri, citando per essere citati, dirigendo grandi gruppi di ricerca e firmando un numero abnorme ed insensato di articoli, ecc.

E’ noto inoltre che un’attenzione troppo grande al valore degli indici bibliometrici può influenzare inmaniera artificiale ma importante sia l’attività scientifica del singolo ricercatore, che cerca così di orientare la sua attività sulle linee di ricerca che vanno più di moda e sono percorse dal maggior numero di ricercatori (e dunque sono più citate), sia la dinamica globale di un campo, ad esempio eliminando completamente coloro i quali cercano di studiare problemi considerati marginali ad un certo momento ma che potrebbero in seguito rivelarsi importanti. Come ho già avuto modo di osservare, su questi punti c’è un vivo dibattito a livello internazionale.

Veniamo ora alla classifica della Via Academy. Supponiamo che i dati sui quali sia stata elaborata siano completi, ipotesi non verificata visto il database di provenienza (ScholarGoogle) e la varietà di discipline che include (dalla biologia alla letteratura passando per l’economia), supponiamo inoltre che le citazioni siano indice di qualità.  Anche nel caso in cui queste più favorevoli ipotesi si verifichino questa classifica non è equivalente ad una di, ad esempio, tennisti, bensì ad una in cui i tennisti sono messi insieme ai calciatori, saltatori con l’asta, velisti, maratoneti, ecc.Questo avviene in quanto diversi campi scientifici (ed i sotto-settori di un campo) hanno delle modalità completamente diverse rispetto sia al numero di pubblicazioni che al numero di citazioni e dunque non sono semplicemente commensurabili. Ad esempio, si riscontrano variazioni enormi nel numero medio di citazioni ricevute da un articolo nell’arco di due anni: in matematica può raggiungere il valore di 2,55 mentre in medicina può arrivare a 51. Per superare questo problema sono stati proposti vari metodi, generalmente basati sull’idea di normalizzare il numero di citazioni a quantità standard appropriatamente scelte. Il problema non è banale e una soluzione recentemente proposta mostra che la distribuzione delle citazioni diviene la stessa quando normalizzata al numero medio di citazioni per articolo per disciplina. In questa maniera si trovano dei risultati sorprendenti, come ad esempio il fatto che un articolo pubblicato nel campo dell’ingegneria aerospaziale con sole 20 citazioni abbia “più successo” di un articolo in biologia con 100 citazioni. Ma questo chiaramente non significa che il primo è necessariamente più importante del secondo, ma solo che sia relativamente più citato e dunque più popolare.

Il punto fondamentale è che non bisogna ridurre il dibattito sull’uso degli strumenti bibliometrici in questi termini: chi  critica gli indici bibliometrici è contro la valutazione. L’idea che unavalutazione della ricerca tramite i soli indici bibliometrici sia una cosa sensata da fare è ingenua e sbagliata, anche quando fatta usando database completi, normalizzando i dati appropriatamente per tener conto delle diverse discipline,  considerando l’effetto integrato dell’età, delle auto-citazioni, ecc. La classifica della Via Academy, non soddisfacendo neanche queste condizioni basilari, per dirla con Francesco Vatalaro“non aiuta alla comprensione del livello qualitativo del sistema accademico italiano: è solo un modo di sommare mele con patate”. 



Send to Kindle

1 commento

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.