In questi tempi e sempre di più da quando i GEV dell’ANVUR si sono messi al lavoro, si moltiplicano le critiche rispetto all’utilizzo degli indicatori bibliometrici. Nessuno scienziato pensa (a ragione) che gli indicatori bibliometrici possano dare conto della qualità della propria opera. Nel dibattito generale però pare che la necessità di valutare migliaia di prodotti e decine di strutture sia continuamente confusa con la necessità di valutare singoli ricercatori. E’ necessario invece che i due piani restino ben separati.
I problemi sottolineati da chi non crede nella bibliometria sono trasversali, e comuni a tutte le aree: autocitazioni, omissione di citazioni, citation clubs, citazioni negative, citazioni perché non si può farne a meno, le reviews che necessariamente contengono decine di citazioni, citazioni come omaggio degli allievi ai maestri. Gli indici citazionali riescono solo in parte a correggere questi problemi (ad esempio con l’eliminazione delle autocitazioni) e questo è uno dei motivi per cui questi indici non andrebbero utilizzati per la valutazione dei singoli ricercatori.
Per quanto riguarda le scienze umane e sociali vengono sottolineati una serie di altri problemi quali la scarsa copertura negli indici citazionali (Scopus e Web of Science-WOS), la forte tendenza a citare tipologie di lavori considerate in WOS non-source (cioè capitoli di libro o monografie non indicizzati da WOS che quindi non rientrano nel computo delle citazioni), i tempi di citazioni estremamente lunghi, il fatto che in queste aree si lavora tendenzialmente da soli (mentre le opere in coautoraggio vengono citate di più).
Per quanto riguarda poi le scienze umane e sociali che per tradizione o ambito di ricerca prettamente nazionale utilizzano una lingua diversa dall’inglese, non esiste praticamente la possibilità di essere inclusi negli indici citazionali né, forse, avrebbe senso.
Ma se assumiamo che un autore che utilizza informazioni, idee, teorie contenute nel lavoro di un altro autore di solito lo cita (o almeno dovrebbe farlo) e che quindi le citazioni presenti nel lavoro di un autore sono un indicatore (grezzo) di un debito scientifico, e se teniamo presente che il confronto avviene sempre e comunque all’interno di una stessa area caratterizzata quindi dalle stesse specificità (ad esempio le citazioni in ambito giuridico vengono raccolte e confrontate all’interno dell’ambito giuridico, non rispetto alla fisica o alla biologia), allora come già evidenziato in un altro articolo pubblicato su roars, si può dire che non esistono aree dove la bibliometria non possa essere applicata (ovviamente con tutti i limiti sottolineati), ma aree dove i dati non sono disponibili.
Pensare di ovviare al problema cercando di fare inserire riviste italiane in WOS o Scopus non pare una soluzione: molti studi hanno infatti dimostrato che la maggior parte delle citazioni presenti in articoli di area HSS sono riferite a tipologie di lavori non indicizzate da WOS o Scopus. Se da un lato è corretto stimolare l’editoria italiana verso standard e pratiche comuni a livello europeo o internazionale, dall’altro non ha senso forzare la ricerca umanistica verso modelli di ricerca e di pubblicazione che sono di ambiti disciplinari differenti.
Come fare allora? Gli indici citazionali, così come sono stati concepiti non sono adatti a cogliere le peculiarità delle scienze umane, esistono però già, a livello europeo, studi su come potrebbe essere articolato un database bibliometrico per questi ambiti disciplinari: qui un esempio.
L’idea (ambiziosa) è quella di poter creare uno strumento europeo per l’analisi bibliometrica nelle HSS indipendente da operatori commerciali. Senza aspettare troppo a lungo gli sviluppi a livello europeo si potrebbe sin d’ora cominciare a raccogliere dati certificati dalle istituzioni in uno strumento interoperabile che possa in futuro colloquiare con i database degli altri paesi, partendo dalla definizione di quali prodotti debbano essere inclusi ( ed es. libri e loro capitoli, articoli purché peer reviewed). Le fonti che potrebbero essere utilizzate per alimentare un simile database sono gli archivi istituzionali e/o le anagrafi della ricerca per quanto riguarda i dati bibliografici, i dati degli editori per quanto riguarda le informazioni sull’uso, i dati di Google Scholar (se e quando i meccanismi di raccolta dalle fonti e le fonti stesse saranno più trasparenti) per quanto riguarda le citazioni.
Presupposto per tutto ciò è che dati bibliografici e testi siano disponibili in formato elettronico (meglio ovviamente se ad accesso aperto).
Paola Galimberti, documentata e precisa come sempre, è fiduciosa che, per le scienze umane, la tecnologia possa venire a capo dei problemi che affliggono gli strumenti oggi disponibili. Da un lato ha ragione: si può e si deve fare sicuramente di meglio e in modo più trasparente e completo. Difficile darle torto sul piano tecnico. Però, sarebbe troppo facile sei i problemi fossero solo di natura tecnica: database più completi, mettere tutto in forma elettronica, sottrarsi al monopolio dei grandi gruppi come Thomson-Reuters ed Elsevier, e persino Google (per esempio, non è dato sapere quali riviste sono indicizzate da Google Scholar, http://en.wikipedia.org/wiki/Google_Scholar).
Difficile pensare che potremo fare a meno dei numeri, ma se introduciamo meccanismi automatici per giudicare e distribuire risorse basati su indicatori bibliometrici (ranking riviste, somma degli impact factors, le stesse citazioni), si scatena il “numbers game” (D.L. Parnas, “Stop the Numbers Game”, Communications of the ACM 2007, http://www.cosy.sbg.ac.at/~helmut/Stuff/parnas07.pdf ). Orientiamo un’intera generazione verso la “raccolta punti” con un messaggio eticamente devastante.
Non è facile trovare ricette valide per tutti. Nelle scienze “dure”, le pubblicazioni su riviste serie e le relative citazioni forniscono dei “riscontri” a supporto della qualità e dell’impatto della ricerca svolta da un singolo o da un gruppo. Chi (singolo o gruppo di ricerca) non pubblica o pubblica in sedi marginali, non è in grado di fornire riscontri oggettivi alla validità della sua attività di ricerca. Chi pubblica su sedi importanti e, per di più, è molto citato, merita una buona/ottima valutazione (senza scordare che non è tutto oro ciò che luccica). Però, ci sono ricerche che non vanno su Nature/Science o che non raccolgono tante citazioni, almeno nel breve periodo, ma che non vanno assolutamente scoraggiate. Da un lato c’è la necessità di rischiare l’esplorazione di nuove idee/settori, dall’altro ci sono ricerche di utilità sociale o legate al territorio che non possono “sfondare” ai massimi livelli ma che stanno perfettamente nella missione dell’università e degli enti di ricerca. Il messaggio che il fine ultimo è competere fino all’ultima citazione ha conseguenze immediate nella scelta dei temi di ricerca e nella riduzione della diversità scientifica (Svantesson and White: Research ranking – will innovation and diversity survive?, Bond Law Review: http://epublications.bond.edu.au/blr/vol21/iss3/7)
Anche senza introdurre criteri automatici, i colleghi giovani sono già molto influenzati dalle metriche bibliometriche. Questo è un bene nella misura in cui sono consci che devono produrre risultati riscontrabili pubblicamente e oggettivamente. Può essere un male, se induce scale di priorità distorte nel proprio approccio allo studio e alla ricerca. Sembra giusto porre delle soglie minime e può aver senso premiare in qualche misura chi le supera ampiamente, ma non è il caso di spingersi troppo in là su basi puramente bibliometriche per non distorcere le finalità e la stessa etica della ricerca scientifica. In ogni caso, rimarrà sempre spazio per riconoscere e premiare le eccellenze anche in sede di finanziamento competitivo dei progetti di ricerca nazionali e internazionali.
Credo che fra la posizione (giustissima) dei sostenitori della Goodhart’s law (“when a measure becomes a target, it ceases to be a good measure) e quella di coloro che dicono che non è corretto valutare i lavori di ricerca sulla base di criteri fissati ex post (e dunque non noti nel momento in cui un lavoro di ricerca è stato prodotto) ci possa essere la posizione di coloro che credono nella necessità di raccogliere quanti più dati attendibili possibili, per la creazione di quanti più indicatori possibili. Ciascuno da utilizzarsi a seconda dell’esigenza valutativa. Come faccio a valutare “ricerche di utilità sociale o legate al territorio che non possono “sfondare” ai massimi livelli” se non so della loro esistenza? E in che modo ne misuro l’impatto e l’utilità sociale?
La chance che si offre alle scienze umane e sociali è quella di poter creare set di indicatori ampi, in parte simili a quelli delle scienze dure, in parte legati alla specificità delle discipline, che siano noti a priori e che possano essere utilizzati di volta in volta a seconda delle diverse esigenze e dei diversi livelli (mega, meso, micro), come supporto alla revisione dei pari.