LCA (Library Catalog Analysis) e la valutazione della ricerca umanistica

Più volte si è discusso, anche in questa sede[2], sulle difficoltà a valutare la ricerca nell’ambito delle scienze umane e sociali. Le ragioni sono molteplici. La ricerca in ambito umanistico è strutturalmente diversa da quella prodotta nelle “scienze dure” e vale la pena qui ricordare almeno le principali differenze.

Infatti, la rivista scientifica – sulla quale tradizionalmente si basano gli indicatori di impatto – non è la forma di pubblicazione più diffusa tra gli umanisti: «[…] la monografia ha un ruolo preminente per ragioni senza dubbio riconducibili alla propria retorica specifica, alla natura cumulativa del suo approccio metodologico e alle necessarie sollecitazioni interdisciplinari».[3] Facendo riferimento all’IF – il più utilizzato per la misurazione dell’impatto – è noto come la copertura delle citazioni dell’archivio ISI – Web of Science (ma non solo di esso) sia affidabile solo per quei settori disciplinari dove la forma di comunicazione prevalente è l’articolo su rivista scientifica in lingua inglese.

La prassi citazionale stessa è differente: in ambito umanistico non è sufficiente contabilizzare le citazioni, anche perché non sempre esse corrispondono ad un giudizio di merito di segno positivo. Sebbene possa sembrare un meccanismo semplice e lineare, in realtà il comportamento citazionale può essere condizionato da variabili anche di carattere “sociale” non sempre riconducibili al piano strettamente scientifico. Ad una “teoria normativa”, che afferma che il conteggio delle citazioni rende conto quasi naturalmente dell’impatto e del prestigio di un lavoro scientifico[4], si contrappone una “teoria socio-costruttivista” che, al contrario, suggerisce che il comportamento citazionale è condizionato da molteplici fattori che ne possono manipolare fortemente il significato[5]. Questa seconda interpretazione è particolarmente significativa in ambito umanistico poiché – come anticipato – se nelle scienze dure le citazioni possono dirsi piuttosto “asettiche”, in campo umanistico la citazione può essere anche “critica” o “problematica”, ovvero può fare riferimento al lavoro citato non solo per approvarlo e sostenerlo ma anche per confutarlo o valutarlo negativamente.

Molto meno frequente è, in ambito umanistico, l’abitudine a pubblicare scritti in collaborazione fra più autori, pratica che fa aumentare l’impatto delle pubblicazioni stesse poiché, come è noto, le opere in co-autoraggio vengono citate di più.

Un’altra sostanziale differenza è legata al fatto che molto spesso la lingua privilegiata nel campo umanistico e sociale è la “lingua madre”: ciò dipende dalle tematiche di carattere “locale”, oggetto di studio di queste discipline, maggiormente radicate nel loro contesto di quanto non accada nelle scienze naturali. Gli studiosi di scienze umane e sociali sono molto influenzati nelle loro scelte di ricerca da quanto accade a livello nazionale, da quelli che sono gli argomenti prevalenti in ambito pubblico e ciò influisce anche sulla lingua di pubblicazione. L’uso della lingua madre rispetto alla comunità scientifica di riferimento – locale appunto – dà garanzia di migliore comprensione e impatto sulla propria comunità scientifica[6].

Inoltre, il valore scientifico di un lavoro di area umanistica è prolungato negli anni e il suo impatto è misurabile solo su un lungo periodo di tempo. Se nelle scienze naturali l’avanzamento della ricerca procede con il superamento delle ricerche precedenti, nelle scienze umane la ricerca procede per progressiva accumulazione e approfondimento. È per questa ragione che per gli indicatori bibliometrici tradizionali, che utilizzano un range temporale piuttosto stretto che va dai due ai cinque anni (come l’IF o il 5-year IF) si può parlare di mancanza di prospettiva storica che, in ultima analisi, è il tratto peculiare di ogni riflessione di carattere umanistico.

Sulla base di queste considerazioni, c’è chi rifiuta qualsiasi prospettiva di valutazione bibliometrica per le scienze storiche, filosofiche, filologico-letterarie, giuridiche, economiche, politiche e sociali.

Va invece assolutamente evitato che, col pretesto che la valutazione in area umanistica è molto difficile – il che, intendiamoci bene, è verissimo – si finisca col sostenere che essa è impossibile, accomunando così le preoccupazioni e i propositi di chi desidera individuare criteri di valutazione specificamente calibrati sulle caratteristiche degli studi del settore umanistico e sociale con le resistenze di chi, forse per motivi inconfessabili, non intende farsi valutare. Di questi tempi, infatti, tutti affermano che la valutazione è importante e necessaria, ma molti poi dicono sostanzialmente che nessun metodo di valutazione va bene. Questo atteggiamento ricorda un po’ la novella di Giulio Cesare Croce, in cui si narra dell’arguto Bertoldo, che, condannato a morte da re Alboino, chiede e ottiene di poter scegliere l’albero a cui essere impiccato: prima temporeggia, accampando pretesti e dicendo che gli alberi che gli vengono proposti non vanno bene, e alla fine sceglie una piantina appena nata, per cui occorrerà aspettare che cresca.

Infatti, pur essendo assolutamente indispensabile la condivisione dei criteri che si deciderà di adottare e dovendo quindi presupporre che i valutandi accettino il metodo di valutazione, è urgente rendersi conto che è interesse di tutti – e in particolare di chi in ambito umanistico lavora bene e responsabilmente – contribuire all’individuazione di parametri di valutazione adeguati, poiché, se così non fosse, la comunità degli studiosi delle discipline umanistiche finirebbe con l’essere emarginata, poiché non integrata in un meccanismo in cui l’assegnazione delle risorse dipende strettamente dai risultati prodotti dalla ricerca.

È infatti assolutamente condivisibile l’idea espressa qui anche in altri articoli[7] che «non esistono discipline rispetto alle quali gli indicatori bibliometrici non siano applicabili; esistono piuttosto discipline rispetto alle quali al momento attuale, ovvero con gli archivi bibliografici e citazionali al momento disponibili, gli indicatori bibliometrici risultano meno affidabili»[8].

Probabilmente, i metodi bibliometrici presentano un limite intrinseco, che andrebbe comunque superato: si tratta di un approccio quantitativo, finalizzato a valutare in termini numerici l’impatto scientifico. Ma alla valutazione della ricerca può essere applicato anche un approccio qualitativo – il cosiddetto giudizio dei pari o peer-review – che risulta ad oggi il principale metodo di valutazione della qualità (interna), intesa come riconoscimento che la ricerca è stata ben condotta in riferimento agli standard condivisi dalla comunità scientifica di riferimento in un dato momento di tempo (ad esempio  originalità, rilevanza, rigore metodologico etc.).

Anche questa prassi è ancora scarsamente applicata nel contesto delle scienze umane e non è esente da pecche: specie negli ambiti più circoscritti è molto difficile che la valutazione sia immune da conflitti di interesse e da pregiudizi dovuti ad amicizie o inimicizie.

Fino ad oggi si è assistito prevalentemente ad un uso “esclusivo” di ciascuno dei due metodi, visti come contrapposti piuttosto che come complementari, sebbene andrebbe riconosciuto in fondo che la bibliometria altro non è che una forma di “peer review indiretta”, in quanto la citazione di una pubblicazione è pur sempre una forma di giudizio del citante rispetto al citato.

Probabilmente la soluzione va ricercata in un approccio misto, che valuti la produttività di uno studioso in base ad indicatori quantitativi (Indicatore di produttività del singolo ricercatore in un range temporale dato, Indicatore di produttività del singolo rispetto al settore disciplinare di appartenenza, Indicatore di produttività del singolo rispetto alla struttura di appartenenza, e così via) e che si affidi invece alla peer review (il più possibile “a doppio cieco”, in cui gli autori siano ignoti ai valutatori) per un giudizio di ordine qualitativo.

Ma c’è un nodo problematico da affrontare, forse con strumenti diversi. Senza voler anticipare in questa sede i possibili risultati di un itinerario di studio che è ancora tutto da percorrere, ci limitiamo ad indicare a titolo esemplificativo un filone di attività che forse andrebbe coltivato.

Se è vero, come è vero, che le pubblicazioni monografiche costituiscono il principale strumento attraverso il quale vengono comunicati i risultati della ricerca in ambito umanistico e che esse sono di conseguenza anche la principale fonte delle citazioni che figurano negli scritti degli studiosi di ambito umanistico, non si può affermare che non esistano le banche dati di riferimento: per tale finalità possono essere utilizzati i cataloghi delle biblioteche.

Per la valutazione dell’impatto delle monografie alcuni studiosi propongono di adottare la LCA (Library Catalog Analysis)[9], rilevando se una determinata pubblicazione è presente (e in quante copie) all’interno di un insieme selezionato di prestigiose biblioteche.

La LCA è definita come «l’applicazione di tecniche informetriche e bibliometriche a un insieme di cataloghi di biblioteche ed è focalizzata sul suo valore come strumento nello studio delle scienze umane e sociali. Questo strumento propone un modello analogo alla tradizionale analisi citazionale effettuata per gli articoli dei periodici, ma applicata agli OPAC per quanto riguarda i volumi, e illustra come la tecnica di mappatura tematica possa essere messa a frutto quale potente strumento per la valutazione delle monografie come produzioni intellettuali di ricerca a livello di singolo ricercatore, di dipartimento o come intera produzione di un paese o di un editore»[10].

Si tratta quindi di individuare le biblioteche più autorevoli da assumere come riferimento per una determinata area disciplinare ed analizzare le politiche di acquisizione in uso al loro interno: la LCA, infatti, può essere considerata uno strumento affidabile se le biblioteche considerate rispettano rigorosi e trasparenti criteri di selezione e sviluppo delle raccolte, verificabili attraverso una “carta delle collezioni” resa pubblica, se esse adottano un filtro nell’accettazione dei doni, se studiosi qualificati esprimono elevati livelli di soddisfazione riguardo al livello di copertura bibliografica che tali biblioteche garantiscono, e così via.