Più volte si è discusso, anche in questa sede[2], sulle difficoltà a valutare la ricerca nell’ambito delle scienze umane e sociali. Le ragioni sono molteplici. La ricerca in ambito umanistico è strutturalmente diversa da quella prodotta nelle “scienze dure” e vale la pena qui ricordare almeno le principali differenze.

Infatti, la rivista scientifica – sulla quale tradizionalmente si basano gli indicatori di impatto – non è la forma di pubblicazione più diffusa tra gli umanisti: «[…] la monografia ha un ruolo preminente per ragioni senza dubbio riconducibili alla propria retorica specifica, alla natura cumulativa del suo approccio metodologico e alle necessarie sollecitazioni interdisciplinari».[3] Facendo riferimento all’IF – il più utilizzato per la misurazione dell’impatto – è noto come la copertura delle citazioni dell’archivio ISI – Web of Science (ma non solo di esso) sia affidabile solo per quei settori disciplinari dove la forma di comunicazione prevalente è l’articolo su rivista scientifica in lingua inglese.

La prassi citazionale stessa è differente: in ambito umanistico non è sufficiente contabilizzare le citazioni, anche perché non sempre esse corrispondono ad un giudizio di merito di segno positivo. Sebbene possa sembrare un meccanismo semplice e lineare, in realtà il comportamento citazionale può essere condizionato da variabili anche di carattere “sociale” non sempre riconducibili al piano strettamente scientifico. Ad una “teoria normativa”, che afferma che il conteggio delle citazioni rende conto quasi naturalmente dell’impatto e del prestigio di un lavoro scientifico[4], si contrappone una “teoria socio-costruttivista” che, al contrario, suggerisce che il comportamento citazionale è condizionato da molteplici fattori che ne possono manipolare fortemente il significato[5]. Questa seconda interpretazione è particolarmente significativa in ambito umanistico poiché – come anticipato – se nelle scienze dure le citazioni possono dirsi piuttosto “asettiche”, in campo umanistico la citazione può essere anche “critica” o “problematica”, ovvero può fare riferimento al lavoro citato non solo per approvarlo e sostenerlo ma anche per confutarlo o valutarlo negativamente.

Molto meno frequente è, in ambito umanistico, l’abitudine a pubblicare scritti in collaborazione fra più autori, pratica che fa aumentare l’impatto delle pubblicazioni stesse poiché, come è noto, le opere in co-autoraggio vengono citate di più.

Un’altra sostanziale differenza è legata al fatto che molto spesso la lingua privilegiata nel campo umanistico e sociale è la “lingua madre”: ciò dipende dalle tematiche di carattere “locale”, oggetto di studio di queste discipline, maggiormente radicate nel loro contesto di quanto non accada nelle scienze naturali. Gli studiosi di scienze umane e sociali sono molto influenzati nelle loro scelte di ricerca da quanto accade a livello nazionale, da quelli che sono gli argomenti prevalenti in ambito pubblico e ciò influisce anche sulla lingua di pubblicazione. L’uso della lingua madre rispetto alla comunità scientifica di riferimento – locale appunto – dà garanzia di migliore comprensione e impatto sulla propria comunità scientifica[6].

Inoltre, il valore scientifico di un lavoro di area umanistica è prolungato negli anni e il suo impatto è misurabile solo su un lungo periodo di tempo. Se nelle scienze naturali l’avanzamento della ricerca procede con il superamento delle ricerche precedenti, nelle scienze umane la ricerca procede per progressiva accumulazione e approfondimento. È per questa ragione che per gli indicatori bibliometrici tradizionali, che utilizzano un range temporale piuttosto stretto che va dai due ai cinque anni (come l’IF o il 5-year IF) si può parlare di mancanza di prospettiva storica che, in ultima analisi, è il tratto peculiare di ogni riflessione di carattere umanistico.

Sulla base di queste considerazioni, c’è chi rifiuta qualsiasi prospettiva di valutazione bibliometrica per le scienze storiche, filosofiche, filologico-letterarie, giuridiche, economiche, politiche e sociali.

Va invece assolutamente evitato che, col pretesto che la valutazione in area umanistica è molto difficile – il che, intendiamoci bene, è verissimo – si finisca col sostenere che essa è impossibile, accomunando così le preoccupazioni e i propositi di chi desidera individuare criteri di valutazione specificamente calibrati sulle caratteristiche degli studi del settore umanistico e sociale con le resistenze di chi, forse per motivi inconfessabili, non intende farsi valutare. Di questi tempi, infatti, tutti affermano che la valutazione è importante e necessaria, ma molti poi dicono sostanzialmente che nessun metodo di valutazione va bene. Questo atteggiamento ricorda un po’ la novella di Giulio Cesare Croce, in cui si narra dell’arguto Bertoldo, che, condannato a morte da re Alboino, chiede e ottiene di poter scegliere l’albero a cui essere impiccato: prima temporeggia, accampando pretesti e dicendo che gli alberi che gli vengono proposti non vanno bene, e alla fine sceglie una piantina appena nata, per cui occorrerà aspettare che cresca.

Infatti, pur essendo assolutamente indispensabile la condivisione dei criteri che si deciderà di adottare e dovendo quindi presupporre che i valutandi accettino il metodo di valutazione, è urgente rendersi conto che è interesse di tutti – e in particolare di chi in ambito umanistico lavora bene e responsabilmente – contribuire all’individuazione di parametri di valutazione adeguati, poiché, se così non fosse, la comunità degli studiosi delle discipline umanistiche finirebbe con l’essere emarginata, poiché non integrata in un meccanismo in cui l’assegnazione delle risorse dipende strettamente dai risultati prodotti dalla ricerca.

È infatti assolutamente condivisibile l’idea espressa qui anche in altri articoli[7] che «non esistono discipline rispetto alle quali gli indicatori bibliometrici non siano applicabili; esistono piuttosto discipline rispetto alle quali al momento attuale, ovvero con gli archivi bibliografici e citazionali al momento disponibili, gli indicatori bibliometrici risultano meno affidabili»[8].

Probabilmente, i metodi bibliometrici presentano un limite intrinseco, che andrebbe comunque superato: si tratta di un approccio quantitativo, finalizzato a valutare in termini numerici l’impatto scientifico. Ma alla valutazione della ricerca può essere applicato anche un approccio qualitativo – il cosiddetto giudizio dei pari o peer-review – che risulta ad oggi il principale metodo di valutazione della qualità (interna), intesa come riconoscimento che la ricerca è stata ben condotta in riferimento agli standard condivisi dalla comunità scientifica di riferimento in un dato momento di tempo (ad esempio  originalità, rilevanza, rigore metodologico etc.).

Anche questa prassi è ancora scarsamente applicata nel contesto delle scienze umane e non è esente da pecche: specie negli ambiti più circoscritti è molto difficile che la valutazione sia immune da conflitti di interesse e da pregiudizi dovuti ad amicizie o inimicizie.

Fino ad oggi si è assistito prevalentemente ad un uso “esclusivo” di ciascuno dei due metodi, visti come contrapposti piuttosto che come complementari, sebbene andrebbe riconosciuto in fondo che la bibliometria altro non è che una forma di “peer review indiretta”, in quanto la citazione di una pubblicazione è pur sempre una forma di giudizio del citante rispetto al citato.

Probabilmente la soluzione va ricercata in un approccio misto, che valuti la produttività di uno studioso in base ad indicatori quantitativi (Indicatore di produttività del singolo ricercatore in un range temporale dato, Indicatore di produttività del singolo rispetto al settore disciplinare di appartenenza, Indicatore di produttività del singolo rispetto alla struttura di appartenenza, e così via) e che si affidi invece alla peer review (il più possibile “a doppio cieco”, in cui gli autori siano ignoti ai valutatori) per un giudizio di ordine qualitativo.

Ma c’è un nodo problematico da affrontare, forse con strumenti diversi. Senza voler anticipare in questa sede i possibili risultati di un itinerario di studio che è ancora tutto da percorrere, ci limitiamo ad indicare a titolo esemplificativo un filone di attività che forse andrebbe coltivato.

Se è vero, come è vero, che le pubblicazioni monografiche costituiscono il principale strumento attraverso il quale vengono comunicati i risultati della ricerca in ambito umanistico e che esse sono di conseguenza anche la principale fonte delle citazioni che figurano negli scritti degli studiosi di ambito umanistico, non si può affermare che non esistano le banche dati di riferimento: per tale finalità possono essere utilizzati i cataloghi delle biblioteche.

Per la valutazione dell’impatto delle monografie alcuni studiosi propongono di adottare la LCA (Library Catalog Analysis)[9], rilevando se una determinata pubblicazione è presente (e in quante copie) all’interno di un insieme selezionato di prestigiose biblioteche.

La LCA è definita come «l’applicazione di tecniche informetriche e bibliometriche a un insieme di cataloghi di biblioteche ed è focalizzata sul suo valore come strumento nello studio delle scienze umane e sociali. Questo strumento propone un modello analogo alla tradizionale analisi citazionale effettuata per gli articoli dei periodici, ma applicata agli OPAC per quanto riguarda i volumi, e illustra come la tecnica di mappatura tematica possa essere messa a frutto quale potente strumento per la valutazione delle monografie come produzioni intellettuali di ricerca a livello di singolo ricercatore, di dipartimento o come intera produzione di un paese o di un editore»[10].

Si tratta quindi di individuare le biblioteche più autorevoli da assumere come riferimento per una determinata area disciplinare ed analizzare le politiche di acquisizione in uso al loro interno: la LCA, infatti, può essere considerata uno strumento affidabile se le biblioteche considerate rispettano rigorosi e trasparenti criteri di selezione e sviluppo delle raccolte, verificabili attraverso una “carta delle collezioni” resa pubblica, se esse adottano un filtro nell’accettazione dei doni, se studiosi qualificati esprimono elevati livelli di soddisfazione riguardo al livello di copertura bibliografica che tali biblioteche garantiscono, e così via.



[1] Una versione più ampia di questo contributo è in corso di stampa sul numero 1/2012 di «AIB Studi. Rivista di biblioteconomia e scienze dell’informazione».

[2] Tra gli articoli più recenti si vedano Lisa Roscioni, Il futuro dell’università italiana tra contabilità e reticenze.  Osservazioni a margine di un convegno del PD sulla valutazione delle Humanities (https://www.roars.it/online/?p=6364); Paola Galimberti, Basi dati e scienze umane: quali scelte compiere? (https://www.roars.it/online/?p=5288); Antonio Banfi, Aspetti critici dell’uso di rankings di riviste nelle scienze umane (https://www.roars.it/online/?p=4846).

[3]  Giuseppe Vitiello, Il mercato delle riviste in Scienze umane e sociali in Italia. Analisi quantitativa e sua evoluzione in ambito elettronico, «Biblioteche oggi», (2005), n.1, p. 56-66: p. 57.

[4] Cfr. Robert King Merton, The Matthew Effect in Science, II. Cumulative Advantage and the Symbolism of Intellectual Property, «Isis», 79 (1988), disponibile online su http://www.garfield.library.upenn.edu/merton/matthewii.pdf.

[5] Nigel G. Gilbert, Referencing as Persuasion, «Social Studies of Science», 7 (1977), n. 1, p. 113-122.

[6] Cfr. Diane Hicks, The Four Literatures for Social Science, in Handbook of Quantitative Science and Technology Research, a cura di Henk F. Moed, Wolfgang Glänzel, Ulrich Schmoch, Dordrecht, Kluwer Academic Publisher, 2004, p. 473-496.

[7] Paola Galimberti, Le citazioni nelle scienze sociali ed umane. Qual è il problema?, (https://www.roars.it/online/?p=2890); Roberto Baccini, Valutare le scienze umane con la bibliometria. Si può fare? (https://www.roars.it/online/?p=2142).

[8] Alberto Baccini, Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici, Bologna, il Mulino, 2010, p. 198.

[9] Daniel Torres Salinas, Henk F. Moed, Library Catalog Analysis as a Tool in Studies of Social Sciences and Humanities: an Exploratory Study of Published Book Titles in Economics, «Journal of Informetrics», 3 (2009), n. 1, disponibile online su <eprints.rclis.org/15705>.

[10]  Cfr. Antonella De Robbio, L’Open Access come strategia per la valutazione delle produzioni intellettuali, in CIBER 1999-2009, a cura di Paola Gargiulo e Domenico Bogliolo, Milano, Ledizioni, 2009, online su <http://uniciber.it/index.php?id=535>.

Send to Kindle

3 Commenti

  1. L’idea della LCA non è sbagliata, ma vedo due problemi. Se è vero che le comunità scientifiche in ambito umanistico si esprimono soprattutto attraverso la lingua nazionale, non è facile che le biblioteche straniere (anche dotate di una rigorosa politica di acquisizione) acquistino testi di valore in italiano. (Un effetto legato oltre che alla crisi anche all’aumento del prezzo dei periodici che rende le risorse disponibili per l’acquisto delle monografie sempre più ridotte)
    Una analisi che ho svolto a campione sul posseduto della British library ha mostrato come molte opere in italiano significative non siano presenti, mentre invece sono presenti lavori molto meno significativi ma in inglese.
    La strada della LCA va perseguita ma a mio parere va associata ad altri strumenti tipo quello di una banca dati per HSS che comprenda record bibliografico, abstract e full-text (e tutti gli strumenti di misurazione del web: viste, download, citazioni negli strumenti del tipo reference manager)
    Se è vero che molte delle pubblicazioni di ambito umanistico (soprattutto le monografie) vengono finanziate dagli atenei, i nuovi regolamenti dovrebbero prevederne il caricamento negli archivi istituzionali dai quali questa speriamo non troppo ipotetica banca dati per le HSS potrebbe fare l’harvesting.

  2. Nel lavoro di analisi delle pubblicazioni periodiche di argomento storico che abbiamo effettuato lo scorso anno, uno dei parametri di valutazione è stata esattamente la rilevazione della presenza in biblioteche mondiali. Questo criterio (insieme ad altri molto ben strutturati) è già stato pienamente assunto e messo in pratica, con risultati spesso interessanti. Per esempio, è risultata sopreendente la diffusione mondiale di periodici in lingua italiana anche apparentemente molto settoriali. Lo strumento che si è rivelato più adatto a questo tipo di indagine è stato il KVK (pure – sia ben chiaro – non esente da problemi di verifica e validazione dei rsultati). Si tratta di un dato che probabilmente potrebbe essere riscontrato con dati sulle sottoscrizioni correnti, se le riviste volessero fornirli. Il fenomeno della ampia diffusione di riviste italiane è abbastanza risalente, ossia, non sembra imputabile a più recenti metodi di distribuzione “a pacchetto” tramite i grandi operatori internazionali. Quanto alle monografie, è noto che molte collane di case editrici (particolarmente importanti) vengono acquisite in abbonamento. La loro presenza è quindi frequente in molte biblioteche mondiali. E’ però vero che probabilmente sarà più limitata per le monografie edite dalle case minori. Sulla questione di un database full text di pubblicazioni academiche di ambito SSH ho già avuto modo di esprimermi su Roars, anche dialogando con Galimberti. Ripeto i punti secondo me salienti: 1) un database virtuale dovrebbe integrare gli esistenti database commerciali con il materiale in open access (non solo edito da UP: è necessaria una politica sistematica di liberatorie per pubblicazioni su riviste ma anche per monografie) e auspicabilmente con un nuovo database sul modello Persée; 2) il software di analisi bibliografico-citazionale specifico per SSH esiste già, è già stato prodotto da una società nata da spin-off universitario, funziona e l’Anvur lo sa; 3) qualsiasi analisi citazionale su pubblicazioni in lingua nazionale non può non integrarsi con analisi di analoghi database esistenti in altri paesi; 4) bisogna distinguere con nettezza l’importanza di un database integrato full text(open access incluso, ovviamente), che è indispensabile in primo luogo per la ricerca e per la sua visibilità, dall’eventuale analisi bibliometrica e dall’uso di quest’ultima a fini di valutazione, che sono aspetti secondari rispetto alla priorità “scientifica” di uno strumento di accesso al full text.

  3. Ottimo articolo su un tema a dir poco spinoso.
    Vorrei segnalare qui, da umanista ed aspirante ricercatore, la singolare situazione della “mia” materia (Storia dell’Architettura, ICAR/18), assimilata nella stessa macro-area di Disegno (ICAR/17) e Restauro Architettonico (ICAR/19) e soggetta ai medesimi criteri di valutazione delle “scienze dure”, ancorché materia umanistica a tutti gli effetti. In questo modo le nostre ricerche e pubblicazioni sarebbero fortemente penalizzate dal sistema di valutazione. La Storia dell’Architettura infatti, per metodologia di ricerca, caratteristiche linguistiche nazionali, tempi (gli elementi opportunamente citati nell’articolo) risulterebbe più assimilabile alla Storia dell’Arte che non al Disegno o al Restauro. Spero che in ROARS sia presente qualche collega storico dell’Architettura, perché non credo di essere il solo ad esprimere perplessità in merito.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.