La scarsa attendibilità dei dati bibliometrici per le scienze umane e sociali è uno dei problemi che l’ANVUR dovrà affrontare nel prossimo esercizio di Valutazione della Qualità della Ricerca (VQR). Quali sono le soluzioni possibili? Quali i rischi connessi alla adozione di soluzioni diverse (peer review, ranking delle riviste)? Quali le possibili soluzioni per evitare distorsioni?
Le scienze umane e sociali non godono di uno statuto speciale in virtù del quale non possono essere sottoposte ad analisi bibliometrica come le scienze dure. Qualità della ricerca, impatto (diffusione) nella comunità scientifica, e importanza (di lungo periodo) sono tre fenomeni comuni sia alle scienze dure che alle scienze umane e sociali. Gli indicatori bibliometrici sintetizzano informazioni che sono ricavate direttamente dal giudizio di qualità espresso dai pari oppure dalle citazioni, come abbiamo discusso qui e più approfonditamente qui. Questi possono essere calcolati anche nelle scienze umane e sociali. Il problema è che per costruirli ci vogliono informazioni. Le informazioni risiedono nei database bibliografici e citazionali. Allo stato attuale, come discusso in questi post, i database bibliografici e citazionali esistenti non hanno informazioni sufficienti per applicare l’analisi bibliometrica alle scienze umane e sociali come avviene nelle scienze dure. WoS e Scopus coprono infatti solo una parte molto limitata della letteratura rilevante per le scienze umane e sociali; e Google Scholar non si sa bene cosa contenga. Va meglio con i molti archivi disciplinari esistenti (per esempio Philosopher’s Index, EconLit etc.) che però possono essere utilizzati al massimo per costruire dei piccoli sottoinsiemi di indicatori bibliometrici, essenzialmente indicatori di produzione.
La scarsa attendibilità dei dati bibliometrici per le scienze umane e sociali è uno dei problema più grossi che devono essere superati negli esercizi nazionali di valutazione, e che anche l’ANVUR dovrà affrontare nel prossimo esercizio di Valutazione della Qualità della Ricerca (VQR). Purtroppo il VQR è partito senza che sia disponibile l’anagrafe certificata delle pubblicazioni (ANPREPS) prevista da una norma del 2009 (art. 3 bis legge 1/2009) (ed indicata dalla redazione di ROARS nei dieci obiettivi raggiungibili per l’Università e la ricerca). Per le scienze umane e sociali senza una anagrafe certificata non è possibile fare neanche analisi di base: sapere quanto si pubblica, dove ed in che forma. Non è perciò possibile costruire indicatori di produzione e produttività a qualsiasi livello di aggregazione. E tutto si complica quando si considerino le citazioni. Al momento si può solo sperare che la pressione di una intera comunità nazionale di ricerca, spinga i concorrenti sul mercato (Thomson Reuters; Elsevier) a inserire nei database le riviste italiane più rilevanti anche al fine di guadagnare posizioni nel mercato nazionale. L’idea di una infrastruttura informativa europea dedicata alla documentazione sulla produzione nelle scienze umane e sociali, comprensiva delle citazioni non compare tra le priorità dei policy makers.
Per far fronte a questi problemi l’ANVUR può percorrere due strade. La prima consiste nell’adozione generalizzata della revisione dei pari nella valutazione dei prodotti di ricerca nelle sceinze umane e sociali. La seconda nella costruzione di qualche strumento speciale di valutazione da applicare alle scienze umane e sociali che abbia funzioni simili agli indicatori bibliometrici delle scienze dure. Entrambe queste scelte richiedono un disegno ed un controllo molto raffinati da parte dell’agenzia di valutazione, per evitare distorsioni significative dei risultati.
La revisione dei pari, specialmente in settori disciplinari che crescono al riparo della scienza internazionale, può infatti divenire preda di gruppi di accademici che “faranno causa comune, saranno molto indulgenti gli uni con gli altri, e ciascuno consentirà al proprio vicino di trascurare il proprio dovere, purché gli sia a sua volta permesso di trascurare il proprio” (Adam Smith, La Ricchezza delle Nazioni, B5 C1 Part III Art II). Il caso del PRIN2009 ci ricorda in modo eclatante come gruppi accademici possano pilotare strategicamente le procedure di revisione dei pari: alcune aree CUN hanno ricevuto più fondi proprio perché “più benevole” nel concedere voti di eccellenza. Non è però inutile ricordare un episodio emblematico dell’esercizio di valutazione precedente (CIVR 2001-2003). Il panel di diritto costituzionale arrivò a sostenere che l’internazionalizzazione di un prodotto di ricerca dipende dalla nazionalità del suo contenuto: «Se si parte dall’assunto che l’internazionalizzazione si misuri dal numero dei prodotti pubblicati in lingua straniera, allora la conclusione è che, essendo nel settore IUS/08 [diritto costituzionale ndr] questi appena 5, il risultato è assai debole. Ma forse può proporsi un parametro diverso, o almeno concorrente, cioè quello delle tematiche affrontate, del loro respiro non angustamente rinserrato nella chiusa esperienza nazionale. Se si ritiene non irragionevole questo punto di vista, la presenza nel triennio 2001-2003 di numerosi prodotti che trattano temi di Diritto costituzionale generale, o attenti all’esperienza di altri ordinamenti, può comportare una valutazione più rassicurante» [p. 164].
Proprio per evitare questo pericoli molti (qui per esempio) sostengono che l’ANVUR dovrebbe adottare classifiche delle riviste . Queste classifiche possono essere usate in modo semiautomatico per trasferire l’indicazione di qualità dalla rivista (A, B, C, D etc.; una stella, due stelle etc.) agli articoli che vi sono contenuti. Purtroppo le classifiche non sono semplici da costruire né da utilizzare: chi costruisce la classifica? sulla base di quali criteri? E quali sono gli effetti prevedibili della loro utilizzazione generalizzata?
Qui ci si limita a due notazioni relative al primo ed al terzo quesito. La costruzione delle liste delle riviste scientifiche e in qualche caso la loro classificazione in fasce è stata attuata da commissioni nominate appositamente dalle agenzie di valutazione che hanno lavorato per periodi di tempo anche molto lunghi. In alcuni casi le commissioni sono state mantenute nell’anonimato fino alla pubblicazione delle liste (Australia), in altri sono state rese immediatamente pubbliche (AERES). In Italia si è proceduto come sempre in modo approssimato e ad esercizio di valutazione ormai iniziato non solo non c’è traccia di classifiche ufficiali, ma neanche di commissioni per la loro stesura. In questo vuoto si sono mosse le società scientifiche che si sono precipitate a costruire le proprie classificazioni. Consideriamo a titolo di esempio due classifiche. La prima è stata prodotta dalla Società Italiana di Storia Contemporanea (SISCO) che ha ragionevolmente diviso le76 riviste italiane di storia contemporanea in 3 fasce: 20% in fascia A; 30% in fascia B; 50% in fascia C. L’Area 12 (scienze giuridiche) ha costruito una classificazione comprendente ben 270 riviste. Il 44% (119) delle riviste è in fascia A; il 26% (69) in fascia B; il 30% (89) in fascia C. Le riviste non presenti nella lista sono in fascia D. C’è evidentemente qualcosa che non va. Non è solo che per gli storici contemporanei è molto più difficile pubblicare su riviste in fascia A rispetto ai giuristi. Il problema vero è che se queste liste dovessero venire usate dall’ANVUR si verificherà una distorsione sistematica dei risultati a favore delle strutture (Atenei) con una quota maggiore di docenti di area 12 che avranno molti più prodotti in fascia A. Mutatis mutandis più o meno ciò che è accaduto nel PRIN 2009; e precisamente ciò che è accaduto in Australia, che pur aveva lavorato duramente per la costruzione di liste corrette.
Qualsiasi sia la scelta per la valutazione delle scienze sociali ed umane (revisione dei pari, ranking di riviste, un mix dei due strumenti), l’ANVUR dovrà evitare il rischio che la valutazione sia pilotata opportunamente da gruppi accademici.
Per quanto riguarda la peer review una via possibile potrebbe consistere nella piena trasparenza ex post delle procedure di revisione attuata attraverso la pubblicazione dei nomi dei revisori (ovviamente non associata al prodotto valutato), del numero dei prodotti valutati da ciascuno, e della distribuzione dei giudizi espressi. Non è detto che questo scoraggi i comportamenti previsti da Adam Smith; ma perché ci sia almeno la probabilità che il sistema funzioni deve essere noto ex ante ai revisori che il loro operato sarà reso noto ex post.
Per quanto riguarda l’uso delle classifiche delle riviste, un modo possibile per evitare di impantanarsi nelle secche della discussione con le società scientifiche, potrebbe essere l’adozione di una o più classifiche messe a punto da organismi di altri paesi. Per l’Area 13 (scienze economiche e statistiche) l’adozione della lista del CNRS francese, fatta propria dall’AERES, potrebbe essere un punto di riferimento solido; per altre aree si potrebbe fare riferimento alla classificazione CIRC spagnola; per altri ancora alla lista ERIH. Resterebbe il problema di molte riviste italiane non censite in nessuna di queste liste. Esse potrebbero semplicemente essere inserite nella fascia più bassa della classificazione. Una scelta sicuramente radicale, che probabilmente non porterebbe consenso all’ANVUR. Ma che forse servirebbe a dare un segnale molto chiaro alle molte autoreferenziali comunità disciplinari italiane.
