La sfida della valutazione nelle scienze umane e sociali

 In questi tempi si parla molto di valutazione della ricerca. Uno dei problemi più spinosi è quello della valutazione nei settori delle scienze umane e sociali.

Prima di addentrarci nel tema specifico, è opportuno fare alcune considerazioni di ordine generale per comprendere le motivazioni dell’esercizio e per prevederne gli esiti.

La civiltà umana, e specialmente la società moderna, è basata sulla conoscenza. Vi sono vari tipi di conoscenza e di suoi detentori. Peraltro, la conoscenza non è soltanto scientifica: molta è di tipo pratico ed è specifica del contesto in cui è inserita.

La conoscenza si presenta come un fascio, un insieme strettamente legato, di elementi costitutivi. I “lavoratori” della conoscenza sono molto spesso impiegati simultaneamente nella sua generazione, nella sua trasmissione e nel suo utilizzo. Così i docenti universitari fanno ricerca, didattica e sono impegnati in quella che oggidì viene chiamata “terza missione”, cioè quell’insieme di attività legate all’utilizzo delle conoscenze per risolvere i problemi della società. Parimenti i ricercatori degli enti pubblici di ricerca hanno il compito di far avanzare le conoscenze da impiegare nella soluzione di problematiche indicate dal governo (energia, ambiente, spazio, difesa, ecc.).

Poiché la società è interessata ad incentivare la produzione di conoscenze per il beneficio della collettività, sostiene le università e gli enti di ricerca mediante cospicui finanziamenti che nei decenni più recenti hanno raggiunto rilevanti dimensioni, dell’ordine di qualche percentuale di Pil (nel nostro paese la dimensione dell’impegno pubblico è più ridotta, e negli anni più recenti si è andata riducendo). Tale scelta è legata al fatto i singoli operatori economici (individui, imprese) non hanno interesse a produrre il “bene pubblico conoscenza”, che per definizione non si presta a fornire risultati dei cui benefici possono appropriarsi. E’ dunque giusto che i cittadini/contribuenti chiedano conto dell’impiego di tali finanziamenti attraverso i propri eletti e le istituzioni pubbliche.

Negli anni 80 del trascorso decennio si è affermato il New Public Management che, nella sua declinazione Reaganiana e Thatcheriana, si è concentrato nelle parole d’ordine “accountability” e “value for money” – espressioni che non trovano un diretto riscontro nella nostra lingua. Ciò ha condotto alla realizzazione di una serie di valutazioni, a partire da quella inglese del “Research Assessment Exercise” (ora trasformato in Research Excellence Framework), esercizio a cui si ispira la VQR dell’ANVUR, finalizzate al “finanziamento della ricerca basato sulla performance”. La motivazione di tali esercizi, definiti come “sistemi nazionali di valutazione ex-post della ricerca universitaria usati per orientare la distribuzione dei fondi”, ha il suo “fondamento nell’assunzione che il finanziamento legato alle prestazioni debba essere canalizzato verso le istituzioni la cui prestazione sia manifesta: le istituzioni che hanno prestazioni migliori debbono ricevere maggiori fondi di quelle con prestazioni inferiori, così che le prime acquisiscano un vantaggio competitivo che dovrebbe stimolare quelle con prestazioni inferiori ad elevare il proprio livello. E’ l’output che deve essere ricompensato, non l’input” (Herbst, 2007, p. 90). Le valutazioni seguono i seguenti criteri metodologici: viene valutata soltanto della ricerca (l’insegnamento è escluso); la valutazione viene fatta ex-post (quella ex-ante è esclusa); viene esaminato soltanto l’output della ricerca; il finanziamento della ricerca deve dipendere dai risultati della valutazione; vengono presi in considerazioni soltanto i finanziamenti nazionali (sono esclusi quelli che provengono dall’interno o da altre fonti).

A questo punto ci si pone una domanda: qual è stato l’uso a fini di politica scientifica di questi esercizi di valutazione? Diana Hicks ha dato una risposta[1]. Vedi la tabella che segue.

Nel caso dell’Italia la risposta è chiara: gli esercizi del MIUR/ANVUR (Valutazione Triennale della Ricerca (VTR)/ Valutazione Quinquennale della Ricerca (VQR)impiegati a dare un premio alle università con prestazioni più elevate riguardano circa il 2% del Fondo di Finanziamento Ordinario. Se si tiene conto del loro costo (si stima che la VQR costerà circa 300 milioni di euro) e che da anni ormai i finanziamenti del MIUR sono in diminuzione talché il contributo ministeriale annuale alle università non consente neanche di assicurare il metabolismo basale, bisognerebbe interrogarsi sulla bontà e sull’appropriatezza della politica scientifica nazionale in questo torno di tempo. Si è messo dunque in moto un meccanismo costoso e complesso[2] destinato ad avere un impatto sostanzialmente marginale rispetto alle risorse in gioco, per di più in un periodo di stagnazione e di contrazione dei bilanci – un esercizio del genere avrebbe una legittimità almeno logica se si affermasse, da parte di chi ha responsabilità politiche, che si ha l’intenzione di penalizzare davvero i “perdenti” chiudendo le università con prestazioni insufficienti.

Diana Hicks nota inoltre che l’esperienza dei paesi analizzati nel suo studio mostra che “la distribuzione dei finanziamenti per la ricerca universitaria rappresenta una sorta di illusione. E’ la competizione per ottenere prestigio che crea un potente incentivo all’interno del sistema universitario”. Mette peraltro in guardia sugli effetti perversi di questi esercizi di valutazione: “I sistemi di finanziamento della ricerca basati sulle prestazioni, mirando all’eccellenza, possono compromettere altri valori importanti come l’equità e la diversità”[3].

Passando al tema della valutazione della ricerca nel campo delle scienze umane e sociali, l’autrice individua quattro tipi di pubblicazione: gli articoli su riviste con orientamento internazionale, i libri, le riviste nazionali e la letteratura di “illuminazione[4] (Vedi lo schema che segue). Lo schema mostra che la letteratura pubblicata sulle riviste internazionali Web of Science e Scopus, quelle più utilizzate, copre in maniera modesta i libri e le riviste nazionali; non copre affatto la letteratura di “divulgazione” (traduco così il termine inglese “enhancement”.

Letteratura delle riviste internazionali

Il grafico che segue mette in rilievo che, mentre le riviste internazionali Web of Science e Scopus riflettono tra l’81 e l’85% del totale della letteratura nelle scienze esatte e naturali, nel caso delle scienze umane il tasso di copertura è molto inferiore, meno della metà (da 45% a 61%).

Ciò mostra come la bibliometria delle basi dati commerciali sia molto meno utile nel processo di valutazione della ricerca delle scienze umane che non in quelle “dure”.

Entrando nello specifico dei singoli settori, la Tabella 3 permette di osservare che, presa come esempio la percentuale di articoli norvegesi indicizzati da Web of Science, per l’economia e la psicologia si riscontra una tasso di copertura analogo a quello delle scienze “dure”, mentre per tutti gli altri settori le percentuali sono molto più basse, con giurisprudenza in fondo, a livelli di qualche percentuale.

 Letteratura nazionale

Lo Schema seguente proposto da Diana Hicks illustra le caratteristiche della letteratura nazionale nei due settori scientifici.

Gli scienziati delle scienze naturali risultano fortemente orientati all’internazionalizzazione, anche in virtù del fatto che i fenomeni che studiano hanno di regola valenza universale, mentre gli umanisti hanno spesso a che fare con temi di natura locale, legati alla cultura, alla tradizione ed agli interessi locali; ciò comporta che la loro produzione scientifica non presenta un rilevante interesse per le aziende che costruiscono le basi dati bibliometriche. Uno dei principali problemi della letteratura locale risiede nello scarso livello di critica e di qualità della valutazione dei pari, che non di rado conduce ad una scarsa qualità delle pubblicazioni.

Letteratura di “divulgazione”

La letteratura di “divulgazione” ” viene definita da Diana Hicks come quella “diretta usualmente ai non specialisti come i docenti delle scuole superiori o, più ampiamente, al pubblico in generale”. L’autrice fa l’esempio di Paul Krugman che, con i suoi articoli pubblicati sul New York Times, esercita una rilevante influenza sull’economia statunitense trasferendo le conoscenze della ricerca ad una applicazione pratica[5]. Questa letteratura di “illuminazione” è stata chiamata da Alberto Quadrio Curzio di “incivilimento”.

Il grafico seguente mostra la proporzione tra letteratura coperta dalle basi dati, e quindi indicizzata, e quella di “illuminazione”. I ricercatori nei settori della psicologia, della geografia, della pianificazione, della statistica comunicano i risultati del proprio lavoro largamente agli altri specialisti mediante le pubblicazioni su riviste con revisione dei pari, mentre nella storia economica, nell’educazione, nella sociologia, nella linguistica la maggior parte dell’output della ricerca viene canalizzato attraverso le pubblicazioni di “divulgazione”.  

Lo schema che segue sintetizza alcuni punti salienti della valutazione nei due gruppi di discipline.

La bibliometria è uno strumento senz’altro utile nelle scienze naturali, mentre lo è molto meno in quelle sociali e umane. La letteratura scientifica ha un forte orientamento internazionale nelle scienze naturali, mentre ha una connotazione più nazionale nell’altro gruppo di discipline. La valutazione dei pari ha un ruolo più rilevante nelle scienze umanistiche che non in quelle naturali, che si possono basare su un fondamento quantitativo più solido. Nel caso della VQR attualmente in corso in Italia, in cui vengono usate simultaneamente sia la valutazione dei pari che la bibliometria, il mix cambia di caso in caso: nelle scienze umane e sociali la valutazione dei pari assume un ruolo più rilevante. Infine, la valutazione nelle scienze umane e sociali richiede un maggiore impiego in termini di denaro e di tempo.

Per concludere. Nel nostro paese sono attualmente in corso due esercizi di valutazione: la Valutazione delle Qualità della Ricerca (VQR) e l’Abilitazione Scientifica Nazionale. Nel caso delle scienze umane e sociali sono state espresse forti riserve sulla possibilità di addivenire ad un adeguato livello di qualità dei processi di valutazione. Per esempio la Classe di Scienze Morali, Storiche e Filologiche dell’Accademia Nazionale dei Lincei, definisce, nella sua mozione del 20 aprile 2012 come “fuorvianti” gli indicatori bibliometrici, in quanto “non tengono conto delle peculiarità metodologiche ed epistemologiche delle scienze umane e sociali”. Ad esempio negli studi umanistici e sociali non conta tanto la rapidità nella diffusione delle pubblicazioni – uno dei criteri adottati per il calcolo dell’impact factor basato sulle citazioni – quanto la loro permanenza nel tempo. Allo stato attuale appare opportuno verificare come verranno tutti i problemi finora emersi (e sono tanti) e attendere l’esito finale delle due valutazioni. A quel punto si potrà fare una meta-valutazione per capire se gli esercizi hanno prodotto frutti positivi – non è escluso peraltro che i frutti siano negativi – o se non debbano essere ri-progettati.

La valutazione nel campo delle scienze umane e sociali è dunque una grande sfida a cui non ci si può sottrarre, ma deve essere chiaro che essa richiede specifiche metodologie diverse da quelle delle scienze naturali. Il sentiero è stretto, ma è anche da ricordare che non siamo all’anno zero. Da quando esiste l’università, le persone e le strutture sono valutate. Rimane inteso che il giudizio sulla qualità scientifica dovrà continuare ad essere ispirato alla competenza, alla saggezza, all’onestà[6] e all’intuito dei ”giudici”, come fanno gli artisti e gli artigiani quando scelgono i propri collaboratori – non ai meri criteri freddi della bibliometria. Rimane altresì inteso che la valutazione non deve essere intesa come uno strumento di controllo burocratico da parte dei politici e degli amministratori, ma come un modo per sostenere e migliorare il difficile lavoro dei ricercatori.