L’introduzione di parametri quantitativi per “misurare” la qualità della ricerca e dei ricercatori è molto spesso visto come lo strumento per eliminare l’arbitrarietà nelle scelte dei candidati di un concorso, dei finanziamenti di progetti di ricerca, ecc., e dunque per far risalire alla ricerca e all’università italiana la china di una decadenza annunciata. L’idea alla base è che grazie all’analisi d’alcuni parametri bibliometrici (numero d’articoli, numero di citazioni, H-index, Impact factor, ecc.) sarà possibile scegliere e premiare le persone ed i progetti migliori. Ma è davvero proprio così, oppure l’introduzione dei parametri bibliometrici rappresenta solo l’ennesimo schermo introdotto per nascondere scelte arbitrarie che hanno però ottenuto un superficiale “bollino di qualità”? Non sarà che l’effetto reale sia non solo la deresponsabilizzazione delle scelte, ma anche di immettere nel normale corso della ricerca scientifica (la ricerca curiosity driven) dei meccanismi esterni che ne possono influenzare negativamente il suo naturale svolgimento?
I temi legati a questa discussione sono dunque tanti e molto profondi e vanno dall’analisi dello sviluppo stesso della ricerca scientifica, alla differenza della bibliometria nelle diverse discipline, a problemi più tecnici che riguardano il significato d’alcuni indicatori bibliometrici (come l’impact factor), alla completezza delle banche dati usate come riferimento, senza dimenticare, come ricorda Alberto Baccini il tema centrale della trasparenza nei criteri di valutazione. Dunque, per capire come impostare la valutazione affinché sia efficace, non costringa i ricercatori a lavorare sugli stessi temi, o a produrre gran quantità d’articoli di bassa qualità, o a disincentivare le ricerche più originali, o a generare dinamiche opportunistiche, è necessario considerare, come ci ricorda Giuseppe De Nicolao, gli insegnamenti che provengono da quei paesi in cui meccanismi di valutazione sono stati già introdotti da tempo nonché le acclarate distorsioni (se non proprio truffe) perpetrate in nome dell’aumento dei parametri bibliometrici. Inoltre, facendo riferimento alla realtà italiana, è necessario avere ben presente gli obiettivi del processo di valutazione e le relative risorse da distribuire in termini di reclutamento, carriera e finanziamenti.
Il filosofo della scienza Donald Gillies osserva, esaminando il ruolo dell’agenzia di valutazione inglese (RAE) negli ultimi venti anni, che il problema fondamentale d’ogni tentativo sistematico di valutazione si può identificare studiando la storia delle scienze naturali: questa mostra in maniera non ambigua che raramente il valore d’alcuni scienziati e delle loro scoperte è riconosciuto dai proprio contemporanei. Al contrario, il riconoscimento ritardato nel tempo è un fenomeno molto comune nella storia della scienza e riguarda in genere scoperte e scienziati epocali nella storia della scienza. Questo è un problema sicuramente reale di cui bisogna tenere presente nella valutazione: bisogna però ricordarsi che i ricercatori che possono essere soggetti a questo tipo di problema sono una piccola frazione in quanto il ricercatore, o la ricerca, tipico da valutare non rientra nel caso di ricercatori eccezionali che fanno scoperte epocali.
Più preoccupante è forse, come nota l’astrofisico Abraham Loeb, facendo riferimento al sistema attuale della ricerca, la pratica comune tra i giovani ricercatori d’investire il proprio tempo nella ricerca “mainstream”, ovvero su idee che sono state già ampiamente esplorate in letteratura. Questa tendenza è guidata dalla pressione di una revisione da parte di pari (“peer review”) fatta in maniera troppo pressante, superficialmente e su scala “industriale” e, dunque, in ultima analisi dalle prospettive del mercato del lavoro. Loeb suggerisce dunque che il sistema di valutazione (e dunque di carriera e finanziamento) dovrebbe essere costruito, non solo per premiare i “migliori” in base ai numeri bibliometrici, ma soprattutto per incentivare i giovani ricercatori a destinare una parte del loro “portafoglio accademico” a progetti innovativi con rendimenti rischiosi ma potenzialmente altamente redditizi. Il motivo è semplice: la valutazione diventa dannosa quando forza in maniera artificiale un giovane ricercatore ad impostare la propria attività di ricerca con l’obiettivo di massimizzare i propri parametri biblilometrici; al contrario bisogna evitare che vi sia un’attenzione ossessiva a questi parametri, come una valutazione malfatta può spingere a fare.
L’Accademia delle Scienze Francese ha recentemente redatto un documento dal titolo “Sull’uso corretto dei parametri bibliometrici per la valutazione dei singoli ricercatori”. In questo documento si mette in evidenza che nel caso di singole discipline il ricorso alla bibliometria non è necessario se non per una rapida panoramica ed in questo contesto, i valori degli indici non devono essere considerati un elemento decisivo nelle scelte. In generale, quando il profilo di un candidato è molto generico (esempio, la fisica o la matematica, ecc.) può essere dunque utile affidarsi a bibliometria per accelerare il processo quando si effettua una prima selezione tra i candidati, a condizione che i membri della commissione tengano presente le notevoli differenze che esistono tra le diverse discipline e sotto-discipline. In concreto, ad esempio, gli indici bibliometrici di un fisico sperimentale che firma articoli anche con centinaia di coautori, dovranno essere necessariamente diversi (e incommensurabili) da quelli di un fisico teorico che lavora con pochi coautori. Inoltre anche la loro continuità temporale dovrà essere necessariamente differente: intermittente per il primo, a causa ad esempio del tempo necessario alla costruzione di grandi apparati sperimentali, mentre più regolare per il secondo. Per questi motivi ha poco senso fare riferimento ai parametri medi di una comunità relativamente eterogenea anche se ben definita come quella dei fisici (ma questo esempio può essere esteso a molte altre comunità e sotto comunità nelle scienze naturali).
Un altro punto messo in luce dal documento francese è che gli indici bibliometrici non hanno alcun valore quando si valutano i giovani scienziati all’inizio della loro carriera e devono essere utilizzati solo per reclutare scienziati più senior. I dati bibliometrici dovrebbero inoltre essere utilizzati solo in combinazione con una valutazione qualitativa dell’attività scientifica. Più in generale, gli indici dovrebbero essere adattati per tenere conto sia della durata di una carriera, in quanto il loro valore aumenta cumulativamente con l’età, che d’eventuali cambiamenti in termini di produttività per un differente orientamento tematico nel corso di una carriera. Questo ultimo punto deriva dal fatto che se si ricerca in maniera pressante la massimizzazione dei parametri bibliometrici si è disincentivati a cambiare linea di ricerca, scelta che in genere richiede un investimento di tempo ed energia iniziali poco remunerativi in termini d’articoli e citazioni.
In Italia, seguendo la filosofia di introdurre delle soglie minimali, la neonata agenzia nazionale per la valutazione (Anvur) ha introdotto un inedito criterio della mediana, secondo il quale i candidati, per essere ammessi alla valutazione, devono possedere parametri indicatori della qualità della produzione scientifica, normalizzati per l’età accademica, superiori alla mediana dello specifico settore concorsuale e della fascia per cui si chiede l’abilitazione. Vediamo brevemente cosa succederebbe nel caso di due campi, fisica ed economia, in cui sono note i valori d’alcuni parametri bibliometrici della comunità dei docenti universitari italiana.
- distribuzione dell’Hindex dei fisici italiani (Ordinari, Associati e Ricercatori)
Il fisico Paolo Rossi ha raccolto gli H-index dei fisici italiani professori ordinari, associati e ricercatori: circa 3000 unità al 2007 (vedi Figura 1). Ricordiamo che un ricercatore ha H-index pari, ad esempio, a 10 se le sue 10 pubblicazioni più citate hanno ognuna 10 o più citazioni e le altre pubblicazioni hanno un minor numero di citazioni. Da questo risulta che il 50% dei professori associati e dei ricercatori in fisica, che hanno delle distribuzioni quasi identiche, ha un indice H superiore a 10, mentre il 50% degli ordinari ha un indice H superiore a 15. Quest’ultima differenza è naturale in quanto l’H-index cresce con il tempo, e per questo va diviso per gli anni di carriera.
- distribuzione del’ Hindex per i docenti di economia italiani (PO, PA e RU)
Gli economisti Cristina Marcuzzo e Giulia Zacchia, in un altro studio, hanno utilizzato la banca dati Econlit, che censisce pubblicazioni rilevanti nel campo dell’economia, per fare un’analisi della produttività dei 1600 docenti d’economia italiani. Uno dei risultati più notevoli di questa analisi è che ben il 16% degli economisti accademici ha zero records su Econlit. E’ ovvio che avere zero pubblicazioni implica che almeno la stessa frazione di docenti abbia ricevuto zero citazioni e zero H index. Questa conclusione è confermata da un altro studio in cui è stato misurato l’indice H per i 696 ordinari delle discipline economiche con la conclusione che oltre il 40% dei docenti presenta valori di H compresi tra 0 e 2, e solo il 5% superiori a 16. Dunque la mediana per gli economisti si posiziona su valori molto bassi del parametro bibliometrico di riferimento. Questo in quanto la distribuzione è essenzialmente condizionata dalla presenza di un numero elevatissimo di zeri.
La presenza di tanti docenti con zero Hindex (o uno o due) è determinato dal fatto che una buona frazione dei docenti non fanno ricerca scientifica attiva: il criterio della mediana induce una propagazione di questa patalogia alla scelta dei futuri docenti. In fisica, dove gli inattivi (Hindex basso o zero) sono una piccola (ma non nulla) frazione la mediana si attesta su valori più alti (Hindex circa 15) che per essere raggiunto richiede comunque una certa attività scientifica (o almeno abilità nel saper pubblicare ed ottenere citazioni). In questo esempio si può notare il punto dove il semplice calcolo degli indici bibliometrici può essere utile ovvero a trovare gli inattivi: mentre è inutile, e probabilemente dannoso, permettere a qualcuno con Hindex 16 di superare un’asticella e a qualcun’altro con Hindex 14 di non superarla, è del tutto ovvio e forse utile (se si utilizza questa informazione) capire chi ha Hindex zero (o uno o due).
A mio giudizio la valanga di numeri che sta per investire l’università e la ricerca italiane non sarà la soluzione di nessun problema, ed anzi può essere il nuovo schermo dietro il quale mascherare scelte arbitrarie ed opportunistiche nonché, come messo in evidenza da Paolo Rossi, bloccare definitivamente il sistema universitario sotto una valanga di ricorsi e cavilli giuridici. L’aspetto chiave di un sistema sano di reclutamento e promozioni, più che nella valutazione, è nella responsabilità delle scelte. Questo criterio, comunemente usato nei vari paesi a cui ogni volta si fa riferimento per imitarne solo un aspetto particolare del sistema, è il grande assente che non può essere sostituito da nessun criterio o parametro bibliometrico.
Articolo pubblicato sulla pagina web del Sole24Ore
Il dibattito italiano appalesa il carattere ancora acerbo della cultura della valutazione in Italia. Intendo cioè sottolineare la estrema variabilità e volubilità delle posizioni sostenute dagli attori del dibattito pubblico condotto finora, stretto fra lo Scilla della Corporazione Accademica, e dei suoi “vizi”, e il Cariddi dei criteri dei “novizi” dell’ANVUR e dei loro supporters Ultras.
La giusta e necessaria valutazione di una pluralità di elementi, molti dei quali apprezzabili solo qualitativamente, non muta (cioè NON DEVE mutare) la natura di un concorso in una “cooptazione”. La natura del concorso si può disvelare attraverso l’analisi dei principio di “concorrenza” che ne declina la stessa espressione linguistica. Con-corso non è solo la corsa dei cento metri, con-corso è anche (per fare un esempio) il “concorso ginnico”, e qualunque altra gara che prevede il determinante apporto di un giudizio da parte di una giuria di persone competenti ed oneste. E’ un fatto che in tali situazioni si prevede sempre una guida al giudizio più o meno formalizzata, espressa da criteri e regole metodologiche che il contesto istituzionale in cui si svolge il concorso (i.e.: il complesso dell’opera di autorità sportive riconosciute, e di chi organizza la gara) assegna alla commissione giudicatrice.
Si tratta quindi di assicurare le migliori condizioni di conduzione del concorso, che dipendono anche – in particolare – dagli usi e costumi della società in cui ci si trova. Norme etiche e di deontologia professionale devono quindi essere coltivate e fatte valere da quella società e da quella comunità scientifica ed accademica di riferimento. Una lettura riduttiva di questa idea ha fatto pensare alla necessità di eliminare totalmente l’arbitrio dei giudici attraverso la fissazione di regole così stringenti che impongano alla considerazione i soli parametri bibliometrici.
Per un riferimento generico a come si possa intendere ed organizzare un concorso per un posto di lavoro, invito alla lettura dei “Recruitment Principles” della Civil Service Commission del Regno Unito:
http://civilservicecommission.independent.gov.uk/admin/assets/spaw2/uploads/files/Recruitment_Principles.pdf
Una lettura complementare (applicazione al caso di una certa Autorità Indipendente, sempre in UK) è:
http://www.competition-commission.org.uk/rep_pub/corporate_documents/corporate_policies/recruitment_and_selection_policy.pdf
Si noti la gerarchia di ruoli e di responsabilità che vengono definiti, e l’affermazione dei principi di MERITO, EQUITA’ E PUBBLICITA’ che informano tutta l’architettura delle selezioni concorsuali. In Italia c’è molta strada da fare.