Incerti, incompleti e modificabili: ecco gli indicatori dei candidati all’abilitazione.

A quanto pare, sono arrivati gli indicatori bibliometrici dei candidati, ma li possono vedere solo i commissari. Conteggi mancanti, altri solo provvisori e anche quelli completati sarebbero soggetti a verifiche e correzioni delle commissioni. “Run to failure?”

1. Indicatori bibliometrici: mediane, semafori e agganci

A quanto pare, da ieri le commissioni dell’Abilitazione Scientifica Nazionale (ASN) hanno finalmente a disposizione gli indicatori bibliometrici di gran parte dei candidati soggetti alla loro valutazione.

Il ruolo degli indicatori bibliometrici, utilizzati come criteri  oggettivi per valutare i candidati dell’ASN, è una novità di assoluto rilievo nella storia del reclutamento accademico ed è stata fortemente auspicata dall’ANVUR fin dai suoi primi mesi di vita. Tuttavia, l’uso automatico di indici bibliometrici, quali il numero di articoli, le citazioni e l’h-index, per la valutazione dei singoli ricercatori è una pratica fortemente sconsigliata dalla comunità scientifica internazionale, come testimoniato dalle prese di posizione pubbliche di autorevoli società scientifiche (1), (2), (3). A fronte delle proposte bibliometriche dell’ANVUR, in buona parte accolte nel Decreto Ministeriale n. 76/2012, il CUN ne ha subito evidenziato la problematicità, senza però ottenere  grande ascolto. Unica concessione, forse dettata  dalla necessità di limitare il contenzioso giurisdizionale, è stata la circolare che concedeva alle commissioni di formulare criteri che consentissero di promuovere, a fronte di un giudizio dimerito “estremamente positivo”, anche candidati che non avessero superato le soglie bibliometriche (le famose “mediane”). Va anche detto che molte commissioni hanno deciso di non avvalersi di tale elasticità, formulando invece criteri rigidamente bibliometrici che escludono dall’abilitazione i candidati che non superano le mediane prescritte.

Alla luce dell’importanza attribuita agli indicatori bibliometrici, appare paradossale che fino all’altro ieri essi non fossero a disposizione delle commissioni, messe in stallo proprio dalla mancanza dei parametri chiave. In particolare, le commissioni che erano state sorteggiate e nominate per prime erano in attesa degli indicatori fin da metà gennaio. Il motivo del ritardo erano le difficoltà tecniche che, seppur sottovalutate dall’ANVUR, si erano manifestate fin dall’agosto 2012 quando c’erano da selezionare gli aspiranti commissari che avessero superato le mediane. Agli aspiranti commissari con il “semaforo rosso” che ritenevano di essere stati vittime di errori di conteggio, era stata data la possibilità di presentare le proprie controdeduzioni con tanto di “manualetto” per recuperare i codici bibliometrici che consentivano il cosiddetto “aggancio” ai database commerciali Web of Science e Scopus.

Era stato facile prevedere che gli stessi problemi, ma su scala assai maggiore, si sarebbero ripresentati per i candidati all’abilitazione, con l’aggravante che ai candidati non era stato fornito alcun tipo di semaforo – neppure approssimativo – che permettesse di capire se stavano sopra o sotto le mediane. Puntualmente, la profezia si è avverata e il 14 febbraio scorso i candidati si sono visti arrivare l’inaspettata richiesta di collaborare al calcolo dei propri indicatori rintracciando i codici bibliometrici dei propri articoli reperibili interrogando database commerciali a cui ha accesso solo chi lavora per un’università o istituto di ricerca che sottoscrive i relativi abbonamenti. In risposta alle domande degli interessati, è stata precisata la natura facoltativa di tale richiesta di collaborazione (4). Allo stato attuale, appare impossibile escludere la presenza di problemi di “aggancio” con i database commerciali per una certa frazione delle pubblicazioni dei candidati.

2. Il giorno del giudizio: fai-da-te o cucù?

Senza che lo sappiano, per molti candidati, ieri potrebbe essere stato il giorno del giudizio. Infatti, se la commissione chiede il superamento delle mediane come condizione necessaria all’abilitazione, i valori ufficiali  appena arrivati potrebbero aver decretato un triste e inesorabile “game-over” per i candidati “submediani”. Tuttavia, il giudizio universale dell’ASN è decisamente più caotico di quello di Michelangelo. A quanto pare, possono darsi tre situazioni alquanto diverse tra loro.

1. Valori mancanti: per un certo numero di candidati, non sono forniti i valori degli indicatori perché è fallita l’interrogazione dei database bibliometrici. Si riproverà al più presto.
2. L’indicatore è stato calcolato sulla base degli agganci attualmente disponibili, ma le operazioni di calcolo sono ancora in corso. Quando saranno completate, si passerà al caso 3.
3. Il calcolo dell’indicatore è stato completato, ma spetta alla commissione verificare i dati su cui si basa ed inserirne il valore definitivo.

In particolare, è ragionevole che la commissione possa modificare l’età accademica del candidato: infatti, il D.M. n. 76/2012, dà la seguente definizione:

età accademica: il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale (art. 1, comma 1)

Inevitabilmente, la determinazione dell’età accademica effettuata dal CINECA in modo puramente informatico prescinde dalla pertinenza, la cui valutazione dovrebbe spettare alla commissione.

Nel complesso il quadro è tutt’altro che confortante. Da quanto è dato sapere:

• Anche nel caso in cui il loro calcolo è già stato completato, gli indicatori sono soggetti a possibili modifiche da parte della commissione. Avremo un fai-da-te bibliometrico delegato a centinaia di commissari con poca o nulla competenza bibliometrica?
• Per altri candidati, pur trovandoci già nel bel mezzo della procedura di valutazione, gli indicatori sono ancora mancanti e le commissioni devono arrangiarsi in attesa che il quadro si completi.
• Cosa dire poi dei valori che vengono forniti, ma con l’avvertimento che sono incerti ed ancora sotto verifica? Un ulteriore esempio dei criteri e degli indicatori  “a cucù” che costituiscono uno dei caratteri distintivi della “via italiana” alla valutazione.

In effetti, l’elenco delle regole “a cucù” dell’ASN e oramai piuttosto lungo:

1. La FAQ fantasma sulla manipolazione dell’età accademica vissuta solo un giorno e poi svanita nel nulla.
2. La nota sull’indice h contemporaneo (il “Katsaros index”) pubblicata, ritirata e poi revisionata.
3. Le mediane del 13 e del 24 agosto ritirate e sostituite da quelle del 27 agosto per un presunto errore nella formula di calcolo.
4. La procedura di sorteggio dei commissari OCSE effettuata violando la procedura validata e poi corretta grazie alla presenza di una testimone che aveva preso nota dei numeri sorteggiati.
5. Le mediane dei singoli settori scientifico disciplinari la cui pubblicazione è stata prima annunciata e poi annullata con la motivazione di aver scoperto che non era di competenza dell’ANVUR.
6. Le liste aggiornate delle riviste per i settori bibliometrici pubblicate, ritirate dopo poche ore e ripubblicate dopo qualche giorno con l’aggiunta di un centinaio di titoli “last minute”.
7. Last but not least: gli indicatori bibliometrici dei candidati forniti ai commissari, ma con l’avviso che potrebbero presto cambiare.

3. “Run to failure”

Chi si occupa di affidabilità in ambito industriale sa che esistono diverse strategie di manutenzione. Di sicuro, la più rudimentale è quella che entra in azione solo dopo che il macchinario si è guastato:

Run to failure: A maintenance policy that allows a machine to run until it breaks down, at which point reactive maintenance may be performed. Run-to-failure maintenance is sometimes called “crisis maintenance” or “hysterical maintenance” for good reason. This has been the dominant form of maintenance for a long time, and its costs are relatively high because of unplanned downtime, damaged machinery, and overtime expenditure.

Non è necessario essere degli esperti per capire che per ridurre la frequenza dei guasti e i costi delle loro conseguenze è preferibile qualche forma di prevenzione.

Il MIUR è ormai consapevole che il calcolo degli indicatori bibliometrici è per sua natura soggetto ad errori. Non a caso, per prevenire ingiuste esclusioni tra gli aspiranti commissari, il regolamento prevedeva una apposita procedura per la presentazione delle controdeduzioni di chi aveva avuto il semaforo rosso. Lo scopo era chiaro: ridurre il rischio di un “run to failure”, ovvero i ricorsi di aspiranti commissari ingiustamente esclusi a causa di errori materiali. Il costo, ovvero il possibile blocco della procedura, sarebbe stato troppo elevato.

Che le cose non vadano meglio per i candidati è altrettanto chiaro al MIUR. Non si spiegherebbe altrimenti, l’irrituale richiesta rivolta ai candidati affinché fornissero i codici bibliometrici delle loro pubblicazioni per ridurre i casi di “mancato aggancio” ai database commerciali. E tuttavia, tale collaborazione era facoltativa ed i candidati non erano stati messi al corrente del colore del loro semaforo. E anche se lo fossero stati, non sarebbe stato sufficiente: mentre per i commissari interessa solo avere il verde per accedere al sorteggio, per i candidati anche il valore numerico dell’indicatore diventa importante in quanto entra tra i parametri usati dalla commissione per formulare il giudizio di abilitazione. Un errore che diminuisca il numero di citazioni per anno, pur non portandolo al di sotto della mediana, potrebbe comunque danneggiare il candidato perché il semplice superamento delle mediane non è condizione sufficiente per essere abilitati.

Da quanto è dato sapere, gli indicatori bibliometrici dei candidati sono visibili da parte dei commissari, ma non da parte  dei candidati. Se così fosse, a fronte di eventuali errori, anche materiali, non verrà data loro l’opportunità di chiederne la correzione prima che quegli errori possano influenzare i giudizi della commissione. Ci troveremmo allora in una situazione di “run to failure“: al candidato bocciato i cui indicatori sono stati calcolati erroneamente non resterebbe che ricorrere al TAR, una soluzione i cui costi sono elevati, in tutti i sensi immaginabili.

Le conseguenze di eventuali errori negli indicatori dei candidati sono più gravi rispetto al caso degli aspiranti commissari che non mettevano in gioco la loro carriera futura, ma solo la propria possibilità di essere sorteggiati a far parte della commissione. Cosa intende fare il MIUR per assicurare ai candidati garanzie almeno pari a quelle concesse ai commissari? Non è difficile capire che negare ai candidati la verifica dei propri indicatori contribuisce a far avverare la profezia di Sabino Cassese ovvero a consegnare

l’ultima parola sulla valutazione ai giudici amministrativi.

_____________________________________

(1 ) Code of Practice, European Mathematical Society, ottobre 2012

1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people.
2. It is irresponsible for institutions or committees assessing individuals for possible promotion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.

_____________

(2) On the use of bibliometric indices during assessment, European Physical Society, 11 giugno 2012.

The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.

_____________

(3) Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs, Institut de France, Académie des Sciences, 17 gennaio 2011.

Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.

_____________

(4) “non ci sono conseguenze, nel senso che il modulo non è obbligatorio, ma facoltativo. L’inserimento di eventuali modifiche dei codici serve alla commissione per ricalcolare le mediane” è quanto comunicato dal servizio Consulenza CINECA ad un candidato che domandava “quali conseguenze abbia l’eventuale omissione della verifica dei codici di cui al Vs messaggio del 14/02/2013” (Fonte: mailing list  UNILEX@LIST.CINECA.IT – 27 febbraio 2013).