Errare humanum est, perseverare autem diabolicum. A proposito di ASN.

E’ ormai accertato, oltre ogni ragionevole dubbio, che il sistema delle “mediane” introdotto dal D.M. 76/2012 contenga tante e tali contraddizioni e  inconsistenze da mettere tutta la procedura ASN a richio per le innumerevoli illegittimità e discriminazioni. In particolare la famigerata lettera a), al comma 4 dell’Art.4, comporta una tale quantità di inconsistenze, illegittimità, errori e discriminazioni da chiedersi come sia possibile che un  Ministro e il suo staff tecnico di funzionari abbiano potuto concepire un simile concentrato di problemi, un record da additare come esempio negativo di cattiva legislazione.

Errare è umano, anche se in Italia chi sbaglia non paga mai per i propri errori, e a pagarne le conseguenze sono sempre i cittadini, sia quelli discriminati da una procedura di abilitazione superficiale, sia gli utenti finali, gli studenti, che non sempre vedranno in cattedra i docenti migliori. Ma oltre ai danni diretti, esistono imprevedibili effetti indiretti, causati da un meccanismo di valutazione errato che si va affermando sempre più come standard  ufficiale nelle procedure di accreditamento dei corsi e di ripartizione dei fondi,con esiti nefasti a cascata su tutto il sistema universitario.

Quello che tutti si chiedono, tranne forse il Ministro, è perchè si debba perseverare diabolicamente nell’errore: se le pecche formali e sostanziali di questa procedura sono state ampiamente discusse dalla comunità scientifica, cosa occorre affinchè si provveda ad una correzione degli errori e contraddizioni?

Se assistiamo impotenti all’avvio di una seconda tornata di abilitazioni con le stesse regole, è evidente che il Ministro non abbia ancora compreso le innumerevoli difficoltà in cui si muovono le commissioni nel tentativo di applicare letteralmente il D.M. 76/2012. Riteniamo dunque cosa utile analizzare alcune delle principali problematiche che il sistema delle “mediane” comporta, in attesa di una auspicata correzione di rotta. Ed in molti punti, come discusso, non sarebbe nemmeno difficile apportare significative migliorie alla procedura.

Queste note nascono dalle riflessioni critiche dell’autore, scaturite dal suo “incontro ravvicinato” con la procedura ASN per il settore 02/A2. Le contraddizioni emerse nella procedura sono state selezionate e poi ordinate mettendo in evidenza solo aspetti di interesse generale validi per tutti i settori “bibliometrici”.  Dunque il riferimento esplicito al settore 02/A2, che ogni tanto affiora nelle note, rimane solo a titolo di esempio.

In particolare, nella sezione 1 sono discussi brevemente alcuni rilievi generali sul DM 76, e principalmente sulle  conseguenze della norma alla lettera a, comma 4 dell’Art.4 che introduce gli indicatori bibliometrici nel giudizio. Poi con maggior dettaglio, nella sezione 2 sono analizzati i molteplici rilievi di illegittimità, illogicità, aleatorietà ed inadeguatezza degli indici bibliometrici e del giudizio automatico introdotto nel DM. Viene presentata una analisi molto dettagliata in cui sono messi in evidenza problemi specifici (2.3), problemi metodologici (2.4) ed errori introdotti nella fase applicativa dall’agenzia di valutazione ANVUR (2.5). Infine nella sezione 3 sono discusse brevemente le difficoltà che incontrano le commissioni, spesso forzate dalla normativa ad esprimere un giudizio collegiale poco coerente.  La tanto sconsolante quanto ovvia conclusione è che, per non incorrere in discriminazioni arbitrarie e garantire al contempo il rispetto della legge, la commissione debba sostanzialmente basarsi sempre e solo sul proprio giudizio di merito, e che gli indicatori bibliometrici possano solo assolvere ad una funzione di ausilio, come largamente riconosciuto in tutte le sedi internazionali.

1. Rilievi generali di illegittimità del DM 76/2012

1.1 Introduzione

La legge 240/2010 (legge) ha introdotto delle procedure di Abilitazione Scientifica Nazionale (ASN) per l’accesso al ruolo dei professori di prima fascia (ordinari) e seconda fascia (associati). Non si tratta di un concorso (non è prevista una graduatoria), ma di una procedura a numero aperto che prevede un esito o positivo o negativo. L’abilitazione è basata sulla maturità scientifica (e non sui titoli didattici), dura 4 anni e consente l’accesso ai concorsi locali che vengano eventualmente banditi successivamente.

Per i dettagli attuativi la legge rinvia al successivo regolamento DPR 222/2011 (regolamento), che prevede la formazione di commissioni nazionali costituite da professori ordinari che valutino i titoli e le pubblicazioni dei candidati in maniera analitica utilizzando criteri e parametri fissati dal ministero con apposito decreto ministeriale.

I criteri di valutazione sono stati quindi fissati con il successivo DM 76/2012.  Prevalentemente vengono elencati (Art. 3 e 4) criteri e parametri ben consolidati nella prassi e giurisprudenza che prevede un giudizio tra pari (i commissari sono docenti dello stesso settore disciplinare), basato sulla analisi dei titoli e pubblicazioni, in accordo con quanto previsto da legge e regolamento.

1.2 Rilievi sul DM

Una prima illogicità si ravvisa nell’Art.4 comma 3 lettera a, dove si individua come parametro il “numero delle pubblicazioni”  (una pubblicazione può essere di una pagina o cento pagine e non rappresenta quindi una valida unità di misura della produzione scientifica,  come discusso più ampiamente in seguito), e peraltro si introduce un esplicito riferimento alla produzione scientifica degli ultimi cinque anni creando una evidente discriminazione a posteriori dei candidati che, magari per motivi di studio, negli ultimi anni hanno pubblicato meno. Trattandosi di una abilitazione scientifica, e non di un concorso, nella legge e regolamento non è fatta menzione di tale riferimento alla produzione scientifica recente (paradossalmente anche uno scienziato di grande fama potrebbe risultare non maturo per l’abilitazione qualora abbia pubblicato poco negli ultimi anni).

Tale norma è particolarmente discriminante per i ricercatori più anziani che vedono sminuito il lavoro svolto nei primi anni della loro carriera (violazione anche del principio dell’affidamento legittimo). Tale aspetto di difformità tra il DM e la legge è stato poi aggravato dalla interpretazione che l’agenzia di valutazione ANVUR ha dato del DM, nella fase applicativa (di ciò si discuterà ampiamente).

Lo stesso decreto (Art. 4 comma 4 lettera a, Art.6 comma 1, ed allegato A) introduce come elemento di novità l’uso di “parametri numerici” per valutare l’impatto della produzione scientifica complessiva del candidato. Il punto a) del comma 4, Art.4 appare completamente avulso dal resto dell’Art.4 che sembra invece per il resto in linea con le prescrizioni del regolamento, della legge, e di una prassi consolidata nel giudizio tra pari. Il contenuto della lettera a) comporta problemi sia formali che sostanziali, sia per la incoerenza interna del DM stesso, che per la violazione di leggi e principi più generali (legge, regolamento e principi costituzionali).

1.3 Problemi emergenti dalla lettera a) del comma 4, Art.4

 1.3.1 Valutazione di pubblicazioni non presentate

Preliminarmente, appare evidente il contrasto tra la citata lettera a) che introduce una valutazione “dell’impatto della produzione scientifica complessiva del candidato” (cioè della totalità delle pubblicazioni) da una parte, e l’azione combinata della lettera b) comma 3  Art.16  L240/2010 (legge), comma 1 Art.4 del DPR 222/2011 (regolamento) e l’Art.7 comma 1 ed allegato C dello stesso DM 76  che prescrivono un “numero massimo delle pubblicazioni che ciascun candidato può presentare” a “pena di esclusione”. La valutazione prevista alla lettera a) dunque è effettuata anche su pubblicazioni di cui è stato fatto divietodi presentazione (evidente contrasto con la legge ed incoerenza interna del DM; illogicità manifesta di un giudizio effettuato su documenti non producibili e dichiarati non valutabili)

 1.3.2 Doppio giudizio automatico

Poichè ovviamente tale valutazione non può essere effettuata dalla commissione (che non è in possesso di tutte le pubblicazioni da valutare, in contrasto con la legge),  sempre la lettera a) rinvia all’Art.6 ed agli allegati per la definizione di indicatori (misura di parametri numerici) che dovrebbero consentire una valutazione automatica delle pubblicazioni, ovvero: “la misurazione dell’impatto della produzione scientifica complessiva” (Art.6 comma 1).

Tali parametri sono calcolati in maniera automatica dall’agenzia di valutazione ministeriale ANVUR senza tenere alcun conto del contenuto delle pubblicazioni, del numero di autori e del loro apporto individuale, della coerenza con il settore concorsuale, della collocazione editoriale e di quant’altro. Si valutano solo i numeri, e con algoritmi (molto discutibili come vedremo)  si presume di poter misurare la qualità delle pubblicazioni senza alcun margine di errore o minima tolleranza (il Ministero e l’ANVUR non si sono curati di valutare quale possa essere l’errore di misura della nuova procedura automatica, mai testata in precedenza).

Lo stesso decreto fissa anche una procedure numerica con cui l’ANVUR dovrebbe determinare automaticamente i valori minimi di qualità scientifica richiesti per l’abilitazione, esautorando la comunità scientifica di riferimento dal compito di definire gli standard minimi di appartenenza, come da prassi nel giudizio tra pari.

Infine il DM prevede che le commissioni NON POSSANO concedere l’abilitazione ai candidati se i loro parametri misurati dall’ANVUR non superano i valori minimi calcolati dall’ANVUR  (Art.6 comma 1 b, ed allegato A comma 3 e 4). A ciò si aggiunge la mancanza totale di trasparenza che l’ANVUR ha sino ad oggi manifestato non pubblicando la base dei dati e le distribuzioni utilizzate per i  calcoli (in violazione di un preciso obbligo al num. 4 dell’allegato A), ma solo i risultati, rendendo impossibile ogni verifica.

Di fatto viene istituito un secondo giudizio, esautorando in parte la commissione che pur in presenza di suo giudizio positivo non può concedere l’abilitazione se i parametri numerici calcolati dall’ANVUR (con una procedura automatica) non superano valori minimi fissati sempre dall’ANVUR.

Una agenzia ministeriale esautora il ruolo della commissione e ha diritto di veto sull’abilitazione: ciò appare in contrasto con quanto previsto dalla legge e dal regolamento che parlano invece di giudizio analitico espresso dalla commissione il cui giudizio, una volta espresso e positivo, non dovrebbe poter essere soggetto a controllo ministeriale. Si profila quindi ancora un’altra incoerenza tra il DM 76 e la legge.

 1.3.3 Contrasto con la Legge ed incoerenza

In particolare la L.240/2010 all’Art.16 comma 3 lettera a)  prevede che l’abilitazione sia attribuita con “motivato giudizio fondato sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche”  ed “espresso sulla base di criteri e parametri”  che sono  “definiti con decreto del Ministro”. L’azione del Ministro si esaurisce dunque con la definizione dei criteri e dei parametri, ma non può sostituirsi al giudizio della commissione. Analogamente il DPR 222/2011 (regolamento) all’Art.4 comma 1 precisa che i criteri e parametri sono definiti  “ai fini della valutazione”  della commissione e quindi non possono sostituirsi ad essa. Valutazione che lo stesso regolamento, all’Art.8 comma 4, precisa debba essere alla base del giudizio “fondato sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche presentati da ciascun candidato” ed espresso sulla base dei criteri e dei parametri definiti con decreto del Ministro. Il giudizio deve rimanere quindi unico, e fondato su una valutazione analitica dei titoli e delle pubblicazioni presentate dal candidato.  Valutazione analitica che presuppone almeno la lettura delle pubblicazioni da parte della commissione, e quindi la loro produzione che è invece limitata dallo stesso DM ad un numero massimo.

Formalmente l’incoerenza del DM ed il suo contrasto con la legge sono mascherati attentamente: infatti sempre la lettera a) del comma 4 dell’Art.4 inserisce “l’impatto della produzione scientifica complessiva valutata mediante gli indicatori di cui all’articolo 6 e agli allegati A e B” tra i parametri di valutazione per i  titoli  e non tra i parametri di valutazione per le pubblicazioni, formalmente evitando la contraddizione di una valutazione su pubblicazioni non prodotte. Ma da un punto di vista sostanziale, come si evince dalla definizione degli indicatori rinviata all’allegato A, la produzione scientifica complessiva coincide con la totalità delle pubblicazioni scientifiche, e quindi tale “titolo” altro non è che una valutazione automatica espressa dall’ANVUR sulle pubblicazioni scientifiche. E’ evidente che le pubblicazioni scientifiche costituiscano un titolo in generale, ma se il legislatore ha voluto separare titoli e pubblicazioni scientifiche ha evidentemente inteso differenziare i criteri di valutazione delle pubblicazioni da quelli degli altri titoli. Non appare dunque logico e nemmeno coerente l’inserimento tra i titoli di una seconda valutazione delle pubblicazioni.

Anche l’espressione di un giudizio vincolante da parte del Ministero e dell’ ANVUR è mascherata sotto forma di parametri che la commissione dovrebbe usare nel suo giudizio. Tuttavia, come si evince da una attenta lettura, alla commissione è realmente lasciato l’uso di tutti i criteri e parametri elencati nell’Art.4 ad esclusione della lettera a) del comma 4 poichè come espresso poi chiaramente all’Art.6 comma 1:  “l’abilitazione può essere attribuita esclusivamente ai candidati che sono stati giudicati positivamente secondo i criteri e i parametri di cui all’articolo 4″ (tutti elencati ad esclusione della lettera a del  comma 4), e  “i cui indicatori dell’impatto della produzione scientifica complessiva” (quelli alla lettera a del comma 4) “presentino i valori richiesti” secondo le “regole” dell’allegato A. E le regole dell’allegato A sono tassative nell’indicare una valutazione positiva solo se almeno due dei tre parametri calcolati dall’ANVUR, definiti come indicatori, superano numericamente valori minimi fissati uguali alle mediane delle distribuzioni, e calcolati ancora dall’ANVUR. Pertanto su tale punto la commissione non può esprimere un reale giudizio analitico ma deve solo prendere  atto dell’esito del giudizio sintetico ottenuto automaticamente dall’ANVUR.

Si tratta dunque di un vero e proprio secondo giudizio vincolante, espresso sulla totalità delle pubblicazioni in maniera non analitica  e imposto dall’esterno alla commissione.

In tutto ciò il DM  sembra eccedere dal compito di regolamentare i lavori della commissione previsto dalla legge e dal regolamento, e finisce per  imporre  il giudizio con una valutazione sommaria non analitica, ottenuta automaticamente, e mai testata prima d’ora, senza fornire alcuna garanzia dell’accuratezza e sui margini di errore, senza fornire i dati con cui i parametri sono stati calcolati, valutando anche le pubblicazioni non presentate, violando e stravolgendo la legge e il regolamento nelle citate parti in cui prevedono  che sia la commissione ad esprimere un unico giudizio e che la commissione debba fondare il proprio giudizio “sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche presentati” (DPR 222/2011 Art.8 comma 4).

 2. Indicatori Bibliometrici e Misura Automatica della Qualità

2.1 Rilievi generali

La distorsione nel giudizio, introdotta dai parametri numerici ministeriali, è ancor più grave se si entra nel merito. Infatti una tale predominanza dei parametri numerici, anche intesi come soglia minima di qualità, potrebbe avere un senso logico solo nel caso in cui tali parametri misurassero in maniera oggettiva e trasparente, con procedura collaudata e sperimentata, con margini di errore molto ridotti, la qualità della produzione scientifica del candidato.

Poichè non esistono nella letteratura internazionale parametri riconosciuti che abbiano il potere di determinare in maniera esatta la qualità della produzione scientifica a prescindere dei contenuti, era prevedibile che tale approccio avrebbe potuto portare a discriminazioni arbitrarie tra i candidati. (E’ interssante leggere le opinioni della European Mathematical Society(1), European Physical Society(2), e Académie des Sciences(3) riportate nelle note in fondo al testo)

Davanti a tale delicata situazione, il Ministro ha ignorato i suggerimenti del Consiglio Universitario Nazionale (CUN) che con parere del 19-10-2011 sulla bozza di decreto (parere non vincolante), a nome delle comunità scientifiche di riferimento aveva sconsigliato l’uso di criteri troppo rigidi che esautorassero di fatto il ruolo della commissione, anche per l’impossibilità materiale di realizzare in tempi ristretti degli indicatori sufficientemente affidabili da evitare discriminazioni aleatorie tra i candidati. Il CUN auspicava pure un maggior coinvolgimento delle comunità scientifiche di riferimento per la determinazione dei criteri minimi per l’abilitazione, proponendo di fare riferimento alla proposta CUN del 21 giugno 2011, pubblicata sul sito web del  CUN, in cui i criteri minimi venivano “differenziati per area disciplinare” come previsto dalla L. 240/2010 Art.16 comma 3 lettera a), e definiti “tenendo presente la specificità delle aree” come richiesto all’Art.4 comma 1 del regolamento.

Il citato parere del CUN esordisce con le seguenti parole: “Il CUN, facendo proprio il principio epistemologico per cui l’appartenenza di un ambito di ricerche a una determinata disciplina e la rilevanza delle ricerche possono essere decise soltanto sulla base del consenso della comunità (intesa in senso largo) degli studiosi della disciplina, ritiene che i criteri e i parametri della valutazione relativi a ciascuna disciplina non possano essere definiti se non dopo aver verificato un’ampia condivisione da parte della pertinente comunità accademica e scientifica. Il CUN richiama l’attenzione, per gli indicatori bibliometrici, sull’esistenza di alcuni limiti metodologici intrinseci e insuperabili, più volte documentati, analizzati ed evidenziati dalla letteratura scientifica in materia di valutazione.”

In contrasto, ancora una volta, con la legge ed il regolamento, il DM 76 ha fissato una procedura automatica per la determinazione dei valori minimi, senza una sufficiente differenziazione tra le specificità delle singole aree, e senza coinvolgere le comunità scientifiche interessate. Nonostante il CUN auspicasse, per evitare arbitrarie discriminazioni, l’uso di indicatori bibliometrici più affidabili e soglie minime di sbarramento non troppo alte, lasciando poi alla commissione ampio margine di giudizio, il Ministro con il DM 76 ha fatto esattamente il contrario: ha introdotto soglie di sbarramento molto alte insieme con indicatori bibliometrici inadeguati ed aleatori.

 2.2 Definizione degli indicatori

Gli indicatori bibliometrici, che secondo l’Art.6 comma 1 del DM dovrebbero servire alla “misurazione dell’impatto della produzione scientifica complessiva”  introdotta all’Art.4 comma 4 lettera a), sono elencati al comma 2 dell’allegato A, e indicati come a), b) e c):

a)  il numero di articoli su riviste contenute nelle principali banche dati internazionali e     pubblicati nei dieci anni consecutivi precedenti la data di pubblicazione del decreto di cui all’articolo 3, comma 1, del Regolamento. Per questo indicatore la normalizzazione per l’età accademica interviene soltanto nel caso in cui questa sia inferiore a dieci anni;

b)  il numero totale di citazioni ricevute riferite alla produzione scientifica complessiva normalizzato per l’età accademica

c)  l’indice h di Hirsch normalizzato per l’età accademica.

Al comma 3 poi, per ogni settore concorsuale, il valore minimo di qualità di ciascun indicatore è fissato uguale alla mediana della distribuzione dello stesso indicatore tra la popolazione dei professori ordinari del settore concorsuale. Nello stesso comma 3 alla lettera b) si legge quindi che solo se almeno due degli indicatori a),b),c) superano le corrispondenti mediane, i candidati “ottengono una valutazione positiva dell’importanza e dell’impatto della produzione scientifica complessiva”.

Valutazione che è formulata quindi automaticamente dall’ANVUR, per disposizione ministeriale, prima ancora che la commissione possa esaminare i titoli e le pubblicazioni. Valutazione che oltre a costituire un secondo giudizio vincolante, imposto alla commissione dall’esterno (come ampiamente già discusso), costituisce inevitabilmente un forte condizionamento sull’operato della commissione anche nel (limitato) margine di giudizio che le rimane.

Su tale procedura automatica di valutazione sorge spontanea tutta una serie di rilievi di illegittimità, illogicità, incoerenza e violazione di principi costituzionali che riguardano sia la definizione degli indicatori che gli aspetti metodologici del processo di misurazione adottato.

Discuteremo prima i problemi legati alla definizione degli indicatori, poi i problemi metodologici  del sistema di misurazione, e quindi i problemi e gli errori che l’ANVUR ha introdotto nella fase applicativa.

 2.3 Rilievi sulla definizione degli indicatori bibliometrici

Sorprende che il Ministro, dopo aver arrogato a sé il compito di definire i parametri di giudizio, emarginando il ruolo della comunità scientifica, abbia poi fissato indicatori bibliometrici così superficiali ed imperfetti. Esistono in letteratura altri strumenti bibliometrici, che pur con i loro limiti ed errori, avrebbero comunque garantito una migliore valutazione rispetto a quelli fissati nel DM.

Una delle più importanti cause di fluttuazione ed aleatorietà degli indicatori definiti nel DM deriva proprio dalla loro imprecisa definizione, che rende gli indicatori e i relativi parametri totalmente inadatti a fornire una oggettiva “misura” della qualità ed impatto della produzione scientifica. I tre indicatori forniscono infatti misure meramente quantitative piuttosto che qualitative, e la quantità non è sempre legata a qualità.

Il calcolo degli indici bibliometrici è basato banalmente sul “numero di pubblicazioni” e sul “numero di citazioni”, mentre non viene preso in alcun conto il contenuto (già di per sé questo in contrasto con la legge e la prassi consolidata di valutare analiticamente le pubblicazioni).

Valutare la qualità scientifica in termini di numero di pubblicazioni e citazioni è una procedura superficiale e sconsigliata in tutti gli ambiti internazionali [Vedi Note (1),(2) e (3)].

  2.3.1  Rilievi specifici sull’indicatore a)

Entrando nel merito, il primo degli indicatori, alla lettera a), consiste praticamente nel contare il numero delle pubblicazioni relative agli ultimi dieci anni. Si tratta di una pratica assolutamente priva di alcun fondamento scientifico, anche se a volte usata per una prima grossolana valutazione di un curriculum. Tale indicatore non ha alcun valore quantitativo, e la sua scelta lascia dubitare non poco sul rigore scientifico di tutta la procedura.

2.3.1.1  mancanza di fondamento scientifico ed illogicità

Come è generalmente noto, le pubblicazioni altro non sono che i contenitori della produzione scientifica di un ricercatore, sono le scatole in cui sono archiviati i risultati delle ricerche. Il ricercatore è libero di presentare un proprio risultato suddiviso in piccoli articoli, o tutto insieme in un unico grosso articolo. La valutazione della produzione scientifica deve avere per oggetto il contenuto delle scatole e non il numero delle scatole che è del tutto irrilevante. Le scatole possono essere molto grandi o molto piccole, possono essere molto piene o quasi vuote, ed infine contenere materiale prezioso o privo di valore. Nessun mercante quantificherebbe il valore della merce contando il numero dei colli.

Ogni processo di misura, anche della qualità, richiede l’uso di una valida unità di misura. L’unità di misura prescelta per l’indicatore a), la pubblicazione o letteralmente “articolo su rivista”, è un ente mal definito, che può assumere connotazioni assai diverse nei vari casi. Non è possibile stabilire se 10 articoli del candidato A valgono più di 5 del candidato B: il termine “articoli su riviste” è concetto troppo vago:  ci sono articoli di una pagina, e articoli di diverse centinaia di pagine; articoli firmati da un singolo o pochi ricercatori e articoli firmati da centinaia di nomi; articoli pubblicati in riviste di grande impatto e articoli pubblicati su riviste secondarie o atti di convegno; articoli originali e repliche degli stessi (con lievi modifiche) pubblicati dagli stessi autori su riviste meno in vista o presentate a convegni; gli articoli possono anche non essere congrui al settore concorsuale. Le riviste più prestigiose richiedono alti standard di qualità, e in tal caso la pubblicazione passa attraverso una difficile procedura di selezione che comporta lavoro e impegno per il ricercatore; per contro alcune riviste minori pubblicano praticamente tutto quello che ricevono dagli autori. La mole e la qualità del lavoro richiesto per una pubblicazione fluttua moltissimo da ricercatore a ricercatore in base agli usi, alle abitudini editoriali, al numero di collaboratori.

L’impatto della produzione scientifica di un ricercatore non dipende dal numero di articoli in cui ha preferito suddividere i risultati del suo lavoro, ma dal contenuto degli articoli che non è minimamente valutato da una conta degli articoli.

Una qualunque procedura di misurazione della qualità dovrebbe poi in qualche modo valutare, anche approssimativamente,  l’apporto del singolo autore nei lavori in collaborazione. Nell’indicatore a) ad ogni autore è attribuito tutto il merito degli articoli da lui firmati, indipendentemente dal numero degli autori. E’ evidente che ciò discrimini i piccoli gruppi a vantaggio delle grosse collaborazioni in cui ogni ricercatore svolge solo una parte del lavoro ma firma tutti gli articoli.

Sarebbero bastate poche piccole modifiche per dare all’indicatore a) un minimo di sembianza di quello che dovrebbe essere un indicatore di qualità: ad esempio dividendo il peso di ogni articolo per il numero degli autori, in modo da attribuire al singolo ricercatore solo la sua quota parte; poi attibuendo ad ogni articolo un coefficiente di qualità dedotto dall’impatto della rivista in cui è pubblicato (una rivista di grande impatto non è garanzia di qualità del lavoro, ma almeno statisticamente l’alta selezione operata da tale rivista garantirebbe un livello minimo di qualità superiore).

L’indicatore a) non tiene in alcun conto i criteri definiti nello stesso DM all’Art.4  comma 2 lettera a (coerenza con il settore), b (apporto individuale), c (qualità), d (collocazione editoriale), che invece sono previsti per la valutazione analitica delle pubblicazioni da parte della commissione. Non contenendo alcuna valutazione della qualità, l’indicatore a) non misura affatto l’impatto della produzione scientifica del candidato ma piuttosto le sue abitudini editoriali, che fluttuano da candidato a candidato e per ragioni che non dipendono dalla qualità ma da scelte personali che dovrebbero essere ininfluenti ai fini della abilitazione. Pertanto l’indicatore a) introduce una disparità di trattamento arbitraria ed illogica tra i candidati, basata sul numero degli articoli in cui la loro opera è stata pubblicata.

Per quanto possa essere ragionevole assumere un valore minimo della produttività scientifica media (ad esempio una pubblicazione all’anno, come suggerito dal CUN nella proposta del 21 giugno 2011), l’imposizione ex post di un preciso (ed alto) numero minimo di articoli pubblicati negli ultimi dieci anni, pari alla mediana dell’indicatore a), viola anche il principio dell’affidamento legittimo, in quanto al ricercatore non era dato sapere che pubblicando tanti lavori, anche insignificanti e a discapito della qualità, avrebbe acquisito più titoli che pubblicando pochi lavori di alta qualità. Tale principio, se non cassato, comporterà seri danni alla produzione scientifica dei giovani ricercatori negli anni a venire.

L’unico modo oggettivo per valutare la qualità della produzione scientifica rimane la consolidata prassi della valutazione analitica delle pubblicazioni da parte della commissione (come peraltro previsto dalla legge).

 2.3.1.2  incoerenza

Infine, oltre ad essere privo di alcun valore scientifico, l’indicatore a) è pure inutilizzabile all’atto pratico perchè definito in maniera errata ed in contrasto con lo stesso art.4 comma 4 lettera a) in cui gli indicatori sono introdotti come strumenti per valutare  “impatto della produzione scientifica complessiva“.  Anche all’Art.6 comma 1 è ribadito che gli indicatori debbano essere utilizzati “per la misurazione dell’impatto della produzione scientifica complessiva di cui all’Art.4″. Orbene è evidente che a tal fine l’indicatore a)  non è utilizzabile poichè per sua definizione consiste nel numero delle pubblicazioni degli ultimi dieci anni, che sono generalmente solo una parte della produzione scientifica complessiva.

Pertanto, anche nel caso in cui si volesse attribuire a tale indicatore una qualche capacità di misurare la qualità scientifica (che non ha), tale misura sarebbe arbitrariamente riferita ad una parte della produzione scientifica e non a quella complessiva che si voleva misurare. L’imposizione di una arco di tempo arbitrario, gli ultimi dieci anni, discriminerebbe arbitrariamente i candidati che hanno una produzione scientifica anche precedente, che non verrebbe affatto valutata. D’altra parte non esiste alcun riferimento a tale arco temporale nella legge e nel regolamento che prevedono una valutazione di tutti i titoli e le pubblicazioni presentate e delle attività di ricerca e sviluppo svolte dal candidato, senza alcun limite temporale.  Essendo la scelta di tale arco temporale arbitraria, si tratterebbe di una misura a “campione” su un periodo arbitrario della carriera del candidato, con evidenti disparità di trattamento che niente hanno a che vedere con la produzione scientifica complessiva.

    2.3.2  Rilievi specifici sull’indicatore b)

2.3.2.1 aleatorietà

L’indicatore b) è basato sul computo del numero totale di citazioni riferite ad articoli firmati dal ricercatore. Anche in questo caso la scelta effettuata mostra grande superficialità, per la nota fallacità dell’indice bibliometrico utilizzato. L’unità di misura prescelta, la “citazione”, non è ben definita, per motivi analoghi a quelli rilevati per l’indicatore a). La citazione può assumere pesi assai diversi nei vari casi: esistono citazioni a favore e contro; citazioni marginali, non rilevanti per l’articolo, elencate solo per arricchire l’articolo con maggiori spunti bibliografici, e citazioni rilevanti che testimoniano l’influsso e impatto dell’articolo citato sulla ricerca successiva. E’ tipico l’esempio di un articolo di rassegna, che generalmente riporta in maniera pedagogica contenuti non originali di altri ricercatori, alla stessa stregua di un libro specialistico.  Pur riportando dei contenuti già pubblicati in altri articoli, un tale articolo di rassegna, se ben scritto, viene molto citato come riferimento d’elezione facendo gonfiare enormemente il numero di citazioni dell’autore.

2.3.2.2 autocitazioni e casi paradossali

Ma poi anche le autocitazioni sono calcolate alla stessa stregua ed incluse nel computo totale. E le autocitazioni non danno ovviamente nessuna informazione sulla qualità della produzione scientifica. Generalmente il numero di citazioni (e autocitazioni) è poi correlato al numero di pubblicazioni: spezzettando i propri risultati in piccoli articoli si aumenta il numero di pubblicazioni, ma anche ognuno dei singoli piccoli articoli verrà citato, aumentando il numero delle citazioni. Inoltre ognuno di tali piccoli articoli conterrà autocitazioni riferite agli altri pezzetti del lavoro. Un piccolo esempio: pubblicare ogni anno 5 articoletti insignificanti in riviste minori, includendo in ogni articolo le autocitazioni ai lavori precedenti, nell’arco di 5 anni produce solo in autocitazioni un numero pari a 24+23+22+21….3+2+1= 25×12=300 autocitazioni (una media di 60 citazioni l’anno). Con tale insignificante lavoro di pessima qualità, un giovane ricercatore rampante con solo 5 anni di anzianità conseguirebbe valori dei suoi indicatori a), b) pari a 50 e 60 rispettivamente, e supererebbe ad esempio abbondantemente le prime due mediane del settore 02/A2 (24.5 e 47.41 rispettivamente).

Ciò anche per il perverso effetto della “normalizzazione” e della “età accademica”  di cui si dirà dopo.

Per contro, esistono stimatissime personalità della comunità scientifica che, pur vantando un curriculum eccezionale, non supererebbero le mediane calcolate dall’ANVUR. Sempre per il settore 02/A2 possiamo citare i recenti premi Nobel per la fisica, Peter Higgs e Francois Englert, entrambi fisici teorici di fama mondiale, con un curriculum di ricerche nel campo della fisica teorica delle interazioni fondamentali (02/A2). In particolare, il Prof.Englert è quello dei due che ha pubblicato più articoli, e da una ricerca sulle banche dati utilizzate dall’ANVUR emerge che i suoi indicatori di qualità a), b) valgono 14 (14 articoli negli ultimi dieci anni) e circa 15 (15 citazioni all’anno in media), cioè sono inferiori ai valori minimi richiesti per l’abilitazione (24.5 e 47.41 rispettivamente per il settore 02/A2). Tali esempi già costituiscono una dimostrazione della inadeguatezza degli indicatori a), b) e della loro incapacità di misurare scientificamente la qualità e l’impatto della produzione scientifica senza introdurre errori di valutazione molto grandi.

Per quanto sembri paradossale che un giovane con cinque anni di anzianità possa avere indicatori molto più alti di un premio Nobel, tale caso enfatizza una prassi abbastanza diffusa che utilizza l’autocitazione per gonfiare gli indici bibliometrici. Tale prassi è molto nota in letteratura e per ovviarvi sarebbe bastato semplicemente escludere le autocitazioni dal computo totale.  Ma non sarebbe comunque stato sufficiente ad ovviare ad altri problemi: altra prassi diffusa è ad esempio quella della citazione  “di scambio”, operata da ricercatori appartenenti a gruppi diversi che si scambiano appositamente le citazioni, spesso includendo citazioni marginali. Esistono in sostanza molti modi ben noti in letteratura per gonfiare artificialmente il numero delle citazioni.

2.3.2.3 valore approssimativo dell’indicatore e suoi limiti

Per molte ragioni il “numero” delle citazioni è considerato nella buona prassi internazionale come un indice approssimativo” dell’ impatto della produzione scientifica di un candidato, e mai come parametro esatto ed affidabile .  Esso è soggetto a fluttuazioni molto grandi che, anche escludendo le autocitazioni, in generale non dipendono dalla qualità. Sebbene in misura minore rispetto al numero delle pubblicazioni, il numero delle citazione può dipendere da molteplici fattori legati alle abitudini editoriali, alla dimensione dei gruppi di ricerca, alla moda momentanea che rende un particolare argomento più diffuso nella comunità, alla difficoltà intrinseca di una problematica che a volte la rende poco diffusa come argomento di ricerca. Anche ottenendo buoni risultati, un ricercatore che lavora contro corrente, con originalità, spesso non viene del tutto compreso ed apprezzato nell’immediato, o i suoi risultati rimangono a volte circoscritti ad una più ristretta cerchia di studiosi. Volendo sintetizzare possiamo affermare che generalmente i ricercatori che lavorano in gruppi numerosi e che pubblicano molti lavori piccoli su argomenti particolarmente di moda raccolgono molte citazioni. Mentre quelli che lavorano su argomenti di nicchia, a problemi aperti particolarmente difficili, o si muovono contro corrente rispetto alla maggioranza, ricevono tipicamente poche citazioni, specialmente se preferiscono pubblicare pochi ma buoni lavori all’anno, firmati da pochi o da un solo nome.

Tali fattori, insieme con le sopra citate difficoltà nel definire oggettivamente la “citazione” per i suoi svariati impieghi, rendono l’indicatore b) poco adatto ad una “misura” della qualità. Tra l’altro, nell’uso previsto dal DM, sia le citazioni che le eventuali  autocitazioni sono attribuite automaticamente a tutti i ricercatori che hanno firmato il lavoro citato. Ciò crea una ulteriore disparità di trattamento in quanto nessuna valutazione è fatta dell’apporto individuale del candidato. Volendo (quanto meno) introdurre un peso statistico dell’apporto individuale del candidato al singolo articolo, si sarebbe potuto realizzare un indicatore più attendibile semplicemente dividendo il numero delle citazioni attribuite ad un articolo per il numero degli autori (attribuendo ad ogni autore le sue citazioni in quota), ed  escludendo dal computo le autocitazioni che sicuramente non sono un indice di qualità.

In conclusione, per quanto non completamente privo di alcun fondamento scientifico, a differenza dell’ indicatore a), l’indicatore b) sembrerebbe avere una sua parziale validità.  Ma le grandi fluttuazioni, legate alle diverse prassi dei gruppi di ricerca, rendono comunque anche tale indicatore inadatto ad una misurazione quantitativa, per la presenza di un grande errore statistico. Una valutazione basata sul confronto diretto con il valore mediano, che non tenga in conto l’errore statistico, sarebbe pertanto largamente aleatoria e discriminatoria.

     2.3.3 Rilievi specifici sull’indicatore c)

2.3.3.1 definizione

Il terzo indicatore è basato sul calcolo dell’h-index di Hirsch, indice ben noto in letteratura. Ha un h-index pari a N il ricercatore che ha pubblicato nella sua carriera almeno N articoli che hanno ricevuto almeno N citazioni ciascuno. Essendo un indice derivato dal numero di pubblicazioni e dal numero di citazioni, tale indice è stato criticato in letteratura come parametro “quantitativo” per gli stessi motivi discussi in merito all’indicatore b), e cioè per le fluttuazioni nel numero delle citazioni, e per l’esistenza di varie pratiche che consentono di gonfiarne artificialmente il valore. Fornisce dunque solo una indicazione approssimativa dell’impatto della produzione scientifica complessiva. In letteratura si trovano varianti che tendono a tenere conto dell’apporto individuale del candidato (dividendo le citazioni ricevute per il numero di autori) o ad escludere le autocitazioni. L’indice riportato nell’allegato A al DM è quello originale che è anche il meno attendibile da un punto di vista quantitativo: trattandosi di un indice citazionale risente di tutte le cause di fluttuazioni menzionate al punto precedente, e dunque ha un largo errore statistico.

2.3.3.2 limitazioni dell’h-index

Ma poi, per la sua stessa definizione, l’h-index comporta possibili disparità di trattamento: ad esempio è difficile da valutare se sia indice di maggiore qualità avere 20 articoli con 20 citazioni ciascuno (h-index=20) o solo 10 articoli con 400 citazioni ciscuno. Nel secondo caso gli articoli hanno un grande impatto ma sono “solo” 10 e quindi l’h-index è 10.  Se il secondo autore avesse spezzettato il proprio lavoro in 20 articoli probabilmente avrebbe avuto un h-index ben più alto. Come si vede gli indici bibliometrici sono molto imperfetti ed inadatti a misurare quantitativamente la qualità della produzione scientifica. Anche in questo caso grandi fluttuazioni, legate alle diverse prassi dei gruppi di ricerca, e alla definizione stessa dell’indice, rendono l’ indicatore inadatto ad una misurazione quantitativa che renderebbe aleatoria e discriminatoria una qualunque valutazione basata su un diretto confronto con la mediana senza tener conto dell’errore statistico. D’altra parte, che gli indici citazionali siano in gran parte dipendenti dagli usi e prassi dei ricercatori è cosa evidente se si confrontano gli indici di settori concorsuali diversi. E’ notorio che i fisici sperimentali hanno indici citazionali più alti dei fisici teorici, che a loro volta hanno indici più alti dei matematici. (Per verificarlo basta confrontare le mediane dei rispettivi settori concorsuali). Se i parametri misurati fossero in assoluto una misura della qualità scientifica si concluderebbe che gli sperimentali sono più bravi dei teorici e che i matematici invece mostrano una qualità scientifica scadente. La differenza è invece ovviamente dovuta alle diverse abitudini editoriali. Anche all’interno di ognuno di tali settori permangono, in maniera ridotta, differenze di comportamento tra i singoli ricercatori e quindi grosse fluttuazioni sul valore predittivo degli indici citazionali in merito alla qualità. Alla luce delle considerazioni fatte è evidente che le fluttuazioni negli indici citazionali, a causa di usi e prassi differenti adottate dai singoli ricercatori, sono molto grandi, e precludono un diretto confronto con delle mediane rigide senza una stima dell’errore (peraltro difficilissimo da valutare per le considerazioni esposte sopra). La valutazione analitica dei titoli e delle pubblicazioni da parte di una commissione rimane l’unica prassi accettabile (e l’unica consentita dalla legge).

2.3.3.3 sostituzione arbitraria dell’indice da parte dell’ANVUR

E’ importante rilevare che, sebbene l’h-index abbia una sua validità approssimativa, con tutti i limiti che la sua definizione comporta, e dia una stima, molto approssimata, dell’impatto della produzione scientifica complessiva, l’ANVUR di sua iniziativa, in violazione dello stesso DM 76 ha sostituito tale indicatore con altro indicatore (denominato contemporary h-index nella documentazione pubblicata dall’ANVUR). Il nuovo indicatore calcolato dall’ANVUR è stato  utilizzato per il calcolo delle mediane. Tale sostituzione, arbitraria, ha completamente modificato l’indicatore, operando una “misura” difforme da quanto previsto dal DM. la differenza non è solo formale, ma fortemente sostanziale, in quanto i valori misurati dal nuovo indicatore inventato dall’ANVUR comportano risultati molto differenti ai fini della procedura abilitativa. Da sottolineare che le differenze introdotte dall’ANVUR non vanno minimamente nella direzione di migliorare il valore predittivo dell’indicatore, e diminuire le menzionate cause di fluttuazioni arbitrarie e quindi l’errore statistico, ma anzi la modifica introdotta dall’ANVUR rende l’indicatore ancora più inaffidabile ed introduce discriminazioni non solo casuali, ma anche volontarie, che lo allontanano ancor più (se possibile) da quanto prescritto da legge e regolamento. Questo delicato aspetto verrà discusso in dettaglio più avanti al paragrafo 2.5.5.

      2.3.4 Rilievi su Normalizzazione ed Età accademica

La normalizzazione degli indicatori, per come prevista dal DM 76,  peggiora l’attendibilità degli indicatori che risultano, una volta normalizzati, incapaci di esprimere una reale misura di qualità ed impatto della produzione scientifica complessiva. Inoltre la normalizzazione comporta una nuova serie di rilievi,  oltre che sulla coerenza,  logicità ed opportunità di tale normalizzazione, anche sulla stessa procedura di calcolo.

Partendo da quest’ultimo aspetto, notiamo che, sebbene non esattamente definita nel DM 76, la dizione “normalizzato per età accademica”  significa, nella prassi consolidata sia in ambiente ministeriale che nella comunità accademica, “diviso per l’età accademica“. Si assume tale significato come già fatto da ANVUR, Ministero e commissioni.

Poichè gli indicatori a), b), c),  per come definiti al comma 2 dell’Allegato A  devono essere  “normalizzati per età accademica“,  segue che l’età accademica debba essere considerata un parametro essenziale per il calcolo degli indici. Evidentemente, qualunque errore sul calcolo dell’età accademica si riflette sul calcolo degli indicatori normalizzati falsandoli. Una sottostima dell’età accademica fa aumentare il valore degli indicatori normalizzati, mentre una sovrastima della stessa rende il valore degli indicatori più piccolo.

2.3.4.1 problemi di calcolo dell’età accademica

L’età accademica è definita nell’Art.1 dello stesso DM 76 come   “il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore   concorsuale, tenuto conto dei periodi di congedo per maternità, di altri periodi di congedo o aspettativa,  previsti dalle leggi vigenti e diversi da quelli per motivi di studio, nonché di interruzioni dell’attività   scientifica per fondati motivi da valutare in relazione al curriculum del candidato”

Sembra infatti logico ritenere come inizio dell’attività il momento in cui il candidato ha iniziato ad occuparsi di argomenti pertinenti al settore concorsuale. In altri termini se un ricercatore nei primi anni di attività si è occupato di argomenti pertinenti ad un altro settore, ed ha poi in un secondo tempo iniziato ad occuparsi di discipline pertinenti al settore concorsuale, la sua età accademica parte nel momento in cui ha cambiato attività.

Dovendo però calcolare in pratica gli indicatori normalizzati e le loro mediane, sorge il problema della determinazione oggettiva dell’età accademica. Infatti, per come definita, l’età accademica richiede una valutazione della congruità con il settore concorsuale di quello che si ritiene essere il primo articolo pubblicato. L’avere introdotto un nuovo parametro di difficile determinazione comporta enormi problemi di calcolo per tutti gli indicatori. In pratica, senza una commissione che valuti la congruità col settore concorsuale, un calcolo automatico ed al contempo corretto degli indicatori è praticamente impossibile perchè è impossibile determinare con certezza l’età accademica.

2.3.4.2 illogicità ed incoerenza della normalizzazione

Ma anche accantonando per ora le difficoltà oggettive di calcolo, la normalizzazione degli indicatori non appare nemmeno logica e congruente con il resto della normativa. Ammesso, e non concesso, che gli indicatori possano esprimere una qualche “misurazione dell’impatto della produzione scientifica complessiva” (Art.6 comma 1), la loro divisione per un tempo (l’età accademica) ne modifica totalmente il significato, rendendoli indicatori della velocità con cui avviene la produzione scientifica e non dell’impatto complessivo. Sarebbe come voler misurare la distanza totale percorsa utilizzando la velocità (spazio diviso per il tempo impiegato): pur muovendosi ad una velocità inferiore un corridore che corre per più tempo può percorrere una distanza maggiore. Sapere che un ricercatore abbia pubblicato nei pochi anni più recenti un grande numero di articoli dà una misura della sua rapidità, ma non dà alcuna informazione sull’impatto della sua produzione complessiva. E’ abbastanza ovvio che, a parità di rapidità, un ricercatore anziano avrà accumulato nella sua carriera una mole di lavoro ben più ampia di un giovane ricercatore. E’ ragionevole pensare che, a parità di altre condizioni, l’impatto della produzione scientifica cresca negli anni. Pertanto è da aspettarsi che gli indicatori, se affidabili, debbano esprimere valori crescenti nel corso della carriera di un ricercatore. Ciò non costituisce affatto una discriminazione dei ricercatori più giovani, che naturalmente sono svantaggiati perchè la loro produzione scientifica è ovviamente inferiore: se è l’impatto della produzione complessiva che si vuole valutare come titolo, tale svantaggio non costituisce una discriminazione ma una giusta misura di una quantità inferiore dei titoli accumulati. Illogicamente, con la giustificazione di non voler penalizzare i giovani, si è introdotta una “normalizzazione” che altera totalmente la valutazione. Dividendo per l’età accademica, un giovane ricercatore ed un suo collega anziano, che abbiano nel tempo mantenuto uguali valori di tali indicatori normalizzati (cioè un’uguale velocità di produzione) sono messi alla pari, come se avessero prodotto nella loro carriera una uguale “produzione scientifica complessiva”.  Evidentemente si discriminano in maniera aberrante i ricercatori più anziani, e si introducono indicatori normalizzati che non hanno alcuna logica nel processo di misurazione.

2.3.4.3 esempi paradossali

Ad esempio, un giovane tesista che ha l’opportunità di essere inserito in un grosso gruppo di ricerca che produce un importante risultato, potrebbe vedere il proprio nome aggiunto alla lista degli autori degli articoli pubblicati dal gruppo. Consideriamo il caso, non affatto sporadico, che il risultato del lavoro venga prima presentato sotto forma di breve articolo (lettera), e poi pubblicato nei dettagli in due più corposi articoli (come prima e seconda parte). Se il lavoro riscuote un buon successo, è ipotizzabile che in un anno gli articoli ricevano almeno 16 citazioni, comprensive delle autocitazioni degli stessi autori del gruppo. Trattandosi di tre articoli, in realtà le citazioni in totale saranno 48 (ad esempio se un autore del gruppo pubblica qualcosa autociterà i tre lavori). Ebbene dopo appena un anno di carriera, in tale circostanza il giovane tesista supera tutte le mediane del settore concorsuale 02/A2 grazie alla normalizzazione: Infatti avendo pubblicato tre articoli in un anno (come se fosse tutto merito suo) gli viene assegnato un indicatore di 3 articoli/anno e l’indicatore a) normalizzato, come spiegato dall’ANVUR nelle sue note, si calcola moltiplicando per 10 tale rapporto, ottenendo un valore di 30 (come se avesse pubblicato 3 articoli l’anno per dieci anni); e tale parametro va confrontato con la mediana calcolata dall’ANVUR che per il settore 02/A2 è di 24.5 (cioè un minimo di 2.4 articoli all’anno). Stesso discorso per le citazioni normalizzate che saranno 48 all’anno e superano la mediana pari a 47.41. Infine l’h-index dell’autore sarebbe pari a 3 e normalizzato con una età accademica pari ad 1 rimarrebbe pari a 3. Presumibilmente tale valore supera anche la terza mediana, non è possibile stabilirlo con certezza poichè l’ANVUR non ha calcolato tale mediana. Basta considerare che un ricercatore che con 40 anni di età abbia un h-index pari a 40 si collocherebbe sicuramente ai vertici della categoria, e sarebbe già una rarità tra i professori di ruolo del settore 02/A2. Dividendo per 40 anni di anzianità si ottiene un valore tipico intorno ad 1. Il giovane tesista con un valore pari a 3 supererebbe abbondandemente tale limite. Gli stessi membri della commissione per il settore 02/A2 hanno valori compresi tra 0.7 ed 1.2 per l’indicatore c) normalizzato. Altro esempio è quello citato sopra, tra i rilievi specifici per l’indicatore b): in tal caso le mediane erano superate pubblicando articoli di basso valore, pieni di autocitazioni, in soli cinque anni, sempre in virtù del criterio di normalizzazione.  Oppure ancora, prendendo in considerazione l’esempio citato tra i rilievi specifici per l’indicatore c): di un ricercatore che ha pubblicato 20 articoli negli ultimi 10 anni, tutti con almeno 20 citazioni (h-index=20). Tale ricercatore avrebbe in pratica adottato la prassi di pubblicare solo risultati molto significativi, evitando di pubblicare articoli di poca importanza. Avrebbe un numero medio di 2 articoli all’anno, inferiori alla mediana per l’indicatore a) del settore 02/A2 (ne sono previsti 24.5, ovvero 2.45 all’anno); E anche per la seconda mediana, normalizzando, otteniamo 40 citazioni all’anno, insufficienti per superare il limite di 47.41. Supererebbe probabilmente la terza mediana, quella dell’indicatore c) con un h-index normalizzato pari a 2, ma poichè l’ANVUR ha modificato tale indicatore disattendendo il DM 76, in contrasto con la legge ed il regolamento che affidano al Ministro il compito di fissare tali indicatori con proprio decreto, lo sfortunato ricercatore potrebbe non superare nemmeno la terza mediana calcolata dall’ANVUR. L’impatto della sua produzione è valutata non sufficiente, a differenza di quella del tesista che con un anno di anzianità supera tutte le mediane. Anche nell’altro esempio citato tra i rilievi per l’indicatore c), quello di un ipotetico ricercatore che abbia pubblicato negli ultimi dieci anni “solo” dieci articoli fondamentali che hanno raccolto 400 citazioni ciascuno, il candidato non supererebbe le mediane degli indicatori normalizzati del settore 02/A2. Infatti avendo prodotto solo un articolo all’anno negli ultimi dieci anni (il minimo richiesto per l’indicatore è di 2.45 articoli all’anno) non supererebbe la mediana per l’indicatore a); e nonostante l’importanza del suo lavoro ed il suo impatto, documentato da ben 4000 citazioni in totale, non supererebbe nemmeno la terza mediana poichè il suo h-index, con la procedura di normalizzazione particolarmente anomala che l’ANVUR ha utilizzato per l’indicatore c) (sostituito arbitrariamente con altro indicatore denominato contemporary h-index, in contrasto con lo stesso DM 76), risulterebbe pari a 10 e quindi inferiore al valore della mediana che l’ANVUR ha calcolato essere uguale a 11. Lo sfortunato candidato non avrebbe il requisito di superare almeno due mediane, requisito necessario per l’abilitazione ai sensi del DM 76.

Tali esempi, sebbene astratti, spesso riflettono situazioni reali. Infatti è proprio la particolare normalizzazione per età accademica che rende gli indicatori dei premi Nobel Englert ed Higgs inferiori alle mediane per l’abilitazione nel settore 02/A2: consultando le banche dati usate dall’ANVUR si osserva che il Prof.Englert ha ricevuto nella sua carriera, iniziata nel 1959, circa 741 citazioni. Il numero è approssimato poichè le banche dati non contengono informazioni sugli articoli precedenti agli anni ottanta. La sua età accademica si può stimare in circa 50 anni fornendo un indicatore di 741/50 uguale a circa 15 citazioni all’anno (ben inferiori al valore mediano di 47.41 calcolato dall’ANVUR utilizzando la popolazione dei professori ordinari in Italia). Anche assumendo (come ha fatto erroneamente l’ANVUR) che l’età accademica sia fissata dal primo articolo rintracciabile nelle banche dati, e quindi risalga al 1985, l’età accademica sarebbe uguale a 27 e le citazioni all’anno salirebbero a 741/27 ovvero 27 all’anno, valore comunque inferiore alla mediana. Poichè il Prof.Englert ha pure avuto l’abitudine di pubblicare pochi articoli negli ultimi 10 anni (solo 14, una media di “solo” 1.4 articoli all’anno), l’impatto della sua produzione scientifica complessiva sarebbe valutata insufficiente per l’abilitazione nazionale. Poco importa cosa fosse scritto in tali articoli. E’ difficile non avere l’impressione che si stia giocando con i numeri a discapito delle carriere dei ricercatori.

2.3.4.4 illogicità ed incoerenza di tutti gli indicatori normalizzati

L’aberrazione nasce dalla illogicità di valutare la rapidità, anche in un breve intervallo di tempo, piuttosto che la quantità complessiva. E’ noto infatti che la rapidità con cui la produzione scientifica cresce, per il tramite di pubblicazioni, sia estremamente variabile durante la carriera di un ricercatore. Si alternano periodi di produzione più intensa, specialmente all’inizio della carriera, con periodi caratterizzati da altri impegni (didattici, direzionali) o periodi di studio e riflessione che in genere sono prodomici ad una fase successiva di maggiore creatività. La rapidità manifestata negli ultimi anni, anche nel caso risulti modesta, non può cancellare un eventuale passato di intensa produzione. In altri termini non è pensabile che la qualità della produzione scientifica, già conseguita, possa poi decrescere nel tempo a causa di una diversa rapidità  manifestata negli ultimi anni. Se anche un ricercatore diminuisce la propria rapidità, ciò non necessariamente rappresenta una diminuzione della qualità totale, e gli indicatori dovrebbero quindi essere crescenti nel tempo, al più restare costanti. Impensabile che la produzione scientifica complessiva possa decrescere come titolo, solo per una diminuzione della velocità con cui il ricercatore, magari anziano, continua a pubblicare articoli. La normalizzazione introdotta nel DM invece comporta che gli indicatori possano anche decrescere se la velocità negli ultimi anni è più bassa (come se la distanza percorsa venga valutata misurando la velocità negli ultimi metri). Un rallentamento nella produzione è invece più che fisiologico con l’aumento dell’età accademica e con il raggiungimento della maturità.

Pertanto si ribadisce che, con il criterio di normalizzazione adottato, tutti gli indicatori perdono quella pur limitata ed aleatoria capacità di misurare l’impatto della produzione scientifica complessiva che potevano avere in assenza di normalizzazione (misurano la rapidità invece della qualità complessiva). Per contro aumentano gli errori e le discriminazioni a causa del problema oggettivo di valutare la reale età accademica.

      2.4 Rilievi di carattere metodologico

 2.4.1 Errori di misura

La procedura prevista dal DM, per la misura automatica dell’ impatto della produzione scientifica, manca di fondamento scientifico, poichè ignora l’esistenza degli errori di misura. Si tratta infatti di vere e proprie misure di parametri (come pure specificato nelle definizioni iniziali all’Art.1) che darebbero una misura quantitativa della “importanza ed impatto della produzione scientifica complessiva del candidato”.

Si assume quindi che tale importanza ed impatto sia misurabile, assegnando un valore numerico ai suddetti parametri. Tale precisazione non è formale ma sostanziale in quanto il rigore metodologico delle discipline scientifiche è fondato sul concetto di misura. Si definisce infatti “grandezza fisica” qualunque grandezza che è misurabile dal confronto con una opportuna “unità di misura”  producendo un numero che rappresenta la misura della grandezza. Qualunque misura ha insito un “errore di misura”, inevitabile. Esprimere una misura senza indicare l’errore è notoriamente privo di valore scientifico.

L’errore può essere causato da fluttuazioni aleatorie nel processo di misura o da veri e propri errori materiali. E’ impensabile, da un punto di vista metodologico, che la misura di una grandezza vaga come “l’importanza ed impatto della produzione scientifica” possa essere effettuata con gli indicatori a),b),c) in modo esatto. Dunque l’ANVUR avrebbe dovuto valutare, a priori o a posteriori, una stima dell’errore di misura. Non aver valutato l’errore non autorizza l’ANVUR a ritenere che tale errore possa essere nullo.

A maggior ragione, quando si vogliano confrontare diverse misure tra loro, la stima dell’errore risulta fondamentale per valutare la “significatività” delle differenze. Ad esempio se l’altezza di diversi individui è misurata con l’errore di un centimetro, e si trova che A è alto 160.3 cm mentre B è alto 170.5 cm, si può affermare che B è più alto di A: la differenza 170.5-160.3=10.2 è significativa in quanto ben maggiore dell’errore di misura. Viceversa se A risulta alto 160.3 cm e B risulta alto 160.5 cm, non è possibile sostenere che B sia più alto di A in quanto la differenza 0.2 cm è più piccola dell’errore e quindi non è significativa.

Il procedimento di valutazione introdotto nell’allegato A comporta il confronto tra la misura della mediana della popolazione ed il rispettivo parametro del candidato. Senza una stima dell’errore di tali misure non è possibile valutare se il candidato stia significativamente sotto le mediane o se si discosta per fluttuazioni aleatorie o errori di varia natura introdotti nei processi di misura.

Ipotizzare che tali parametri abbiano dei valori esatti privi di errore,  e che qualunque differenza sia significativa, è metodologicamente sbagliato ed alquanto ingenuo.

Si pensi ad esempio che, nel caso dell’indicatore b) per il settore 02/A2 (per cui è prevista una mediana pari a 47.41 citazioni all’anno), l’applicazione letterale del DM comporta una disparità di trattamento tra il candidato che abbia ricevuto nella sua carriera “solo” 47.4 citazioni all’anno (giudicato negativamente) e quello che invece ha ricevuto “ben” 47.5 citazioni all’anno (giudicato positivamente), come se la differenza possa essere realmente considerata significativa, e come se tale parametro possa seriamente essere considerato esatto, immune da errori e fluttuazioni statistiche.

2.4.2 Rilievi del CUN

Già il CUN nel suo parere alla bozza del DM (del 19 ottobre 2011, acquisito ma non recepito dal Ministero) aveva sconsigliato l’uso di un parametro numerico rigido come la mediana. Infatti la sua stima, basata su banche dati spesso incomplete, contiene degli elementi di aleatorietà; ed ancor più grande è l’errore insito nella stima della produttività scientifica tramite parametri bibliometrici, a causa di fluttuazioni ed elementi aleatori della produzione scientifica del singolo ricercatore.

Da un punto di vista metodologico gli indici statistici sono utili per descrivere una popolazione ma non possono essere applicati a gruppi di pochi elementi o addirittura al singolo,  per l’enorme peso delle fluttuazioni statistiche (principio basilare della statistica).

Il CUN suggeriva piuttosto l’uso delle distribuzioni della popolazione per valutare la posizione del candidato. Nella proposta del CUN del 21-06-2011 (non recepita dal Ministero)  i valori minimi di qualità scientifica venivano fissati dal valore medio della distribuzione diminuito di una deviazione standard. La deviazione standard è un noto indice statistico che misura la fluttuazione del parametro nella popolazione e può essere misurato calcolando lo scarto quadratico medio nella popolazione. Se l’indicatore di un candidato si discosta dal valore medio per una differenza superiore alla deviazione standard, allora tale differenza è considerata significativa.

Tale criterio avrebbe un senso scientifico, e inevitabilmente comporterebbe livelli minimi più bassi, appunto per tener conto delle fluttuazioni. Il Ministero non ha recepito il suggerimento, ma nemmeno ha introdotto un qualche altro sistema per valutare l’errore statistico. Ha ignorato il problema rendendo la normativa priva di fondamento scientifico.

Si potrebbe obiettare che, una volta definito l’algoritmo di calcolo, i parametri calcolati dall’ANVUR siano dei numeri privi di errore. In realtà nel momento in cui si attribuisce agli stessi parametri un valore di misura della produzione scientifica, in questa attribuzione si introduce un ampio margine di errore, poichè non esiste un parametro che possa misurare la qualità scientifica con precisione assoluta. Abbiamo avuto modo di commentare i difetti degli indicatori a), b), c), e di evidenziare la presenza di notevoli errori sia casuali che sistematici.

 2.4.3 Conseguenze paradossali

Ignorando i suggerimenti del CUN il Ministero ha esautorato la comunità scientifica dal suo naturale contributo alla definizione dei livelli minimi di qualità, che invece, in accordo con il principio consolidato del giudizio tra pari, andrebbero definiti all’interno della comunità scientifica di riferimento. Paradossalmente il Ministero, invece di accogliere i suggerimenti della comunità scientifica, con il DM 76 ha sancito che il 50% dei professori ordinari attualmente in ruolo ha una qualità della produzione scientifica inferiore ai valori minimi di qualità richiesti per l’accesso allo stesso ruolo.

Infatti per definizione stessa di mediana, in ogni settore concorsuale, e per ognuno degli indicatori, il 50% dei professori ordinari ha valori inferiori alla mediana. Se a tale parametro si attribuisse un valore assoluto di qualità scientifica privo di errore, si dedurrebbe che la qualità della produzione scientifica del 50% dei professori ordinari è valutata negativamente. Il paradosso sta nel fatto che tale conclusione è stata raggiunta matematicamente senza entrare nel merito, a prescindere da quale che sia la reale produzione scientifica della categoria. E’ un risultato esatto che deriva dalle definizioni adottate. Tale conclusione è aberrante, e se presa seriamente sarebbe altamente offensiva per la comunità scientifica. In realtà dovrebbe essere vero il contrario, i livelli minimi dovrebbero essere estratti dalle distribuzioni della popolazione degli ordinari, assumendo che un numero ben superiore del 50% superi tali livelli (come proposto dal CUN), fissando ad esempio valori inferiori alla media di circa una deviazione standard (come stima dell’errore statistico). Da un punto di vista matematico, porre il valore minimo pari al valore medio diminuito di una deviazione standard (come proposto dal CUN nel documento del 21-06-2011), equivale ad assumere che solo una limitata frazione degli ordinari (intorno al 10-20%) non superi i livelli minimi di qualità, assunzione che appare statisticamente molto più accettabile come definizione di  “livelli minimi”.

2.4.4 Disparità di trattamento casuali dovute a fluttuazioni statistiche

E’ evidente che i “livelli minimi”, fissati dal DM uguali alle mediane, siano dei valori esageratamente alti, così alti da non essere superati da metà degli stessi professori ordinari.

Si profila qui una ulteriore motivazione di discriminazione tra il 50% dei professori ordinari in servizio che non superano tali valori, ma permangono nel ruolo dei professori ordinari, e i candidati all’abilitazione che non superando gli stessi valori sono esclusi dalla procedura di abilitazione allo stesso ruolo.

Valori così alti sono inoltre associati ad un criterio rigido, che non ammette tolleranza, anche in presenza di differenze poco significative, ignorando che esistano degli errori statistici nella valutazione di qualità definita dagli indicatori a), b), c). L’associazione di livelli minimi arbitrariamente alti, con un criterio rigido privo di tolleranza, e con l’uso degli  indicatori a),b),c) che invece, come rilevato, sono affetti da grandi errori sia statistici che sistematici,  ed hanno poca attinenza con la reale misura della qualità della produzione scientifica complessiva, rende la procedura simile ad una estrazione a sorte, in cui il giudizio positivo o negativo (vincolante) introdotto dalla lettera a), comma 4, Art.4 del DM risulta basato su di una procedura automatica del tutto casuale. Le casuali fluttuazioni degli indicatori, dipendenti da elementi estranei alla qualità, determinano l’esito della procedura, con grave ed arbitraria discriminazione casuale dei candidati.

Poichè in assenza di informazioni dirette e analitiche sulla qualità dei docenti,  è presumibile che scostamenti inferiori a una deviazione standard dal valore medio non siano significativi della qualità, ma siano semplici fluttuazioni statistiche, la procedura di valutazione automatica basata sul rigido confronto degli indicatori a),b),c) con le rispettive mediane è metodologicamente errata da un punto di vista scientifico. Sono stati ampiamente discussi numerosi esempi, sia astratti che concreti, di arbitrarie discriminazioni che tale procedura automatica introduce nel processo di valutazione.

In una procedura di misurazione “scientifica”, l’esistenza anche di un solo “contro-esempio” che dimostri l’inattendibilità del processo di misura, è sufficiente per ritenere errata ed inaffidabile l’intera procedura. Poco importa che la procedura abbia un senso statistico, o che mediamente possa funzionare, quando la procedura è applicata ad un caso singolo. Non è possibile affidare alla sorte il buon esito della valutazione, ammettendo che in un limitato numero di casi la procedura possa fallire.

2.5  Rilievi sull’operato dell’ ANVUR in applicazione del DM

In applicazione del comma 4 dell’allegato A al DM 76, l’agenzia ANVUR ha provveduto al calcolo degli indicatori a),b),c) dei candidati e delle rispettive mediane per la popolazione dei professori ordinari dello stesso settore concorsuale. L’ANVUR ha introdotto diversi  errori sia volontari che involontari   nel calcolo degli indicatori e in quello delle mediane.

2.5.1 Mancanza di Trasparenza

I seguenti rilievi sono in parte supposizioni basate sulle informazioni disponibili. L’ANVUR ha omesso di pubblicare i dati utilizzati per effettuare i suoi calcoli, e non ha pubblicato nemmeno le distribuzioni contravvenendo ad un preciso obbligo previsto dal comma 4 dell’allegato A al DM 76. Sono stati resi noti solo i valori numerici finali di mediane ed indicatori dei candidati. La mancanza di trasparenza, in presenza di una complessa procedura di calcolo degli indicatori, apre un’altra falla nella procedura di abilitazione, essendo materialmente impossibile verificare che non ci siano stati errori nel calcolo di mediane ed indicatori. Pertanto è opportuno che sia chiesto all’ANVUR di rendere noti i dati utilizzati, anche al fine di poter provare la fondatezza di alcuni dei rilievi successivi, e per poter controllare l’assenza di errori materiali. In particolare l’ANVUR dovrebbe produrre l’elenco completo dei professori ordinari di ruolo dei vari settori, l’elenco dei professori utilizzato per il calcolo delle mediane (se difforme), i valori degli indicatori e dell’età accademica dei singoli professori, ed i dati utilizzati per calcolare tali indicatori.

2.5.2 Errore di calcolo dell’età Accademica

Per calcolare la mediana degli indicatori normalizzati l’ANVUR ha dovuto necessariamente calcolare l’età accademica di tutti i professori odinari di ruolo, ovvero del “periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale” come previsto all’Art.1 del DM 76. Per automatizzare la procedura l’ANVUR ha ri-definito l’età accademica nel seguente modo (dalle FAQ del sito ANVUR): “L’età accademica è rilevata dalla data della prima pubblicazione scientifica   pertinente al settore concorsuale rilevabile dal sito docente e/o dalle banche dati utilizzate. Nel caso sia possibile rilevare divergenze tra sito docente e banche dati,   verrà utilizzata la data della prima pubblicazione in ordine di tempo.”

Si noti l’inserimento della parola “rilevabile” che rende la procedura approssimativa ed aleatoria. Per molti docenti anziani le banche dati non contengono informazioni sulle pubblicazioni più vecchie (gli articoli piu vecchi riportati risalgono solo agli anni ottanta), mentre il “sito docente” non è una banca dati ufficiale e contiene solo dati inseriti volontariamente dai docenti, quindi non attendibili. In tali casi l’età accademica rilevata automaticamente è necessariamente inferiore a quella reale, e parte solo dalla prima pubblicazione rintracciabile. Si presume dunque (salvo smentita dell’ANVUR avvalorata dalla pubblicazione dei dati utilizzati) che a molti professori ordinari sia stata attribuita un’età accademica molto inferiore a quella reale. Poichè molti dei professori ordinari sono anziani, è evidente che l’età accademica sia stata per essi sistematicamente sottostimata. I loro valori degli indicatori normalizzati risultano dunque sovrastimati, gonfiati in eccesso dividendo per una età accademica inferiore a quella reale.

L’effetto maggiore di tale errore, volontario o involontario che sia, si ripercuote sulla misura della mediana dell’indicatore b), ovvero il numero di citazioni diviso per l’età accademica, aumentando di molto il valore della mediana calcolata dall’ANVUR. In conclusione l’indicatore b) non è utilizzabile perchè la mediana è calcolata con una base di dati errati (l’età accademica dei professori ordinari).

[Nota: a rigore si tratta di un errore solo formale. Nella sostanza si potrebbe obiettare che anche le citazioni presenti nelle banche dati non comprendono quelle relative ai lavori più vecchi, e che quindi i due errori si possano compensare. In realtà è difficile prevedere l’effetto di tale compensazione. Di fatto, formalmente il DM prevede la normalizzazione per età accademica del numero di citazioni presenti nelle banche dati, quindi interpretando alla lettera la norma, il numero delle citazioni, anche se incompleto (come tutti gli altri dati), va diviso per l’età accademica reale. L’incompletezza dei dati è al massimo un motivo ulteriore che rende aleatoria l’intera procedura, non potendosi giustificare un errore con un altro errore aleatorio dovuto alla presumibile incompletezza dei dati utilizzati. In sostanza il DM, per come è scritto, è inapplicabile senza introdurre errori.]

2.5.3 Errori sulla lista dei professori ordinari

E’ preoccupante quanto pubblicato dal Consiglio Direttivo ANVUR nella sua nota “Sul calcolo delle mediane per l’abilitazione nazionale” del 14-09-2012. Alla fine del secondo paragrafo, a proposito di alcune incongruenze che erano state sollevate, si legge: “Gli altri casi sono dovuti all’eliminazione dal calcolo della mediana di quei docenti che non hanno inserito alcuna informazione sul sito docente. La scelta, avendo anche verificato che si trattava di casi sporadici non concentrati, è stata fatta per evitare che un tale comportamento, se intenzionale, potesse alterare i valori”. Tale affermazione lascia intendere che, gli eventuali docenti poco produttivi, che non abbiano inserito dati nel “sito docente”, siano stati esclusi dal calcolo delle mediane. E’ ovvio che escludere docenti con bassa produzione scientifica equivale a falsare e rendere artificiosamente più alte le mediane. Tale procedura, se fosse realmente stata adottata, invaliderebbe il calcolo delle mediane (occorre consultare la base dei dati utilizzata dall’ANVUR per poter scongiurare tale eventualità).

2.5.4 Errori sull’utilizzo delle banche dati

L’ANVUR ha stabilito di utilizzare come banche dati due banche dati private, SCOPUS e WEB of SCIENCE, entrambe incomplete e non investite da alcuna ufficialità. Per il calcolo delle mediane, ha pure utilizzato le informazioni contenute nel “sito docente”, che non è una banca dati, ma un sito web del Ministero che contiene le informazioni che volontariamente, in maniera frammentaria e incompleta, i singoli docenti hanno voluto inserire. Le banche dati Scopus e Web of Science non contengono articoli precedenti agli anni ottanta e contengono differenze, tra di loro, che sono già un indice della aleatorietà delle informazioni che possono fornire. Dunque il calcolo delle mediane è soggetto ad errori difficilmente valutabili. Specialmente in assenza di una precisa conoscenza dei dati realmente utilizzati.

2.5.5 Sostituzione arbitraria del terzo indicatore

In aperta violazione del DM 76, l’ANVUR ha stabilito di sostituire arbitrariamente l’indicatore c), con altro indicatore che, sia formalmente che sostanzialmente, misura proprietà diverse della produzione scientifica rispetto a quanto originariamente previsto dal DM. Tale sostituzione appare peggiorativa del grado di validità dello stesso indicatore. L’ANVUR non ha calcolato la mediana dell’indicatore c), come previsto dal DM, ma ha fornito alle commissioni solo la mediana dell’indicatore modificato. Pertanto le commissioni non sono state messe nelle condizioni di rispettare il DM 76. Nell’allegato A al DM 76, l’indicatore c) è definito:  “indice h di Hirsch normalizzato per l’età accademica“. Tale definizione è molto stringente dato che è ampiamente definito in letteratura l’indice di Hirsch, ed ampiamente accettato , anche dall’ANVUR, che “normalizzato per l’età accademica” significhi “diviso per l’età accademica”. Inoltre sia l’indice di Hirsch che l’età accademica sono esplicitamente definiti in maniera inequivocabile all’inizio del DM all’art.1, comma 1, lettera q) ed r). L’ANVUR ha sostituito l’indicatore c) con il “contemporary h index” che è cosa ben diversa. Si tratta di un indice che richiede un calcolo più complicato (in nome della trasparenza) in cui, invece di normalizzare l’indice di Hirsch, si normalizzano le citazioni di ogni articolo dividendole per un arbitrario parametro definito come un quarto dell’età dell’articolo e si calcola poi un nuovo indice che è uguale ad N se almeno N articoli hanno un numero di citazioni normalizzate superiore ad N. L’indice risultante non viene poi ulteriormente normalizzato.

Già la complessità della procedura comporta una totale mancanza di trasparenza, essendo praticamente impossibile per il candidato poter controllare il risultato di tale procedura per tutte le pubblicazioni dei professori ordinari utilizzate nel calcolo della mediana. Ma anche volendo credere per fede che l’ANVUR non abbia commesso errori materiali, sembra del tutto illogica e contraria al DM la scelta di utilizzare l’età del singolo articolo invece dell’età accademica, e di normalizzare le citazioni invece dell’indice h, utilizzando arbitrariamente come parametro di normalizzazione un quarto dell’età dell’articolo.

E’ evidente che da un punto di vista formale, la definizione dell’indicatore c) risulta totalmente ed arbitrariamente modificata ed in contrasto con il DM. Ma la differenza è sostanziale, in quanto il nuovo indicatore modificato misura in realtà aspetti bibliografici assai diversi. Esalta arbitrariamente il peso degli articoli più recenti, amplificandone le citazioni,  e riduce molto il peso degli articoli più vecchi, diminuendone  il valore delle citazioni (non a caso si chiama indice h contemporaneo). Tale distorsione è anche illogica, in quanto l’impatto di un vecchio articolo, che a distanza di molti anni viene ancora citato, è certamente superiore rispetto a quello di un articolo recente, che magari dopo qualche anno verrà dimenticato. Molte mode passeggere sono poi sparite rapidamente dopo qualche anno dimostrandosi effimere. Non a caso importanti riconoscimenti alla carriera, come il premio Nobel, non vengono mai assegnati per scoperte recenti, ma solo dopo aver preso atto negli anni dell’importanza delle ricerche. Ebbene il “contemporary h index” adottato dall’ANVUR assegna un peso 20 volte inferiore alle citazioni, anche attuali, di un articolo che ha 20 anni, rispetto alle citazioni, possibilmente autocitazioni, di un articolo appena pubblicato. Tale procedura altera completamente il significato dell’indicatore c).

Le giustificazioni dell’ANVUR a difesa della scelta effettuata, sono in realtà una ulteriore prova della illogicità della scelta e della sua incoerenza con il DM, la legge ed il regolamento. Nella nota “Abilitazione scientifica nazionale – la normalizzazione degli indicatori per l’età accademica“, il Consiglio Direttivo dell’ANVUR spiega che “la scelta di utilizzare il contemporary h index è stata dettata” da considerazioni quali la circostanza che esso “include una normalizzazione per  età accademica del singolo articolo, e quindi è pienamente compatibile con il dettato del regolamento“, che  tale indice “cattura il concetto di ricercatore attivo, assegnando un peso prevalente alle pubblicazioni più recenti” e che  “il valore medio non dipende in pratica dall’età accademica“. Preliminarmente, l’ANVUR ammette di avere operato una scelta, attribuendosi di fatto una competenza che la legge assegnava al Ministro (Art.16 comma 3 della L.240/2010 e Art.4 comma1 del DPR 222/2011), scelta già operata dal Ministro nel DM 76, e poi disattesa dall’ANVUR. Ma poi la motivazione parla impropriamente di “età accademica del singolo articolo” che non ha senso: l’età del singolo articolo non ha niente a che vedere con l’età accademica come definita nel DM. Non si capisce come ciò possa essere “compatibile” con il regolamento. E apertamente si ammette di aver voluto privilegiare il “ricercatore attivo” dando maggior peso alle pubblicazioni recenti. Anche questa affermazione traduce una scelta politica e non tecnica, tra l’altro in disaccordo sia col DM, che richiede una valutazione “dell’impatto della produzione scientifica complessiva“, che di legge e regolamento che non contengono alcun esplicito riferimento a particolari limiti temporali.

Dunque la scelta dell’ANVUR di privilegiare le pubblicazioni più recenti rappresenta un abuso e non soddisfa ad alcuna esigenza tecnica. Anche nel “Documento di accompagnamento: mediane dei settori bibliometrici”  l’ANVUR giustifica la scelta con argomenti tecnici, affermando che  “si è deciso di utilizzare come indice h normalizzato l’indice h contemporaneo,  che mostra una invarianza rispetto all’età accademica in un ampio intervallo di variabilità della stessa“. Tali argomentazioni non giustificano la scelta operata dall’ANVUR di sostituirsi all’organo politico (il Ministero) cui competeva la definizione degli indicatori, e comunque non hanno nemmeno senso da un punto di vista tecnico. Infatti è noto che l’indice di Hirsch originale cresce naturalmente al crescere dell’età accademica, e che quindi la sua normalizzazione per età accademica, effettuata dividendo l’indice per l’età accademica renderebbe l’indicatore, in media, poco dipendente dall’età del ricercatore. Tale risultato, per quanto illogico (come ampiamente discusso al 2.3.4, tutte le normalizzazioni adottate appaiono illogiche), si sarebbe ottenuto semplicemente applicando letteralmente il DM. Con l’enorme vantaggio in trasparenza che deriva dall’uso di un indice, quello di Hirsch, che è riportato direttamente per ogni autore nelle banche dati. Sorprende anche che l’ANVUR abbia voluto enfatizzare, come giustificazione, la proprietà dell’indice h contemporaneo di mantenersi in media costante indipendentemente dall’età accademica del ricercatore “in modo da rendere confrontabili tra loro studiosi di età accademica diversa“ (sempre nel citato Documento di accompagnamento).

La distorsione introdotta dall’ANVUR sembra dunque volontaria e motivata da una volontà politica dell’agenzia di non svantaggiare studiosi più giovani rispetto a quelli più anziani. Tuttavia la pretesa di mettere sullo stesso piano studiosi di età accademica diversa, in una procedura mirata a valutare la maturità scientifica per l’accesso al ruolo dei professori ordinari, risulta al contrario discriminante nei confronti dei ricercatori più anziani. La circostanza enfatizzata, che l’indice normalizzato si dimostri in media costante al variare dell’età accademica è sicuramente discriminante in quanto è ovvio che in media l’impatto della produzione scientifica complessiva debba necessariamente essere più grande per i  ricercatori più anziani.  Qualunque criterio di valutazione che metta tutti sullo stesso piano deve necessariamente sottostimare la produzione scientifica dei più anziani a vantaggio dei più giovani. Aver ideato un tale criterio risponde dunque ad un preciso disegno discriminatorio messo in atto dall’ANVUR in contrasto con la legge ed il regolamento. Va ribadito infatti che la legge ed il regolamento non contengono alcun riferimento all’arco temporale in cui i titoli da valutare siano maturati, come logico aspettarsi in una procedura di valutazione dell’intera carriera del candidato. Con tale intervento decisionale dunque l’ANVUR trascende da quelli che erano i suoi compiti tecnici rendendosi invece attore di un ruolo di indirizzo che la legge assegna solo al Ministero e pur sempre nei limiti della legge. [Nota: l’unico riferimento ad un arco temporale ristretto (5 anni) compare nell’Art.4 comma 3 lettera a) del DM, ma con riferimento ai criteri che la commissione deve utilizzare per valutare le pubblicazioni presentate nel suo giudizio analitico. Tale riferimento, come discusso al punto 1.2, è comunque in contrasto con la legge ed il regolamento]

3. Lavori delle Commissioni

Con il D.D. n.222 del 20.7.2012 (G.U. n.58 del 27.7.2012) è stata bandita la prima procedura per il conseguimento dell’abilitazione nazionale alle funzioni di professore universitario. Le commissioni giudicatrici sono state chiamate a definire nella seduta preliminare i criteri di valutazione. Tali criteri, se aderenti alle disposizioni del DM 76,  risultano generalmente incoerenti ed in contrasto con la legge ed il regolamento nella misura in cui lo era già il  DM 76.

In effetti il DM prevede all’Art.6 comma 5 che la commissione possa discostarsi dai principi fissati nello stesso DM, e che possa quindi derogare all’obbligo di sottostare al giudizio automatico dell’ANVUR, purchè tale difformità venga fissata e motivata preventivamente, insieme con i criteri di valutazione definiti nella prima riunione. Tale deroga ha lasciato libere le commissioni di interpretare in maniera più o meno rigida i criteri del DM.

 3.1 Circolare Ministeriale 11.01.2013

In considerazione delle palesi incoerenze che nascevano da una applicazione rigida dei criteri contenuti nel DM, e delle numerose critiche avanzate dalla comunità scientifica, è intervenuto preventivamente il Ministro con una circolare (11.01.2013), per indirizzare il lavoro delle commissioni ancora impegnate nella definizione dei criteri di valutazione. Nella circolare si suggerisce che, nel caso in cui un candidato giudicato “estremamente positivo” dalla commissione non superi i valori minimi degli indicatori calcolati dall’ ANVUR (le mediane),  la commissione possa attribuirgli ugualmente l’abilitazione. Letteralmente il Ministro afferma che la commissione possa “attribuire l’abilitazione a candidati che, pur non avendo superato le mediane prescritte, siano valutati dalla commissione con un giudizio di merito estremamente positivo“.

Ciò appare come una contraddizione in termini. Delle due una: o gli indicatori hanno un valore quantitativo nel misurare la qualità della produzione scientifica,  e allora non è possibile che un candidato che non supera le mediane riceva un giudizio di merito estremamente positivo; oppure, se si ammette che sia possibile che un candidato eccellente abbia indicatori inferiori alle mediane, allora vuol dire che gli indicatori utilizzati non hanno nessun valore deterministico e sono soggetti ad ampi errori. L’affermazione del Ministro equivale dunque ad una ammissione della fallacità ed inadeguatezza degli indicatori calcolati dall’ ANVUR per valutare la qualità.

Tuttavia, la soluzione prospettata, di attribuire l’abilitazione nei casi più eclatanti, in cui si sia resa evidente l’inadeguatezza degli indicatori e del giudizio automatico, per quanto utile ad evitare di gettare un troppo evidente discredito sulla procedura, non risolve affatto il problema. Infatti, se gli indicatori calcolati dall’ANVUR sono così inattendibili ed aleatori da ritenere che anche un candidato eccellente possa esservi discriminato, a maggior ragione è plausibile che molti candidati, magari non eccellenti ma comunque giudicati dalla commissione positivamente e sufficientemente maturi da meritare l’abilitazione, siano discriminati nel caso in cui i loro indicatori siano casualmente inferiori alle mediane. Fatta eccezione per le “eccellenze”, i candidati  “normali”  verrebbero giudicati in maniera casuale, con indicatori inadeguati. La procedura, per tali candidati assume l’aspetto di una estrazione a sorte, ma trattandosi di candidati”normali”, la loro eventuale bocciatura non fa scalpore. E’ evidente che le critiche avanzate dalla comunità scientifica nei confronti della procedura fossero fondate se il Ministro ha sentito la necessità di ammettere, pubblicamente nella circolare, che gli indicatori di qualità calcolati dall’ ANVUR possano fornire giudizi errati.  E che tale possibilità è affidata al caso. Il Ministro avrebbe dovuto modificare il DM e prendere atto che è inammissibile, e contrario sia alla legge che ad ogni buon senso, che un giudizio automatico vincolante imposto alla commissione sia basato sul calcolo di indicatori in gran parte casuali. E che di pura casualità si tratti è evidente se si entra nel merito della definizione degli indicatori, come ampiamente discusso nella sezione 2  e già allora documentato dalla comunità scientifica e dal CUN.

3.2 Criteri di valutazione ed incoerenza dei giudizi collegiali

Molte commissioni, hanno recepito alla lettera il contenuto del DM 76 e della circolare ministeriale 11.01.2013, ed hanno deciso pertanto di adottare una doppia procedura di giudizio:  Un “primo” giudizio è formulato dai commissari in base ad una valutazione analitica dei titoli e delle pubblicazioni, rispettando criteri e parametri del DM 76 (ad esclusione della lettera a, comma 4 Art.4 che compete all’ANVUR).  Un “secondo” giudizio è espresso sulla base del superamento dei parametri bibliometrici minimi fissati dall’ANVUR, le cosiddette “mediane”, e consiste nella mera constatazione del superamento o meno di almeno due delle tre mediane come previsto dall’allegato A  del  DM 76, sulla base dei risultati numerici forniti direttamente alla commissione dall’ANVUR (in pratica questo secondo giudizio è formulato dall’ANVUR con procedura numerica automatica, la commissione ne prende solo atto).

La commissione formula poi un giudizio complessivo che dovrebbe essere coerente con i giudizi individuali, ma in caso di giudizio positivo attribuisce di norma l’abilitazione solo ai candidati che abbiano anche superato il “secondo” giudizio basato sugli indicatori bibliometrici calcolati dall’ANVUR (superino almeno due delle mediane).

Ciò determina spesso e inevitabilmente la stesura di giudizi collegiali incoerenti che, anche in presenza di valutazioni individuali positive, definiscono il candidato “non maturo” per l’abilitazione se non risulta superato il “secondo” giudizio basato sugli indicatori bibliometrici calcolati dall’ANVUR.

In realtà, in caso di contrasto tra i due giudizi (basati sugli stessi titoli), uno dei due deve necessariamente essere errato, quindi delle due una: o sono inattendibili gli indicatori bibliometrici dell’ANVUR, oppure si assume che i commissari abbiano sbagliato nel merito, nella loro libera espressione del giudizio basato sull’esame analitico dei titoli.

Si tratterebbe di un importante precedente in una giurisprudenza che costantemente si è espressa sulla insindacabilità del giudizio di merito della commissione; giudizio di merito che verrebbe ribaltato da un calcolo numerico dell’agenzia ministeriale ANVUR che non ha le competenze scientifiche per valutare analiticamente i titoli del candidato.

Tale contraddizione non è presente nella legge e nel regolamento, ma compare solo nel DM 76. La legge ed il regolamento prevedono che sia la commissione ad esprimere un unico giudizio sulla base dei criteri fissati dal DM. Il regolamento (Art.8 comma 4) prevede che la commissione debba fondare il proprio giudizio “sulla valutazione analitica dei titoli e delle pubblicazioni“. Lo stesso Art.8 prevede al comma 5 che la commissione deliberi a maggioranza dei quattro quinti. Dunque il “primo” giudizio formulato dai commissari in base alla valutazione analitica dei titoli e delle pubblicazioni presentate (e nel rispetto dei criteri dettati dallo stesso DM 76) appare coerente con il dettato del regolamento. Del tutto spurio appare il “secondo” giudizio, che non essendo basato su una valutazione analitica della commissione, ma su un risultato numerico dell’agenzia ministeriale ANVUR, prescinde dal contenuto delle pubblicazioni che solo i commissari possono valutare analiticamente. E comporta la valutazione anche di pubblicazioni non presentate (ben oltre il numero massimo di pubblicazioni ammesse dallo stesso  DM 76, a pena  esclusione) e quindi non valutabili.

3.3 Una possibile via di uscita per le commissioni

Si è abbondantemente discusso della scarsa attendibilità degli indicatori bibliometrici come misura quantitativa dell’impatto della produzione scientifica complessiva 2. Tale misura, richiesta dal DM 76, è effettuata con gli indicatori definiti nell’allegato A al DM che, nella migliore delle ipotesi, forniscono solo una stima approssimativa. Ciò significa che solo in media, da un punto di vista squisitamente statistico, ci si aspetta un accordo tra il giudizio espresso dalla commissione , nel merito, analizzando titoli e pubblicazioni, ed il giudizio automatico ottenuto con gli indicatori bibliometrici. Tale accordo, almeno in media,  è una premessa necessaria per la coerenza della procedura valutativa. Tuttavia, il carattere aleatorio degli indicatori bibliometrici, come generalmente accettato in letteratura e confermato a livello internazionale dalle più importanti società scientifiche [Vedi Note (1), (2), (3) e il parere del CUN al (2.1)], comporta larghi margini di errore, tali da ritenere sempre più attendibile il giudizio della commissione in caso di discrepanza. Dunque, anche utilizzando indicatori bibliometrici appropriati e ben congegnati, è da un punto di vista statistico quasi inevitabile che su un campione di diverse centinaia di candidati emergano limitati casi di falsi positivi e falsi negativi.

Per quanto limitati in numero, questi inevitabili errori, presi singolarmente sono inaccettabili in quanto discriminazioni di un numero, seppur limitato, di candidati, e per ragioni puramente casuali legate alle fluttuazioni statistiche. Poichè il controllo di elezione è e deve sempre essere il giudizio della commissione, espresso nel merito e analiticamente, è evidente che senza la presenza di un meccanismo di controllo, la selezione basata solo sugli indicatori bibliometrici sia fortemente discriminatoria. Nel caso di “falsi positivi”, il problema è risolto dalla presenza di un doppio giudizio: l’eventuale giudizio negativo espresso nel merito dalla commissione impedisce l’attribuzione dell’abilitazione. Il problema però rimane insoluto nel ristretto caso dei “falsi negativi”: candidati che pur giudicati positivamente dalla commissione non verrebbero abilitati per l’esito negativo del secondo giudizio basato sugli indicatori.

Nel ristretto caso dei “falsi negativi”, la commissione si troverebbe nella difficile situazione di dover optare tra la violazione di leggi superiori o la violazione delle norme contenute nel DM. Infatti, come abbondantemente discusso al punto 1.3.3, la L.240/2010 all’Art.16 comma 3 lettera a) prevede che l’abilitazione sia attribuita con “motivato giudizio fondato sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche”  ed “espresso sulla base di criteri e parametri”  che sono  “definiti con decreto del Ministro”.  L’azione del Ministro si esaurisce dunque con la definizione dei criteri e dei parametri, ma non può sostituirsi al giudizio della commissione. Analogamente il DPR 222/2011 (regolamento) all’Art.4 comma 1 precisa che i criteri e parametri sono definiti  “ai fini della valutazione”  della commissione e quindi non possono sostituirsi ad essa. Valutazione che lo stesso regolamento, all’Art.8 comma 4, precisa debba essere alla base del giudizio “fondato sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche presentati da ciascun candidato” ed espresso sulla base dei criteri e dei parametri definiti con decreto del  Ministro. Il giudizio deve rimanere quindi unico, e fondato su una valutazione analitica dei titoli e delle pubblicazioni presentate dal candidato.  Valutazione analitica che presuppone almeno la lettura delle pubblicazioni da parte della commissione.

Pertanto, i giudizi individuali espressi dai membri della commissione, se positivi e con la maggioranza dei quattro quinti, non possono che determinare un giudizio collegiale positivo ai sensi della legge e del regolamento. Ma nel caso dei “falsi negativi” un tale giudizio positivo sarebbe in contrasto con il disposto del DM 76 che prevede un esito comunque negativo nel caso in cui il secondo giudizio automatico è negativo (Art.6 comma 1 lettera b). Viceversa volendo rispettare il dettato del DM, negando l’abilitazione a candidati che hanno ricevuto, nel merito,  un giudizio analitico  positivo da parte dei quattro quinti della commissione, si violerebbe la legge ed il regolamento, andando a formulare un giudizio collegiale totalmente incoerente con i giudizi individuali.

Pur trattandosi di un numero limitato di casi, i “falsi negativi”, la commissione dovrebbe affrontare il problema  preliminarmente, nella stesura dei criteri di valutazione, per evitare di dover poi contraddire sé stessa. In molti casi, con i criteri di valutazione adottati, la commissione è invece costretta ad emettere un giudizio collegiale totalmente illogico ed incoerente, e ad operare una palese disparità di trattamento dei candidati a parità di giudizio.

Volendo mantenere l’impianto del DM 76 inalterato, le commissioni disporrebbero di un’unica scappatoia per rispettare sia il DM che la legge. Infatti il DM prevede al comma 5 dell’Art.6 che  “qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione  preventivamente, con le modalità di cui all’articolo 3, comma 3 (tra i criteri di valutazione n.d.r.),  e nel giudizio finale“.

Tale comma sembra appunto prevedere la possibilità di un dissenso tra il giudizio della commissione ed i criteri rigidi basati sugli indicatori. E’ evidente che tale comma sia rilevante quasi esclusivamente nel caso dei “falsi negativi”.

Per non violare la legge, per non creare discriminazioni casuali, per evitare di emettere giudizi collegiali incoerenti, la commissione ha il semplice dovere di non contraddire sè stessa e ritenere il proprio giudizio superiore rispetto a quello ricavato dagli indicatori bibliometrici.

L’unica via per rispettare sia il DM che la legge appare dunque l’inserimento preventivo tra i criteri di valutazione di una clausola interpretativa del DM che sostenga, in caso di contraddizione tra i due giudizi, la superiorità del giudizio della commissione, ai sensi del citato comma 5 dell’Art.6. Con l’ovvia motivazione di ritenere che il giudizio basato sull’uso di indicatori bibliometrici possa in alcuni casi dare risultati errati, come generalmente ritenuto a livello internazionale da tutte le più importanti società scientifiche [2 e Note (1), (2) e (3)].

Tra l’altro, la “motivazione” richiesta dal DM, nei casi in oggetto dei “falsi negativi” è ovvia: in caso di contrasto tra il giudizio della commissione e quello degli indicatori, la commissione, a meno di contraddire sé stessa, deve necessariamente ritenere che gli indicatori, nel caso specifico, forniscano un risultato errato. La motivazione dunque deriverebbe non tanto da un diritto della commissione, ma da un preciso dovere imposto dalla legge, che assegna alla commissione il giudizio nel merito.

Il lettore attento noterà che alla fine, la conclusione ovvia è che, per non incorrere in discriminazioni arbitrarie e garantire il rispetto della legge, la commissione debba sostanzialmente basarsi sempre e solo sul proprio giudizio, e che gli indicatori bibliometrici possano solo assolvere ad una funzione di ausilio, come largamente riconosciuto in tutte le sedi internazionali.

_____________

Note

(1 ) Code of Practice, European Mathematical Society, ottobre 2012  1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people. 2. It is irresponsible for institutions or committees assessing individuals for possible promotion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.

(2) On the use of bibliometric indices during assessment, European Physical Society, 11 giugno 2012.  The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.

(3) Du Bon Usage de la Bibliometrie pour l’ Evaluation Individuelle des Chercheurs, Institut de France,      Académie des Sciences, 17 gennaio 2011.  Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.