Perché età accademica e multimodalità
minacciano la tenuta delle abilitazioni scientifiche

Chi meglio di Jorge Luis Borges avrebbe saputo raccontare l’oscuro fascino delle mediane dell’ANVUR? I database bibliometrici che inseguono la ragnatela delle citazioni evocano la “Biblioteca di Babele”. Le mediane, numeri capaci di cambiare la carriera e il futuro dei ricercatori, sono chiaramente ispirate alla “Lotteria a Babilonia”. E tra l’altro, Borges non disdegnava nemmeno i racconti di ambientazione accademica (“La Subornazione”). Secondo un mio collega francese, c’è anche un altro racconto illuminante, intitolato “Tema del traditore e dell’eroe”. Ma è meglio non divagare. Atteniamoci agli aspetti tecnici. Lo scopo di questo articolo è spiegare perché le nozioni di età accademica e multimodalità sono particolarmente critiche per la tenuta delle abilitazioni scientifiche a fronte di eventuali ricorsi.

Il principio del domino

Se vi trovate a progettare le regole che dovranno governare un sistema complesso, non potete ignorare il “principio del domino”. Più aumenta la complessità di un sistema meno affidamento si può fare sul corretto funzionamento di tutte le componenti. Qualcosa andrà sicuramente storto e sarà necessario prevedere dei rimedi nei confronti degli imprevisti. Ma si può rimediare solo su scala limitata. La situazione peggiore è quando un guasto si propaga a catena provocando il collasso globale. L’immagine è quella delle tessere del domino in posizione verticale, allineate una dietro l’altra. Se cade la prima tessera, le altre la seguiranno inesorabilmente prima che sia possibile arrestare la reazione a catena. Per avere un sistema robusto le interazioni tra le diverse parti devono essere ridotte all’indispensabile. Il peggior sistema di regole è quello che crolla al primo soffio come un castello di carte, perché ogni carta trascina con sé quelle vicine.

Le regole bibliometriche per le abilitazioni scientifiche nazionali sono state criticate da molti punti di vista, ma nessuno ha evidenziato adeguatamente l’effetto domino che può essere innescato da due regole chiave del regolamento: la normalizzazione per l’età accademica e la multimodalità.

Età accademica: finzioni

Mentre per i commissari non si applicano normalizzazioni, per i candidati gli indicatori sono normalizzati in funzione dell’età accademica, come precisato nell’art. 17 della Delibera ANVUR n. 50 del 21/06/2012:

Ai fini della procedura di abilitazione, la normalizzazione per età accademica degli indicatori avviene dividendo il valore di ogni indicatore per l’età accademica, rilevabile dalla data della prima pubblicazione scientifica pertinente al settore concorsuale.

Lasciando da parte la controversa normalizzazione dell’h-index (Abilitazioni e mediane ANVUR: dipaniamo il caos strisciante), consideriamo la normalizzazione del numero di articoli pubblicati negli ultimi 10 anni e del numero citazioni ricevute nel corso della carriera.
Si vede subito che l’età accademica è problematica perché non è facile da controllare ed esiste un forte incentivo alla sua manipolazione. Infatti, ad un ricercatore la cui vera età accademica è pari a 10 anni, ma che ha pubblicato soprattutto negli ultimi 5 anni, converrebbe “nascondere” i lavori più vecchi di 5 anni. Infatti, se la sua età accademica fosse pari a 5, applicando la normalizzazione si troverebbe a moltiplicare il numero dei suoi articoli e delle sue citazioni degli ultimi 5 anni per 10/5 =2, ovvero li raddoppierebbe.

La situazione è resa più critica dalla relativa facilità con cui l’età accademica è manipolabile. Se un ricercatore “nasconde” le sue pubblicazioni meno recenti, per esempio non riportandole nel suo sito docente, l’unico modo per smascherarlo è una ricerca sui database citazionali, non facilmente realizzabile in modo automatico per tutti i candidati a causa di errori, omissioni e omonimie nei database stessi. Tra le FAQ dell’ANVUR era apparsa una nota, prontamente scomparsa (Mamma, mi sono perso la FAQ sulla manipolazione dell’età accademica!), che precisava che l’età accademica sarebbe stata calcolata solo in base ai prodotti di ricerca presentati dal candidato e non in base a quelli presenti nel sito docente:

Poiché il valore normalizzato rilevante per i candidati è quello dichiarato alla commissione, non vi è alcun incentivo razionale a manipolare l’età accademica nella compilazione del sito docente.

Insomma, una specie di strizzata d’occhio ai candidati: noi (ANVUR e commissioni) chiuderemo un occhio e faremo finta di vedere solo le pubblicazioni che dichiarerete nell’atto di presentare domanda di partecipazione. La mancanza di chiarezza è particolarmente  grave perché per molti candidati abbassarsi l’età accademica può essere decisivo al fine di superare le mediane bibliometriche.

Ma i professori associati fungono anche da riferimento per il calcolo delle mediane che devono superare i candidati all’abilitazione di II fascia. Pertanto, le manipolazioni operate a proprio vantaggio dagli associati già in ruolo possono danneggiare gli aspiranti associati la cui asticella potrebbe essere ingiustamente alzata.

Facciamo un semplice esempio relativo alle citazioni per anno. In un settore concorsuale, l’associato “mediano” (da cui dipende la soglia per le abilitazioni di II fascia) ha 180 citazioni ed un’età accademica pari a 9. La mediana delle citazioni per anno è pertanto

cit. per anno: 180/9 = 20

Supponiamo anche che l’associato immediatamente superiore abbia 32 citazioni per anno. Ora, immaginiamo che il primo articolo dell’associato “mediano”, pubblicato 9 anni fa, non abbia ricevuto citazioni e che l’articolo immediatamente successivo risalga a 6 anni fa. Nascondendo sotto il tappeto l’articolo di 9 anni fa, l’età accademica si riduce a 6 anni ed il numero di citazioni per anno dell’associato mediano diventa

cit. per anno: 180/6 = 30

con un incremento che può essere decisivo per passare la mediana per l’abilitazione di I fascia. Tuttavia, come conseguenza di questa omissione, tutti gli aspiranti associati vedono aumentare la mediana da 20 a 30 citazioni per anno.

Riassumendo: un’omissione o una manipolazione che, alterando l’età accademica, provoca vantaggio al singolo può danneggiare numerosi altri candidati. Un primo esempio di effetto domino: l’errore (o dolo) del professore associato non rimane confinato al singolo (che si avvantaggia), ma può propagarsi ai criteri per accedere alla II fascia, danneggiando numerosi altri concorrenti. Alla luce degli interessi contrastanti, ci sono tutti i presupposti  perché  i candidati esclusi a causa della mediana delle citazioni per anno chiedano la verifica (per via giudiziaria, se necessario) dell’età accademica degli associati del loro settore concorsuale.

Vale la pena di notare che, se l’asticella non fosse la mediana dei docenti in ruolo, ma fosse statica (bloccata ad un valore ritenuto congruo in relazione al particolare settore concorsuale) verrebbe meno l’effetto domino. Infatti, le manipolazioni avrebbero solo effetti  individuali: i singoli ne trarrebbero vantaggio (se non scoperti), ma senza ledere gli interessi di altri candidati. Infatti, se scoperti, la correzione non influirebbe sull’ammissione o meno di altri candidati.

Qualcuno osserverà che gli errori e le manipolazioni sarebbero possibili a prescindere dall’uso dell’età accademica. Per esempio, se si considera il numero di articoli negli ultimi 10 anni, un ordinario potrebbe ometterne alcuni  (per pigrizia o distrazione). È  vero, ma in tal caso la propagazione sarebbe meno grave perché gli associati non avrebbero interesse a presentare ricorso, dato che l’omissione dell’ordinario può solo abbassare l’asticella che devono superare. Se chi sorveglia decide di chiudere un occhio, nessuno ha motivo di lamentarsi. A patto che non si consideri la regola della multimodalità che, come vedremo, riesce a rendere letali anche queste omissioni altrimenti poco nocive.

La multimodalità di sabbia

Per il calcolo delle mediane si deve fare riferimento a quanto prescritto nell’Art. 15 della Delibera ANVUR n. 50 del 21/6/2012 che integra dal punto di vista tecnico le norme del D.M. “Criteri e parametri”, n. 76 del 7/6/2012. Apparentemente, il criterio della mediana è molto semplice. Per ogni indicatore si fa una lista ordinata dei professori in base al punteggio e si prende il punteggio del professore che sta nella posizione centrale (il sesto su undici per intenderci).
Tuttavia, un aspetto fondamentale degli indicatori di produttività ed impatto bibliometrici è che le loro proprietà statistiche variano notevolmente a seconda della disciplina scientifica considerata. Per esempio, i medici scrivono mediamente più articoli e si citano di più a vicenda di quanto non facciano i matematici. Apparentemente, il criterio della mediana è immune a questa obiezione in quanto determina la soglia proprio sulla base delle statistiche bibliometriche di ogni specifico settore concorsuale.

Tuttavia, possono esistere differenze significative anche dentro lo stesso settore concorsuale, nel qual caso usare un’unica mediana per comunità scientifiche con “differenze strutturali nelle modalità di ricerca e pubblicazione dei risultati scientifici” sarebbe iniquo. Alla luce di queste differenze, la strada più semplice e robusta sarebbe stata quella di calcolare una mediana separata per ogni settore scientifico disciplinare (SSD), ovvero per il livello di granularità più fine che può essere individuato in modo oggettivo a livello istituzionale.

L’ANVUR, invece, ha voluto condizionare lo “scorporo” di un SSD al soddisfacimento di specifici criteri numerici:

d) se il SSD ha una mediana inferiore a quella del settore concorsuale si calcola il numero dei professori ordinari del SSD il cui indicatore supera la mediana del settore concorsuale. Se il numero è superiore al 25% dei professori ordinari del SSD si procede come in c). Se il numero è inferiore al 25% per il SSD e per tutti i docenti che vi afferiscono si utilizza la mediana del SSD.
(art. 15, Delibera ANVUR n. 50/2012)

Consideriamo un settore concorsuale, d’ora in poi denominato 15/A1, che è composto da due SSD:

1. SET-SCI/01
2. SET-SCI/02

Supponiamo che SET-SCI/01 abbia una mediana più bassa di quella dell’intero settore concorsuale 15/A1. La situazione più vantaggiosa è quella in cui meno del 25% dei professori ordinari di SET-SCI/01 supera la mediana del settore concorsuale. Infatti, in tal caso, il SSD viene scorporato con due conseguenze:

• il 50% degli ordinari di SET-SCI/01 sta sopra la mediana del proprio SSD ;
• i candidati alle abilitazioni di I fascia di SET-SCI/01 si confrontano con la mediana di SET-SCI/01, più bassa di quella relativa all’intero settore concorsuale 15/A1. Si noti che le mediane di alcuni SSD scorporati sono risultate persino nulle o comunque molto prossime a zero.

Viceversa, se il SSD SET-SCI/01 non viene scorporato, i suoi appartenenti devono confrontarsi con le mediane del settore concorsuale 15/01 con due conseguenze:

• la percentuale degli ordinari di SET-SCI/01 che supera la mediana è compresa tra 25% e 50%;
• i candidati alle abilitazione di I di SET-SCI/01 usano delle mediane che fanno riferimento ad un insieme di docenti (l’intero settore concorsuale 15/01) che in media sono  bibliometricamente più produttivi di loro. In alcuni casi ciò può comportare l’esclusione di tutti i candidati mettendo a repentaglio la sopravvivenza di SET-SCI/01.

Alla luce di tutto ciò, gli ordinari di SET-SCI/01 avevano  tutto l‘interesse a non caricare i loro prodotti sul sito docente o addirittura a cancellarli. In tal modo,  meno del 25% di loro avrebbe superato la mediana del settore concorsuale 15/01, spianando così la strada all’agognato scorporo che, come detto, può essere di vitale importanza per la sopravvivenza del SSD. Questo tipo di manipolazione non danneggerebbe il SSD SET-SCI/02, se non in modo indiretto: infatti aumenterebbe il numero di ordinari sorteggiabili di SET-SCI/01, riducendo la probabilità degli ordinari di SET-SCI/02 di finire in commissione.

Ma, il vero problema sono le pubblicazioni mancanti degli ordinari del SSD SET-SCI/02. Immaginiamo che SET-SCI/01 abbia diritto allo scorporo, ma che il mancato inserimento di alcune pubblicazioni degli ordinari di SET-SCI/02 abbassi la mediana del settore concorsuale 15/01 al punto da essere superata da più del 25% degli ordinari di SET-SCI/01. In tal caso, SET-SCI/01 perderebbe il diritto allo scorporo e verrebbe ingiustamente danneggiato dalla negligenza degli ordinari di SET-SCI/02. Ne segue che i SSD che non sono stati scorporati hanno interesse a presentare ricorso per verificare la completezza delle pubblicazioni caricate dagli ordinari degli altri SSD appartenenti allo stesso settore concorsuale.

Aver usato delle “mediane di sabbia”, il cui diritto ad esistere dipende dalla statistiche bibliometriche dei professori in ruolo, non solo crea un incentivo alla manipolazione, ma introduce un secondo effetto domino. Infatti, le omissioni di un SSD possono danneggiare gravemente gli altri SSD dello stesso settore concorsuale, costringendoli  a confrontarsi con mediane più alte, in alcuni casi persino pregiudizievoli nei confronti della sopravvivenza del SSD.

In alcuni casi, un singolo articolo o una singola citazione in più o in meno può decidere l’inclusione o l’esclusione decine di candidati ed aspiranti commissari. Nulla di tutto ciò  sarebbe successo se tutti gli SSD fossero stati scorporati a priori, evitando di introdurre interazioni fatali per la robustezza dei criteri bibliometrici.

Post Scriptum. Il mio articolo tecnico finisce qui. Lo avevo mandato in anteprima all’amico e collega Pierre Menard, un profondo conoscitore dell’opera di Borges. Il collega francese è rimasto affascinato dal labirinto delle mediane e mi ha mandato alcune sue deduzioni che, per quanto congetturali, sono di seguito riportate per soddisfare una sua esplicita richiesta.

Il valutatore nel suo labirinto

di Pierre Menard

1. L’Artefice

È difficile non ammirare la geometrica precisione del meccanismo autodistruttivo messo a punto dall’ANVUR. I denti degli ingranaggi collimano alla perfezione e ogni dettaglio è indispensabile alla catastrofe. Se invece delle mediane, soglie dinamiche che dipendono dalle informazioni – necessariamente incomplete – fornite dagli stessi valutati, fossero stati impiegati i criteri statici proposti dal CUN, omissioni ed errori non avrebbero avuto alcun modo di propagarsi. Senza il discutibile artificio dell’età accademica, non sarebbe stato possibile contrapporre tra di loro gli interessi dei candidati e sarebbe venuto meno l’interesse a ricorrere contro le omissioni e gli errori degli altri colleghi. Il tocco di genio finale è la  multimodalità di sabbia: un errore nei dati di un singolo ricercatore può portare in vita o precipitare nel nulla la mediana in un intero settore scientifico, salvando o condannando in un colpo solo decine di commissari e candidati. Una magistrale esemplificazione del principio del domino.

Far affondare le abilitazioni nazionali perché – in contrasto con il D.M. “Criteri e parametri” – si usa l’indice di Katsaros (l’indice-h contemporaneo) sarebbe  banale sciatteria, solo in parte nobilitata dal “nomen omen”. Un po’ come il vostro connazionale Schettino che dirige la Concordia verso gli scogli per fare l’inchino all’isola del Giglio. Invece, il principio del domino garantisce un naufragio più tragico e grandioso, un vero Titanic accademico.

Non è plausibile che questa mirabile geometria suicida sia frutto del caso: un argomento quasi teologico mi impone di dedurre l’esistenza dentro l’ANVUR di un abile e spregiudicato architetto di labirinti suicidi, che chiamerò l’Artefice.

2. Tema dell’eroe e del traditore

È questo il titolo di un racconto di Borges scritto nel 1944 in cui «l’azione si svolge in un paese oppresso e tenace».  La trama si riassume in poche righe. Ad un secolo dalla morte di un patriota, Fergus Kilpatrick, il bisnipote Ryan indaga sull’assassinio del suo avo. La storia ufficiale narra di un uccisione a tradimento, attribuita alla polizia inglese.

Ma nulla è come sembra. Ryan scopre che gli eventi sono una messinscena che ricalca troppo da vicino il  Giulio Cesare e il Macbeth di Shakespeare. Il  presunto eroe era in realtà un traditore che, smascherato e condannato in segreto dai propri compagni, aveva accettato di morire recitando la parte dell’eroe che non era. Il bisnipote Ryan si convince anche che alcuni indizi fossero stati seminati intenzionalmente per consentire la scoperta della verità, ma alla fine preferisce scrivere una biografia che conferma l’eroismo dell’avo.

Non diversamente, il misterioso Artefice dell’ANVUR è un traditore e, a insaputa degli altri colleghi dell’Agenzia, trama per far fallire le abilitazioni scientifiche, avendo forse in odio i criteri bibliometrici automatici che dentro di sé ritiene inapplicabili e assurdi. Persegue il suo scopo in modo obliquo ma inesorabile, architettando regole suicide e meccanismi ad orologeria autodistruttivi.

Anche Roars  è una pedina inconsapevole dei suoi disegni. Quando gli articoli di Roars smascherano gli errori delle regole che lui stesso ha proposto, l’Artefice sfrutta la fonte delle critiche per dipingerle come frutto di ostilità preconcetta e convincere i colleghi dell’ANVUR ad ignorare persino le falle più evidenti. Pertanto, anche l’ironia più graffiante fa il gioco dell’Artefice. Poco gli importa di essere paragonato a Mr. Bean, se ciò lo aiuta a portare a buon fine il sabotaggio.

E come Kilpatrick anche l’Artefice semina indizi del suo opus destruens. Perché architettare vertiginosi e virtuosi meccanismi autodistruttivi quando basterebbe un maldestro indice di Katsaros? C’è una sola risposta: perché, da artista orgoglioso del suo talento, l’Artefice non può fare a meno di dichiararsi al mondo  tramite la geometrica precisione dei suoi disegni, fin troppo elaborati rispetto allo scopo.

3. Elogio dell’ombra

Ho meditato a lungo se  rivelare o meno l’esistenza dell’Artefice. Dopo aver riletto “Il Parlamento”, sono giunto alla conclusione che anche la pubblicazione delle mie deduzioni rientra nei suoi disegni. Infatti, l’artefice, un probabile membro della “Setta dei Trenta”, non teme affatto di essere scoperto dai colleghi dell’ANVUR, anche perché sa che nulla verrà fatto trapelare all’esterno dell’Agenzia.

La  memoria dell’inaudito opus destruens dell’Artefice, il cui nome resterà nell’ombra, è affidata unicamente a queste mie righe congetturali di cui spero mi sarà grato.

Parigi, 20 Agosto 2012