La leggenda delle mediane fluttuanti

Storia delle mediane dalle origini ai giorni nostri

No, non è il sequel della Tigre e il dragone o della Foresta dei pugnali volanti, ma nondimeno è una vicenda dalla trama intricata e piena di colpi di scena. Non ci sono guerrieri ninja e combattimenti che sembrano danze, ma i lanci a sorpresa di mediane fluttuanti non sono meno micidiali di lance e pugnali. E se è vero che manca l’eros, possiamo assicurarvi che resterete avvinti dalla sapiente combinazione di tragedia e commedia, coronate da una rivelazione finale che vi lascerà a bocca aperta.

Nelle righe che seguono proviamo a riassumere il complicato intreccio della leggenda delle mediane, il cui Artefice, autentico genio narrativo, si cela ancora nell’anonimato.

1. L’alba della mediana

Cominciamo dall’inizio. La Legge 240/2010 ha introdotto l’abilitazione scientifica, che dovrà attestare “la qualificazione scientifica che costituisce requisito necessario per l’accesso alla prima e alla seconda fascia dei professori”. Tuttavia, la concreta regolamentazione delle procedure era stata demandata a successivi decreti ministeriali. In particolare, la legge precedeva che il giudizio della commissione fosse espresso anche “sulla base di criteri e parametri differenziati per funzioni e per area disciplinare, definiti con decreto del Ministro”. L’idea del CUN (Consiglio Universitario Nazionale) era che alcuni parametri potessere essere soglie quantitative di natura bibliometrica, che specificassero, per esempio, la natura ed il numero minimo di pubblicazioni scientifiche necessarie (ma non sufficienti) per conseguire l’abilitazione scientifica.

Più di un anno fa, l’ANVUR (l’Agenzia Nazionale per la Valutazione del sistema Universitario e della Ricerca) lancia una proposta del tutto innnovativa: invece di stabilire queste soglie sulla base di consultazioni con le società scientifiche, esse si sarebbero dovute determinare in modo totalmente automatico sulla base dei dati bibliometrici rilevati nella popolazione dei professori in servizio. Ridotto all’essenziale, il criterio della mediana è semplice: per ottenere l’abilitazione da professore ordinario, il candidato avrebbe dovuto esibire un indicatore bibliometrico (il numero di articoli su rivista scientifica, per esempio) superiore a metà dei professori ordinari attualmente in servizio.

La proposta dell’ANVUR fu immediatamente criticata sotto tre aspetti. In primo luogo, il criterio della mediana tradisce la legge 240/2010 in quanto trasforma l’attestazione di una qualificazione scientifica, che si riferisce ad un giudizio di maturità scientifica espresso in termini assoluti, in un giudizio di natura comparativa formulato non tra i candidati, ma tra i candidati e i professori già in servizio.

In secondo luogo, c’è un vasto consenso internazionale sull’inadeguatezza degli indicatori bibliometrici (numero di articoli, citazioni e parametri derivati) ai fini della valutazione individuale. Se l’uso di soglie assolute relativamente basse può servire ad escludere chi non ha maturato un numero sufficiente di titoli, l’uso della mediana dei professori in servizio nel ruolo superiore, fa dell’indice bibliometrico una discriminante essenziale in moltissimi settori concorsuali. Ciò diventa del tutto problematico perché la letteratura bibliometrica evidenzia la forte eterogeneità statistica tra discipline anche vicine tra loro e persino dentro la stessa disciplina al variare dei temi di ricerca. Per non dire dell’inadeguatezza degli indicatori numerici ai fini della valutazione comparativa nel campo delle HSS (Human and Social Sciences).

La terza obiezione era di natura tecnica e riguardava l’effettiva possibilità di raccogliere i dati statistici necessari al calcolo delle mediane. Questo tipo di analisi richiederebbe l’esistenza di un’efficiente anagrafe nazionale della ricerca, quella che in termini tecnici è denominata ANPRePS (Anagrafe nominativa dei professori ordinari e associati e dei ricercatori delle pubblicazioni scientifiche prodotte). Impossibile, altrimenti, venire a capo delle classificazioni delle diverse pubblicazioni nelle HSS: monografie, curatele, capitoli di libro, recensioni, note a sentenza e così via.

Nelle scienze dure, la possibilità di ricorrere all’interrogazione dei database commerciali, quali per esempio Web of Science e Scopus, forniva una soluzione solo apparente. Nel momento in cui si vuole fare un pesante affidamento su dati citazionali o da essi derivati, come l’h-index, sono ben noti non solo l’alta percentuale di errori e i ritardi di registrazione che affliggono queste basi di dati, ma anche il problema di disambiguare i cognomi dei ricercatori per evitare erronee attribuzioni.

A chi avesse una minima infarinatura di bibliometria fu subito chiaro quale incubo sarebbe stato l’uso normativo di questi dati bibliometrici, soggetti ad aggiornamenti e correzioni in tempo reale. Come escludere un commissario o un candidato sulla base del numero di citazioni che può cambiare da un momento all’altro, non solo perché ne arrivano di nuove ma anche perché vengono finalmente registrate quelle di mesi se non di anni precedenti?

2. L’ANVUR declina ogni responsabilità

Tuttavia, l’ANVUR fu irremovibile e risultò ben presto chiaro che le mediane godevano del sostegno dei ministri Mariastella Gelmini prima e Francesco Profumo successivamente. Al punto che il D.M. 76 del 7 giugno 2011, riprende fedelmente le raccomandazioni dell’ANVUR sulle mediane.

Ma come calcolare le mediane, se ANPRePS non esiste? L’ANVUR decise di servirsi di un surrogato, ovvero dei dati registrati sui siti docente dei professori in ruolo. Si tratta di informazioni caricate in funzione della partecipazione a progetti di ricerca come i PRIN e i FIRB, a partire dalla fine degli anni ’90. Per tale ragione, erano dati non certificati e largamente incompleti. Per ovviare all’incompletezza, il Presidente dell’ANVUR invitò i professori a popolare in poco più di un mese i loro siti docente. Su ROARS, due articoli di Paola Galimberti (“Ancora una volta un problema di dati. Ovvero perché non si riesce a partire dall’inizio“ e “Mediane di argilla”) lanciarono subito l’allarme per le inevitabili conseguenze di una procedura così improvvisata e approssimativa:

E così le carriere di docenti e ricercatori verranno stabilite basandosi su basi di dati commerciali (i cui dati non sono stati ripuliti e validati) e sul sito docente dove non tutti i docenti hanno inserito i propri lavori, perché non esiste un obbligo vero e proprio, sicché le mediane verranno calcolate sulla base dei “volontari” che sono un “di cui” dei docenti italiani.

La stessa ANVUR era consapevole del terreno scivoloso su cui stava muovendosi, al punto di declinare ogni responsabilità sulla correttezza dei dati su cui si accingeva a calcolare le mediane

1. L’ANVUR utilizza le informazioni contenute nel sito docente assumendone la piena validità e completezza. […]

3. L’aggiornamento e la verifica dell’esattezza e completezza delle informazioni sono cura del singolo docente. […]

5. L’ANVUR non è responsabile degli eventuali errori presenti nelle banche dati. Delibera ANVUR n. 50/2012

Da notare che gli errori e le incompletezze dei siti docente contaminano anche le mediane dei settori bibliometrici, i cui indicatori sono ottenuti tramite le banche dati WoS e Scopus. Infatti, come specificato nel “Documento di accompagnamento: mediane dei settori bibliometrici”, i prodotti inseriti nel sito docente sono stati utilizzati come dato di ingresso di una interrogazione lanciata su un archivio derivato da WoS e Scopus, una procedura che esclude tutto ciò che non è presente nei siti docente.

Né si può sostenere che le omissioni vadano solo a vantaggio di chi, commissario o candidato, finirebbe per confrontarsi con mediane rese più basse dai dati mancanti. Infatti, esiste una regola matematica che decide se un SSD debba usare la mediana del settore concorsuale a cui appartiene oppure se abbia diritto ad una sua mediana, specifica e più bassa. In presenza di dati mancanti o erronei, il responso della formula può cambiare e un SSD che doveva essere scorporato potrebbe aver perso questo diritto. In tal caso, l’uso di una mediana più alta penalizzerebbe sia gli aspiranti commissari che i candidati all’abilitazione. Inoltre, i professori ordinari che hanno omesso di completare il sito docente con le loro pubblicazioni meno recenti hanno abbassato la propria età accademica. In alcuni casi, ciò potrebbe causare un innalzamento della mediana del numero di citazioni per anno degli ordinari, creando una barriera più alta del dovuto per i candidati all’abilitazione (Effetto domino: le mediane di Borges).

3. La calda estate delle mediane fluttuanti

Le prime mediane vengono pubblicate a ridosso di ferragosto, ma sono limitate ai soli settori bibliometrici. Se da un lato il bando per i candidati scade il 20 novembre, la vera urgenza è la scadenza del bando per i commissari che scade il 28 agosto. La data fatidica sta avvicinandosi e gli aspiranti commissari delle aree non bibliometriche non hanno nessun modo per valutare se “avranno i numeri” per partecipare al sorteggio di formazione delle commissioni.

Il 24 agosto, solo quattro giorni prima della scadenza, ecco pubblicate le mediane dei settori non bibliometrici.

Tutto bene? Per nulla. Per capire se si è sopra la seconda e la terza mediana bisogna sapere quali dei propri articoli sono stati pubblicati in riviste aventi carattere di scientificità e quali sono stati pubblicati in riviste “di fascia A”. Ebbene, le mediane escono senza che siano allegate le liste di riviste scientifiche e di riviste “di fascia A”. Un’omissione del tutto anomala, perché il programma che calcola le mediane deve poter consultare tali elenchi in formato elettronico per confrontarli con il contenuto dei siti docente. Le mediane per l’area 12 (Scienze Giuridiche) non vengono nemmeno pubblicate, adducendo la seguente spiegazione:

Ciò è dovuto alla mancata formulazione di una proposta di classificazione da parte dei componenti dell’area 12 del Gruppo di lavoro Libri e riviste scientifiche, che fosse condivisa dagli esperti della Valutazione della Ricerca (GEV), dalle società scientifiche del settore e dal Gruppo stesso. La mancata pubblicazione della mediana del terzo indicatore ha avuto il supporto esplicito del MIUR. L’ANVUR sta ancora lavorando alla classificazione.

Lecito nutrire il sospetto che la mancata pubblicazione fosse un tentativo di scongiurare l’accoglimento della richiesta di sospensiva associata al ricorso dell’ AIC (Associazione Italiana dei Costituzionalisti).

Comunque sia, per i settori non bibliometrici la lista delle riviste aventi carattere di scientificità è a tutt’oggi data per dispersa senza che sia prevista una data per la sua pubblicazione, come pure si sono perse le tracce della terza mediana dell’area 12.

[NdR aggiunta il 7/12/12: nelle settimane seguenti alla scrittura di questo articolo si sono verificati i seguenti eventi: 1) il 20 settembre 2012, l’ANVUR ha finalmente pubblicato gli elenchi delle riviste aventi carattere di scientificità, i quali contenevano però numerosi e clamorosi svarioni, che sono stati prontamente segnalati da ROARS (Le riviste “scientifiche” dell’ANVUR: dal sacro al profano e dalle stelle alle stalle) e successivamente ripresi dal Corriere della Sera, con un articolo in prima pagina di Gianantonio Stella (Per giustificare le “riviste pazze” l’ANVUR paragona Suinicoltura al Caffè di Pietro Verri), e persino dal settimanale inglese Times Higher Education (Listing wildly: anche Times Higher Education denuncia le liste pazze di ANVUR), probabilmente la più nota pubblicazione internazionale dedicata alla formazione universitaria: 2) il 6 novembre 2012, probabilmente per far fronte ad ulteriori ricorsi, l’ANVUR ha finalmente pubblicato la lista delle riviste fascia A per l’area 12 (Area 12: terza mediana in arrivo? Seconda puntata del gioco delle tre mediane) e il 23 novembre anche le relative mediane (L’apparizione della mediana fantasma: ANVUR pubblica la terza mediana dell’area 12), quando però erano già chiusi sia i termini delle domande degli aspiranti commissari (28 agosto) sia quelli dei candidati all’abilitazione scientifica (20 novembre)].

Ma il peggio deve ancora venire.

Le giornate del 27 e 28 agosto sono torride e convulse. Attraverso le comunicazioni del sindacato CNU, è trapelata la notizia che sui siti docente dei professori ordinari dovrebbero accendersi dei semafori: luce verde per chi supera le mediane, rossa per chi non ha i numeri per fare il commissario (Abilitazioni scientifiche: arrivano i semafori per i commissari?). Ed ecco il vero colpo di scena. Il pomeriggio del 27 agosto, sul sito dell’ANVUR spariscono tutte le vecchie mediane e vengono sostituite da nuove tabelle (Attenzione: mediane in movimento!) con la seguente giustificazione:

I valori delle mediane pubblicati in precedenza erano stati ottenuti utilizzando un’approssimazione che, ad un più attento esame, non risulta pienamente in linea con la definizione formale di mediana contenuta nel DM 76. Entro la settimana corrente pubblicheremo la lista delle riviste di fascia A per le aree non bibliometriche.

4. Alla ricerca della lista perduta

I semafori infine si accendono, ma come sottolineato dall’ANVUR, hanno valore “solo indicativo” (Si sono accesi i semafori: parliamone) e tale rimarrà il loro valore ben oltre il 3 settembre, data ultima per ritirare la domanda di commissario senza esporsi al pericolo della “gogna elettronica”. Infatti, il D.M. 76 prevede che i curricula degli aspiranti commissari vengano resi pubblici e basterà il confronto con la lista degli ammessi al sorteggio per individuare i “trombati”. Meglio ritirarsi che veder resa pubblica la propria bocciatura (Abilitazioni: arriva il “decreto dissuasivo” per gli aspiranti commissari).

Si ritirano in molti, anche tra coloro che dubitano che il loro “rosso” sia frutto di errori, ma non sono in grado di verificarlo con certezza, particolarmente nei settori non bibliometrici dove mancano le liste di riviste necessarie per verificare il superamento della seconda e terza mediana. L’ANVUR non si assume responsabilità per l’affidabilità del semaforo (Abilitazioni: le mediane di Barbapapà), ma a causa del ritardo nella pubblicazione delle liste di riviste, per molti aspiranti commissari esso rimane l’unica informazione disponibile ed il colore delle sue luci contribuisce a disegnare la composizione delle future commissioni.

Il 7 settembre vengono pubblicati i curricula degli aspiranti commissari che non si sono ritirati (Abilitazione scientifica nazionale: sono in rete i CV degli aspiranti commissari). La percentuale di aspiranti commissari nelle liste dei membri GEV è massiccia (per le scienze mediche più dell’80% dei membri GEV italiani sono anche aspiranti commissari).

Nel frattempo si è accesa la discussione sulla cosiddetta “terza mediana” per i settori non bibliometrici, relativa al numero di articoli su riviste “di fascia A”. L’elenco di tali riviste, che esce il 6 settembre, ben dieci giorni dopo le mediane, è il risultato di febbrili negoziazioni che hanno coinvolto società scientifiche e GEV.

Dato che tale elenco era indispensabile per calcolare la terza mediana, esso doveva essere già pronto fin dal 24 agosto e l’inspiegabile ritardo nella sua pubblicazione alimenta il sospetto  che sia stato completato o modificato a posteriori, dopo la pubblicazione delle mediane del 27 agosto, che in tal caso andrebbero ricalcolate daccapo per la terza volta (“Stanno ancora lavorando alle liste di riviste. Fonte: il presidente dell’ANVUR (!?)“).

Contro chi vede nella terza mediana il modo di spianare la strada ai soliti noti, circola una lettera di sostegno che viene sottoscritta da numerose società scientifiche. È ROARS a scoprire, attraverso le proprietà del file Word fatto circolare, che la lettera a sostegno dell’ANVUR era stata scritta dall’ANVUR stessa. Infatti, l’estensore risulta essere Andrea Graziosi, presidente del GEV 11 e titolare dell’incarico di “Alto esperto di valutazione” dell’ANVUR.

5. I misteri delle mediane stregate

Ma il punto più critico di tutti è il sospetto che le mediane siano truccate. Infatti, confrontando le vecchie e nuove mediane, i conti non tornano (“Mediane truccate? Analizziamo le prove“). Per i settori bibliometrici, le mediane salgono, mentre per quelli non bibliometrici, tranne poche eccezioni, la variazione è orientata nel verso opposto. Un comportamento impossibile da spiegare con l’uso di una nuova e migliore approssimazione, come sostenuto ufficialmente dall’ANVUR.

Ma ci sono anche altre incongruenze. Quando si ha a che fare con i numeri interi, come nel caso del numero di articoli scientifici, le mediane possono essere frazionarie solo se il numero di professori considerati è pari. Inoltre, le mediane intere e frazionarie dovrebbero alternarsi in modo casuale. Ebbene, c’è un numero non trascurabile di settori bibliometrici con un numero dispari di professori le cui mediane sono inspiegabilmente frazionarie ed interi settori non bibliometrici in cui non compare nessuna mediana frazionaria.

Come spiegare queste anomalie? Tra le possibili spiegazioni, viene avanzata l’ipotesi del “ravvedimento operoso”:

dietro le “vecchie mediane” si nascondevano due formule diverse: per i settori bibliometrici le mediane erano state approssimate per difetto mentre era stata usata un’approssimazione per eccesso nei settori non bibliometrici. […] Per qualche ragione che non ci è dato sapere, l’ANVUR avrebbe ritenuto impossibile mantenere due pesi e due misure […]. Ecco allora l’improvviso “ravvedimento operoso”: si buttano via le vecchie mediane, ammorbidite per i settori non bibliometrici e irrigidite per quelli non bibliometrici, e si adotta per tutti la formula universalmente usata. (Mediane truccate? Analizziamo le prove)

Quale poteva essere il movente e chi il mandante? Usare delle mediane più morbide per i settori bibliometrici e più rigide per i non bibliometrici andava incontro alle preoccupazioni che il ministro Profumo aveva espresso nel corso della sua audizione al CUN del 25 luglio scorso:

Dai dati che ha potuto analizzare si sarebbe reso conto che il criterio della mediana sfavorisce le aree 1‐9 rispetto alle aree 10‐14. Ha quindi aggiunto che sta lavorando con le comunità scientifiche per individuare elementi di “ammorbidimento” (non meglio definiti) delle rigidità delle mediane. Mediane ed altre catastrofi: le dichiarazioni del ministro al CUN

6. Il “coming out” di ANVUR

Le mediane del 27 agosto presentanto troppe anomalie per non chiederne conto all’ANVUR: ecco allora le Dieci domande di ROARS, che chiedono all’ANVUR di spiegare quali formule sono state usate per le vecchie e le nuove mediane, perché ci sono mediane frazionarie per settori con numerosità dispari e perché ci sono interi settori non bibliometrici senza nemmeno una mediana frazionaria, un evento del tutto improbabile.

Eccoci arrivati al colpo di scena finale, ovvero la pubblicazione del documento ANVUR “Sul calcolo delle mediane per l’abilitazione nazionale“, in cui il Consiglio Direttivo, se da un lato fa “coming out”, mettendo a nudo le proprie incertezze e i propri errori, dall’altro chiama pesantemente in causa le responsabilità del ministro Profumo (“Abilitazioni e mediane: “ANVUR non potuto fare altro. Profumo sotto accusa?“). Ma ormai la storia cede il passo alla cronaca.

Sulla genesi di questo ultimo documento, possiamo solo formulare congetture. Ne menzioniamo una in particolare, non tanto perché ne abbiamo riscontro, ma perche vorremmo di cuore che fosse vera. I presidenti dei GEV sono stati  nominati “Alti esperti di valutazione” e come tali, non solo collaborano all’attività dell’Agenzia, ma le prestano il loro prestigio scientifico di studiosi affermati e internazionalmente rinomati. Ecco, ci piacerebbe immaginare una riunione in cui questi colleghi scientificamente prestigiosi, consapevoli che le incongruenze e le opacità delle mediane potrebbero macchiare la loro reputazione, battono i pugni sul tavolo ed impongono al Consiglio Direttivo di prendersi piena responsabilità delle “mediane fluttuanti” rivelando formule ed errrori commessi.

Sarà andata proprio così?