Che cosa hanno in comune l’Area 03 della Classe di Scienze della Normale di Pisa, l’Area 09 del Dipartimento di Biotecnologie dell’Università di Verona e l’Area 05 della Scuola Sant’Anna di Pisa? Semplice, l’ANVUR le ha posizionate al primo posto nelle rispettive graduatorie della VQR 2011-14 e sempre l’ANVUR le ha classificate come “sotto media” nella corrispondente edizione dei Dipartimenti di Eccellenza. Com’è possibile che un’area sia, con gli stessi dati, eccellente e allo stesso tempo scarsa? Qui trovate una possibile spiegazione dell’effetto “quantistico” della VQR.
Nelle ultime settimane, a seguito della pubblicazione della graduatoria dei 350 dipartimenti selezionati per la seconda edizione dei “Dipartimenti di Eccellenza” chi si è trovato a girare nei corridoi di qualche ateneo non può che essersi imbattuto in scene da resa dei conti, quando non addirittura da vera e propria caccia alle streghe: «Perché il mio dipartimento non è stato selezionato? Chi è il responsabile di un ISPD sotto le aspettative?». In assenza di dati e di spiegazioni esaustive da parte dell’ANVUR si cerca di ragionare con ciò che si ha, e l’unico dato che ANVUR fornisce, oltre al valore dell’ISPD, è l’elenco delle Aree “sopra media” e “sotto media” per ciascun Dipartimento.
Già… ma quale media? «La media dell’Area a livello nazionale, ovviamente». Questo avrebbe potuto dire il Direttore di uno dei “Dipartimenti Virtuali” nell’immaginario mondo dell’ISPD, nei cui corridoi si è svolto il dramma “post – Dipartimenti di Eccellenza”. «Da quando esiste la VQR, l’ANVUR ha sempre rapportato la performance di ciascuna Area con quella media nazionale, ormai lo sanno anche i sassi. E siccome l’Area 17 è “sotto media”, causando la nostra esclusione dalla lista dei migliori 350 dipartimenti, questa è la volta buona che le togliamo anche i pochi punti organico che le avevamo destinato». In uno sforzo di immaginazione sembrano queste le parole pronunciate dal Direttore al (sempre più folto) capannello di colleghi che si andava formando nei pressi della macchinetta del caffè.
«Nella Nota Metodologica dell’ANVUR, però, non si fa alcuna menzione ad una qualche “media”» – si alzò la voce di un collega. «Ma no – gli ribatté il Direttore – nella legge si fa espresso riferimento a premiare le Aree che sono state valutate meglio nella VQR e queste non possono che essere quelle con R>1. Questo è l’ABC della valutazione, non farmi perdere tempo sui fondamentali…»
«Dai miei calcoli posso dirti con certezza che NON si tratta della media nazionale». A parlare è il Prof. Qfwfq, il quale aveva trascorso le prime ore del mattino a ricalcolare i voti standardizzati della Classe di Scienze della Normale di Pisa, relativi nella precedente edizione dei Dipartimenti di Eccellenza. «Guarda qua» – gli disse mostrandogli i suoi calcoli – «l’Area 03 è classificata come “sotto media” ma nel Rapporto Finale della VQR il 100% dei prodotti conferiti dai docenti di quell’area era stato valutato con “A”»
«Immagino ci sia stato un errore di stampa nel Rapporto Finale della VQR», la risposta del Direttore.
«Beh, allora gli “errori di stampa” devono essere proprio tanti … anche l’Area 05 della Scuola Sant’Anna di Pisa e l’Area 09 del Dipartimento di Bioingegneria di Verona si sono classificate al 1° posto nella VQR … e “sotto media” nei Dipartimenti di Eccellenza. E gli esempi potrebbero continuare…»
La discussione comincia ad animarsi, quando improvvisamente la Prof.ssa Pfwfp iniziava a scrivere su una delle poche lavagne in ardesia sopravvissute (fortunatamente) alla digitalizzazione a tappeto in voga negli atenei. Vi si legge… “Congettura sull’errore dell’ANVUR”. Come spesso capita nei Dipartimenti di Matematica, qualcuno ha avuto l’accortezza di fare una foto che qui riportiamo:
«Erroneamente?»
«Sì, il Voto standardizzato del Dipartimento ha senso nell’ottica di utilizzare il Teorema del Limite Centrale (ammesso che sia verificata l’ipotesi di indipendenza) per il calcolo dell’ISPD, ma chiaramente non ha senso per basse numerosità come quelle delle Aree all’interno di ciascun Dipartimento».
«In effetti questa congettura è in perfetto accordo con i dati della Normale di Pisa – interviene nuovamente il Prof. Qfwfq -. L’Area 03, pur avendo conferito tutti prodotti valutati “A”, risulta avere un voto standardizzato inferiore alla media aritmetica dei voti standardizzati di tutte le aree della Classe di Scienze».
«Questo spiegherebbe anche perché nel Dipartimento di Astrologia del nostro ateneo, l’Area di “Scienze delle previsioni pandemiche” risulti “sotto media” nonostante il suo unico componente abbia conferito prodotti valutati “A”», intervenne un coautore dello sfortunato collega. «Tra l’altro non mi spiego come mai l’altra area di quel Dipartimento, cioè “Scienze della Cartomanzia” sia “sopra media”, so per certo che non hanno avuto nemmeno un “A”».
A quel punto il Direttore ebbe un sussulto a metà tra incredulità e sconforto. Prese in mano il gesso e … «Ma se la Congettura fosse vera, seguirebbe immediatamente il seguente … Corollario:
Di più, perfino se TUTTE le pubblicazioni conferite dai docenti di uno stesso Dipartimento fossero valutate “A”, vi sarebbe comunque un’Area classificata come “sopra media” e un’altra come “sotto media”, con l’assurda conseguenza di dover necessariamente “punire” un’Area i cui docenti hanno ottenuto la massima valutazione possibile».
In effetti, per quanto assurdo, non si riesce a trovare alcun controesempio al Corollario del Direttore. Scorrendo l’elenco dei 700 Dipartimenti selezionati nella prima e nella seconda edizione dei “Dipartimenti di Eccellenza”, ogniqualvolta un Dipartimento è composto da due Aree si trova ineluttabilmente l’indicazione di un’Area “sopra media” da premiare e un’Area “sotto media” da punire.
Tra i colleghi che partecipavano alla discussione, era ormai facile incontrare volti estremamente perplessi. Ad incrementare i loro dubbi ci pensò ancora una volta il Prof. Qfwfq. «Forse non avete fatto caso al fatto che se per assurdo fosse possibile tornare indietro e NON CONFERIRE i prodotti di un’Area “sotto media”, non necessariamente il Voto Standardizzato del Dipartimento (e quindi l’ISPD) aumenterebbe. Anzi, in molti casi, DIMINUIREBBE. Per esempio, se noi non avessimo conferito le pubblicazioni dell’Area 17, il nostro ISPD sarebbe certamente inferiore al valore che abbiamo ottenuto».
Questa osservazione, così controintuitiva e, diciamocelo pure, completamente assurda, spiazzò alcuni colleghi, che a questo punto tirarono i remi in barca e trovando una scusa si dileguarono. Però uno di essi prima di andar via gridò: «Questi sono i soliti metodi da ingegneri!!!». Il collega non mancava mai occasione di biasimare, non sempre a torto, il modo poco rigoroso con cui alcuni ingegneri si approcciano alla matematica. Ma questa volta capitò male.
«E no! Guarda che questa volta la colpa è di noi matematici – gli rispose il Prof. Qfwfq -. Sia in questa che nella precedente edizione dei “Dipartimenti di Eccellenza” nel Consiglio Direttivo dell’ANVUR sedevano anche dei matematici».
Tutti rimasero basiti. Era ormai chiaro che l’errore di fondo da parte dell’ANVUR era stato interpretare il principio, tutto sommato condivisibile, di “premiare le Aree meglio valutate nella VQR”, col tracciare una linea di demarcazione (la famosa “media”) tra buoni e cattivi. L’ANVUR non contemplava la possibilità, molto concreta soprattutto per Dipartimenti con ISPD vicini a 100, che TUTTE le aree fossero da premiare. Ma il Prof. Qfwfq era anche un matematico, e non riusciva a togliersi dalla testa la curiosità di quale tipo di “media” avesse usato ANVUR e quale, invece, avrebbe dovuto essere usata.
«In assenza totale di indicazioni sul tipo di media utilizzata, io mi rifarei al nostro celebre connazionale O. Chisini» disse la Prof.ssa Pfwfp mentre scriveva alla lavagna …
Dopo alcuni calcoli continuò: «Dalla Nota metodologica di ANVUR, io dedurrei che la funzione obiettivo sia proprio il Voto standardizzato del Dipartimento. Quindi se ANVUR fosse stata coerente con le sue premesse, la media che avrebbe dovuto utilizzare non poteva che essere la media aritmetica dei voti standardizzati delle pubblicazioni dei singoli docenti. È quindi questa “media Chisini” il valore di riferimento con cui confrontare le Aree, se proprio l’ANVUR voleva introdurre una “media”, cosa di cui francamente non credo ce ne fosse il bisogno».
Il Prof. Qfwfq aveva nel frattempo già tirato fuori il suo notebook ed esclamò: «Tra l’altro con la “media Chisini” i valori della Normale di Pisa si invertono! L’Area 13, che ANVUR pone all’ultimo posto, ora diventa prima, e viceversa l’Area 02 che per ANVUR era la migliore area … ora è … ultima. Ma la cosa che colpisce di più è che tutte le aree sono raccolte vicino alla media … sono tutte eccellenti, altro che».
In conclusione, il Direttore con amarezza ebbe a considerare come diverse Aree in tanti Dipartimenti italiani sono state e saranno ingiustamente penalizzate nella stesura dei progetti dei “Dipartimenti di Eccellenza” (e non solo).
Qualcuno suggerì di chiedere una spiegazione ufficiale all’ANVUR.
«Eh … già fatto. Abbiamo scritto ad ANVUR oramai tre settimane fa, chiedendo di fornirci la condizione matematica per la quale un’Area è “sopra media” o “sotto media”. Non ci ha proprio risposto».
«Ma no, non è possibile» – esclamò la Manager Didattica del Dipartimento, nel frattempo giunta alle macchinette per la consueta pausa caffè. «In un sistema di Assicurazione della Qualità, come è quello in essere nel sistema universitario italiano, è dovere dell’Istituzione prendere in carico i problemi dei portatori di interesse, ed è diritto delle strutture periferiche conoscere i criteri con i quali vengono valutate».
Ma non appena si sentì la parola “qualità” … l’intero gruppo scoppiò in una fragorosa risata che coprì ogni altra discussione.
Il MUR dovrebbe proibire l’uso di ISPD per qualsiasi scopo che vada oltre il concorso dei dipartimenti di eccellenza. Nel passato esercizio non è stato così e ISPD è stato usato in modo improprio. Con l’attuale VQR ci sarà la complicazione dovuta alla forzata popolazione delle varie categorie A-E con i voti tra l’altro in trentesimi. Mi sembra di avere sentito di aree che sono andate in deroga a questa forzatura per evitare di offendere i loro ricercatori con giudizi assurdi su lavori forzati a stare nelle categorie non corrispondenti. Aspettiamo con ansia i tabulati finali.
Un farmaco che non ti cura e invece ti brucia i neuroni andrebbe proibito tout court. Idem per ISPD che ha lo stesso effetto per l’accademia italiana.
Per quanto ne so (da fonte ANVUR) le Aree preminenti sono individuate in base alla “somma” dei punteggi standardizzati dei prodotti presentati dai docenti appartenenti a quelle Aree. Ciò rende la valutazione del contributo di Area una misura quali-quantitativa. In sostanza non si tratta di una media, nemmeno di Chisini. Purtroppo la dicitura in parentesi è infelice. Sarebbe stato meglio parlare di “soglia”.
Bisogna tener presenti i due seguenti aspetti (soprattutto il secondo):
1) un’Area eccellente in termini di prodotti ma composta da pochi docenti può risultare non preminente (detto anche “sotto la media” – sic);
2) come già scrissi in un post in occasione del precedente esercizio VQR 2011-14, i punteggi standardizzati sono una trasformazione lineare degli score di partenza che ha effetti esplosivi per determinati SSD e regressivi per altri. Dipende da media e sqm dei prodotti di quel settore. Dove la media di settore è alta, il punteggio standardizzato si abbassa, anche drasticamente. Si cita l’Area 3. Con riferimento ai punteggi del precedente esercizio 2011-14, un prodotto “eccellente” nel SSD CHIM/02 (Area 3) ha un punteggio standardizzato di 0.71. Per SSD di altre Aree, meno forti, il punteggio di un prodotto giudicato perimenti “eccellente” vale molto di più, anche fino a più di 3 punti, cioè più del quadruplo. Vale la seguente regola: a parità di giudizi dei prodotti, e a parità di prodotti, in una gara fra settori forti e meno forti vincono sempre (fanno più punti) questi ultimi.
La storiella comunque ci insegna che è un vero peccato che il meccanismo di computo dell’ISPD resti un po’ opaco e possa facilmente dar luogo a malintesi. Con riferimento alla scarsa chiarezza, personalmente trovo strano, per non dir sospetto, che un documento ufficiale come la Nota Metodologica (https://mur-gov-it.prod.cineca.it/sites/default/files/2022-05/Nota%20metodologica%20ISPD-ANVUR.pdf) riporti ancora la stessa formula sbagliata del precedente esercizio. La formula del voto standardizzato del dipartimento (p.2) coinvolge, per come è scritta, una standardizzazione dei voti già standardizzati. Spero non sia quella la formula applicata, perché non va certo bene.
E’ quello che è successo al mio dipartimento chimico la volta scorsa. La stragrande maggioranza dei prodotti attorno al valore medio di 0.7xxx. Nel fare la media il loro peso si è cancellato (sopra sono positivi e sotto sono negativi) per cui nella media sono sopravvissuti solo i pochi lavori mancanti o non quotati che hanno così determinato sostanzialmente l’ISPD finale. Veramente paradossale. Comunque questa volta non ci saranno aree con valutazione media molto differente considerando la regola introdotta della percentuale di prodotti nelle varie categorie A-E. L’ANVUR ha spostato a monte la standardizzazione. Qualche area dovrebbe però avere derogato.
Quanto riferito dall’Anvur sembra ancora peggio della congettura proposta nell’articolo. Infatti non prevedere alcuna normalizzazione che tenga conto del numero di afferenti all’area significherebbe condannare le aree numericamente più piccole ad essere classificate “sotto media”, indipendentemente dalle loro performances alla VQR. Inoltre mi sembra anche contrastare con quanto affermato dalla legge, cioè che l’Anvur avrebbe dovuto individuare “le aree meglio valutate dalla VQR” (e non quelle numericamente più grandi). Il termine usato “sotto media” , fra l’altro, lascia pensare a tutto fuorché alla dimensione dell’area.
Mi viene in mente quando ad Aprile, all’indomani della conferenza stampa sui risultati generali della VQR 2015-19, alcuni quotidiani avevano pubblicato che “Roma La Sapienza è il migliore ateneo italiano” secondo l’ANVUR (https://www.repubblica.it/cronaca/2022/04/14/news/anvur_la_ricerca-345392655/).
Per poi scoprire che Roma La Sapienza era sì “primo” in graduatoria, ma solamente perché è l’ateneo italiano col maggior numero di docenti e l’indicatore preso in considerazione era l’IRAS (proporzionale al numero di docenti).