La classifica del Sole 24 Ore: Macerata e Salerno al top per la ricerca … o no?

Se il Sole 24 Ore pubblica la sua Classifica delle Migliori Università Italiane è naturale andare a vedere chi vince e chi perde. E c’è una sorpresa proprio per quanto riguarda l’indicatore più ambito, ovvero la qualità della ricerca scientifica. Infatti, l’Università di Macerata si colloca sul gradino più alto del podio infliggendo un pesante distacco alla seconda classificata, l’Università di Salerno, che è comunque una sorpresa. Verona è solo terza seguita da Trento. Ma quali indicatori ha usato il Sole 24 Ore per sconvolgere le gerarchie costituite? Stando a quanto dichiarato, ha fatto “tesoro delle valutazioni realizzate dall’Anvur”. Ma se andiamo a verificare sui dati VQR forniti dall’ANVUR, i conti non tornano. Per di più, la nota tecnica del Sole 24 Ore è indecifrabile e sgrammaticata. Impossibile raccapezzarsi. Almeno, fino a quando non bussa alla porta il nostro collega Gedeone, portando con sé la soluzione del mistero …

Non senza essere stata annunciata con un certa qual soddisfazione, sul Sole 24 Ore di oggi è stata pubblicata la Classifica delle Migliori Università italiane.

Se si entra nel dettaglio tecnico, non sembra esserci un grande sforzo metodologico. Avendo considerato nove indicatori per la didatttica, nornalizzati ciascuno tra 0 e 100, se ne calcola la media per ottenere la classifica generale per la didattica.

Si tratta di una metodologia di aggregazione non validata, che, come brillantemente spiegato da Billaut et. al, è soggetta alla cosiddetta “normalization trap”, di cui abbiamo già parlato in un precedente articolo di Roars (Andrea Bonaccorsi e le classifiche degli atenei: Voodoo rankings!). Riferendosi a questa tecnica di aggregazione dei punteggi, Billaut era stato molto esplicito:

The aggregation technique used is flawed

Il Sole 24 Ore usa lo stesso metodo (fallato) per aggregare altri tre indicatori relativi alla ricerca. Infine, mediando il voto della didattica e quello della ricerca si ottiene il voto complessivo che fornisce la classifica generale.

Non potendo dare molto credito alla classifica complessiva, può essere tuttavia interessante esaminare i dati e le classifiche dei singoli indicatori. In particolare, il Sole rielabora i voti VQR per stilare una classifica della qualità della ricerca. Un’operazione abbastanza spericolata, dato che la stessa ANVUR aveva messo in guardia relativamente alla possibilità di comparare i voti ottenuti nelle diverse aree scientifiche:

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina.
Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie Aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse, un esercizio senza alcun fondamento metodologico e scientifico.

Questo stesso caveat riguarda in qualche caso il confronto tra settori scientifico-disciplinari (SSD) interni a un’Area. Mentre in alcuni casi è possibile confrontare la qualità della ricerca tra SSD della stessa Area, in altri casi (evidenziati nei singoli rapporti di Area) tale confronto non è possibile né opportuno. Le graduatorie di Area e di sottoinsiemi più omogenei all’interno di un’Area, quali sub-GEV o SSD, sono finalizzate al confronto nazionale di natura verticale al loro interno.

Rapporto Finale ANVUR – Parte I, p. 7

Va anche detto che il Sole 24 Ore non è il primo a cimentarsi nel tentativo di rendere comparabili i risultati conseguiti in aree scientifiche diverse. Ci ha provato l’ANVUR in due modi diversi (standardizzazione per area e per SSD) nell’accreditamento dei dottorati e ci ha provato anche la CRUI proponendo altre due standardizzazioni finalizzate alla ripartizione interna agli atenei. Quello del Sole 24 Ore sarebbe pertanto almeno il quinto diverso tentativo di risolvere un problema per sua natura impossibile.

In assenza di un campione di riferimento (il metro di Sèvres, per intenderci) la calibrazione non è possibile se non a costo di ipotesi che vanno esplicitate e discusse nel merito (VQR da buttare? Persino ANVUR cestina i voti usati per l’assegnazione FFO 2013). Sembra di assistere agli sforzi di inventori dilettanti che si ingegnano a ottenere il moto perpetuo.

C’è comunque la curiosità di capire a quale marchingegno numerico abbia fatto ricorso la classifica del Sole 24 Ore per estrarre una classifica unica dal tabellone dei voti VQR nelle 16 diverse aree. In particolare, vorremmo capire come sia possibile che in testa agli atenei italiani ci sia Macerata, con uno strabiliante 2,6, seguita da Salerno con un punteggio 1,9 meno brillante, ma comunque superiore al Politecnico di Milano. con il suo 1,7.Lavoriamo duramente sul foglio Excel gentilmente messo a disposizione dal Sole, ma non veniamo a capo di nulla. Non sembra esserci nessun modo di elaborare i voti VQR in modo da proiettare Macerata al primo posto della VQR.

Andiamo a cercare una nota metodologica sul sito e troviamo questo.

 … media aritmetica dei valori R di qualità della produzione scientifica di area con pesi pari alla proporzione di prodotti di ricerca attesi dall’area sul totale di prodotti rapporto tra numero di ricerca attesi nell’ateneo.

Boh. Oltre che i numeri sembra diventato problematico anche l’uso della lingua italiana. A meno che non si tratti di una “supercazzola prematurata” nel migliore stile dell’indimenticabile “Amici Miei” di Mario Monicelli.

Insomma, questa classifica ci sta procurando un vero mal di testa.

Stiamo per gettare la spugna, quando bussa Gedeone, un nostro collega. Tutto infervorato, parla delle classifiche che ha letto sulla copia cartacea del Sole 24 Ore che ha sotto braccio. Per curiosità dispieghiamo il quotidiano sulla scrivania e cerchiamo la classifica inspiegabile. Ed ecco cosa si vede.

Ecco spiegato l’arcano. Nella versione on-line è stata scambiata la colonna della Qualità della produzione scientifica (voti VQR)  con quella della Competitività della ricerca (fondi esterni), che ha a che fare con la capacità di attrazione di risorse per progetti. È in questo campo  (colonna di destra) che Macerata e Salerno eccellono, non nella valutazione dei prodotti della ricerca (colonna di sinistra).

Andando a ricontrollare sul sito del Sole si vede che anche le “Classifiche personalizzate” sono sbagliate.

Ma Gedeone era venuto per un’altra ragione:

Hai visto che dilettanti quelli del Sole 24 Ore: hanno usato un bel po’ di dati della VQR 2004-2010, ma nel citare la fonte, sai cosa hanno scritto dappertutto? Guarda qui.

Non citare correttamente il periodo temporale della VQR 2004-2010 è indubbiamente una distrazione, ma messa assieme alla nota metodologica in stile supercazzola e allo scambio di colonne rende l’idea della cura che sta dietro tutta l’operazione. Tanto più che ci sono altri punti interrogativi. La classifica dell’Alta formazione dovrebbe misurare la Qualità dei dottorati, come messo in bella evidenza, ma chi conosce la VQR rimane perplesso nel vedere indicata come fonte  “Rilevazione 2013 Anvur sulla qualità della ricerca – Vqr 2006-2010 [sic]”. Infatti, è noto che la VQR non contemplava nessuna misura della qualità dei dottorati.

Nella VQR, l’unico dato relativo all’alta formazione era l’indicatore IRAS5, ovvero un semplice conteggio del numero di ricercatori in formazione (studenti di dottorato, assegnisti di ricerca, borsisti post-doc). Come si può leggere qui,  è questa l’informazione su cui il Sole ha elaborato il terzo indicatore della ricerca, etichettato come “Qualità dei dottorati”, mentre è solo un conteggio di ricercatori.

E questo è solo quello che salta all’occhio ad un primo esame sommario.

Riguardo alla classifica di Shanghai, Billaut scriveva

Therefore, it does not seem unfair to say that the Shanghai ranking is a poorly conceived quick and dirty exercise.

ma solo perchè non aveva visto le classifiche del Sole 24 Ore.

Post Scriptum: Nell’articolo in prima pagina del Sole,  il Prof. Daniele Checchi mette le mani avanti:

I dati di queste pagine sono un buon esempio di come si possano fornire informazioni in un formato utilizzabile. Ma già immagino i detrattori che cominceranno a obiettare sull’affidabilità di questo o quel dato, o sulla loro ponderazione.

http://www.ilsole24ore.com/art/notizie/2014-06-23/misurare-poter-migliorare-063641.shtml

Prudenza o preveggenza?