Dario Braga (Bologna): «è consolante essere la prima italiana» … ma è vero?

«Negli ultimi anni eravamo un po’ discesi, direi che la risalita è sempre un fatto positivo — commenta il prorettore Dario Braga —, senza fare trionfalismi, è consolante essere la prima italiana»: persino i vertici dell’Università di Bologna sono stati tratti in inganno dallo scivolone di quelle testate che, all’uscita della classifica di Shanghai, hanno assegnato a Bologna la palma di migliore ateneo italiano. Come già spiegato da Marco Bella, l’ANSA, RAINews, il Sole 24 Ore, la Stampa e QN non si erano accorti che nell’intervallo 151-200 della Classifica di Shanghai, l’ordine è puramente alfabetico, perché vengono oscurati i punteggi. Ma dove starebbe Bologna, se venisse tolto il velo ai punteggi? Siamo in grado di rivelarlo ed è una sorpresa: nel segmento 151-200, Bologna è tutt’altro che la prima delle sei italiane. Infatti, non solo è l’ultima delle sei, ma è l’ultima in assoluto del segmento, dato che si trova in 200-esima posizione appena un decimo di punto sopra Lisbona che è 201-esima. I bolognesi, privati della medaglia troppo affrettatamente esibita,  potranno comunque consolarsi in altro modo, ovvero ricordando a sé e agli altri che queste classifiche  non hanno alcuna base scientifica.

A ferragosto è uscita l’edizione 2014 dell’ARWU (Academic Ranking of World Universities), la classifica internazionale degli atenei pubblicata annualmente dall’università Jiao Tong di Shanghai. Che questa classifica usi metodologie grossolane e prive di basi scientifiche è cosa ormai nota tra gli studiosi, ma ciò nonostante ad ogni uscita essa ottiene enorme visibilità sulla stampa internazionale e non solo.

Puntualmente come ogni anno, anche i media italiani hanno fatto da cassa di risonanza, sottolineando quelli che ritenevano essere gli aspetti salienti della classifica appena pubblicata. In particolare, moltissime testate (il collage sottostante ne riporta solo una selezione) hanno dato evidenza a due dati:

1. nessuna università italiana tra le prime 150;
2. nella classifica la palma della migliore università italiana spetta a Bologna.

1. Nessuna italiana nella top 150. Vergogna! … o no?

Il primo dei due dati è vero ed  è stato di regola assunto come la dimostrazione della miserevole condizione in cui verserebbe il sistema universitario italiano. Se da un lato le università italiane hanno subito tagli enormi (il Fondo di Finanziamento Ordinario è calato del -18,7% in termini reali dal 2009 al 2013), la quantità e la qualità della produzione scientifica dell’università italiana erano e rimangono elevate, come riconosce persino l’ANVUR. Più difficile avere una comparazione  della  qualità della formazione impartita, ma non è certo questo che misura la classificha di Shanghai, la quale considera il numero di premi Nobel e medaglie Field tra docenti e alumni.

The most popular global league tables (ARWU, THE-QS and THE-Thomson Reuters, US News and World Report Ranking (USNWR), HEEACT, Reitor and others) concern the world’s top universities only. First of all, the league tables include roughly 1% to 3% of universities (200-500 universities) out of approximately 17,000 universities in the world. […] Due to the elitist approach applied in the methodologies of the global league tables, more than 16,000 of the world’s universities will never obtain any rank in those rankings.
[Figura e testo tratti da: A. Rauhvargers, Global University Rankings and their Impact, European University Association Report on Rankings 2011]

In realtà, anche se si volesse dar credito alle classifiche internazionali degli atenei (nonostante le loro falle scientifiche e le distorsioni che inducono nelle politiche formative nazionali, vedi qui, qui e qui), l’Italia ne uscirebbe tutt’altro che  bocciata. Nel mondo ci sono circa 17.000 atenei. Sapere che 21 università italiane entrano nella top 500, significa che l’università italiana – nonostante una spesa rapportata al PIL che è la penultima in Europa – vede una parte non piccola delle sue università collocarsi nel top 3% di tutte le università del mondo, un risultato che poche nazioni possono vantare. A chi lamenta l’assenza degli atenei italiani dalla top 100 va ricordata la valutazione di un’esperta di higher education come Ellen Hazelkorn:  per entrare tra le top 100 un ateneo deve spendere annualmente qualcosa come 1,5 miliardi di Euro. E se guardiamo al gradino più alto del podio, le spese operative annuali di Harvard nel 2012 ammontanto a 3 miliardi di Euro, il 44% dell’intero Fondo di Finanziamento Ordinario italiano.

Ma lo scopo di questo post non è un disamina approfondita delle classifiche internazionali sia dal punto di vista tecnico che delle politiche universitarie nazionali. Piuttosto, ci interessa il secondo dato, ovvero il presunto primato di Bologna.

2. “Bologna la migliore”. Evviva! … o no?

Questo è quello che titolano su più colonne buon parte delle testate giornalistiche. E in effetti, se si va a vedere sul sito dell’ARWU, Bologna è la prima università italiana in ordine di apparizione. Ma questo non vuol dire che sia anche la migliore …

Spetta a Marco Bella il merito di aver messo a nudo sul suo blog del Fatto Quotidiano lo strafalcione in cui era caduta una buona parte della stampa italiana. Ironicamente, Bella fa notare una strana coincidenza. I sei atenei italiani che entrano nel blocco cha va dalla posizione 151 a alla posizione 200, sono in perfetto ordine alfabetico:

• Bologna
• Milano
• Padova
• Pisa
• Torino
• Roma Sapienza

Non è una coincidenza, prosegue Bella: basta leggere con un minimo di attenzione la classifica ARWU per vedere che dall 101-esima posizione in giù non vengono pubblicati i cosiddetti total scores, ma ci sono dei blocchi di atenei che si classificano a pari merito. In particolare, primi sei atenei italiani sono classificati a pari merito nel blocco 151-200 e, come si vede dalla figura seguente, hanno tutti lo stesso national rank, ovvero “1-6”.

La classifica di Shanghai fornisce i “total scores” solo per le prime 100 università che sono ordinate una per una. Le altre sono raggruppate a blocchi di 50 (da 101 a 150, da 151 a 200, etc) senza “total scores” e collocate solo in ordine alfabetico. Nel blocco da 151 a 200, ci sono 6 università italiane che vanno pertanto considerate a pari merito, come d’altronde facilmente verificabile dalla colonna “National Rank” che indica “1-6” per tutte e sei. Non c’è pertanto nessuna ragione per dire “Bologna la migliore” come affermato, tra altri, da ANSA, RAI News, Sole 24 Ore, la Stampa e QN.

Nulla di misterioso: sono cose ben note a chi ha un minimo di conoscenza della classifica ARWU, ma non ai giornalisti italiani che non si erano curati di effettuare una semplice verifica della fonte originale. In particolare, affermare che Bologna fosse la migliore delle italiane era ingiustificato. Era solo tra le prime sei a pari merito.

Sui media italiani, si era cominciato a pubblicare la notizia il 16 agosto. Il post di Bella esce nella tarda mattinata  del 17  e viene subito diffuso attraverso i social media. Il Fatto Quotidiano provvede tempestivamente a correggere la notizia del presunto primato di Bologna, dando credito della rettifica a Marco Bella. Naturale immaginare che la storia si fermi qui.

E invece no.

3. Ci casca anche l’Alma Mater

Quando sembra che sia calato il sipario su questa ennesima bufala, arriva la vittima più illustre, nelle vesti del prorettore alla ricerca dell’ateneo bolognese. A bufala già scoperta, nelle pagine della cronaca bolognere del Corriere della Sera on line esce un articolo dal titolo inequivocabile:

L’Alma Mater scala la classifica cinese È nella «top 200» e prima delle italiane

Nell’ articolo viene intervistato Dario Braga, il prorettore alla ricerca dell’ateneo bolognese, il quale dichiara:

Negli ultimi anni eravamo un po’ discesi, direi che la risalita è sempre un fatto positivo — commenta il prorettore alla ricerca Dario Braga —, senza fare trionfalismi, è consolante essere la prima italiana

A quanto pare, neppure Braga si era preso cura di verificare la classifica sul sito dell’ARWU, dove avrebbe subito visto che il national rank era “1-6”. Come prorettore alla ricerca avrebbe anche dovuto avere un’idea più precisa delle regole della classifica di Shanghai, che è ben conosciuta tra gli addetti ai lavori anche perché è la prima ad essere uscita nel lontano 2003. Ma l’esultanza per la notizia del primato Bolognese in evidenza sulle principali testate deve avere avuto la meglio sulla lucidità e la scrupolosità. Un po’ come quando ti dicono che hai vinto alla lotteria e non vai nemmeno a controllare se il numero del tuo biglietto è quello giusto.

Beh, se da un lato non è corretto dire che il biglietto di Braga fosse quello vincente, non possiamo neppure escluderlo  Dopo tutto, tra i sei “biglietti” di Bologna, Milano, Padova, Pisa, Torino, Roma Sapienza, c’è quello della “migliore” università italiana (sempre secondo i discutibili criteri ARWU). E se Braga, sull’onda dell’entusiasmo, ci avesse comunque azzeccato? Magari Bologna era veramente il migliore ateneo in classifica, anche se l’ARWU non ce l’ha rivelato.

Sembra una di quelle domande destinate a rimanere senza risposta: in assenza dei total scores non c’è modo di ricostruire la classifica all’interno del blocco 151-200, o almeno così sembra.

E invece no. Con un modesto sforzo è possibile ricostruire i total scores e quindi anche una classifica dettagliata che ci dica se Bologna è veramente prima oppure seconda, terza o chissà. Vediamolo insieme.

4. I predatori della classifica perduta

Per risalire ai punteggi che ARWU ha oscurato, bisogna prendere le mosse dalla formula con cui viene calcolato il “total score”. Tutte le informazioni necessarie sono reperibili nella sezione Methodology dell’ARWU.

Senza addentrarci nel significato dei diversi indicatori, dalla tabella si deduce facilmente la formula usata da ARWU:

Score = (10 x Alumni + 20 x Award + 20 x HiCi + 20 x N&S +20 x PUB +10 x PCP)/100

Per fortuna,  abbiamo a nostra disposizione tutti gli ingredienti, dato che sul sito ARWU è possibile visualizzare tutti e sei gli indicatori per ognuno dei 500 gli atenei della classifica. Con un po’ di pazienza, carichiamo su uno spredsheet tutti gli indicatori degli atenei e, mediante la formula, calcoliamo lo score di ciascuno. I primi 100 atenei possono fungere da verifica, dato che sul sito ANWUR è già riportato il loro total score. Da notare che per effettuare questa verifica occorre un ultimo passaggio, ovvero, normalizzare i punteggi in modo che  il total score più alto, – quello di Harvard – sia pari a 100:

TotalScore = 100 x Score /ScoreHarvard

La verifica ha esito positivo: infatti, per i primi 100 atenei il total score calcolato dal nostro spreadsheet coincide con quello ARWU. A questo punto, riordiniamo tutti i 500 atenei sulla base del loro total score. Ecco il risultato che si ottiene per il blocco 151-200 a cui abbiamo aggunto l’Università di Lisbona che è 201-esima (cliccare la tabella per ingrandirla).

In rosso sono evidenziate le sei “migliori” (secondo ARWU) università italiane. Ed ecco la “classifica ritrovata”:

1. Roma Sapienza (total score = 20.1, world rank: 152-esima)
   
2. Pisa (19.1, 165-esima)
3. Milano (18,4, 171-esima)
4. Padova (18,2, 175-esima)
5. Torino (17,2, 192-esima)
6. Bologna (16,9, 200-esima)

Anche Roma la Sapienza, facendo gli stessi conti, si è accorta dello “scippo” ed ha emesso un comunicato stampa in cui rivendica il primo posto.

Pertanto, non solo non c’erano elementi per assegnare la medaglia d’oro a Bologna, ma un supplemento di analisi avrebbe mostrato che tra le prime sei università, quella bolognese era la sesta. Ultima non solo delle sei italiane, ma dell’intero blocco 151-200, dato che Bologna è proprio 200-esima. Verrebbe da dire che ce l’ha fatta per il rotto della cuffia ad essere ammessa nel “club 151-200”. Infatti, il total score di Bologna è 16.9, appena di un decimale superiore al 16,8 di Lisbona che naviga nella categoria immediatamente inferiore del “club 201-300”.

5. Voglia di pensiero magico

Qualcuno si domanderà perchè ARWU non pubblica tutti i total scores sollevando così il velo sulla classifica dettagliata per tutte le 500 università. Forse perché dopo la 100-esima posizione le differenze di punteggio sono così minime da rendere aleatoria ogni classifica dettagliata. Meglio non arrischiarsi e meglio anche che il pubblico non se ne renda conto?

Da questo punto di vista, si potrebbe mettere in discussione anche il nostro esercizio di ricostruzione dei total scores e della classifica completa. Se non ci crede ARWU, perché dovremmo crederci noi? A dire il vero, noi non riteniamo credibile la classifica nel suo complesso, non solo quella ricostruita da noi. Da un punto di vista scientifico, vale quanto scritto da Billaut, Bouyssou e Vincke a conclusione di una dettagliata e rigorosa analisi metodologica

we have seen all criteria used by authors of the ranking are only loosely connected with what they intended to capture. The evaluation of these criteria involves several arbitrary parameters and many micro-decisions that are not documented. Moreover, we have seen that the aggregation method that is used is flawed and nonsensical. Finally, the authors of the ranking have paid almost no attention to fundamental structuring issues. Therefore, it does not seem unfair to say that the Shanghai ranking is a poorly conceived quick and dirty exercise. Again any of our MCDM [Multiple Criteria Decision Making, NdR] student that would have proposed such a methodology in her Master’s Thesis would have surely failed according to our own standards.

J.C. Billaut et al. “Should you believe in the Shanghai ranking? – An MCDM view”, Scientometrics (2010) 84:237–263

Tuttavia, in un contesto in cui le classifiche sono venerate come oracoli, sembrava istruttivo portare alle ultime conseguenze quel misto di credulità e opportunismo  che induce la più antica università del mondo a fregiarsi di un titolo di dubbio valore che per di più non le spetta. Un preoccupante sintomo di decadenza, purtroppo nemmeno isolato nel panorama italiano dove non manca chi si fregia di cabale di cui non capisce il senso.

Presso il largo pubblico, le classifiche soddisfano la sete di “pensiero magico”, alimentando l’illusione che qualche arcana metodologia maneggiata da tecno-sciamani sia capace di catturare in un singolo numero il merito ed il demerito di una realtà multidimensionale come le istituzioni di formazione universitaria. Rimane da domandarsi se i vertici accademici che accreditano queste stregonerie siano anch’essi vittime di questo miraggio o se lo facciano con calcolato cinismo.

Houdini svolse una meritoria opera di smascheramento degli spiritisti. Che serva qualcosa di simile anche a noi?