Classifiche internazionali

Dario Braga (Bologna): «è consolante essere la prima italiana» … ma è vero?

«Negli ultimi anni eravamo un po’ discesi, direi che la risalita è sempre un fatto positivocommenta il prorettore Dario Braga —, senza fare trionfalismi, è consolante essere la prima italiana»: persino i vertici dell’Università di Bologna sono stati tratti in inganno dallo scivolone di quelle testate che, all’uscita della classifica di Shanghai, hanno assegnato a Bologna la palma di migliore ateneo italiano. Come già spiegato da Marco Bella, l’ANSA, RAINews, il Sole 24 Ore, la Stampa e QN non si erano accorti che nell’intervallo 151-200 della Classifica di Shanghai, l’ordine è puramente alfabetico, perché vengono oscurati i punteggi. Ma dove starebbe Bologna, se venisse tolto il velo ai punteggi? Siamo in grado di rivelarlo ed è una sorpresa: nel segmento 151-200, Bologna è tutt’altro che la prima delle sei italiane. Infatti, non solo è l’ultima delle sei, ma è l’ultima in assoluto del segmento, dato che si trova in 200-esima posizione appena un decimo di punto sopra Lisbona che è 201-esima. I bolognesi, privati della medaglia troppo affrettatamente esibita,  potranno comunque consolarsi in altro modo, ovvero ricordando a sé e agli altri che queste classifiche  non hanno alcuna base scientifica.

A ferragosto è uscita l’edizione 2014 dell’ARWU (Academic Ranking of World Universities), la classifica internazionale degli atenei pubblicata annualmente dall’università Jiao Tong di Shanghai. Che questa classifica usi metodologie grossolane e prive di basi scientifiche è cosa ormai nota tra gli studiosi, ma ciò nonostante ad ogni uscita essa ottiene enorme visibilità sulla stampa internazionale e non solo.

Puntualmente come ogni anno, anche i media italiani hanno fatto da cassa di risonanza, sottolineando quelli che ritenevano essere gli aspetti salienti della classifica appena pubblicata. In particolare, moltissime testate (il collage sottostante ne riporta solo una selezione) hanno dato evidenza a due dati:

  1. nessuna università italiana tra le prime 150;
  2. nella classifica la palma della migliore università italiana spetta a Bologna.

 

BolognaTopShanghai

1. Nessuna italiana nella top 150. Vergogna! … o no?

Il primo dei due dati è vero ed  è stato di regola assunto come la dimostrazione della miserevole condizione in cui verserebbe il sistema universitario italiano. Se da un lato le università italiane hanno subito tagli enormi (il Fondo di Finanziamento Ordinario è calato del -18,7% in termini reali dal 2009 al 2013), la quantità e la qualità della produzione scientifica dell’università italiana erano e rimangono elevate, come riconosce persino l’ANVUR. Più difficile avere una comparazione  della  qualità della formazione impartita, ma non è certo questo che misura la classificha di Shanghai, la quale considera il numero di premi Nobel e medaglie Field tra docenti e alumni.


RankedVsTotalUniversitiesThe most popular global league tables (ARWU, THE-QS and THE-Thomson Reuters, US News and World Report Ranking (USNWR), HEEACT, Reitor and others) concern the world’s top universities only. First of all, the league tables include roughly 1% to 3% of universities (200-500 universities) out of approximately 17,000 universities in the world. […] Due to the elitist approach applied in the methodologies of the global league tables, more than 16,000 of the world’s universities will never obtain any rank in those rankings.
[Figura e testo tratti da: A. Rauhvargers, Global University Rankings and their Impact, European University Association Report on Rankings 2011]


In realtà, anche se si volesse dar credito alle classifiche internazionali degli atenei (nonostante le loro falle scientifiche e le distorsioni che inducono nelle politiche formative nazionali, vedi qui, qui e qui), l’Italia ne uscirebbe tutt’altro che  bocciata. Nel mondo ci sono circa 17.000 atenei. Sapere che 21 università italiane entrano nella top 500, significa che l’università italiana – nonostante una spesa rapportata al PIL che è la penultima in Europa – vede una parte non piccola delle sue università collocarsi nel top 3% di tutte le università del mondo, un risultato che poche nazioni possono vantare. A chi lamenta l’assenza degli atenei italiani dalla top 100 va ricordata la valutazione di un’esperta di higher education come Ellen Hazelkorn:  per entrare tra le top 100 un ateneo deve spendere annualmente qualcosa come 1,5 miliardi di Euro. E se guardiamo al gradino più alto del podio, le spese operative annuali di Harvard nel 2012 ammontanto a 3 miliardi di Euro, il 44% dell’intero Fondo di Finanziamento Ordinario italiano.

Ma lo scopo di questo post non è un disamina approfondita delle classifiche internazionali sia dal punto di vista tecnico che delle politiche universitarie nazionali. Piuttosto, ci interessa il secondo dato, ovvero il presunto primato di Bologna.

ExpensesHarvardVsFFO

2. “Bologna la migliore”. Evviva! … o no?

Questo è quello che titolano su più colonne buon parte delle testate giornalistiche. E in effetti, se si va a vedere sul sito dell’ARWU, Bologna è la prima università italiana in ordine di apparizione. Ma questo non vuol dire che sia anche la migliore …

Spetta a Marco Bella il merito di aver messo a nudo sul suo blog del Fatto Quotidiano lo strafalcione in cui era caduta una buona parte della stampa italiana. Ironicamente, Bella fa notare una strana coincidenza. I sei atenei italiani che entrano nel blocco cha va dalla posizione 151 a alla posizione 200, sono in perfetto ordine alfabetico:

  • Bologna
  • Milano
  • Padova
  • Pisa
  • Torino
  • Roma Sapienza

Non è una coincidenza, prosegue Bella: basta leggere con un minimo di attenzione la classifica ARWU per vedere che dall 101-esima posizione in giù non vengono pubblicati i cosiddetti total scores, ma ci sono dei blocchi di atenei che si classificano a pari merito. In particolare, primi sei atenei italiani sono classificati a pari merito nel blocco 151-200 e, come si vede dalla figura seguente, hanno tutti lo stesso national rank, ovvero “1-6”.

 

ExAequoShanghai2

La classifica di Shanghai fornisce i “total scores” solo per le prime 100 università che sono ordinate una per una. Le altre sono raggruppate a blocchi di 50 (da 101 a 150, da 151 a 200, etc) senza “total scores” e collocate solo in ordine alfabetico. Nel blocco da 151 a 200, ci sono 6 università italiane che vanno pertanto considerate a pari merito, come d’altronde facilmente verificabile dalla colonna “National Rank” che indica “1-6” per tutte e sei. Non c’è pertanto nessuna ragione per dire “Bologna la migliore” come affermato, tra altri, da ANSA, RAI News, Sole 24 Ore, la Stampa e QN.


Nulla di misterioso: sono cose ben note a chi ha un minimo di conoscenza della classifica ARWU, ma non ai giornalisti italiani che non si erano curati di effettuare una semplice verifica della fonte originale. In particolare, affermare che Bologna fosse la migliore delle italiane era ingiustificato. Era solo tra le prime sei a pari merito.

Sui media italiani, si era cominciato a pubblicare la notizia il 16 agosto. Il post di Bella esce nella tarda mattinata  del 17  e viene subito diffuso attraverso i social media. Il Fatto Quotidiano provvede tempestivamente a correggere la notizia del presunto primato di Bologna, dando credito della rettifica a Marco Bella. Naturale immaginare che la storia si fermi qui.

E invece no.

3. Ci casca anche l’Alma Mater

Quando sembra che sia calato il sipario su questa ennesima bufala, arriva la vittima più illustre, nelle vesti del prorettore alla ricerca dell’ateneo bolognese. A bufala già scoperta, nelle pagine della cronaca bolognere del Corriere della Sera on line esce un articolo dal titolo inequivocabile:

L’Alma Mater scala la classifica cinese È nella «top 200» e prima delle italiane


 

AlmaMaterScalaARWU


Nell’ articolo viene intervistato Dario Braga, il prorettore alla ricerca dell’ateneo bolognese, il quale dichiara:

Negli ultimi anni eravamo un po’ discesi, direi che la risalita è sempre un fatto positivo — commenta il prorettore alla ricerca Dario Braga —, senza fare trionfalismi, è consolante essere la prima italiana

A quanto pare, neppure Braga si era preso cura di verificare la classifica sul sito dell’ARWU, dove avrebbe subito visto che il national rank era “1-6”. Come prorettore alla ricerca avrebbe anche dovuto avere un’idea più precisa delle regole della classifica di Shanghai, che è ben conosciuta tra gli addetti ai lavori anche perché è la prima ad essere uscita nel lontano 2003. Ma l’esultanza per la notizia del primato Bolognese in evidenza sulle principali testate deve avere avuto la meglio sulla lucidità e la scrupolosità. Un po’ come quando ti dicono che hai vinto alla lotteria e non vai nemmeno a controllare se il numero del tuo biglietto è quello giusto.

Beh, se da un lato non è corretto dire che il biglietto di Braga fosse quello vincente, non possiamo neppure escluderlo  Dopo tutto, tra i sei “biglietti” di Bologna, Milano, Padova, Pisa, Torino, Roma Sapienza, c’è quello della “migliore” università italiana (sempre secondo i discutibili criteri ARWU). E se Braga, sull’onda dell’entusiasmo, ci avesse comunque azzeccato? Magari Bologna era veramente il migliore ateneo in classifica, anche se l’ARWU non ce l’ha rivelato.

Sembra una di quelle domande destinate a rimanere senza risposta: in assenza dei total scores non c’è modo di ricostruire la classifica all’interno del blocco 151-200, o almeno così sembra.

E invece no. Con un modesto sforzo è possibile ricostruire i total scores e quindi anche una classifica dettagliata che ci dica se Bologna è veramente prima oppure seconda, terza o chissà. Vediamolo insieme.

4. I predatori della classifica perduta

Per risalire ai punteggi che ARWU ha oscurato, bisogna prendere le mosse dalla formula con cui viene calcolato il “total score”. Tutte le informazioni necessarie sono reperibili nella sezione Methodology dell’ARWU.

IndicatorsARWU

Senza addentrarci nel significato dei diversi indicatori, dalla tabella si deduce facilmente la formula usata da ARWU:

Score = (10 x Alumni + 20 x Award + 20 x HiCi + 20 x N&S +20 x PUB +10 x PCP)/100

Per fortuna,  abbiamo a nostra disposizione tutti gli ingredienti, dato che sul sito ARWU è possibile visualizzare tutti e sei gli indicatori per ognuno dei 500 gli atenei della classifica. Con un po’ di pazienza, carichiamo su uno spredsheet tutti gli indicatori degli atenei e, mediante la formula, calcoliamo lo score di ciascuno. I primi 100 atenei possono fungere da verifica, dato che sul sito ANWUR è già riportato il loro total score. Da notare che per effettuare questa verifica occorre un ultimo passaggio, ovvero, normalizzare i punteggi in modo che  il total score più alto, – quello di Harvard – sia pari a 100:

TotalScore = 100 x Score /ScoreHarvard

La verifica ha esito positivo: infatti, per i primi 100 atenei il total score calcolato dal nostro spreadsheet coincide con quello ARWU. A questo punto, riordiniamo tutti i 500 atenei sulla base del loro total score. Ecco il risultato che si ottiene per il blocco 151-200 a cui abbiamo aggunto l’Università di Lisbona che è 201-esima (cliccare la tabella per ingrandirla).

 

WorldRankARWU

In rosso sono evidenziate le sei “migliori” (secondo ARWU) università italiane. Ed ecco la “classifica ritrovata”:

  1. Roma Sapienza (total score = 20.1, world rank: 152-esima)
  2. Pisa (19.1, 165-esima)
  3. Milano (18,4, 171-esima)
  4. Padova (18,2, 175-esima)
  5. Torino (17,2, 192-esima)
  6. Bologna (16,9, 200-esima)

Anche Roma la Sapienza, facendo gli stessi conti, si è accorta dello “scippo” ed ha emesso un comunicato stampa in cui rivendica il primo posto.

Pertanto, non solo non c’erano elementi per assegnare la medaglia d’oro a Bologna, ma un supplemento di analisi avrebbe mostrato che tra le prime sei università, quella bolognese era la sesta. Ultima non solo delle sei italiane, ma dell’intero blocco 151-200, dato che Bologna è proprio 200-esima. Verrebbe da dire che ce l’ha fatta per il rotto della cuffia ad essere ammessa nel “club 151-200”. Infatti, il total score di Bologna è 16.9, appena di un decimale superiore al 16,8 di Lisbona che naviga nella categoria immediatamente inferiore del “club 201-300”.

5. Voglia di pensiero magico

Qualcuno si domanderà perchè ARWU non pubblica tutti i total scores sollevando così il velo sulla classifica dettagliata per tutte le 500 università. Forse perché dopo la 100-esima posizione le differenze di punteggio sono così minime da rendere aleatoria ogni classifica dettagliata. Meglio non arrischiarsi e meglio anche che il pubblico non se ne renda conto?

Da questo punto di vista, si potrebbe mettere in discussione anche il nostro esercizio di ricostruzione dei total scores e della classifica completa. Se non ci crede ARWU, perché dovremmo crederci noi? A dire il vero, noi non riteniamo credibile la classifica nel suo complesso, non solo quella ricostruita da noi. Da un punto di vista scientifico, vale quanto scritto da Billaut, Bouyssou e Vincke a conclusione di una dettagliata e rigorosa analisi metodologica

we have seen all criteria used by authors of the ranking are only loosely connected with what they intended to capture. The evaluation of these criteria involves several arbitrary parameters and many micro-decisions that are not documented. Moreover, we have seen that the aggregation method that is used is flawed and nonsensical. Finally, the authors of the ranking have paid almost no attention to fundamental structuring issues. Therefore, it does not seem unfair to say that the Shanghai ranking is a poorly conceived quick and dirty exercise. Again any of our MCDM [Multiple Criteria Decision Making, NdR] student that would have proposed such a methodology in her Master’s Thesis would have surely failed according to our own standards.

J.C. Billaut et al. “Should you believe in the Shanghai ranking? – An MCDM view”, Scientometrics (2010) 84:237–263

Tuttavia, in un contesto in cui le classifiche sono venerate come oracoli, sembrava istruttivo portare alle ultime conseguenze quel misto di credulità e opportunismo  che induce la più antica università del mondo a fregiarsi di un titolo di dubbio valore che per di più non le spetta. Un preoccupante sintomo di decadenza, purtroppo nemmeno isolato nel panorama italiano dove non manca chi si fregia di cabale di cui non capisce il senso.

Presso il largo pubblico, le classifiche soddisfano la sete di “pensiero magico”, alimentando l’illusione che qualche arcana metodologia maneggiata da tecno-sciamani sia capace di catturare in un singolo numero il merito ed il demerito di una realtà multidimensionale come le istituzioni di formazione universitaria. Rimane da domandarsi se i vertici accademici che accreditano queste stregonerie siano anch’essi vittime di questo miraggio o se lo facciano con calcolato cinismo.

Houdini svolse una meritoria opera di smascheramento degli spiritisti. Che serva qualcosa di simile anche a noi?

 HoudiniSpiritism

 

 

Send to Kindle
Tag: , , , , , , , , , , , , , , , , , , , ,

14 Comments

  1. Giuseppe De Nicolao says:

    Sul sito della Sapienza di Roma, anche il rettore Luigi Frati mette i puntini sulle “i”, rettificando lo “scippo” commesso ai suoi danni dall’ateneo bolognese.
    _________________
    http://www.uniroma1.it/sapienza/archivionotizie/ranking-2014-delle-universit%C3%A0-italiane-elaborato-dalla-shangai-jiao-tong
    _________________


  2. Non si capisce perche’ dei professori universitari non sentano il bisogno di prendere le distanze dai wodoo rankings

  3. Nicola Rizzo says:

    Non lavorando sui numeri mi fido del vostro giudizio, negativo, su questi ranking, che anche ad uno sguardo non tecnico non mi sembrano molto persuasivi…Gli atenei italiani non sono, però, gli unici a tenerne conto…

    http://www.uni-heidelberg.de/presse/news2014/pm20140815_beste-deutsche-hochschule-im-shanghai-ranking.html

    http://www.tum.de/die-tum/die-universitaet/

    per portare qualche esempio

    • Giuseppe De Nicolao says:

      Lo shock che i rankings (nonostante la loro mancanza di basi scientifiche) ha causato nelle opinioni pubbliche tedesche, australiane e giapponesi – solo per citarne alcune – è noto ed è oggetto di studio (Ellen Hazelkorn (2009) ‘Attitudes to Rankings: Comparing German, Australian and Japanese Experiences’, in Sarjit Kaur, Morshidi Sirat and William G. Tierney (Eds), Addressing Critical Issues on Quality Assurance and University Rankings in Higher Education in the Asia Pacific). Per la Germania, basterà citare la “ExzellenziniXaXve”. Che le università che primeggiano si appuntino la medaglia sul petto è un meccanismo prevedibile (almeno fino a quando verrà attribuito valore a queste raffazzonate classifiche). Gli studi evidenziano anche l’effetto distorsivo che viene introdotto nelle politiche di higher education. Un’esperta di higher education come Ellen Hazelkorn, riassume così alcune delle principali perplessità:
      _________________
      To Hazelkorn, the question remains as to why governments allocate huge resources to universities which only a small proportion of society attends.
      She said that “90 or 95% of our students … do not attend elite institutions. That’s what makes them elite. So the question then is why are we spending so much on what people aren’t attending as opposed to what they are attending.”
      Needing estimated yearly budget of €1.5 billion, universities ranked in the world’s top 100 may also detract resources from other important areas in national budgets, such as social care, as governments strive for that all-important “world class” label, the researcher says.
      That less renowned universities are unable to command the tuition fees of the elite institutions has implications for the education policy of governments wishing to compete on the domestic or international stage.
      “In order to compete at that kind of level that does mean in many cases significant sums in a budget,” she says. “We’re talking about an annual budget estimated to be called ‘world class’ of about $2 billion [€1.5bn] a year. Well, that’s fantastic but first of all it’s beyond many government budgets.
      “But for all countries we operate in a zero-sum world. If I give more to this area, I’m going to take more from here. We have problems in housing. We have problems in health. We have problems with pensions, problems in every area … Do we put all our eggs in one basket”, Hazelkorn said.
      The researcher says that the issue comes from the perception that “elite” institutions are driving national or regional economic and social development, which she says they “are not”.
      http://www.euractiv.com/innovation-enterprise/experts-warn-university-rankings-news-529259

  4. I parametri dell’ARWU sono fortemente legati ai risultati della ricerca delle Università (premi Nobel e medaglie Fields, pubblicazioni su Nature e Science, citazioni, articoli indicizzati su SCI e SSCI, etc.).
    Per ottenere buoni risultati con questi criteri sono necessarie tre cose: ricercatori, dottorandi di ricerca, finanziamenti alla ricerca.
    Negli ultimi anni il nostro Paese ha: ridotto del 20% il finanziamento ordinario alle Università, ridotto del 70% il finanziamento alla ricerca (PRIN), messo a esaurimento i ricercatori a tempo indeterminato, introdotto due strampalate figure di ricercatore a tempo determinato (RTD-a e RTD-b), ridotto del 20% i posti di dottorato, posto assurdi vincoli e limitazioni all’accesso al dottorato.
    Con queste premesse c’è da meravigliarsi se abbiamo ancora 21 Atenei fra i top500.
    C’è chi pensa di fare grandi aggregazioni fra Atenei per costruire fantomatici “poli di eccellenza” per competere con le migliori Università del ranking. Sarebbe un ulteriore grave errore con effetti immediatamente deleteri.
    Se volessimo davvero migliorare le posizioni delle Università italiane nel ranking di Shanghai si dovrebbero fare tre cose: reclutare ricercatori con posizioni per quanto possibile stabili, togliere tutti gli assurdi vincoli sull’accesso al dottorato, ripristinare almeno i finanziamenti ante-2007.
    Invece di questi tempi le Università italiane si stanno a baloccare con l’AVA.

    • Giuseppe De Nicolao says:

      “ridotto del 70% il finanziamento alla ricerca (PRIN),”
      ________________
      Troppo ottimista. Stiamo a zero e quindi la riduzione è del 100%.

  5. Mah, ci risiamo coi ranking:
    Credo sarebbe utile che qualche giornalista approfonditamente ed in modo laico di questo tema.
    I risultati dei ranking, indipendentemente dal loro valore scientifico, vengono frequentemente riportati per quanto riguarda le posizioni delle nostre Università con una prospettiva negativa. Ma come…le nostre migliori sono solo tra 151 e 200? Ma allora è proprio vero che i nostri ricercatori e professori non producono e pensano solo ai fatti loro, cioè ai concorsi!
    Sarebbe interessante che qualche giornale, dando visibilità ai dati drammatici presentati da De Nicolao riportasse, che a dispetto di questa fortissima riduzione di fondi per l’Università e la Ricerca, il nostro Paese resta l’ottavo produttore al monde di conoscenze…..e non mi sembra proprio poco.

  6. marcello says:

    Forse sbaglio, ma l’elenco dei criteri indica l’esistenza di una chiara dipendenza tra essi. E’ lecito infatti supporre che il numero di pubblicazioni e di articoli su Nature e Science cresca al numero dei Premi Nobel o delle Medaglie Fields e lo stesso dicasi per il numero di citazioni. In tal caso l’analisi multicriteriale standard da dei risultati inaffidabili. Come ben noto occorrerebbe ricorrere a processi di aggregazione e riponderazione basati per esempio su entropie non estensive. La domanda che sorge spontanea è: non è che, oltre a quanto già abbondantemente posto in evidenza, stiamo discutendo su risultati che sono anche metodologicamente incoerenti?

  7. Pingback: Sicilia Journal, Quotidiano Sicilia on-line, Cronaca Sicilia, Giornale di NotizieMa è proprio vero che le università italiane fanno schifo, e Catania di più? - Sicilia Journal, Quotidiano Sicilia on-line, Cronaca Sicilia, Giornale di Notizie

  8. Pingback: Università: classifiche come pseudoscienza? - Il Fatto Quotidiano

  9. Pingback: Università: classifiche o pseudoscienza? - TopNotizie

  10. Pingback: Università: classifiche o pseudoscienza? | Notizie italiane in tempo reale!

  11. Giuseppe De Nicolao says:

    Bologna prima università in Italia? Un miraggio agostano
    ______________________
    Su Radio Città del Capo intervista a Dario Braga (audio e anche articolo):
    http://www.radiocittadelcapo.it/archives/bologna-prima-universita-italia-un-miraggio-agostano-145902/

Leave a Reply

Sostieni ROARS

Sostieni ROARS