Classifiche internazionali

Classifica ARWU 2015: 14 università italiane meglio di Harvard e Stanford come “value for money”

Quattro atenei italiani nei primi quattro posti dell’edizione 2015 della classifica ARWU: no, non stanno mandando in onda “Sogni mostruosamente proibiti”, ma si tratta del risultato di un “esercizio pedagogico” che proponiamo ai nostri lettori. Chi vincerebbe in un’ipotetica classifica dell’efficienza che mettesse a confronto i risultati con la spesa? Ebbene, in una “sfida infernale” tra 20 atenei italiani e i “top 20” della classifica ARWU, ad essere in difficoltà sarebbero questi ultimi. Un divertissement agostano che però insegna qualcosa: vi ostinate a credere alla pseudoscienza delle classifiche degli atenei? Beh, se siete coerenti, dovreste congratularvi con gli atenei italiani che ottengono così tanto con così poco.

ARWU_20151. La rituale bocciatura di Ferragosto

Ogni anno, a metà agosto esce la Classifica ARWU, nota anche come classifica di Shanghai, e, inesorabilmente, sui mezzi di informazione fioccano gli articoli che prendono tristemente atto dell’incolmabile ritardo degli atenei italiani. Anche quest’anno, per trovare la prima università italiana, Roma Sapienza, bisogna scendere oltre il 150-mo posto (Classifica ARWU 2015).

A poco vale ricordare che le basi scientifiche di queste classifiche sono labili se non inesistenti (Should you believe in the Shanghai ranking? è l’eloquente titolo di una demolizione tecnico-scientifica risalente al 2010). E nemmeno vale ricordare che, già nel 2004, D. A. King in un celebre articolo su Nature aveva spiegato l’efficienza dei sistemi universitari nazionali non si valuta in base al numero di atenei che entrano nelle posizioni di testa di queste classifiche, ma rapportando il numero complessivo di articoli scientifici  prodotti su scala nazionale – e le relative citazioni – alla spesa per la ricerca:

The Shanghai Institute of Education has recently published a list of the top 500 world universities. The order is based on the number of Nobel laureates from 1911 to 2002, highly cited researchers, articles published in Science and Nature, the number of papers published and an average of these four criteria compared with the number of full-time faculty members in each institution. I believe none of these criteria are as reliable as citations.
A. King, “The scientific impact of nations – What different countries get for their research spending”, Nature, vol. 430|15, July 2004,

Infatti, se su scala individuale – singolo ricercatore o singolo articolo – la comunità scientifica internazionale manifesta una crescente cautela nei riguardi di valutazioni affidate ai soli indicatori bibliometrici (si vedano, per esempio la San Francisco Declaration on Research Assessment e l’IEEE statement on the appropriate use of bibliometric indicators), è invece ritenuto possibile – pur con le dovute cautele – il loro uso su scala aggregata per quantificare il contributo e l’impatto scientifico di istituzioni o di intere nazioni.

SCImago2012

Ebbene, l’Italia è la nona nazione al mondo per articoli scientifici pubblicati nel 2012, mentre è la settima per il loro impatto, misurato dalle citazioni  (SCImago Country Rankings). Una posizione di assoluto rilievo, se si confrontano le nostre spese in università e ricerca con quelle delle nazioni che ci precedono. Un ruolo internazionale che spiega il numero, relativamente elevato di atenei italiani che riescono ad entrare nelle classifiche internazionali (20 atenei su 500 della classifica ARWU 2015, il che pone l’Italia al sesto-ottavo posto, a pari merito con Canada e Australia).

Bisogna anche ricordare che una classifica come quella di Shanghai elenca 500 università su un totale mondiale che viene stimato intorno a 17.000 atenei (Global university rankings and their impact – EUA report on rankings 2011). Quindi, chi si ostinasse a credere in queste classifiche, dovrebbe prendere atto che, dei 66 atenei statali italiani (58 se si escludono gli Istituti speciali come Università per stranieri e Istituti di alta formazione dottorale), circa uno su tre entra nel top 3% mondiale.

Eppure, l’unica notizia che “buca” è l’assenza dell’Italia dall’Olimpo delle prime 150 università, fornendo una ghiotta occasione per denunciare inefficienza e irrilevanza dell’università italiana e dei suoi docenti. Tutti questi discorsi, che appaiono indiscutibili all’uomo della strada, trascurano però un aspetto essenziale, ovvero quello delle risorse destinate all’università e alla ricerca.

Quasi nessuno sa che che la spesa pubblica italiana destinata all’università è – in rapporto al PIL – la penultima in Europa e tra le ultime dell’OCSE. Non è facile correggere questa distorsione prospettica, anche perché nessuna delle classifiche internazionali degli atenei introduce delle normalizzazioni per tener conto dei diversi livelli di spesa.

Ecco perché abbiamo pensato di proporre ai nostri lettori un rudimentale “esercizio pedagogico” che, senza pretese di scientificità, aiuti anche i non esperti a mettere nella giusta prospettiva i risultati delle classifiche internazionali.

Sfida_infernale

2. Sfida infernale: le 20 italiane contro le “top 20” ARWU

Lanciamo quella che, a tutti gli effetti, sembra essere una “sfida infernale”. Mettiamo a confronto le prime 20 università in classifica con le 20 università italiane che vi sono elencate. In particolare, ci concentriamo sul punteggio (compreso tra 0 e 100 e indicato nella tabella seguente come Total ARWU score) che ci permette, ancor meglio della posizione in classifica, di valutare la distanza dalle italiane rispetto all’eccellenza mondiale (sempre secondo i discutibili criteri ARWU).

La classifica ARWU pubblica i punteggi totali solo per i primi 100 atenei, ma questa è una difficoltà facilmente aggirabile. Basta infatti applicare la formula che aggrega i punteggi parziali (pubblicati da ARWU per tutti e 500 gli atenei) per ottenere anche i punteggi delle 20 università italiane.

È lecito domandarsi perché non vengano pubblicati i punteggi dalla 101-ma posizione in poi. Una spiegazione potrebbe essere la consapevolezza da parte di chi stila la classifica che le differenze di punteggio non sarebbero statisticamente significative: meglio mettere 50 atenei a pari merito tra 101 e 150 oppure 100 atenei a pari merito tra 201 e 300 che illudere l’opinione pubblica sull’ordinamento di atenei che sono a tutti gli effetti indistinguibili tra loro. Un’osservazione che farebbe bene a tener presente chi si appella a queste classifiche come a un “giudizio di Dio”.

ARWU_Ranking_2015

Messe da parte le divagazioni tecniche, esaminiamo i punteggi nella tabella, in cui la top ten è evidenziata mediante uno sfondo verde chiaro. Come si può vedere, più di 23 punti (su 100) separano Roma dal Politecnico di Zurigo, che è la 20-esima università della classifica ARWU e addirittura più di 36 punti la separano da Oxford che è la decima. Un abisso che sembra dare ragione a chi deplora la colpevole inefficienza delle università italiane.

Ma le cose stanno proprio così?

fuel

3. Quanti litri per 100 km?

A dire il vero, manca un ingrediente per nulla secondario. Chi acquista un’automobile, tranne quando è talmente ricco da non dover badare a spese, cerca di mettere a confronto i consumi dei diversi modelli. Sarebbe spiacevole comprare una vettura, magari luccicante e scattante, ma che beve come una spugna.

Nel caso degli atenei, il carburante sono i fondi a disposizione di anno in anno. Con un po’ di pazienza, abbiamo rintracciato e sfogliato i bilanci di questi 40 atenei per recuperare il valore delle operating expenses annue. Per ogni ateneo, abbiamo considerato il bilancio più recente disponibile sul web e, nei limiti del possibile, abbiamo ricavato un valore rappresentativo delle operating expenses annue. Siamo lontani dal poter garantire un’accuratezza assoluta, ma, come vedremo, gli esiti di questo esercizio pedagogico saranno talmente chiari da poter sopportare un discreto margine di errore.

Per farci un’idea di quanti litri servono per percorrere 100 km, abbiamo calcolato

Expense per ARWU point = Operating Expenses / Total ARWU score

In altre parole, abbiamo calcolato quanti milioni di dollari occorrono a ciascun ateneo per conquistarsi un punto ARWU. Tra due atenei, il più virtuoso sarà quello che, a parità di punti ARWU, spende meno milioni di dollari o che, a parità di milioni di dollari spesi, conquista un numero maggiore di punti ARWU. Insomma, un ateneo sarà tanto più efficiente quanto più sarà bassa la sua  “Spesa per punto ARWU”. Il migliore non sarà più quello in testa alla classifica generale, ma quello che ha fatto l’uso più efficiente dei soldi spesi. Un criterio di efficienza pienamente allineato alle esigenze di spending review.

Sappiamo già che i lettori più attenti solleveranno due obiezioni.

Una prima obiezione riguarda l’aspettativa che un raddoppio della spesa debba idealmente portare ad un raddoppio del punteggio. Che raddoppiando i litri nel serbatoio raddoppino anche i chilometri percorsi è ragionevole. È un po’ meno ovvio che ciò accada per i punti ARWU.

E però, fermo restando che il nostro esercizio pedagogico non ha pretese di scientificità (e come potrebbe, visto che fa uso dei punteggi di una classifica pseudoscientifica?), la classifica ARWU ha una caratteristica che viene in nostro aiuto. Il Total ARWU score è ottenuto come somma pesata di sei punteggi parziali, calcolati sulla base di:

  1. alumni of an institution winning Nobel Prizes and Fields Medals (peso 0,1);
  2. staff of an institution winning Nobel Prizes and Fields Medals (peso 0,2),
  3. the number of Highly Cited Researchers selected by Thomson Reuters (peso 0,2);
  4. the number of papers published in Nature and Science between 2010 and 2014. (peso 0,2);
  5. total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2014. (peso 0,2);
  6. the weighted scores of the above five indicators divided by the number of full-time equivalent academic staff (peso 0,1).

Ebbene, i primi cinque indicatori, che messi assieme rappresentano il 90% del Total ANWUR [ops, ARWU] score, sono di natura additiva. Cosa intendiamo dire con “natura additiva”? Vuol dire che, se istituisco un nuovo ateneo mediante la fusione (anche solo nominale) di due atenei già esistenti, gli indicatori del nuovo ateneo saranno la somma degli indicatori dei due atenei. Ovviamente, un’analoga additività vale per la spesa, come risulta evidente se la fusione fosse solo nominale. Stando così le cose, non è privo di senso calcolare un indicatore di “spesa unitaria”, dividendo la spesa per il risultato, ovvero per i punti ARWU ottenuti.

Questa natura essenzialmente “additiva” del Total ARWU score, oltre che essere ben nota agli esperti, finisce per favorire gli atenei di grandi dimensioni. In modo assai espressivo, qualcuno ha osservato che nella classifica di Shanghai big is made beautiful. Non è un caso che nella classifica ARWU la prima università italiana sia Roma Sapienza e non deve sorprendere che alcune nazioni abbiano preso in considerazione la possibilità di federare alcuni dei propri atenei proprio per poter scalare la classifica ARWU.

Una seconda obiezione riguarda il possibile vantaggio di cui godrebbero le istituzioni specializzare nei dottorati di ricerca. Mentre le spese destinate ai dottorati possono contribuire più o meno direttamente ad incrementare alcuni degli indicatori (il n. 4 e n. 5, per esempio), difficilmente si può dire altrettanto per le spese destinate alla didattica dei corsi di laurea. Questo comporta una zavorra considerevole per un ateneo come Roma Sapienza e, viceversa, un vantaggio per la Scuola Normale Superiore di Pisa. Se però escludiamo la Scuola Normale, il rapporto tra dottorandi e studenti è magggiore nelle università “top 20” rispetto ai 20 atenei italiani. Pertanto, questa distorsione gioca a sfavore delle italiane, tanto più che esse sono destinate a perdere il confronto anche relativamente alla percentuale di spese destinate ai progetti di ricerca sul totale delle operating expenses dell’ateneo.

value_for_money

4. And the winner is …

Ed ecco i risultati. Come si vede dalla tabella seguente, in cui la top ten è evidenziata mediante uno sfondo verde chiaro, quando si considera l’efficienza della spesa la situazione si capovolge. Quella che sembrava una sfida infernale si è risolta decisamente a favore degli atenei italiani.

Normalized_ARWU_2015

Al primo posto abbiamo la Scuola Normale Superiore, un primato che, come già osservato, non fa molto testo. E nemmeno ci sorprende che un mega-ateneo come Roma Sapienza scenda dal primo posto al terzultimo posto delle italiane. Concedendosi comunque la soddisfazione di essere più efficiente di diverse illustri università statunitensi.

Se guardiamo alla classifica nel suo complesso, abbiamo un risultato sorprendente: otto atenei italiani nei primi 10 posti. Solo Cambridge e Princeton reggono il confronto con il loro quinto e settimo posto.

Insomma, se ragioniamo in termini di efficienza le università “top 20” della classifica di Shanghai faticano a competere con gli atenei italiani, che in media spendono circa 36 milioni di dollari per ogni punto ARWU contro i 55 milioni spesi in media dagli atenei “top 20”.

Ne segue che, attraverso la fusione di alcuni atenei italiani, si potrebbe comodamente entrare nella top 20, spendendo anche di meno di chi siede già in questo Olimpo. Per esempio, basterebbe fondere le tre università statali milanesi (Bicocca, Politecnico e Statale) per creare un mega-ateneo (che potremmo ribattezzare BiPS University of Milan) il quale entrerebbe comodamente nella top 20 e le cui spese annuali sarebbero decisamente inferiori a quelle del Politecnico di Zurigo. Un’operazione ovviamente priva di alcun valore reale, se non quello propagandistico nei confronti di chi crede alla pseudoscienza delle classifiche degli atenei.

cost_vs_value

5. La morale della favola

Come già detto, questo esercizio pedagogico, una specie di reductio ad absurdum, non ha pretese di scientificità, perché poggia sui punteggi pseudoscientifici della classifica ARWU. Ciò nonostante, offre degli insegnamenti a chi si accanisce a credere alle classifiche degli atenei:

  1. è sufficiente tener conto di un criterio importante che è stato sempre ignorato (le spese) per ribaltare le classifiche;
  1. non si possono confrontare gli atenei italiani con le “World Class Universities”, senza mettere a confronto le risorse finanziarie;
  1. persino una classifica pseudoscientifica come la ARWU più che testimoniare il ritardo e l’irrilevanza degli atenei italiani, finisce per confermare quello che dicono le statistiche bibliometriche, ovvero che il sistema universitario italiano, pur sottofinanziato, nel suo complesso non è meno efficiente di quelli delle maggiori nazioni straniere.

UK_Res_Base_2013_productivity

Send to Kindle
Tag: , , , , , , , , , ,

77 Comments

  1. Che spasso il tutto, soprattutto gli ultimi commenti 🙂
    .
    Strano vero che ci siano più Nobel al MIT che in un’università italiana? Com’è strano che un Messi vada a giocare nel Barcellona a 20 milioni di Euro l’anno di salario (2014) invece che nel Real Qualcosa. E non è un paragone proprio calzante quello del calcio perché lì abbiamo squadre che se la cavano egregiamente. Magari sempre perché gli investimenti su quelle squadre sono cifre da capogiro? Chissà.
    .
    L’argomento: “Eh ma coi soldi magari facevate schifo lo stesso, apposta le classifiche non vi piacciono” poggia sul nulla. Un po’ come quello che la VQR non è bella perché non ci piace essere valutati.
    Chiamarli tutti “esercizi imperfetti” vuol dire offendersi da soli.

  2. legnostorto says:

    Anche il Giornale di Sicilia di oggi 19.8 ha un articolo sulla “classifica” di Roars, a pag. 13 sezione “Economia e Finanza”.
    Un vero successo!

  3. Scusa Francesco Sylos Labini, cosa hai da ridire contro la pizza e il mandolino? Attento … guardati il video !

    https://www.youtube.com/watch?v=4XCF2u4CcLc

  4. Pingback: Chi dà i numeri sull’università italiana

  5. Mi sembra che i tanti commenti che ho letto qui, ma soprattutto altrove, non abbiano chiaro un punto che invece nell’articolo è spiegato molto bene. I rankings degli atenei sono basate su pseudo-scienza, in cui pseudo-numeri che misurano cose vagamente connesse con quelle che si vorrebbero misurare, sono sommati tra loro per avere un risultato senza senso da vendere a giornalisti creduloni, opinione pubblica ignorante (suo malgrado), politici che cercano solo un alibi (piuttosto vigliaccamente) per adottare alcune politiche anziché altre. La responsabilità è degli pseudo-scienziati che commentano questi rankings dai media (e non è un problema solo italiano) che mostrano di essere degli analfabeti scientifici. Per capire la produttività scientifica dei paesi (e delle istituzioni) si può invece partire – per i campi in cui questo è possibile – dall’analisi delle citazioni/pubblicazioni. Ad esempio se ne discute qui http://francescosyloslabini.info/2015/01/21/ricerca-scientifica-tanto-spendi-tanto-ottieni/

    • Giuseppe De Nicolao says:

      Sacrosante considerazioni. Aggiungo che dal tenore dei commenti che leggo (soprattutto altrove) si trae l’impressione che molti commentino senza aver letto o che non siano in grado di capire quello che hanno letto. Non saprei dire quale delle due spiegazioni mi preoccupi di più.

    • Marco Bella says:

      parole da stampare nel marmo e mettere all’ingresso di ogni università. Non avrei saputo esprimermi meglio.

  6. Pingback: L’ira degli spaghetto-liberisti: ma davvero le università italiane battono Harvard e Stanford? | Charly's blog

  7. Giuseppe De Nicolao says:

    Pare che Roars abbia suscitato l’ira degli spaghetto-liberisti, che però mostrano palesi difficoltà nella comprensione testuale del nostro articolo sulla classifica ARWU. Per fortuna c’è un buon samaritano che con encomiabile pazienza richiama uno dopo l’altro tutti i passaggi che erano sfuggiti allo spaghetto-liberista. Visto che quest’ultimo lavora per OCSE, possiamo sperare che l’articolo di Roars venga inserito nei prossimi test OCSE-PISA di “literacy”? Sarebbe un grande onore. Senza scherzi, naturalmente.
    ____________________
    L’ira degli spaghetto-liberisti: ma davvero le università italiane battono Harvard e Stanford?
    https://nichilismomonamour.wordpress.com/2015/08/20/lira-degli-spaghetto-liberisti-ma-davvero-le-universita-italiane-battono-harvard-e-stanford/

  8. Io, modestamente, l’ho capito subito che era un articolo che avrebbe avuto un gran successo. Agli italiani piace il fumo 🙂
    Bravo Giuseppe hai battuto ARWU 🙂 ….. GRANDE

  9. Pingback: Misure e qualità

  10. Giuseppe De Nicolao says:

    L’articolo è stato commentato (e criticato) su Linkiesta:
    _____________
    http://www.linkiesta.it/classifica-arwu-universita-italiane-metafore-automobilistiche
    ____________
    Nell’esporre il punto saliente della sua critica, Paolo Campli scrive
    ____________

    “indicatori di qualità come quelli usati nella classifica dipendono quasi sicuramente in modo non lineare dai fondi disponibili”
    ____________
    mostrando di non aver compreso che additività e linearità sono nozioni diverse.
    Ora, se vengono fusi due atenei (anche solo formalmente), il punteggio ARWU è – con approssimazione molto buona – la somma dei due punteggi. Se i due atenei spendevano cifre simili ed avevano punteggi simili, il punteggio finale sarà il doppio (perché avevano la stessa ARWU-efficienza), il che mostra che, sotto certe condizioni, i punteggi possono crescere linearmente.
    Ma, se il secondo ateneo, a parità di spesa, è più ARWU-efficiente del primo il punteggio della fusione sarà più che doppio di quello del primo ateneo (e, viceversa, minore del doppio se il secondo ateneo fosse meno ARWU-efficiente).
    Il che mostra che l’additività non implica necessariamente linearità. Lo stesso vale per l’aggiunta o chiusura di dipartimenti.
    Insomma, citare la legge dei rendimenti decrescenti è fuori luogo. Se un ateneo assume in blocco un laboratorio di ricercatori più ARWU-efficienti dei propri, l’incremento di punti ARWU non è certo soggetto a tale legge.
    Il che fa cadere il ragionamento dell’autore.

  11. luca seravalli says:

    Aggiungo alla rassegna stampa qualche entusiasta titolo dei giornali locali di Parma:

    “Parma meglio di Harvard”
    http://www.gazzettadiparma.it/news/news/295636/Parma-meglio-di-Harvard.html

    “UNIPR davanti a Oxford e Berkeley”
    http://www.parmadaily.it/232339/luniversita-di-parma-davanti-a-oxford-e-berkeley/

    e un più moderato
    “Università di Parma: il nostro Ateneo ottavo nella classifica Roars“
    http://www.parmatoday.it/cronaca/universita-classifica-roars-parma.html

    abbiate un pò di comprensione, non è che dalle mie parti ci siano stati ultimamente molti motivi di orgoglio cittadino…. 🙂

    • Giuseppe De Nicolao says:

      ARWU, QS e Times Higher Education stanno tremando 😉
      A parte gli scherzi, mi sembra che qualcuno abbia la classifica sulla spalla. Bisognerebbe istituire gruppi di sostegno RA (Rankitisti Anonimi) per rettori e prorettori. Chi prende la parola dice «io sono un rankitista che non guarda una classifica da 10 (o 100 o 200) giorni». Ci sono anche i 12 passi di RA. Il primo:
      1) Noi abbiamo ammesso la nostra totale impotenza di fronte ai ranking e che le nostre dichiarazioni istituzionali erano divenute incontrollabili.

    • Giuseppe De Nicolao says:

      Però, venirne fuori si può. Molti parlano bene di una comunità, non ricordo bene il nome. San Rankignano, mi sembra.

  12. In genere chi si rivolge ad Rankitisti Anonimi – per sua iniziativa o, più spesso, indirizzato da familiari, medici, psicologi, sacerdoti, ESORCISTI, servizi sociali o semplici amici – non si riconosce subito Rankitista ma tende piuttosto a considerarsi un forte Ratingitista; è cosciente di avere problemi con il ranking e, in molti casi, ha tentato più volte (senza riuscirci) di smettere o di moderarsi nel rankare, da solo o con supporti esterni. A volte è all’inizio del suo percorso Rankitista ed è solo preoccupato, altre ha toccato il fondo ed è isolato e disperato.

  13. 🙂
    E, come gli A.A., anche gli R.A. hanno un detto che ripetono prima di ogni seduta: “Signore, dammi l’astuzia per truccare le classifiche che posso, ma anche qualcosa di forte per accettare quelle truccate dagli altri.”

  14. Giuseppe De Nicolao says:

    Con grande fair play, Dario Braga (il Prorettore per la Ricerca del’Università di Bologna a cui in passato non abbiamo certo risparmiato interventi critici), nel suo blog personale scrive alcune righe di riflessione su ARWU 2015, segnalando anche il presente articolo di Roars:
    http://www.dariobraga.com/blog/arwu-2015-ci-risiamo.html

  15. Giuseppe De Nicolao says:

    Anche la Provincia Pavese:
    _________________
    http://laprovinciapavese.gelocal.it/pavia/cronaca/2015/08/20/news/pavia-meglio-di-oxford-se-ricevesse-gli-stessi-soldi-1.11959621?ref=hfpppvea-1
    _________________
    Titolo infedele (mette tra virgolette una frase che non compare su Roars):
    «Pavia meglio di Oxford se ricevesse gli stessi soldi»
    _________________
    Si tratta di una pura ipotesi che non avremo mai modo di verificare, dato che non esiste nessuna possibilità di pareggiare le risorse di Oxford. Il vero punto (che nel testo della Provincia, almeno in parte, emerge) è che non ha senso sparare a zero sugli atenei italiani usando come proiettili le classifiche internazionali. Prima di tutto, non hanno base scientifica. In secondo luogo, se anche ci ostinassimo a crederci, i risultati delle italiane sono ampiamente commisurati alle spese. Bisognerebbe scordarsi delle classifiche e ritornare (o iniziare) a ragionare sui problemi reali.

  16. Pingback: news.unipv – Classifica ARWU 2015: UNIPV tra le prime 10 al mondo come “Value for Money” secondo ROARS

  17. Pingback: La classifica Roars: le università italiane meglio di Cambridge e Oxford

  18. Giuseppe De Nicolao says:

    Francesco Coniglione su La Sicilia:

  19. Nicolao sempre più meravigliao 😉 !!!!
    Santo subito.
    Se Renzik fosse un sostenitore del merito (che cos’è ??!! ) e della competenza (questa è più chiara) Giuseppe De Nicolao dovrebbe essere chiamato come consulente per la politica della ricerca e dell’università italiana..ma putroppo lavora in una università statale.
    Avanti tutta roars!!!

Leave a Reply