Classifica ARWU 2015: 14 università italiane meglio di Harvard e Stanford come “value for money”

Quattro atenei italiani nei primi quattro posti dell’edizione 2015 della classifica ARWU: no, non stanno mandando in onda “Sogni mostruosamente proibiti”, ma si tratta del risultato di un “esercizio pedagogico” che proponiamo ai nostri lettori. Chi vincerebbe in un’ipotetica classifica dell’efficienza che mettesse a confronto i risultati con la spesa? Ebbene, in una “sfida infernale” tra 20 atenei italiani e i “top 20” della classifica ARWU, ad essere in difficoltà sarebbero questi ultimi. Un divertissement agostano che però insegna qualcosa: vi ostinate a credere alla pseudoscienza delle classifiche degli atenei? Beh, se siete coerenti, dovreste congratularvi con gli atenei italiani che ottengono così tanto con così poco.

1. La rituale bocciatura di Ferragosto

Ogni anno, a metà agosto esce la Classifica ARWU, nota anche come classifica di Shanghai, e, inesorabilmente, sui mezzi di informazione fioccano gli articoli che prendono tristemente atto dell’incolmabile ritardo degli atenei italiani. Anche quest’anno, per trovare la prima università italiana, Roma Sapienza, bisogna scendere oltre il 150-mo posto (Classifica ARWU 2015).

A poco vale ricordare che le basi scientifiche di queste classifiche sono labili se non inesistenti (Should you believe in the Shanghai ranking? è l’eloquente titolo di una demolizione tecnico-scientifica risalente al 2010). E nemmeno vale ricordare che, già nel 2004, D. A. King in un celebre articolo su Nature aveva spiegato l’efficienza dei sistemi universitari nazionali non si valuta in base al numero di atenei che entrano nelle posizioni di testa di queste classifiche, ma rapportando il numero complessivo di articoli scientifici  prodotti su scala nazionale – e le relative citazioni – alla spesa per la ricerca:

The Shanghai Institute of Education has recently published a list of the top 500 world universities. The order is based on the number of Nobel laureates from 1911 to 2002, highly cited researchers, articles published in Science and Nature, the number of papers published and an average of these four criteria compared with the number of full-time faculty members in each institution. I believe none of these criteria are as reliable as citations.
A. King, “The scientific impact of nations – What different countries get for their research spending”, Nature, vol. 430|15, July 2004,

Infatti, se su scala individuale – singolo ricercatore o singolo articolo – la comunità scientifica internazionale manifesta una crescente cautela nei riguardi di valutazioni affidate ai soli indicatori bibliometrici (si vedano, per esempio la San Francisco Declaration on Research Assessment e l’IEEE statement on the appropriate use of bibliometric indicators), è invece ritenuto possibile – pur con le dovute cautele – il loro uso su scala aggregata per quantificare il contributo e l’impatto scientifico di istituzioni o di intere nazioni.

Ebbene, l’Italia è la nona nazione al mondo per articoli scientifici pubblicati nel 2012, mentre è la settima per il loro impatto, misurato dalle citazioni  (SCImago Country Rankings). Una posizione di assoluto rilievo, se si confrontano le nostre spese in università e ricerca con quelle delle nazioni che ci precedono. Un ruolo internazionale che spiega il numero, relativamente elevato di atenei italiani che riescono ad entrare nelle classifiche internazionali (20 atenei su 500 della classifica ARWU 2015, il che pone l’Italia al sesto-ottavo posto, a pari merito con Canada e Australia).

Bisogna anche ricordare che una classifica come quella di Shanghai elenca 500 università su un totale mondiale che viene stimato intorno a 17.000 atenei (Global university rankings and their impact – EUA report on rankings 2011). Quindi, chi si ostinasse a credere in queste classifiche, dovrebbe prendere atto che, dei 66 atenei statali italiani (58 se si escludono gli Istituti speciali come Università per stranieri e Istituti di alta formazione dottorale), circa uno su tre entra nel top 3% mondiale.

Eppure, l’unica notizia che “buca” è l’assenza dell’Italia dall’Olimpo delle prime 150 università, fornendo una ghiotta occasione per denunciare inefficienza e irrilevanza dell’università italiana e dei suoi docenti. Tutti questi discorsi, che appaiono indiscutibili all’uomo della strada, trascurano però un aspetto essenziale, ovvero quello delle risorse destinate all’università e alla ricerca.

Quasi nessuno sa che che la spesa pubblica italiana destinata all’università è – in rapporto al PIL – la penultima in Europa e tra le ultime dell’OCSE. Non è facile correggere questa distorsione prospettica, anche perché nessuna delle classifiche internazionali degli atenei introduce delle normalizzazioni per tener conto dei diversi livelli di spesa.

Ecco perché abbiamo pensato di proporre ai nostri lettori un rudimentale “esercizio pedagogico” che, senza pretese di scientificità, aiuti anche i non esperti a mettere nella giusta prospettiva i risultati delle classifiche internazionali.

2. Sfida infernale: le 20 italiane contro le “top 20” ARWU

Lanciamo quella che, a tutti gli effetti, sembra essere una “sfida infernale”. Mettiamo a confronto le prime 20 università in classifica con le 20 università italiane che vi sono elencate. In particolare, ci concentriamo sul punteggio (compreso tra 0 e 100 e indicato nella tabella seguente come Total ARWU score) che ci permette, ancor meglio della posizione in classifica, di valutare la distanza dalle italiane rispetto all’eccellenza mondiale (sempre secondo i discutibili criteri ARWU).

La classifica ARWU pubblica i punteggi totali solo per i primi 100 atenei, ma questa è una difficoltà facilmente aggirabile. Basta infatti applicare la formula che aggrega i punteggi parziali (pubblicati da ARWU per tutti e 500 gli atenei) per ottenere anche i punteggi delle 20 università italiane.

È lecito domandarsi perché non vengano pubblicati i punteggi dalla 101-ma posizione in poi. Una spiegazione potrebbe essere la consapevolezza da parte di chi stila la classifica che le differenze di punteggio non sarebbero statisticamente significative: meglio mettere 50 atenei a pari merito tra 101 e 150 oppure 100 atenei a pari merito tra 201 e 300 che illudere l’opinione pubblica sull’ordinamento di atenei che sono a tutti gli effetti indistinguibili tra loro. Un’osservazione che farebbe bene a tener presente chi si appella a queste classifiche come a un “giudizio di Dio”.

Messe da parte le divagazioni tecniche, esaminiamo i punteggi nella tabella, in cui la top ten è evidenziata mediante uno sfondo verde chiaro. Come si può vedere, più di 23 punti (su 100) separano Roma dal Politecnico di Zurigo, che è la 20-esima università della classifica ARWU e addirittura più di 36 punti la separano da Oxford che è la decima. Un abisso che sembra dare ragione a chi deplora la colpevole inefficienza delle università italiane.

Ma le cose stanno proprio così?

3. Quanti litri per 100 km?

A dire il vero, manca un ingrediente per nulla secondario. Chi acquista un’automobile, tranne quando è talmente ricco da non dover badare a spese, cerca di mettere a confronto i consumi dei diversi modelli. Sarebbe spiacevole comprare una vettura, magari luccicante e scattante, ma che beve come una spugna.

Nel caso degli atenei, il carburante sono i fondi a disposizione di anno in anno. Con un po’ di pazienza, abbiamo rintracciato e sfogliato i bilanci di questi 40 atenei per recuperare il valore delle operating expenses annue. Per ogni ateneo, abbiamo considerato il bilancio più recente disponibile sul web e, nei limiti del possibile, abbiamo ricavato un valore rappresentativo delle operating expenses annue. Siamo lontani dal poter garantire un’accuratezza assoluta, ma, come vedremo, gli esiti di questo esercizio pedagogico saranno talmente chiari da poter sopportare un discreto margine di errore.

Per farci un’idea di quanti litri servono per percorrere 100 km, abbiamo calcolato

Expense per ARWU point = Operating Expenses / Total ARWU score

In altre parole, abbiamo calcolato quanti milioni di dollari occorrono a ciascun ateneo per conquistarsi un punto ARWU. Tra due atenei, il più virtuoso sarà quello che, a parità di punti ARWU, spende meno milioni di dollari o che, a parità di milioni di dollari spesi, conquista un numero maggiore di punti ARWU. Insomma, un ateneo sarà tanto più efficiente quanto più sarà bassa la sua  “Spesa per punto ARWU”. Il migliore non sarà più quello in testa alla classifica generale, ma quello che ha fatto l’uso più efficiente dei soldi spesi. Un criterio di efficienza pienamente allineato alle esigenze di spending review.

Sappiamo già che i lettori più attenti solleveranno due obiezioni.

Una prima obiezione riguarda l’aspettativa che un raddoppio della spesa debba idealmente portare ad un raddoppio del punteggio. Che raddoppiando i litri nel serbatoio raddoppino anche i chilometri percorsi è ragionevole. È un po’ meno ovvio che ciò accada per i punti ARWU.

E però, fermo restando che il nostro esercizio pedagogico non ha pretese di scientificità (e come potrebbe, visto che fa uso dei punteggi di una classifica pseudoscientifica?), la classifica ARWU ha una caratteristica che viene in nostro aiuto. Il Total ARWU score è ottenuto come somma pesata di sei punteggi parziali, calcolati sulla base di:

1. alumni of an institution winning Nobel Prizes and Fields Medals (peso 0,1);
2. staff of an institution winning Nobel Prizes and Fields Medals (peso 0,2),
3. the number of Highly Cited Researchers selected by Thomson Reuters (peso 0,2);
4. the number of papers published in Nature and Science between 2010 and 2014. (peso 0,2);
5. total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2014. (peso 0,2);
6. the weighted scores of the above five indicators divided by the number of full-time equivalent academic staff (peso 0,1).

Ebbene, i primi cinque indicatori, che messi assieme rappresentano il 90% del Total ANWUR [ops, ARWU] score, sono di natura additiva. Cosa intendiamo dire con “natura additiva”? Vuol dire che, se istituisco un nuovo ateneo mediante la fusione (anche solo nominale) di due atenei già esistenti, gli indicatori del nuovo ateneo saranno la somma degli indicatori dei due atenei. Ovviamente, un’analoga additività vale per la spesa, come risulta evidente se la fusione fosse solo nominale. Stando così le cose, non è privo di senso calcolare un indicatore di “spesa unitaria”, dividendo la spesa per il risultato, ovvero per i punti ARWU ottenuti.

Questa natura essenzialmente “additiva” del Total ARWU score, oltre che essere ben nota agli esperti, finisce per favorire gli atenei di grandi dimensioni. In modo assai espressivo, qualcuno ha osservato che nella classifica di Shanghai big is made beautiful. Non è un caso che nella classifica ARWU la prima università italiana sia Roma Sapienza e non deve sorprendere che alcune nazioni abbiano preso in considerazione la possibilità di federare alcuni dei propri atenei proprio per poter scalare la classifica ARWU.

Una seconda obiezione riguarda il possibile vantaggio di cui godrebbero le istituzioni specializzare nei dottorati di ricerca. Mentre le spese destinate ai dottorati possono contribuire più o meno direttamente ad incrementare alcuni degli indicatori (il n. 4 e n. 5, per esempio), difficilmente si può dire altrettanto per le spese destinate alla didattica dei corsi di laurea. Questo comporta una zavorra considerevole per un ateneo come Roma Sapienza e, viceversa, un vantaggio per la Scuola Normale Superiore di Pisa. Se però escludiamo la Scuola Normale, il rapporto tra dottorandi e studenti è magggiore nelle università “top 20” rispetto ai 20 atenei italiani. Pertanto, questa distorsione gioca a sfavore delle italiane, tanto più che esse sono destinate a perdere il confronto anche relativamente alla percentuale di spese destinate ai progetti di ricerca sul totale delle operating expenses dell’ateneo.

4. And the winner is …

Ed ecco i risultati. Come si vede dalla tabella seguente, in cui la top ten è evidenziata mediante uno sfondo verde chiaro, quando si considera l’efficienza della spesa la situazione si capovolge. Quella che sembrava una sfida infernale si è risolta decisamente a favore degli atenei italiani.

Al primo posto abbiamo la Scuola Normale Superiore, un primato che, come già osservato, non fa molto testo. E nemmeno ci sorprende che un mega-ateneo come Roma Sapienza scenda dal primo posto al terzultimo posto delle italiane. Concedendosi comunque la soddisfazione di essere più efficiente di diverse illustri università statunitensi.

Se guardiamo alla classifica nel suo complesso, abbiamo un risultato sorprendente: otto atenei italiani nei primi 10 posti. Solo Cambridge e Princeton reggono il confronto con il loro quinto e settimo posto.

Insomma, se ragioniamo in termini di efficienza le università “top 20” della classifica di Shanghai faticano a competere con gli atenei italiani, che in media spendono circa 36 milioni di dollari per ogni punto ARWU contro i 55 milioni spesi in media dagli atenei “top 20”.

Ne segue che, attraverso la fusione di alcuni atenei italiani, si potrebbe comodamente entrare nella top 20, spendendo anche di meno di chi siede già in questo Olimpo. Per esempio, basterebbe fondere le tre università statali milanesi (Bicocca, Politecnico e Statale) per creare un mega-ateneo (che potremmo ribattezzare BiPS University of Milan) il quale entrerebbe comodamente nella top 20 e le cui spese annuali sarebbero decisamente inferiori a quelle del Politecnico di Zurigo. Un’operazione ovviamente priva di alcun valore reale, se non quello propagandistico nei confronti di chi crede alla pseudoscienza delle classifiche degli atenei.

5. La morale della favola

Come già detto, questo esercizio pedagogico, una specie di reductio ad absurdum, non ha pretese di scientificità, perché poggia sui punteggi pseudoscientifici della classifica ARWU. Ciò nonostante, offre degli insegnamenti a chi si accanisce a credere alle classifiche degli atenei:

1. è sufficiente tener conto di un criterio importante che è stato sempre ignorato (le spese) per ribaltare le classifiche;

2. non si possono confrontare gli atenei italiani con le “World Class Universities”, senza mettere a confronto le risorse finanziarie;

3. persino una classifica pseudoscientifica come la ARWU più che testimoniare il ritardo e l’irrilevanza degli atenei italiani, finisce per confermare quello che dicono le statistiche bibliometriche, ovvero che il sistema universitario italiano, pur sottofinanziato, nel suo complesso non è meno efficiente di quelli delle maggiori nazioni straniere.