Quattro atenei italiani nei primi quattro posti dell’edizione 2015 della classifica ARWU: no, non stanno mandando in onda “Sogni mostruosamente proibiti”, ma si tratta del risultato di un “esercizio pedagogico” che proponiamo ai nostri lettori. Chi vincerebbe in un’ipotetica classifica dell’efficienza che mettesse a confronto i risultati con la spesa? Ebbene, in una “sfida infernale” tra 20 atenei italiani e i “top 20” della classifica ARWU, ad essere in difficoltà sarebbero questi ultimi. Un divertissement agostano che però insegna qualcosa: vi ostinate a credere alla pseudoscienza delle classifiche degli atenei? Beh, se siete coerenti, dovreste congratularvi con gli atenei italiani che ottengono così tanto con così poco.
1. La rituale bocciatura di Ferragosto
Ogni anno, a metà agosto esce la Classifica ARWU, nota anche come classifica di Shanghai, e, inesorabilmente, sui mezzi di informazione fioccano gli articoli che prendono tristemente atto dell’incolmabile ritardo degli atenei italiani. Anche quest’anno, per trovare la prima università italiana, Roma Sapienza, bisogna scendere oltre il 150-mo posto (Classifica ARWU 2015).
A poco vale ricordare che le basi scientifiche di queste classifiche sono labili se non inesistenti (Should you believe in the Shanghai ranking? è l’eloquente titolo di una demolizione tecnico-scientifica risalente al 2010). E nemmeno vale ricordare che, già nel 2004, D. A. King in un celebre articolo su Nature aveva spiegato l’efficienza dei sistemi universitari nazionali non si valuta in base al numero di atenei che entrano nelle posizioni di testa di queste classifiche, ma rapportando il numero complessivo di articoli scientifici prodotti su scala nazionale – e le relative citazioni – alla spesa per la ricerca:
The Shanghai Institute of Education has recently published a list of the top 500 world universities. The order is based on the number of Nobel laureates from 1911 to 2002, highly cited researchers, articles published in Science and Nature, the number of papers published and an average of these four criteria compared with the number of full-time faculty members in each institution. I believe none of these criteria are as reliable as citations.
A. King, “The scientific impact of nations – What different countries get for their research spending”, Nature, vol. 430|15, July 2004,
Infatti, se su scala individuale – singolo ricercatore o singolo articolo – la comunità scientifica internazionale manifesta una crescente cautela nei riguardi di valutazioni affidate ai soli indicatori bibliometrici (si vedano, per esempio la San Francisco Declaration on Research Assessment e l’IEEE statement on the appropriate use of bibliometric indicators), è invece ritenuto possibile – pur con le dovute cautele – il loro uso su scala aggregata per quantificare il contributo e l’impatto scientifico di istituzioni o di intere nazioni.
Ebbene, l’Italia è la nona nazione al mondo per articoli scientifici pubblicati nel 2012, mentre è la settima per il loro impatto, misurato dalle citazioni (SCImago Country Rankings). Una posizione di assoluto rilievo, se si confrontano le nostre spese in università e ricerca con quelle delle nazioni che ci precedono. Un ruolo internazionale che spiega il numero, relativamente elevato di atenei italiani che riescono ad entrare nelle classifiche internazionali (20 atenei su 500 della classifica ARWU 2015, il che pone l’Italia al sesto-ottavo posto, a pari merito con Canada e Australia).
Bisogna anche ricordare che una classifica come quella di Shanghai elenca 500 università su un totale mondiale che viene stimato intorno a 17.000 atenei (Global university rankings and their impact – EUA report on rankings 2011). Quindi, chi si ostinasse a credere in queste classifiche, dovrebbe prendere atto che, dei 66 atenei statali italiani (58 se si escludono gli Istituti speciali come Università per stranieri e Istituti di alta formazione dottorale), circa uno su tre entra nel top 3% mondiale.
Eppure, l’unica notizia che “buca” è l’assenza dell’Italia dall’Olimpo delle prime 150 università, fornendo una ghiotta occasione per denunciare inefficienza e irrilevanza dell’università italiana e dei suoi docenti. Tutti questi discorsi, che appaiono indiscutibili all’uomo della strada, trascurano però un aspetto essenziale, ovvero quello delle risorse destinate all’università e alla ricerca.
Quasi nessuno sa che che la spesa pubblica italiana destinata all’università è – in rapporto al PIL – la penultima in Europa e tra le ultime dell’OCSE. Non è facile correggere questa distorsione prospettica, anche perché nessuna delle classifiche internazionali degli atenei introduce delle normalizzazioni per tener conto dei diversi livelli di spesa.
Ecco perché abbiamo pensato di proporre ai nostri lettori un rudimentale “esercizio pedagogico” che, senza pretese di scientificità, aiuti anche i non esperti a mettere nella giusta prospettiva i risultati delle classifiche internazionali.
2. Sfida infernale: le 20 italiane contro le “top 20” ARWU
Lanciamo quella che, a tutti gli effetti, sembra essere una “sfida infernale”. Mettiamo a confronto le prime 20 università in classifica con le 20 università italiane che vi sono elencate. In particolare, ci concentriamo sul punteggio (compreso tra 0 e 100 e indicato nella tabella seguente come Total ARWU score) che ci permette, ancor meglio della posizione in classifica, di valutare la distanza dalle italiane rispetto all’eccellenza mondiale (sempre secondo i discutibili criteri ARWU).
La classifica ARWU pubblica i punteggi totali solo per i primi 100 atenei, ma questa è una difficoltà facilmente aggirabile. Basta infatti applicare la formula che aggrega i punteggi parziali (pubblicati da ARWU per tutti e 500 gli atenei) per ottenere anche i punteggi delle 20 università italiane.
È lecito domandarsi perché non vengano pubblicati i punteggi dalla 101-ma posizione in poi. Una spiegazione potrebbe essere la consapevolezza da parte di chi stila la classifica che le differenze di punteggio non sarebbero statisticamente significative: meglio mettere 50 atenei a pari merito tra 101 e 150 oppure 100 atenei a pari merito tra 201 e 300 che illudere l’opinione pubblica sull’ordinamento di atenei che sono a tutti gli effetti indistinguibili tra loro. Un’osservazione che farebbe bene a tener presente chi si appella a queste classifiche come a un “giudizio di Dio”.
Messe da parte le divagazioni tecniche, esaminiamo i punteggi nella tabella, in cui la top ten è evidenziata mediante uno sfondo verde chiaro. Come si può vedere, più di 23 punti (su 100) separano Roma dal Politecnico di Zurigo, che è la 20-esima università della classifica ARWU e addirittura più di 36 punti la separano da Oxford che è la decima. Un abisso che sembra dare ragione a chi deplora la colpevole inefficienza delle università italiane.
Ma le cose stanno proprio così?
3. Quanti litri per 100 km?
A dire il vero, manca un ingrediente per nulla secondario. Chi acquista un’automobile, tranne quando è talmente ricco da non dover badare a spese, cerca di mettere a confronto i consumi dei diversi modelli. Sarebbe spiacevole comprare una vettura, magari luccicante e scattante, ma che beve come una spugna.
Nel caso degli atenei, il carburante sono i fondi a disposizione di anno in anno. Con un po’ di pazienza, abbiamo rintracciato e sfogliato i bilanci di questi 40 atenei per recuperare il valore delle operating expenses annue. Per ogni ateneo, abbiamo considerato il bilancio più recente disponibile sul web e, nei limiti del possibile, abbiamo ricavato un valore rappresentativo delle operating expenses annue. Siamo lontani dal poter garantire un’accuratezza assoluta, ma, come vedremo, gli esiti di questo esercizio pedagogico saranno talmente chiari da poter sopportare un discreto margine di errore.
Per farci un’idea di quanti litri servono per percorrere 100 km, abbiamo calcolato
Expense per ARWU point = Operating Expenses / Total ARWU score
In altre parole, abbiamo calcolato quanti milioni di dollari occorrono a ciascun ateneo per conquistarsi un punto ARWU. Tra due atenei, il più virtuoso sarà quello che, a parità di punti ARWU, spende meno milioni di dollari o che, a parità di milioni di dollari spesi, conquista un numero maggiore di punti ARWU. Insomma, un ateneo sarà tanto più efficiente quanto più sarà bassa la sua “Spesa per punto ARWU”. Il migliore non sarà più quello in testa alla classifica generale, ma quello che ha fatto l’uso più efficiente dei soldi spesi. Un criterio di efficienza pienamente allineato alle esigenze di spending review.
Sappiamo già che i lettori più attenti solleveranno due obiezioni.
Una prima obiezione riguarda l’aspettativa che un raddoppio della spesa debba idealmente portare ad un raddoppio del punteggio. Che raddoppiando i litri nel serbatoio raddoppino anche i chilometri percorsi è ragionevole. È un po’ meno ovvio che ciò accada per i punti ARWU.
E però, fermo restando che il nostro esercizio pedagogico non ha pretese di scientificità (e come potrebbe, visto che fa uso dei punteggi di una classifica pseudoscientifica?), la classifica ARWU ha una caratteristica che viene in nostro aiuto. Il Total ARWU score è ottenuto come somma pesata di sei punteggi parziali, calcolati sulla base di:
- alumni of an institution winning Nobel Prizes and Fields Medals (peso 0,1);
- staff of an institution winning Nobel Prizes and Fields Medals (peso 0,2),
- the number of Highly Cited Researchers selected by Thomson Reuters (peso 0,2);
- the number of papers published in Nature and Science between 2010 and 2014. (peso 0,2);
- total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2014. (peso 0,2);
- the weighted scores of the above five indicators divided by the number of full-time equivalent academic staff (peso 0,1).
Ebbene, i primi cinque indicatori, che messi assieme rappresentano il 90% del Total ANWUR [ops, ARWU] score, sono di natura additiva. Cosa intendiamo dire con “natura additiva”? Vuol dire che, se istituisco un nuovo ateneo mediante la fusione (anche solo nominale) di due atenei già esistenti, gli indicatori del nuovo ateneo saranno la somma degli indicatori dei due atenei. Ovviamente, un’analoga additività vale per la spesa, come risulta evidente se la fusione fosse solo nominale. Stando così le cose, non è privo di senso calcolare un indicatore di “spesa unitaria”, dividendo la spesa per il risultato, ovvero per i punti ARWU ottenuti.
Questa natura essenzialmente “additiva” del Total ARWU score, oltre che essere ben nota agli esperti, finisce per favorire gli atenei di grandi dimensioni. In modo assai espressivo, qualcuno ha osservato che nella classifica di Shanghai big is made beautiful. Non è un caso che nella classifica ARWU la prima università italiana sia Roma Sapienza e non deve sorprendere che alcune nazioni abbiano preso in considerazione la possibilità di federare alcuni dei propri atenei proprio per poter scalare la classifica ARWU.
Una seconda obiezione riguarda il possibile vantaggio di cui godrebbero le istituzioni specializzare nei dottorati di ricerca. Mentre le spese destinate ai dottorati possono contribuire più o meno direttamente ad incrementare alcuni degli indicatori (il n. 4 e n. 5, per esempio), difficilmente si può dire altrettanto per le spese destinate alla didattica dei corsi di laurea. Questo comporta una zavorra considerevole per un ateneo come Roma Sapienza e, viceversa, un vantaggio per la Scuola Normale Superiore di Pisa. Se però escludiamo la Scuola Normale, il rapporto tra dottorandi e studenti è magggiore nelle università “top 20” rispetto ai 20 atenei italiani. Pertanto, questa distorsione gioca a sfavore delle italiane, tanto più che esse sono destinate a perdere il confronto anche relativamente alla percentuale di spese destinate ai progetti di ricerca sul totale delle operating expenses dell’ateneo.
4. And the winner is …
Ed ecco i risultati. Come si vede dalla tabella seguente, in cui la top ten è evidenziata mediante uno sfondo verde chiaro, quando si considera l’efficienza della spesa la situazione si capovolge. Quella che sembrava una sfida infernale si è risolta decisamente a favore degli atenei italiani.
Al primo posto abbiamo la Scuola Normale Superiore, un primato che, come già osservato, non fa molto testo. E nemmeno ci sorprende che un mega-ateneo come Roma Sapienza scenda dal primo posto al terzultimo posto delle italiane. Concedendosi comunque la soddisfazione di essere più efficiente di diverse illustri università statunitensi.
Se guardiamo alla classifica nel suo complesso, abbiamo un risultato sorprendente: otto atenei italiani nei primi 10 posti. Solo Cambridge e Princeton reggono il confronto con il loro quinto e settimo posto.
Insomma, se ragioniamo in termini di efficienza le università “top 20” della classifica di Shanghai faticano a competere con gli atenei italiani, che in media spendono circa 36 milioni di dollari per ogni punto ARWU contro i 55 milioni spesi in media dagli atenei “top 20”.
Ne segue che, attraverso la fusione di alcuni atenei italiani, si potrebbe comodamente entrare nella top 20, spendendo anche di meno di chi siede già in questo Olimpo. Per esempio, basterebbe fondere le tre università statali milanesi (Bicocca, Politecnico e Statale) per creare un mega-ateneo (che potremmo ribattezzare BiPS University of Milan) il quale entrerebbe comodamente nella top 20 e le cui spese annuali sarebbero decisamente inferiori a quelle del Politecnico di Zurigo. Un’operazione ovviamente priva di alcun valore reale, se non quello propagandistico nei confronti di chi crede alla pseudoscienza delle classifiche degli atenei.
5. La morale della favola
Come già detto, questo esercizio pedagogico, una specie di reductio ad absurdum, non ha pretese di scientificità, perché poggia sui punteggi pseudoscientifici della classifica ARWU. Ciò nonostante, offre degli insegnamenti a chi si accanisce a credere alle classifiche degli atenei:
- è sufficiente tener conto di un criterio importante che è stato sempre ignorato (le spese) per ribaltare le classifiche;
- non si possono confrontare gli atenei italiani con le “World Class Universities”, senza mettere a confronto le risorse finanziarie;
- persino una classifica pseudoscientifica come la ARWU più che testimoniare il ritardo e l’irrilevanza degli atenei italiani, finisce per confermare quello che dicono le statistiche bibliometriche, ovvero che il sistema universitario italiano, pur sottofinanziato, nel suo complesso non è meno efficiente di quelli delle maggiori nazioni straniere.
Complimenti per il finto lapsus freudiano del total ANWUR score.
:-)
Complimenti Giuseppe per questo ironico ed interessante esercizio.
Hai perfettamente ragione: al di la’ della discutibilita’ scientifica dei vari ranking e’ fuorviante non considerare i livelli di finanziamento dei vari Atenei. Discutendo di questo tema in riunioni avute coi dipartimenti di medicina della mia università’- la Statale di Milano- ho ricordato costantemente che il finanziamento delle operating expenses di Harvard corrisponde al 40% del FFO di tutti gli Atenei Italiani…..e questo dato dai mass media non viene mai riportato.
Perché non pubblicate questo articolo, senza insistere tanto sul fatto che il risultato è pseudoscientifico, e il titolo dovrebbe essere: Italians do it better …. vedrete che successone :-)
Complimenti.
Dimenticavo, ovviamente sul Corriere della sera o Repubblica :-) noti giornali con un forte impact factor
Curiosamente Jappelli e Checchi prendono sul serio le classifiche delle università. Anzi riescono pure a concludere che maggiore è la competizione e maggiore la qualità. Davvero lo specchio di un campo e di una agenzia di valutazione: http://www.lavoce.info/archives/25983/parola-dordine-per-luniversita-autonomia-e-concorrenza/
Non capisco perché Francesco Sylos Labini sia così schizzinoso nei confronti delle classifiche. Mi sembra quella stessa ristrettezza mentale che sta dietro i pregiudizi nei confronti degli oroscopi e dell’astrologia. Per esempio, io non vedrei male Paolo Fox come direttore dell’istituto nazionale di astrofisica. E nemmeno Daniele Checchi come membro del Consiglio Direttivo dell’ANVUR. La sua difesa preventiva delle Classifiche del Sole 24 Ore, con i loro errori metodologici, i refusi marchiani e le rettifiche a stretto giro di posta (https://www.roars.it/contrordine-compagni-il-sole-24-ore-riscrive-le-sue-classifiche-a-sfavore-del-politecnico-di-torino/) mi dà una garanzia di continuità negli standard di qualità che hanno caratterizzato questi primi anni dell’Agenzia di valutazione:
______________________
«I dati di queste pagine sono un buon esempio di come si possano fornire informazioni in un formato utilizzabile. Ma già immagino i detrattori che cominceranno a obiettare sull’affidabilità di questo o quel dato, o sulla loro ponderazione.»
Daniele Checchi, “Misurare per poter migliorare”, Sole 24 Ore, 23.07.2014
http://www.ilsole24ore.com/art/notizie/2014-06-23/misurare-poter-migliorare-063641.shtml
Perché sono uno snob
Molto bravo Giuseppe De Nicolao.
E’ un divertissement privo di valore scientifico, vero, ma ha un grande potere retorico.
E considerando che le battaglie politiche attuali sull’istruzione si giocano sul piano retorico e non scientifico, è un utile strumento di lotta politica.
Giusto. Vendiamo fumo anche noi :-))
facciamo del nostro meglio, ma è dura competere con quello smerciato dai maìtre à penser de noantri.
https://www.youtube.com/watch?v=gEPmA3USJdI
Si potrebbe aggiungere che l’ottimo “value for money” italiano viene raggiunto anche grazie ad un costo del lavoro molto basso per le figure junior (postdocs in particolare ma anche ricercatori nei primi anni). A parte la Cina (che fa meglio [?] di noi) negli altri paesi il costo di un contratto postdoc è dal doppio al triplo dei 23k/anno che “generosamente” si spendono per un assegno in Italia. Non ho idea di quanto questo possa incidere sul sistema. Ma deve far riflettere la peculiarità italiana di un precariato diffuso e malpagato (a volte nemmeno pagato) che contribuisce in modo determinante alle pubblicazioni accontentandosi di una pipa di tabacco (oppure, sigh, della promessa di una pipa di tabacco).
[…] che ogni anno suonano il de profundis agli atenei italiani? “Labili se non inesistenti”, scrivono i ricercatori di Roars, e per dimostrare che il sistema universitario italiano, pur sottofinanziato, nel suo complesso non […]
[…] un’occhiata a questo recentissimo lavoro di ROARS: se misuriamo quanto costa un punto nella graduatoria di Shanghai (ARWU) confrontando le 20 università top a livello mondiale e le 20 top italiane ci accorgiamo che […]
Abbiamo l’attenzione dei media nazionali… Sarà ferragosto ma meglio di nulla:
http://www.corriere.it/scuola/universita/15_agosto_18/controclassifica-dove-l-italia-supera-harvard-stanford-7f7e071e-459c-11e5-a532-fb287b18ec46.shtml
Grazie Roars!
[…] un’occhiata a questo recentissimo lavoro di ROARS: se misuriamo quanto costa un punto nella graduatoria di Shanghai (ARWU) confrontando le 20 università top a livello mondiale e le 20 top italiane ci accorgiamo […]
[…] Qui l'articolo integrale […]
Ottima l’idea e soprattutto la tempistica di Giuseppe: alla mediocrazia mediocre si può provare a contrapporre una offerta mediatica “eccentrica” e sorprendente, e vedere l’effetto che fa.
Dal sito dell’Università di Trieste:
http://www.units.it/vedinews/index.php?id=5179&tiponews=2
La notizia della “contro-classifica” arriva anche su Liberoquotidiano.it dove affianca interessanti notizie sui tampax alcolici, sesso in tribunale e le ultime prodezze di Nina Moric. Sono soddisfazioni anche queste.
http://www.liberoquotidiano.it/news/italia/11820592/Universita–la-classifica-che-ribalta.html
Valeria Covato su Formiche:
http://www.formiche.net/2015/08/18/universita/
Anche gli australiani traggono conclusioni simili alle nostre (a conferma del forte impatto delle classifiche sull’opinione pubblica e sulla politica, l’analisi è motivata dalle dichiarazioni del ministro Pyne che difende la sua riforma delle tasse universitarie tirando in ballo proprio l’obiettivo di non perdere posizioni nei ranking internazionali)
====================
It’s seriously big money that counts in the rankings
The 10 highest-ranked universities in the ARWU rankings are among the 20 wealthiest universities in the world. The highest-ranked 15 are all in the 40 most wealthy.
Or to look at it in another way, 25 of the world’s 40 richest universities are in the 50 highest-ranked universities.
Whichever way you look at the relationship between university rankings and money, the correlation is very strong. That’s hardly surprising but it’s worth reminding the government’s policy makers that while money counts, what counts is a level of investment beyond the reach of any Australian institution.
__________________
http://theconversation.com/top-ranked-universities-have-more-money-than-australian-unis-could-dream-of-39189
“nonostante il sottofinanziamento, i nostri atenei non sono meno efficienti di quelli delle maggiori nazioni straniere”.
Bene. Diamoci tante pacche sulle spalle.
Se moltiplichiamo il numero di citazioni per quanto e’ buona la pizza e lo dividiamo per quanti professori sotto i 40 ci sono arriviamo primi!!!
Ma chi a scritto l’articolo del corriere o il trafiletto sul sito dell’universita’ trieste l’ha letto l’articolo e ha capito che la pretesa di scientificita’ di questo articolo e’ nulla?
ps
poi mi spiegherete perche’ spendere tanti soldi per migliorare la ricerca e/o l’insegnamento e’ una cosa negativa. E se pensate veramente che se domani dessimo gli stessi soldi che ha harvard a un’universita’ italiana risolveremmo tutti i nostri problemi.
“Se moltiplichiamo il numero di citazioni per quanto e’ buona la pizza e lo dividiamo per quanti professori sotto i 40 ci sono arriviamo primi!!!”


_______________________
Nell’articolo sono spiegate in dettaglio le ragioni che giustificano il calcolo fatto. Sono abbastanza semplici da capire per una persona di media intelligenza, la quale comprende pure che non hanno a che fare con la pizza. Ma forse chi sta a Chicago rimpiange talmente tanto quella cucinata con il forno a legna da infilarla a sproposito nei commenti quando non ha argomenti tecnici a cui aggrapparsi.
=======================
“Ma chi a scritto l’articolo del corriere o il trafiletto sul sito dell’universita’ trieste l’ha letto l’articolo e ha capito che la pretesa di scientificita’ di questo articolo e’ nulla?”
_______________________
Per rispondere basta leggere. «Lo scopo della controclassifica, che sarà pur un divertimento ferragostano …» scrive il Corriere. Il trafiletto di Trieste, invece, pecca senza alcun dubbio di ingenuità. Potrebbe essere inconsapevole, ma è pure lecito il sospetto che abbiano voluto cavalcare il buon posizionamento a scopo di marketing. Chi legge il mio post noterà che ho fatto il possibile per non nominare nel testo le singole università. Fanno eccezione la Scuola Normale Superiore e Roma Sapienza che erano emblematiche di fenomeni che avevano rilevanza pedagogica.
=======================
“poi mi spiegherete perche’ spendere tanti soldi per migliorare la ricerca e/o l’insegnamento e’ una cosa negativa.”
_______________________
Mai sostenuta questa tesi su Roars. Ê da quattro anni che sottolineiamo che l’Italia è agli ultimi posti dell’OCSE come spesa per l’università.
=======================
“E se pensate veramente che se domani dessimo gli stessi soldi che ha harvard a un’universita’ italiana risolveremmo tutti i nostri problemi.”
_______________________
Non abbiamo mai sostenuto nemmeno questa tesi. Anzi, abbiamo mostrato che concentrare la spesa di Harvard (o Yale) in un solo ateneo sarebbe insostenibile per il sistema universitario italiano. Posso testimoniare che la gran parte dei lettori ha compreso benissimo il senso dell’articolo: non ha senso denigrare gli atenei italiani perché non si classificano come atenei finanziati dieci volte tanto (vedi Gelmini e Renzi). E nemmeno accusarli di irrilevanza scientifica (vedi Roberto Perotti) perché, in proporzione ai mezzi, producono più risultati di quello che ci si potrebbe attendere prendendo a modello proprio la produttività degli atenei superstar.
“Nell’articolo sono spiegate in dettaglio le ragioni che giustificano il calcolo fatto. Sono abbastanza semplici da capire per una persona di media intelligenza”
Una misura di efficienza dovrebbe essere per definizione indipendente dalla spesa. Se voglio comparare l’efficienza di un’universita’ che spende 1000 con una che spende 10, devo avere una misura che e’ (a priori) indipendente da quanto spendo.
Il consumo per litro e’ indipendente da quanti litri metto nel serbatoio. Se guardassi a consumo per litri vs litri non dovrei vedere nessun trend.
Vi invito a fare un semplice plot di arwu/spese vs spese per le universita’ italiane. Si vede chiaramente che decresce con la spesa. Che cosa vuol dire? Che non e’ vero che “l’analogia additiva” funziona. Questo si vede equivalentemente osservando che i punti arwu sono scorrelati dalla spesa… Che vuol dire che, per quanto riguarda i punti arwu, non e’ vero che sono “additivi”/estensivi (almeno nel sottocampione italiano)
Quindi il numero che tirate fuori non dice nulla sull’efficienza
“Ê da quattro anni che sottolineiamo che l’Italia è agli ultimi posti dell’OCSE come spesa per l’università.”
Questo e’ il grafico da mostrare. Lo fate spesso e ne sono contento.
“abbiamo mostrato che concentrare la spesa di Harvard (o Yale) in un solo ateneo sarebbe insostenibile per il sistema universitario italiano”
Questo e’ il grafico da non mostrare secondo me. Perche’ le operating expenses non sono il ffo.
Ad esempio, gli ospedali rientrano nelle operating expenses?
Guardando la tabella sopra si vede una cosa piu’ interessante delle spese di harvard. UCLA (e anche UC san diego e san francisco) spendono circa come Harvard e hanno 30000 studenti (UCLA). Queste sono tutte universita’ statali.
“Vi invito a fare un semplice plot di arwu/spese vs spese per le universita’ italiane. Si vede chiaramente che decresce con la spesa. Che cosa vuol dire? Che non e’ vero che “l’analogia additiva” funziona”
===============================
Oppure vuol dire che gli atenei grandi hanno più probabilità di includere aree a bassa intensità bibliometrica, la cui presenza abbassa la “resa”. L’additività, come osservato nel post, sta scritta nelle regole: P(A+B)=P(A)+P(B), dove P(.) sta per Punti ARWU. Non a caso viene fatto l’esempio delle fusioni. Un esempio che vale, naturalmente, anche per i dipartimenti. Infatti, potrei quasi arrivare a disaggregare il punteggio ARWU di un ateneo come somma dei punteggi dei singoli dipartimenti (con qualche problema nell’attribuzione degli alumni Nobel e Fields, ma non insormontabile). Se il mio rettore mi chiedesse come fare a scalare la classifica dell’efficienza ARWU (in modo da avere Pavia al primo posto nell’articolo sul Corriere del 16 agosto 2016) non avrei dubbi sulla risposta: “chiudiamo i dipartimenti di Studi Umanistici, Giurisprudenza, Scienze Politiche e Sociali”. Nel gioco perverso di ARWU sono solo zavorra e se considero la “produttività” andrebbero chiusi (con o senza di loro il punteggio ARWU rimarrebbe più o meno uguale). Sottolineo la parola “gioco” (e anche l’aggettivo “perverso”). Se però vogliamo stare al gioco (e questo è lo spirito del post) l’additività ci sta tutta. È “colpa” degli atenei grandi se hanno imbarcato dipartimenti “inutili” oppure che hanno una maggior percentuale di ricercatori scarsamente “produttivi” (nei database di Thomson-Reuters).
A scanso di equivoci, io ritengo la classifica ARWU una mostruosità metodologica. L’esercizio pedagogico si mette nei panni di un credulone (ce ne sono stati e ce ne saranno ancora tanti, posso giurarci) che pensa che i punti ARWU abbiano una qualche sostanza ontologica. Se questi punti sono il “value”, non resta che guardare quanta “money” spendono le istituzioni che li ottengono. Io non credo affatto che i punti ARWU siano il “value”, ma ci sono centinaia di articoli e dichiarazioni politiche che danno per scontato che siano il “value” o, quanto meno, una misura sensata del “value”.
“Questo e’ il grafico da non mostrare secondo me. Perche’ le operating expenses non sono il ffo.”
===========================
Questa obiezione era già stata fatta e la risposta era molto semplice: lo scopo è fornire all’uomo della strada (e a Matteo Renzi a cui era rivolto il post originale) un’idea delle cifre in gioco facendo riferimento a dei numeri incontrovertibili. Il decreto FFO si trova facilmente in rete (http://attiministeriali.miur.it/media/193347/i_assegnazione_ffo%202012.pdf), come pure il financial report di Harvard. Il senso è che l’ateneo al top spende in un anno una cifra dello stesso ordine di grandezza (44% per la precisione) di quello che viene stanziato dal MIUR come fondo ordinario per 66 atenei. È chiaro che non possiamo permetterci tre Harvad (me nemmeno una, direi) senza terremotare tutto il sistema dell’istruzione universitaria rendendo impossibile rispondere alle esigenze educative della gran parte dei 1.700.000 studenti universitari.
=============================
“Ad esempio, gli ospedali rientrano nelle operating expenses?”
___________________________
Se guardo la sintesi del financial report di Harvard, a occhio, direi di no
https://www.roars.it/wp-content/uploads/2013/09/Harvard.jpg
Ma quello delle spese legate alle facoltà di medicina è questione annosa anche in Italia, spesso sollevata dalla CRUI nei confronti del MIIUR.
“Il senso è che l’ateneo al top spende in un anno una cifra dello stesso ordine di grandezza (44% per la precisione) di quello che viene stanziato dal MIUR come fondo ordinario per 66 atenei.”
Il problema e’ che spese e finanziamento sono due cose diverse. Le spese sono uscite, il finanziamento e’ *una* delle voci di entrata.
Le spese riportate nella tabella sopra per la sapienza sono 1109mln$… che sono sempre il 25% di harvard a fronte di molti meno studenti, ma che sarebbero il vero dato da guardare
con il piccolo dettaglio che gli studenti di Sapienza sono 10 volte di più di Harvard.
Se lo scopo è una comparazione omogenea, è sicuramente corretto confrontare spese con spese. By the way, gli studenti della Sapienza sono grosso modo tre volte quelli di Harvard con una spesa che, come appena ricordato, è circa un quarto. Difficile immaginare una competizione ad armi pari.
Secondo wikipedia la sapienza ha 100,000 studenti mentre Harvard 20,000 dunque è un fattore 5 (e non dieci come ho scritto prima!)
Harvard: se non erro, circa 27.000 studenti in totale (graduate + undergraduate)
E’ interessante notare dalla classifica di sopra che UCLA spende piu’ di harvard (ed e’ un’universita’ statale)
Guardando il bilancio di UCLA ( https://ucla.app.box.com/acct-pdf-AFR-13-14 ) confrontandolo con quello della sapienza ( http://www.uniroma1.it/sites/default/files/CONTO_ECONOMICO_CONSOLIDATO_AL%2031_12_2013.pdf ) si scopre la seguente cosa.
Spese UCLA 2013: ~6000 mln$
Spese Sapienza 2013: ~800 mlnE
I contributi dello stato (+altri finanziamenti pubblici)
UCLA 2013: ~400 mln$
Sapienza 2013: ~650 mlnE
La gran parte delle entrate di UCLA e’ data da Sales and service revenue che, se si va a leggere “includes the UCLA Health System, educational activities and auxiliary enterprises such as student housing, food services operations and parking”.
Ora, per essere fair, bisogna dire che la sapienza ha 100000 studenti, mentre UCLA 40000. Se guardiamo i contributi statatali UCLA ne ha proporzionalmente di piu’ ma non in una forma sconsiderata. E’ interessante pero’ che il rapporto tra spesa e finanziamento e’ molto diverso nei due casi.
Quindi finanziamenti e spese sono una cosa molto diversa. Il confronto tra spese di harvard e ffo non ha senso. E se rifaceste la classifica di sopra con i finanziamenti invece che con le spese verrebbe qualcosa di diverso probabilmente.
Su confronto Harvard vs FFO abbiamo già detto che lo scopo era quello di dare degli ordini di grandezza all’uomo della strada tramite numeri immediatamente verificabili in modo incontrovertibile. Non a caso, avevamo accompagnato il grafico con queste altre due figure:

È ovvio che le università Italiane spendono di più del FFO (grazie a tasse studenti e fondi esterni). Le spese totali nel 2012 ammontavano a 12,145 MLD Euro (p. 170 del Rapporto ANVUR http://www.anvur.org/attachments/article/644/Rapporto%20ANVUR%202013_UNIVERSITA%20e%20RICERCA_integrale.pdf) che (se fossero assimilate alle operating expenses) equivarrebbero a circa quattro volte la spesa di Harvard. La sostanza del confronto non cambia: siamo di fronte a due realtà incomparabili in quanto alle risorse disponibili, un punto che sembra sfuggire all’uomo della strada (e alla classe politica).
“E se rifaceste la classifica di sopra con i finanziamenti invece che con le spese verrebbe qualcosa di diverso probabilmente.”
=========================
I calcoli di “efficienza scientifica” riportati nella letteratura fanno tipicamente riferimento alla spesa. Un tipico indicatore è il rapporto tra gli articoli scientifici (o le citazioni) e la cosiddetta HERD (Higher-education Expenditure in Research & Development) che si ritiene sia la risorsa fondamentale di cui disponde il sistema della ricerca accademica per produrre conoscenza scientifica. Si noti che la spesa al denominatore include tutte le risorse spese, a prescindere da chi abbia finanziato (non è quindi il finanziamento pubblico e basta, ma sono tutti gli euro che le istituzioni universitarie spendono a scopo di ricerca). Si tratta di uno degli indicatori riportati nell’International Comparative Performance of the UK Research Base – 2013 (“A report prepared by Elsevier for the UK’s Department of Business, Innovation and Skills”), da cui sono tratte le seguenti figure.
https://www.gov.uk/government/publications/performance-of-the-uk-research-base-international-comparison-2013
_________________________
Nel “gioco ARWU” l’ipotesi è che l’unico scopo degli atenei sia primeggiare nelle classifiche (un’idiozia, ma è quello di cui sono più o meno convinti i politici di tutte le latitudini e longitudini, si vedano le dichiarazioni del ministro australiano Pyne, https://www.roars.it/classifica-arwu-14-universita-italiane-meglio-di-harvard-e-stanford-come-value-for-money/comment-page-1/#comment-51529).
A questo punto, l’input è la benzina nel serbatoio, ovvero i soldi spesi (che non scorporiamo nelle diverse missioni perché l’assunto del rankitismo é proprio l’idea che stare in cima alla classifica sia il miglior proxy dell’assolvimento del complesso delle proprie missioni istituzionali). Secondo questa demenziale ideologia gli stakeholders che foraggiano l’ateneo saranno tutti felici se questo scala i vertici del ranking ARWU. Attenzione che questo mondo di pazzi è più vicino alla realtà di quanto si possa immaginare. Il vice chancellor di un’università anglosassone che scende di un briciolo di punti (ma che in certe regioni della classifica possono valere 5-10 posizioni) ha ottime probabilità di perdere il (lucroso) posto:
__________________
Similarly, if a university slips up or down ten points in the top 100, it can mean a miniscule shift in actual performance, but little to nothing to cause doubt that this is a top-notch uni. (For marketing departments and vice-chancellors, however, a slip or a victory is of course a very big deal.)
https://theconversation.com/pynes-plan-isnt-the-way-to-protect-our-unis-from-mediocrity-32495
__________________
Come credete che orienterà le politiche di spesa dell’ateneo? Promuoverà l’apertura di un dipartimento di studi letterari? Oppure di biologia molecolare? Insomma, il mondo dell’esperimento pedagogico è artificioso, ma non così irreale come potrebbe sembrare a prima vista.
Naturalmente se un’ipotetico lettore concludesse che usare i punti ARWU come proxy del valore complessivo di un ateneo è una sesquipedale idiozia e che d’ora in poi le classifiche saranno equiparate agli oroscopi, screditando ipso facto chi le usa come argomentazione, io non potrei che applaudire alla maniera dei colleghi di Fantozzi.
https://www.youtube.com/watch?v=eHf-NWLlahY
Ihuuuuuhhhh!!! L’avevo detto io che il corriere l’avrebbe pubblicata questa mezza bufala :-)
Senza offesa per nessuno e tanto meno per Giuseppe De Nicolao, autore di questo spassosissimo post. L’ho detto io “vendiamo fumo”, se ci impegniamo riusciamo a competere anche con l’ANVUR :-)
Tutto ciò detto: “Io non mi sento italiano
ma per fortuna o purtroppo lo sono” e mi piace la pizza, anche con la bufala :-)
Si va be’, con lo stesso criterio si dimostra che il Real Martellago e’ meglio della Juventus. Chissa’ perche’ il pubblico preferisce guardare la Juventus, anche se costa di piu’. Ci sara’ un motivo per cui gli studenti preferiscono pagare $50,000 per studiare a Harvard, invece che €500 per studiare a Pisa?
E a un certo momento arriva questo commento: complimenti.
Ma davvero c’è qualcuno che ha fatto questo commento?
Il calcio e la pizza sono già stati tirati in ballo, aspettiamo il mandolino e la mafia: ah no quella saremo noi che difendiamo i baroni.
Sono ben noti gli editoriali di fuoco pubblicati in prima pagina sull’Arena di Verona (famosi quelli intitolati “Una città in fuori gioco” e “Le nostre squadre fanno schifo”) che hanno denunciato l’inefficienza di Hellas Verona e Chievo. La dimostrazione che quelle squadre di fannulloni raccomandati fanno schifo è che non sono nemmeno arrivate tra le prime cinque della classifica della Serie A 2014/15. Tra i provvedimenti auspicati, quello di bloccare il turnover e giocare con 9 giocatori invece che 11 nella prossima stagione 2015/16. Inoltre, non verranno più forniti ai giocatori i tacchetti di ricambio (marca “PRIN”) da mettere sotto le scarpe da calcio.