ARWU col trucco: un pensionato ultraottantenne e un’affiliazione fake, così la Sapienza ha beffato Pisa

ll richiamo alle armi di un ottuagenario e l’affilazione fake di un top scientist che invece sta a Ferrara: sono questi i vantati “reclutamenti di top scientists” con cui la Sapienza si è assicurata il primo posto tra le università italiane nel Ranking ARWU. Senza questi due “reclutamenti”, il primo posto sarebbe spettato a Pisa. «Sapienza si conferma il primo Ateneo italiano e compie un balzo in avanti notevolissimo salendo nella fascia 151-200 della classifica generale – sottolinea il rettore Eugenio Gaudio – una posizione di eccellenza non affatto scontata […] Questo risultato giunge grazie all’impegno di tutti ed è frutto di investimenti della Sapienza per quanto possibile crescenti […], come evidenziato anche dal reclutamento di top scientists, i migliori ricercatori al mondo nel proprio settore, un dato che Arwu considera come parametro di qualità degli Atenei.» In realtà, non è vero che “Sapienza si conferma il primo Ateneo italiano“: l’anno scorso, infatti, il primo Ateneo italiano era la Statale di Milano. Tra i quattro top scientists che contribuiscono al punteggio dell’ateneo romano, i “nuovi arrivi” di quest’anno sono solo due. Scriviamo “nuovi arrivi” tra virgolette, perché il primo non è nemmeno arrivato. Jusef Hassoun, infatti, è professore presso l’Università di Ferrara. Un’affiliazione fake, frutto di un errore nel database Clarivate degli Highly Cited Researchers. ll secondo “nuovo arrivo”, invece, è il richiamo alle armi di un veterano. Bruno Scrosati è un luminare ultraottantenne, ex professore dell’ateneo romano, che, anche da pensionato, continua a pubblicare articoli firmandosi come affiliato a diversi enti (Helmholtz Institute Ulm, IIT, … ), tutti diversi da Roma Sapienza, dove tiene un corso a contratto. Insomma, niente di nuovo sotto il sole: puntuale come ogni anno a Ferragosto la classifica ARWU fa perdere la testa ai vertici dei nostri atenei che rilasciano parole in libertà. Piuttosto, vale la pena di riflettere su un dato interessante. Quest’anno, ARWU ha esteso la sua classifica: non più le prime 500 ma le prime 1000 che corrispondono al 5-6% degli atenei mondiali (il cui numero viene stimato tra 18.000 e 20.000). Il dato, sorprendente per alcuni (ma non per noi) è che la stragrande maggioranza degli atenei statali italiani entra in questa “fascia alta”. Capire perché non è sorprendente aiuta a dissipare un po’ di nebbia e di retorica e anche a estrarre qualche indicazione utile persino da una classifica pseudoscientifica.

1. Roma capoccia! Vero o falso?

Puntuale come ad ogni anno, a Ferragosto vengono pubblicati i risultati della classifica internazionale ARWU, nota anche come classifica di Shanghai. A brevissima distanza, l’Università Sapienza di Roma canta vittoria con un comunicato, richiamato nella home page.

Il comunicato riporta il seguente virgolettato del Rettore Eugenio Gaudio:

Sapienza si conferma il primo Ateneo italiano e compie un balzo in avanti notevolissimo salendo nella fascia 151-200 della classifica generale – sottolinea il rettore Eugenio Gaudio – una posizione di eccellenza non affatto scontata a livello nazionale per un ateneo pubblico dai grandi numeri e con una vocazione generalista come il nostro, ma ancora più significativa a livello internazionale perché la maggior parte dei nostri competitor partono da condizioni diverse, come nel caso degli atenei anglosassoni, che hanno finanziamenti di gran lunga superiori a quelli delle università italiane. Questo risultato giunge grazie all’impegno di tutti ed è frutto di investimenti della Sapienza per quanto possibile crescenti, mirati a promuovere la ricerca scientifica di qualità e la meritocrazia, valorizzando le eccellenze, dando il giusto spazio ai talenti nelle varie discipline, come evidenziato anche dal reclutamento di top scientists, i migliori ricercatori al mondo nel proprio settore, un dato che Arwu considera come parametro di qualità degli Atenei.

In sintesi:

1. Sapienza “si conferma il primo ateneo italiano”;
2. Merito del governo dell’ateneo che ha puntato sulla meritocrazia;
3. In particolare, merito del “reclutamento di top scientists”, “un dato che Arwu considera come parametro di qualità degli Atenei”.

Basta poco per verificare che la prima affermazione non è vera. Infatti, l’anno scorso Roma Sapienza era seconda dietro a Milano.

Se Gaudio ha preso una svista relativamente alla classifica dell’anno scorso, ha almeno azzeccato quella di quest’anno? Per verificarlo, esaminiamo la classifica degli atenei italiani, ricopiata direttamente dal sito di ARWU.

La prima università dell’elenco è proprio Roma Sapienza. Però, c’è anche una nota scritta in piccolo:

*Institutions within the same rank range are listed alphabetically.

Messi in guardia da questa nota, leggiamo la colonna National/regional rank più attentamente e ci accorgiamo che c’è un ex-aequo tra i primi tre atenei:

• Sapienza University of Rome 1-3
• University of Pisa 1-3
• University of Milan 1-3

Come indicato nella prima colonna (World Rank), tutti e tre sono compresi tra la 150-ma e la 200-ma posizione mondiale. L’ordine con cui sono elencati è solo alfabetico. Per poterli confrontare, bisognerebbe conoscere il Total score (ultima colonna), che però è lasciato in bianco. Infatti, ARWU pubblica i Total score solo per i primi 100 atenei in classifica. Dal 101-mo ateneo, la classifica procede “a blocchi”:

• 101-150
• 151-200
• 201-300
• 301-400
• etc

All’interno di ciascun blocco gli atenei vengono riportati in ordine alfabetico. Il motivo di questa scelta è la convinzione che all’interno di ciascun blocco la classifica non sarebbe affidabile perché bastano minime variazioni del punteggio per salire o scendere di molte posizioni.

Ma è davvero impossibile sapere chi tra Sapienza, Milano e Pisa abbia ottenuto il punteggio migliore? No, non è impossibile. Con un po’ di pazienza, è infatti possibile ricostruire i Total score di tutti e 1000 gli atenei classificati e, in particolare, dei 46 atenei italiani.

2. La classifica completa delle italiane

Se è vero che ARWU non pubblica i punteggi degli atenei oltre la 100-ma posizione, è altrettanto vero che pubblica i punteggi dei sei indicatori (Alumni, Award, HiC, N&S, PUB, PCP) la cui somma pesata produce lo score finale:

1. Alumni of an institution winning Nobel Prizes and Fields Medals (peso 0,1);
2. Award: staff of an institution winning Nobel Prizes and Fields Medals (peso 0,2),
3. HiC: the number of Highly Cited Researchers selected by Clarivate (peso 0,2);
4. N&S: the number of papers published in Nature and Science between 2013 and 2017. (peso 0,2);
5. PUB: total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2017 (peso 0,2);
6. PCP: the weighted scores of the above five indicators divided by the number of full-time equivalent academic staff (peso 0,1).

Basta pertanto qualche facile somma e moltiplicazione per recuperare il punteggio di tutte e 500 le università in classifica (qui trovate la formula). In particolare, ecco il risultato e la relativa classifica per il 2019.

Sul primo posto di quest’anno, il Rettore Gaudio non si sbagliava. Ecco i punteggi dei primi tre atenei italiani:

1. Sapienza University of Rome: 21,50
2. University of Pisa: 21,05
3. University of Milan: 18,98

Adesso che abbiamo sotto mano sia i Total score che i punteggi dei sei indicatori, possiamo cercare di capire a cosa sia dovuta la rimonta dell’ateneo romano. A tale scopo, effettuiamo un confronto con gli indicatori dell’anno scorso.

Ecco come si sono modificati dal 2018 al 2019 i sei indicatori di Roma Sapienza:

• Alumni: da 11,4  a 9,7
• Award: da 13,1 a 13,1
• HiC: da 0 a 14,7
• N&S: da 8,7 a 11,4
• PUB: da 51,2  a 51,2
• PCP: da 18,9 a 19,8

Salta subito all’occhio che l’unico vero balzo in avanti, riguarda HiC, che dipende dal numero di Highly Cited Researchers. Un misero zero nel 2018 che diventa un ragguardevole 14,7 nel 2019.

Aveva dunque ragione il Rettore Gaudio a sottolineare il ruolo chiave del reclutamento di Top Scientists. Per ottenere quel balzo nell’indicatore HiC, deve esserci stata una significativa immissione di talenti, frutto di interventi mirati che promuovono “la ricerca scientifica di qualità e la meritocrazia”. Ma quanti sono e chi sono questi “top scientists”, così decisivi per lo sprint della Sapienza?

Se andiamo a controllare sul sito di Clarivate, ci aspetta una piccola sorpresa.

I top scientists che hanno determinato la rimonta sono solo cinque. Anzi, solo quattro, perché quella che conta è la Primary Institution. Pertanto, Stefano Passerini porta acqua al mulino del Karlsruhe Inst. Technol e non a quello della Sapienza. Rimangono quattro moschettieri:

1. Jusef Hassoun
2. Francesco Mauri
3. Carlo Rondini
4. Bruno Scrosati

Non sono tanti, ma aver realizzato quattro reclutamenti “top” è comunque un buon risultato. Ma a quando risalgono queste reclute?

Per essere sicuri, controlliamo sul sito CercaUniversità.

Rondinini, laurea e PhD alla Sapienza, dal 2008 è ricercatore nello stesso ateneo.

Mauri, invece, Directeur de recherche del CNRS francese fino al 2015, nello stesso anno prende servizio alla Sapienza come Professore Ordinario.

L’anno scorso, Mauri e Rondinini non contribuivano all’indicatore HiC della Sapienza, che come già visto era uguale a zero. La ragione è semplice: non erano tra i 3.400 Highly Cited del 2017, ma sono stati inclusi nell’edizione 2018 che include 6.078 nominativi.

3. Tutto fa ranking, anche l’affiliazione fake

La  vera sorpresa, però, salta fuori quando andiamo a cercare Jusef Hassoun.

Colpo di scena, Hassoun non è un professore della Sapienza, ma dell’Università di Ferrara. Tanto è vero che, lo scorso novembre, quando è uscita l’edizione 2018 degli Highly Cited Researchers, l’ateneo ferrarese aveva emesso questo comunicato:

Qui c’è un piccolo giallo: anche la Sapienza aveva incluso Hassoun nei suoi Highly Cited.

Tuttavia, non sembrano esserci dubbi. Se è vero che Hassoun è stato ricercatore alla Sapienza fino al 2015, dal settembre di quell’anno è professore associato a Ferrara.  Affiliazione che risulta anche dai database Scopus e persino Clarivate.

Clarivate è la stessa società che pubblica la lista degli Highly Cited, dove per qualche inspegabile ragione l’affiliazione di Hassoun è diventata Roma Sapienza.

Sembra che si tratti di un errore materiale di cui l’Università di Ferrara dovrebbe chiedere la rettifica. Tra l’altro, vedendosi riconosciuti due ricercatori Highly Cited invece di uno, Ferrara passerebbe dal blocco 501-600 quello 401-500. Se, come gli anni scorsi, ARWU avesse pubblicato solo i primi 500 atenei della lista, Ferrara avrebbe persino subito l’onta di finire fuori classifica. Inutile dire che la rettifica comporterebbe anche una revisione verso il basso del punteggio di Roma Sapienza.

4. Reclutamento eccellente? Il ritorno dell’ottuagenario

Ma le sorprese non sono finite. Ecco cosa otteniamo quando andiamo a cercare sul sito del MIUR il quarto moschettiere, Bruno Scrosati:

Proviamo ad approfondire: Bruno Scrosati è un luminare della Chimica, nato nel 1937, che è stato in servizio presso Roma Sapienza fino al 2010. Il pensionamento non gli ha impedito di continuare l’attività scientifica. Scrosati era anche nelle precedenti liste degli Highly Cited, ma, come riportato in questo articolo del 2016 apparso su Scienza in Rete, la sua affiliazione non era più Roma Sapienza ma l’Istituto Italiano di Tecnologia, verosimilmente perché finanziatore della sua attività di ricerca.

Cosa dicono i due più noti database, ovvero Scopus e Clarivate?

Ma Scrosati, a chi si dichiara affiliato? Nei suoi articoli recenti non si dichiara affiliato alla Sapienza di Roma. Ecco alcuni esempi:

In un caso dichiara un’affiliazione italiana: “Elettrochimica ed Energia”, che sembra essere un Ente Morale con sede a Roma.

Se dal punto di vista scientifico l’affiliazione traballa, dal punto di vista didattico Scrosati è elencato tra i professori a contratto, anche se è l’unico senza link ad una pagina interna al sito di ateneo.

Conclusione: la Sapienza, per vincere la competizione, più che sul reclutamento di Top scientists (potrebbe essere il caso di Francesco Mauri, assunto nel 2015) ha potuto contare su un refuso (Hassoun “scippato” a Ferrara) e il richiamo alle armi, più formale che sostanziale, di un ottuagenario.

5. E se la prima fosse invece Pisa?

Cosa accadrà, ora? Immaginiamo che l’Università di Ferrara esigerà la restituzione di ciò che le spetta, cioè quei punti dell’indicatore HiC che ha perso a favore di Roma Sapienza. Immaginiamo che ARWU colga l’occasione per chiedere a Clarivate di controllare le affiliazioni degli Highly Cited italiani e che la Sapienza finisca per perdere sia Hassoun (affiliato a Ferrara) che Scrosati (affiliato a HIU – Helmholtz Inst Ulm). Come cambierebbe la classifica se Ferrara passa da uno a due Highly Cited e Sapienza scende da quattro a due? Lo si può verificare facilmente. Infatti, l’indicatore HiC si calcola in questo modo:

• X: valore di HiC dell’ateneo considerato;
• x: n. di highly cited scientistis dell’ateneo considerato;
• h: n. di highly cited scientistis dell’ateneo che ne ha di più (Harvard).

Il numero di Highly Cited di Harvard è h = 186. A questo punto, rifacciamo i conti e otteniamo la classifica italiana corretta (sempre che non ci siano altri refusi ed errori nei dati di ARWU e Clarivate).

Una volta corretti i dati degli Highly Cited, la prima delle italiane non è più Roma Sapienza ma Pisa:

1. University of Pisa: 21,05
2. Sapienza University of Rome: 20,62
3. University of Milan: 18,98

Inoltre, Ferrara viene promossa nel blocco 401-500.

6. Classifiche: se le conosci, le eviti

Le classifiche sono delle formidabili armi di distrazione di massa. Molto facili da comunicare, veicolano l’idea (sbagliata) che sia facile valutare gli atenei. Facile come far correre i 100 metri e cronometrare quanti secondi ci mette ogni atleta. In realtà, i risultati delle classifiche sono il frutto di un cocktail di indicatori che nasconde dietro la presunta oggettività dei numeri delle scelte assolutamente arbitrarie. Per esempio, nessuna classifica valuta ciò che dovrebbe interessare di più al contribuente, ovvero il value for money. Come se Quattroruote riportasse solo la velocità massima delle diverse automobili senza fornire quanto consumano per percorrere 100 Km.

Nessuna delle università italiane riesce a entrare nella top 150 della classifica ARWU e le cose non vanno molto meglio nelle altre classifiche. Un dato che è stato spesso usato come la prova scientifica del “secchio bucato”: un sistema universitario su cui è inutile investire perché arranca nei confronti del resto del mondo. La realtà è ben diversa. Basta calcolare i “Km per litro”, ovvero i risultati scientifici (per esempio il numero di pubblicazioni che sta alla base dell’indicatore PUB di ARWU) per dollaro speso. Il risultato è sorprendente: non solo le università italiane sono più efficienti di Harvard, ma sconfiggono buona parte dei “campioni nazionali”, ovvero gli atenei di punta delle diverse nazioni:

• Classifica ARWU 2015: 14 università italiane meglio di Harvard e Stanford…
• Classifica ARWU: un’università italiana nella top 100. Subito e a costo zero.

Qualcuno potrà obiettare che non vale la pena di prendersela troppo: stilare classifiche è un passatempo tutto sommato innocuo. Non è così per due ragioni principali.

La prima è che lo spazio che i mezzi di informazione dedicano all’università è necessariamente limitato. Occuparlo riportando classifiche prive di base scientifica significa togliere spazio alla denuncia dei veri problemi, tra cui spiccano il diritto allo studio, troppo spesso negato, e il sottofinanziamento cronico di un settore fondamentale per il progresso civile, culturale ed economico.

La seconda ragione è che le classifiche creano delle priorità distorte. Come illustrato in questo stesso articolo, i vertici degli atenei (non solo italiani) sono molto sensibili ai ritorni di immagine delle classifiche, al punto che la scalata dei ranking diventa un obiettivo ugualmente o persino più prioritario dei veri obiettivi dell’istituzione. E come abbiamo visto è possibile scalzare la concorrenza dal primo posto nazionale senza nessun reale miglioramento, a dispetto dei proclami retorici del rettore di turno.

Gli effetti tossici delle classifiche sulle politiche nazionali e su quelle dei singoli atenei sono noti da anni. Nel 2017, due noti esperti di Higher Education, P.G. Altbach e E. Hazelkorn, hanno scritto un articolo intitolato: Why most universities should quit the rankings game

Ecco un estratto che andrebbe fatto leggere a rettori, politici e giornalisti:

We have one simple argument: universities around the world, many more than will ever publicly admit it, are currently obsessed with gaining status in one or more national or global ranking of universities. They should quit now.

Although some may succeed in becoming ranked or may improve their numerical scores marginally, it is almost never worth either the resources required or the substantial changes in mission or academic programmes necessary. Indeed, most ‘gains’ are due to methodological changes, introduced by the various rankings to remain in the media and public headlines, and thus commercially lucrative.

Our advice is particularly pertinent for mid-range national, regional and specialist universities and colleges, and their stakeholders and governments. Today, these institutions constitute the overwhelming majority of higher education institutions worldwide, due to a combination of demographic demand for participation in higher education, and societal and economic requirements for a more highly educated citizenship.

Indeed, projections suggest the number of students enrolled in higher education is forecast to rise from 99.4 million in 2000 to 414.2 million in 2030, an increase of 416%. Accommodating these additional students will require more than four major universities (30,000 students) to open every week for the next 15 years.

These higher education institutions are the real backbone of society and their locales. They serve as the anchor institution, the mainstay for social and economic growth and development. They will develop some research focus, but are unlikely to become globally prominent.

However, our advice extends even to those universities that adopt the mantle of ‘flagship’ – those at the top of the hierarchy in their country or state. This is because rankings pervert one of the main purposes of higher education, which is to ensure that students and graduates acquire the knowledge and skills needed for a successful, satisfying and active life throughout one’s increasingly longer life span.

7. Ben 46 università italiane nel top 6% mondiale

Qualcuno potrebbe dire che anche noi siamo caduti nella trappola delle classifiche. Abbiamo dedicato una lunga analisi a stabilire quale fosse la prima università italiana nel Ranking ARWU. Chi se ne importa, verrebbe da dire.

Tuttavia, la decostruzione delle classifiche ha un insostituibile valore pedagogico. Il loro prestigio si basa sull’aura di scientificità di cui godono e sulla credenza, colpevolmente alimentata dalle dichiarazioni dei rettori, che le posizioni guadagnate o perse dipendano dalle strategie meritocratiche dei vertici accademici. Quando si smonta la classifica pezzo a pezzo si dimostra inequivocabilmente che il re è nudo e che, per di più, straparla. Il primo posto della Sapienza è stato propagandato come frutto di investimenti mirati, mentre dipende solo da un refuso e dalla discutibile attribuzione dell’affiliazione di un ottuagenario.

I numeri sono utili quando aiutano a comprendere la realtà. È probabile che il dato più importante di tutta questa classifica ARWU non arriverà mai al grande pubblico. Quest’anno, ARWU ha esteso la classifica: non più solo le prime 500 ma le prime 1000 università. Altbach e Hazelkorn, citando il World Higher Education Database, osservano che, a livello mondiale ci sono più di 18.000 università. Le prime 1.000 corrispondono al 5-6% degli atenei mondiali.

Ebbene, 46 #università italiane entrano nelle prime 1.000 del mondo (seppure secondo i discutibili criteri usati da ARWU). Meglio della Francia e poco sotto la Germania, che ne contano rispettivamente 35 e  51. Secondo il MIUR, in Italia si contano 67 università statali. Per entrare nella classifica ARWU conta  aver prodotto ricerca nelle scienze dure al di sopra di una massa critica e diversi atenei italiani sono ipso facto esclusi in partenza, sia per tematiche che per dimensioni: IUAV di Venezia, l’Orientale di Napoli, le università per stranieri, etc.. A parte questi casi, pressoché tutti gli atenei statali italiani rientrano in quello che per ARWU è il top 6% mondiale. Anche un ateneo nell’occhio del ciclone come Catania, secondo ARWU è nella fascia 600-700, ovvero rientra nel top 4% mondiale.

Un dato su cui riflettere in una duplice direzione. Da una parte, la fotografia distorta che ci danno queste classifiche, del tutto cieche nei confronti di molte e importanti dimensioni della missione universitaria, quella didattica ed etica in primo luogo. Dall’altra parte, le classifiche, spesso brandite come una clava per giustificare interventi emergenziali nel nome dell’ultima spiaggia, dimostrano al contrario che, a fronte di risorse scarsissime, le università italiane, anche quelle delle regioni più sfavorite, si collocano nella fascia alta a livello mondiale. Per capirlo, però, bisogna saperle decostruire.