Ranking QS: la Top 10 degli svarioni più spettacolari

«QS has shown a remarkable flair for error. In terms of quantity and variety they have no peers. All rankers make mistakes now and then but so far there has been nobody quite like QS», questo è quanto scrive Richard Holmes, un esperto di classifiche internazionali. Nel’attesa che martedì 16/9 venga pubblicata l’edizione 2014 della classifica curata da Quacquarelli Symonds, rinfreschiamoci la memoria per quanto riguarda gli svarioni più spettacolari commessi da QS nel passato. Ci troviamo un po’ di tutto: l’effetto farfalla scatenato da un mouse disattento, l’ascesa e la caduta degli ingenui malesi, l’armata dei professori fantasma della Duke University, l’improduttività scientifica di un’università inesistente, la trasfusione di citazioni da un ateneo ad un altro con il nome simile. Ma per rettori e prorettori italiani quella per le classifiche rimane un’attrazione fatale. Che ci sia un “Genio della perversione” che li perseguita?

Martedì 16 settembre verrà pubblicata l’edizione 2014 dei QS (Quacquarelli Symonds) World University Rankings. Facile prevedere i titoli dei giornali, pronti a dagnosticare la resurrezione o il crollo del sistema universitario italiano in base ai progressi o ai regressi dei nostri atenei in quella che l’anno scorso era stata definita “una delle più citate e rinomate classifiche sugli atenei internazionali“.

In effetti, nel panorama delle classifiche internazionali degli atenei la classifica QS è una di quelle con maggiore tradizione. Dal 2004 al 2009 la classifica prendeva il nome di THE-QS World University Rankings, a causa della collaborazione con il magazine Times Higher Education (THE). A partire dal 2010, THE e QS hanno pubblicato classifiche distinte. La classifica QS si distingue per il peso considerevole che attribuisce alla reputazione degli atenei, misurata attraverso un sondaggio condotto tra gli accademici. Infatti, il punteggio finale risulta dall’aggregazione dei seguenti punteggi parziali:

• Academic peer review (40%)
• Faculty student ratio (20%)
• Citations per faculty (20%)
• Recruiter review (10%)
• International orientation (10%)

La classifica QS non è meglio delle sue concorrenti per quanto riguarda la metodologia usata, con l’aggravante del peso attribuito a valutazioni reputazionali la cui misurazione solleva non pochi problemi.

Tuttavia, in un’ipotetica competizione tra diverse classifiche c’è un trofeo che sembra spettare di diritto  alla classifica QS: in quanto a quantità e qualità degli errori commessi, non ha eguali tra le sue concorrenti. Questo, almeno, è ciò che ha scritto Richard Holmes, un esperto di classifiche degli atenei, il cui blog, University Ranking Watch, è una delle migliori sedi di critica e analisi delle più svariate classifiche diffuse a livello mondiale. A proposito della classifica QS, Holmes riteneva che gli svarioni fossero talmente spettacolari da meritare un elenco di Greatest Hits, da lui effettivamente pubblicato nel 2008:

… it might be interesting to review some of the more spectacular errors of QS Quacquarelli Symonds Ltd (QS), the consultants who collect the data for the Times Higher Education Supplement’s (THES) World University Rankings.

During its short venture into the ranking business QS has shown a remarkable flair for error. In terms of quantity and variety they have no peers. All rankers make mistakes now and then but so far there has been nobody quite like QS.

Here is a list of what I think are QS’s ten best errors

QS’s Greatest Hits

Oltre che essere spettacolari, questi errori contengono molti spunti istruttivi per farsi un’idea del grado di affidabilità delle classifiche internazionali degli atenei, considerate oracoli da parte dei media, ma accreditate anche da colleghi dallo spirito critico non troppo acuto. Una ragione in più per proporre ai lettori di Roars una selezione di svarioni veramente memorabili.

1. The butterfly  effect: “change one thing, change everything”

“Può, il batter d’ali di una farfalla in Brasile, provocare un tornado in Texas?” fu il titolo di una conferenza tenuta dal famoso matematico e metereologo Edward N. Lorenz nel 1972. Va a merito degli “esperti” della QS avere realizzato qualcosa di simile nell’ambito della loro classifica degli atenei. Unica differenza: al posto della farfalla un mouse che scivola sulla riga sbagliata durante un copia-e-incolla. Per saperne di più, cediamo la parola a Richard Holmes:

This is a beautiful example of the butterfly effect, with a single slip of the mouse leading to literally hundreds of mistakes.

QS’s book, Guide to the World’s Top Universities, was produced at the end of 2006 after the publication of the rankings for that year and contained data about student faculty ratios of over 500 ranked universities. It should have been obvious immediately that there was something wrong with this data. Yale is given a ratio of 34.1, Harvard 18, Cambridge 18.9 and Pretoria 590 .3. On the other hand, there are some ridiculously low figures such as 3.5 for Dublin Institute of Technology and 6.1 for the University of Santo Tomas (Philippines).

Sometimes the ratios given flatly contradict information given on the same page. So, on page 127 in the FACTFILE, we are told that Yale has a student faculty ratio of 34.3. Over on the left we are informed that Yale has around 10,000 students and 3,333 faculty.

There is also no relationship between the ratios and the scores out of 100 in the THES QS rankings for student faculty ratio, something that Matt Rayner asked about, without ever receiving a reply, on QS’s topuniversities web site.

So what happened? It’s very simple. Someone slipped three rows when copying and pasting data and every single student faculty ratio in the book, over 500 of them, is wrong. Dublin Institute of Technology was given Duke’s ratio (more about that later), Pretoria got Pune’s, Aachen RWT got Aberystwyth’s (Wales). And so on. Altogether over 500 errors.

2. Gli ingenui pirati della Malesia

Trovarsi improvvisamente sugli altari e – nel giro di un anno – precipitare nella polvere, svergognati e tacciati di colpevole incompetenza. Tutto questo senza aver fatto nulla, ma solo per un banale errore della QS. La fulminea e infausta parabola dei vertici della Universiti Malaya era stata innescata da un’errata valutazione dell’internazionalizzazione. Conteggiando – erroneamente – come stranieri figli di immigrati indiani e cinesi, il grado di internazionalizzazione dell’ateneo era salito alle stelle, consentento all’ateneo di scalare l’Olimpo della Top 100 mondiale, da cui però era rovinosamente precipitato l’anno dopo, in seguito alla correzione della svista. Ecco come Richard Holmes racconta il tragicomico episodio.

In 2004 there was great jubilation at Universiti Malaya (UM) in Malaysia. The university had reached 89th place in the THES-QS world rankings. Universiti Sains Malaysia (USM) also did very well. Then in 2005 came disaster. UM crashed 100 places, seriously damaging the Vice-Chancellor’s career, and USM disappeared from the top 200 altogether. The Malaysian political opposition had a field day blasting away at the supposed incompetence of the university leadership.

The dramatic decline should have been no surprise at all. A Malaysian blogger had already noticed that the figures for international students and faculty in 2004 were unrelated to reality. What happened was that in 2004 QS were under the impression that larger numbers of foreigners were studying and teaching at the two Malaysian universities. Actually, there were just a lot of Malaysian citizens of Indian and Chinese descent. In 2005 the error was corrected causing the scores for international faculty and students to fall precipitously.

Later, THES referred to this as “a clarification of data”, a piece of elegant British establishment obfuscation that is almost as good as “being economical with the truth”.

Non è comunque il caso di fare della facile ironia sugli ingenui parvenu malesi, ritenendo che, forti di una secolare tradizione, i vertici dei nostri atenei non si abbandonerebbero a incauti giubili di fronte ad insperati balzi in queste sconclusionate classifiche. Qualche tempo fa, per molto meno di un ingresso nella Top 100, un rettore italiano dichiarava:

… qui si tratta di un salto in avanti nella graduatoria molto importante, si tratta di quasi 80 posizioni, quindi c’è della sostanza.

3.”The Ghost Army”: i professori fantasma di Duke

L’intervento risolutivo di “armate fantasma” è un tema che non può mancare di appassionare il pubblico. Talvolta, il tema è declinato nella sua accezione soprannaturale, come nel caso degli Angeli di Mons. Secondo una popolare leggenda, nel 1914 i soldati inglesi incalzati dai tedeschi sarebbero stati salvati dall’annientamento solo grazie all’intevento provvidenziale degli spiriti degli arcieri inglesi, rimasti senza sepoltura, caduti nella battaglia di Azincourt.

Per nulla soprannaturale, ma più beffarda e un po’ più pertinente al caso nostro, è l’epopea della Ghost Army statunitense che nel secondo conflitto mondiale simulava la presenza di concentramenti di truppe che in realtà erano altrove. Per raggiungere il suo scopo ricorreva ai più vari espedienti, tra cui anche l’uso di carri armati gonfiabili.

Qualcosa di simile ad una “faculty gonfiabile” è stata all’origine del balzo in avanti della Duke University nella classifica QS 2005. Un’armata di docenti fantasma aveva permesso all’ateneo di migliorare nettamente il rapporto docenti/studenti con conseguente balzo nella classifica. Ma da quale oscuro abisso erano spuntati i fantasmi? Niente stregonerie e nemmeno astuzie tattiche. Come spiega Richard Holmes, era stata QS a quadruplicare il numero dei docenti perché lo aveva scambiato con il numero, molto più grande, degli iscritti ai corsi di laurea.

Between 2004 and 2005 Duke rose dramatically in the rankings. It did so mainly because it had been given a very low and incredible student faculty ratio in the latter year, less than two students per faculty. This was not the best ratio in the rankings. That supposedly belonged to Ecole Polytechnique in Paris (more of that later). But it was favourable enough to give Duke a powerful boost in the rankings.

The ratio was the result of a laughable error. QS listed Duke as having 6,244 faculty, well in excess of anything claimed on the university’s web site. Oddly enough, this was exactly the number of undergraduate students enrolled at Duke in the fall of 2005. Somebody evidently had copied down the figure for undergraduate students and counted them as faculty, giving Duke four times the number of faculty it should have.

Saltiamo il quarto ed il quinto svarione (che gli inguaribili cultori del genere demenzial-accademico trovano qui) per passare direttamente al gustoso sesto episodio.

6. Dalla Cina con errore

Nel 2004 e 2005, QS si riferiva ad una delle più importanti università cinesi, la Peking University, usando un nome sbagliato, Beijing University. L’aspetto più gustoso è l’immagine di Nunzio Quacquarelli che durante un meeting a Kuala Lumpur si cimenta con un’enigma: come può la Beijing University godere di ottima reputazione nonostante una produzione scientifica sostanzialmente assente? Come spiega Holmes, la risposta era semplice: QS aveva cercato di rintracciare la ricerca prodotta dai ricercatori della Beijing University, che ha il piccolo difettto di non esistere.

China’s best or second best university is Peking University. The name has not been changed to Beijing University apparently to avoid confusion with Beijing Normal University. There are also over twenty specialist universities in Beijing: Traditional Chinese Medicine, Foreign Languages, Aeronautics and so on.

In 2004 and 2005 THES and QS referred to Beijing University finally correcting it to Peking University in 2006.

This was perhaps not too serious an error except that it revealed something about QS’s knowledge of its own sources and procedures.

In November 2005. Nunzio Quacquarelli went to a meeting in Kuala Lumpur, Malaysia. Much of the meeting was about the international students and faculty at UM and USM. There was apparently also a question about how Beijing University could have got such a magnificent score on the peer review while apparently producing almost no research. The correct answer would have been that QS was trying to find research written by scholars at Beijing University, which does not exist.

Confidando che molti lettori non resisteranno alla tentazione di gustarsi per conto loro anche gli svarioni numero 7, 8 e 9,  passiamo direttamente alla decima e ultima papera.

10. Washington University: where is it?

Nel 2007 la Washington University in St Louis, scende di 113 posizioni, precipitando dal 48-esimo posto al 161-esimo. Tutta colpa delle citazioni: una media di una sola citazione per singolo ricercatore è proprio poco. Che vergogna, verrebbe da dire. Ma a vergognarsi non dovevano essere i ricercatori della Washington University, quanto invece i valutatori della QS che – come spiega Holmes – avevano espropriato la Washington University in St Louis, delle sue citazioni, dirottandole per sbaglio ad un’altra università dal nome simile, la University of Washington (di Seattle).

Washington University in St Louis. This is a leading university in every respect. Yet in 2007, QS gave it a score of precisely one for citations per faculty, behind Universitas Gadjah Mada, the Dublin Institute of Technology and Politecnico di Milano and sent it falling from 48th to 161st in the overall rankings. What happened was that QS got mixed up with the University of Washington (in Seattle) and gave all WUSL’s citations to the latter school.

Dopo la Top 10 degli svarioni del Ranking QS stilata nel 2008, Richard Holmes sembra aver indirizzato la sua attenzione su altre classifiche, come quella di Shanghai e quelle di Times Higher Education. Fa eccezione un suo post del Maggio 2013 in cui ritorna sul Ranking QS, mettendo in evidenza alcuni aspetti problematici del sondaggio reputazionale che pesa per il 40% nel punteggio complessivo:

The QS academic survey is getting overly complicated and incoherent. […]

The survey turned out to be unsatisfactory, not least because of an extremely small response rate. […]

The reputation survey does not have a good reputation and it is time for QS to think about revamping the methodology. But changing the methodology means that rankings cannot be used to chart the progress or decline of universities over time.

La pseudoscienza dei ranking ed i suoi cultori

Giunto alla fine dell’elenco dei dieci più spettacolari svarioni della classifica QS, qualche lettore potrebbe immaginare che il rimedio sia quello di affidarne la compilazione a valutatori meno distratti e improvvisati. In realtà, come discusso più volte anche su Roars, è l’intero processo di classificazione delle università a mancare di solide basi scientifiche:

• Andrea Bonaccorsi e le classifiche degli atenei: Voodoo rankings!
• Classifiche, che (insana) passione!
• Diego Marconi e la valutazione della ricerca: “fascination with the unknown”?
• Le classifiche internazionali degli atenei, quell’oscuro oggetto del desiderio

Questa debolezza scientifica aiuta a spiegare gli svarioni e le assurdità che infestano le classifiche: difficile che le menti migliori si dedichino a trafficare con la pseudoscienza. È capitato che un ranking elaborato da un accademico nemmeno troppo oscuro contenesse uno strafalcione di statistica che non perdoneremmo ad uno studente di laurea triennale (da notare che quel ranking fai-da-te faceva parte di un Policy Brief indirizzato alla Commissione Europea).

Altri ricercatori hanno invece applicato il metodo scientifico alle classifiche esistenti, mettendone in luce limiti ed inconsistenze, non diversamente dalla ricerca medica impegnata a studiare le pseudocure:

• Van Raan, A. F. (2005). Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, 62(1), 133-143.
• Florian, R. V. (2007). Irreproducibility of the results of the Shanghai academic ranking of world universities. Scientometrics, 72(1), 25-32.
• Ioannidis, J. P., Patsopoulos, N. A., Kavvoura, F. K., Tatsioni, A., Evangelou, E., Kouri, I., … & Liberopoulos, G. (2007). International ranking systems for universities and institutions: a critical appraisal. Bmc Medicine, 5(1), 30.
• M. Saisana and B. D’Hombres (2008). Higher Education Rankings: Robustness Issues and Critical Assessment – How much confidence can we have in Higher Education Rankings? European Commission Joint Research Centre Institute for the Protection and Security of the Citizen Centre for Research on Lifelong Learning (CRELL)
• Billaut, J. C., Bouyssou, D., & Vincke, P. (2010). Should you believe in the Shanghai ranking? Scientometrics, 84(1), 237-263.
• Paruolo, P., Saisana, M., & Saltelli, A. (2013). Ratings and rankings: voodoo or science? Journal of the Royal Statistical Society: Series A (Statistics in Society), 176(3), 609-634.
• Safón, V. (2013). What do global university rankings really measure? The search for the X factor and the X entity. Scientometrics, 97(2), 223-244.

In attesa della prossima vittima

Più che degli atenei che vengono ingiustamente declassati a causa degli strafalcioni dei compilatori di classifiche, ci interessa parlare di altre vittime. A meno di non essere degli sprovveduti, è difficile prestare troppa fiducia a classifiche così poco scientifiche. Eppure, di fronte alla scalata – reale o immaginata – di qualche posizione, la tentazione di vantarsene sulla home page dell’ateneo o in un’intervista rilasciata a qualche quotidiano sembra irresistibile. Viene persino meno la lucidità necessaria per non inciampare in errori clamorosi ed anche un po’ patetici.

Sul sito dell’Università di Macerata, viene ancor oggi vantata la prima posizione nella classifica della Qualità della produzione scientifica stilata dal Sole 24 Ore. Si tratta di un primato inesistente, perché nato dall’accidentale inversione di due colonne sull’edizione web del quotidiano (refuso prontamente corretto dal Sole dopo che Roars l’aveva scoperto). Per non rinunciare all’ambita medaglia d’oro, il comunicato dell’ateneo finge che ad essere errata fosse la versione cartacea.

Ad un altro ateneo pluricentenario è capitato di vantare un balzo in avanti in una classifica in cui nemmeno compariva, avendola confusa con un’altra, pubblicata più di sei mesi prima.

Non più di un mese fa, il prorettore alla ricerca dell’Università di Bologna, sulla scia di una svista commessa da diversi mezzi di informazione, rivendica per Bologna la palma di migliore delle italiane nella classifica ARWU 2014, ma, come prontamente notato da Roars e dalla vera prima in classifica (Roma Sapienza), Bologna era solo sesta.

Proprio per la loro natura pseudoscientifica, le classifiche delle università sono piene di insidie. Chi se ne fa bello raramente ne domina i farraginosi meccanismi. E chi dà credito a ciò che non comprende mette a rischio la propria reputazione, soprattutto se è un uomo di scienza. Un po’ come se il ranking dei migliori astronomi venisse compilato annualmente dall’astrologo di un gossip-magazine (e qualche astronomo si vantasse di aver guadagnato posizioni in classifica rispetto all’anno prima).

Ma il Genio della perversione, così mirabilmente descritto da Edgar A. Poe, sembra avere una malsana predilezione per i nostri vertici accademici.

Non ci resta che attendere la sua prossima vittima.