Times Higher Education cambia ancora le regole: un aiutino a Oxford e Cambridge? E le italiane?

Domani alle 22:00 (ora italiana) uscirà la nuova edizione dei World University Rankings di Times Higher Education (THE) e, immancabilmente, gli organi di informazione si lanceranno come mosche sul miele a commentare ascese e crolli, fraintendendone completamente le ragioni. Quasi sempre, ascese e crolli sono dovuti a tre ragioni: 1) l’uso di indicatori bliometrici inaffidabili e instabili (nel 2010 l’Università di Alessandria di Egitto si classificò al quarto posto mondiale davanti a Stanford, Rice e Harvard nella classifica citazionale di THE); 2) banali errori nella rilevazione dei dati; 3) modifiche introdotte da un anno all’altro nella metodologia. Anche quest’anno, THE ha cambiato le regole, in modo non proprio imparziale: un esperto come Richard Holmes prevede che il ritocco offrirà un provvidenziale “aiutino” alle università “di casa”, vale a dire quelle inglesi, Oxford e Cambridge in testa. Inoltre, la tradizione vuole che la sede del “summit” di THE entri nella Top 10. E quest’anno il summit si terrà a Berkeley, ansiosa di rimontare le posizioni perse l’anno scorso. E per quanto riguarda le italiane …

Domani alle 22:00 (ora italiana) uscirà la nuova edizione dei World University Rankings di Times Higher Education (THE) e, immancabilmente, gli organi di informazione si lanceranno come mosche sul miele a commentare ascese e crolli, fraintendendone completamente le ragioni. Non ci vuole una grande intelligenza per capire che un ente grande e complesso come un ateneo non può mutare di molto le sue “prestazioni” da un anno all’altro e che, proprio per questo, è vano pretendere di misurare in modo affidabile queste variazioni. Quasi sempre, ascese e crolli sono dovuti a una o più di queste tre ragioni:

• L’uso di indicatori bliometrici inaffidabili e instabili, come quello citazionale di THE che nel 2010 aveva proiettato l’Università di Alessandria (di Egitto, non quella piemontese) al quarto posto mondiale davanti a Stanford, Rice e Harvard nella classifica citazionale e nelle prime 150 del mondo nella classifica generale. Tutto grazie agli exploit bibliometrici di un professore che pubblicava e si faceva citare nella rivista da lui stesso diretta (Times Higher Education World University Rankings: science or quackery?). Ne parlò persino il New York Times, sollevando pesanti dubbi sulla scientificità del variegato mondo delle classifiche internazionali: Questionable Science Behind Academic Rankings fu il titolo piuttosto eloquente.
• Banali errori nella rilevazione dei dati, come nel caso di Universiti Malaya, un’università malese che nel 2004 era arrivata all’89-esima posizione della classifica QS, solo perché, conteggiando – erroneamente – come stranieri figli di immigrati indiani e cinesi, il grado di internazionalizzazione dell’ateneo era salito alle stelle (Ranking QS: la Top 10 degli svarioni più spettacolari).
• Modifiche introdotte da un anno all’altro nella metodologia con cui viene stilata la classifica, come nel caso della classifica QS del 2015 che poteva essere a tutti gli effetti considerata una nuova classifica che aveva poco da spartire con quella del 2014 (Chi crede alla classifica QS?). Un cambiamento che dopava i punteggi degli atenei tecnici (spiegando la salita dei politecnici italiani) mentre deprimeva quelli degli atenei generalisti non anglofoni (spiegando lo sprofondamento, anche di centinaia di posti, delle altre università italiane).

Ma quali “sorprese” ci riserva la classifica di domani? Basandosi sugli annunci rilasciati da THE, il noto esperto di classifiche Richard Holmes (non a caso, il nome del suo blog è University Ranking Watch) ci spiega che quest’anno ci sono almeno un paio di cambiamenti metodologici, destinati a rimescolare la classifica.

Il primo ha a che fare con i kilo-author paper, vale a dire quegli articoli con 1.000 o più autori, che, grazie alle citazioni che ricevono, possono avere un influsso spropositato sul fragile indicatore citazionale della classifica THE. Un influsso talmente, spropositato e aleatorio, che l’anno scorso erano stati messi in quarantena. A dimostrazione dell’impatto che questi “ritocchi” delle regole (del tutto invisibili all’opinione pubblica) possono avere sulle classifiche (che invece sono visibilissime), basterebbe citare lo scivolone della Scuola Normale Superiore di Pisa, passata dal 63-esimo posto nel 2014 al 112-esimo nel 2015: una vergognosa débâcle, per chi non ne conosce la ragione. A dire il vero, chi avesse avuto la pazienza di leggersi le “avvertenze prima dell’uso” avrebbe trovato questo significativo disclaimer sul sito di THE:

Because of changes in the underlying data, we strongly advise against direct comparisons with previous years’ World University Rankings. (24/09/2015)

Un avvertimento molto chiaro, ma disatteso nelle migliaia di articoli e analisi apparsi negli organi di informazione a commento della classifica THE pubblicata lo scorso 30 settembre 2015.

Ma torniamo al 2016, lasciando la parola a Holmes:

Now, THE have announced a change for this year’s rankings. According to their data chief Duncan Ross.

“Last year we excluded a small number of papers with more than 1,000 authors. I won’t rehearse the arguments for their exclusion here, but we said at the time that we would try to identify a way to re-include them that would prevent the distorting effect that they had on the overall metric for a few  universities.

This year they are included – although they will be treated differently from other papers. Every university with researchers who author a kilo-author paper will receive at least 5 per cent credit for the paper – rising proportionally to the number of authors that the university has.
This is the first time that we have used a proportional measure in our citations score, and we will be monitoring it with interest.“

This could have perverse consequences. If an institution has one contributor to a 1,000 author paper with 2,000 citations then that author will get 2,000 citations for the university. But if there are 1001 authors then he or she would get only 50 citations.

Holmes menziona anche un altra modifica che, secondo lui, finirà per aiutare alcuni atenei inglesi, come inglese – per pura coincidenza – è anche Times Higher Education:

The counting of books will help British universities, especially Oxford and Cambridge

Con un pizzico di malizia e di cinismo, Holmes profetizza anche una rimonta di Berkeley sulla base di una regola dettata dall’esperienza:

Since the host city or university of THE summits somehow manages to get in the top ten, Berkeley will recover from last year’s fall to 13th place.

[NdA il THE World Academic Summit di quest’anno si terrà a Berkeley]

E le università italiane? Cosa dobbiamo attenderci? Proviamo a fare qualche congettura.

A meno che non intervenga qualche pesante compensazione a favore dei paesi non anglofoni, il conteggio dei libri potrebbe penalizzare i nostri atenei generalisti, le cui monografie hanno maggiori difficoltà a rientrare nelle indicizzazioni del database bibliometrico Scopus utilizzato da THE.

E anche il conteggio proporzionale degli autori nei kilo-author paper difficilmente aiuterà i nostri atenei che, anche quando partecipano a grandi collaborazioni internazionali, potrebbero avere comunque un peso minoritario nelle liste degli autori.

Non saremmo pertanto sorpresi se dovessimo assistere a uno scivolamento verso il basso degli atenei italiani, a prescindere dalle variazioni reali (positive o negative) occorse durante l’ultimo anno.

Naturalmente, sarebbe interessante esaminare nel dettaglio le variazioni dei singoli indicatori, ma gli unici dati divulgati sono normalizzati rispetto all’insieme degli atenei in classifica, rendendo arduo ogni tentativo di estrarre qualche informazione utile dalla sfilza di numeri dati in pasto agli organi di stampa.

Queste classifiche, oltre a basarsi su indicatori discutibili e aggregati in modo  tecnicamente errato (Andrea Bonaccorsi e le classifiche degli atenei: Voodoo rankings!), trascurano un elemento fondamentale, ovvero l’entità dei finanziamenti a disposizione delle università che competono tra di loro. Non appena si comincia a ragionare in termini di “kilometri per litro”, si scopre che dei perfetti outsider, quali gli atenei italiani, dimostrano un’efficienza che non ha nulla da invidiare agli inquilini abituali dei piani alti delle classifiche. “La controclassifica dove l’Italia supera Harvard e Stanford” era stata ripresa anche dal Corriere della Sera.

___________________________

Ma non vale la pena di farla troppo lunga. Per quello che valgono le classifiche, tanto vale scherzarci sopra in modo arguto, come fa Holmes, che azzarda ben dieci profezie:

Here are my predictions for the THE rankings on the 21st and academic summit on the 26th -28th.

• Donald Trump will not be invited to give a keynote address.

• The decline of US public universities will be blamed on government spending cuts.

• British universities will be found to be in mortal danger from Brexit and visa controls.

• Phil Baty will give a rankings “masterclass” but will have to apologise to feminists because he couldn’t think of anything else to call it.

• The words ‘prestige’ and ‘prestigious’ will be used more times than in the novel by Christopher Priest or the film by Christopher Nolan

• The counting of books will help British universities, especially Oxford and Cambridge, but they will still be threatened by Brexit.

• The partial reinclusion of citations of papers with 1,000+ authors, mainly in physics, will lead to a modest recovery of some universities in France, Korea, Japan and Turkey. The rise of Asia will resume.

• Since the host city or university of THE summits somehow manages to get in the top ten, Berkeley will recover from last year’s fall to 13th place.
• Last year the percentage of survey responses from the arts and humanities fell to 9% from 16%. I suspect that this year the fall might be reversed and that the reason THE are combining the reputation survey results for this year and 2015 is to reduce the swing back to UK universities, which are suffering because of visa controls and Brexit.
• At least one of the above will be wrong..

  Some predictions for the THE rankings and summit

Ora, non vi resta che mettervi belli comodi e attendere il fatidico

the winner is …