Classifica ARWU-tapioco: ecco come il Corriere disinforma i suoi lettori

Vi siete mai domandati come doveva sentirsi una dietologa ascoltando una trasmissione di Wanna Marchi che spiegava le sue ricette per dimagrire? Probabilmente erano le stesse sensazioni che prova un esperto di ranking quando legge gli articoli che la stampa italiana (ma non solo quella) dedica alle classifiche internazionali degli atenei. Quest’anno, abbiamo tentato un’azione preventiva pubblicando una “guida per giornalisti grulli“, ma non è servito a molto. Se gli organi di stampa continuano a scrivere di “prestigiose classifiche” e di “esperti di Shanghai”, bisogna dire che i primi ad essere “wannamarchizzati” sono i vertici accademici che, tranne rare eccezioni, si prestano a commentare (a casaccio) le ascese e le discese dei loro atenei in classifiche a cui si prostrano in modo quasi acritico. A questo punto, non resta che prendere la matita rossa e blu e provare a evidenziare punto per punto gli svarioni e le incongruenze che si possono leggere nel tipico articolo scritto all’indomani della pubblicazione di una classifica. Un quadro desolante: si scrive e si parla di ciò che non si capisce, facendo ricorso a parole d’ordine  e pregiudizi per spiegare variazioni che hanno tutt’altra origine. Il primo posto italiano della Statale di Milano è davvero un riconoscimento a “Sei anni di governance che scommette al vertice sulla ricerca“? E il “crollo” dei cugini di Milano Bicocca è veramente un crollo? Smascherare la “tarapìa tapioco” di queste “supercazzole prematurate” è anche il modo migliore per evidenziare l’inutilità di classifiche, spesso giustificate in nome dell’accountability e dei benefici della competizione. Se non si capisce come e perché si sale e si scende, quale beneficio può esserci per l’opinione pubblica e per i decisori politici e accademici?

Il 15 agosto scorso, come tutti gli anni, è stata pubblicata la nuova edizione della classifica ARWU, nota anche come Classifica di Shanghai. In un panorama informativo già abbastanza grigio, si è distinto in negativo il Corriere della Sera che ha dedicato ampio spazio alla classifica, avventurandosi in una maldestra interpretazione dei risultati, corredata di interviste ai rappresentanti di tre atenei milanesi. Di seguito, sottoponiamo a scrutinio i tentativi di spiegazione forniti dal quotidiano milanese e dalla prorettrice all’internazionalizzazione dell’Università Statale di Milano.

Link all’articolo del Corriere: Università, sorpasso della Statale. Prima delle italiane davanti alla Sapienza. Corriere della Sera 17.08.2018

1. Statale on the top: come e perché?

Secondo il Corriere, quali sono i punti di forza dell’Università Statale di Milano, classificatasi prima delle italiane dopo aver sorpassato Roma Sapienza?

(i)

Il punteggio più alto (49.9) la Statale lo ottiene per i risultati della ricerca, considerato cioè il numero di citazioni in pubblicazioni in materie scientifiche e sociali

Si comincia subito con uno svarione: l’indicatore PUB, pari a 49,9, non ha a che fare con le citazioni ma con il numero di articoli scientifici: “Total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2017”, spiega  il sito ARWU.

(ii)

Positiva (23.3) anche la performance per quanto riguarda lo staff accademico, che vale il 10% del voto

Difficilmente, il lettore del Corriere avrà capito di cosa si tratta. Stiamo parlando dell’indicatore Pcp, che è una “performance per capita”, definita come “The weighted scores of the above five indicators divided by the number of full-time equivalent academic staff”. In altri termini, è la somma dei primi 5 indicatori normalizzata per il personale accademico.

(iii)

Bene pure il fronte degli articoli pubblicati su Nature e Science tra il 2013 e il 2017: anzi, qui conquista un punteggio di 10.1, che è quasi il doppio di quello che si aggiudica il Politecnico di Milano (5.4).

Il confronto con il Politecnico di Milano non è appropriato. Non solo l’Università Statale ha 2.100 docenti contro i 1.400 docenti del Politecnico, ma soprattutto ha un gran numero di docenti nelle cosiddette Life Sciences, i cui risultati scientifici rientrano tra i temi di maggior interesse per Nature e Science, riviste tradizionalmente meno propense a pubblicare articoli nelle discipline ingegneristiche.

(iv)

arriva a 16.8 per quanto riguarda i riconoscimenti vinti dagli studenti: in questo caso, raddoppiando il Politecnico (7.2)

Questo è uno svarione da matita blu: Alumni non ha nulla a che fare con fantomatici “riconoscimenti vinti dagli studenti”, ma è “The total number of the alumni of an institution winning Nobel Prizes and Fields Medals”.

In mezzo a svarioni e spiegazioni sconclusionate, al Corriere sfugge la ragione principale del progresso di Milano Statale: l’incremento dell’indicatore HiC che passa da 10,9 a 13,5. Molto semplicemente, il numero di ricercatori “Highly Cited” è passato da 1 a 2, come avevamo spiegato il giorno precedente all’uscita dell’articolo del Corriere nella nostra “guida per giornalisti grulli“.

Cosa sarebbe successo senza questo “ricercatore della provvidenza“? Secondo i nostri calcoli, il punteggio finale di Milano Statale sarebbe stato pari a 18,30. Un punteggio lievemente superiore al 18,06 del 2017, ma insufficiente ad entrare nel segmento 151-200. È bastato fare qualche conto per verificare che Milano avrebbe subito lo stesso destino della University of Iowa che, con il suo 18,33  è finita nel segmento 201-300. Di conseguenza, Milano Statale sarebbe finita nel gruppone 201-300 con altri sette atenei italiani. Niente titoloni, niente vittoria del derby citttadino, niente dichiarazioni sugli investimenti premiati.

2. Milano Bicocca “crolla”: come e perché?

Fa da contraltare al trionfo della Statale il “crollo” dei cugini di Milano Bicocca, richiamato fin dal sottotitolo: “In affanno la Bicocca”. Quella di imperniare l’articolo su una sorta di derby cittadino deve essere sembrata un’idea brillante a chi scriveva il pezzo. Nel testo dell’articolo, si gira il dito nella piaga:

Ma cosa è successo invece alla Bicocca, che precipita nella parte bassa della classifica? Dopo aver occupato negli ultimi due anni la posizione tra 301 e 400, in compagnia della Federico II, è crollata […] A pesare sono i punteggi nel campo dei premi (che restano a 0), un magro 9.6 nel settore HiC, un debole 5.5 per il fattore Nature & Science. E non bastano a risollevarla le discrete prestazioni nei settori Pub – le citazioni, dove conquista un modesto 33.6, quasi quanto il Politecnico, che arriva a 35 – e Pcp, il punteggio che considera lo staff accademico, dove arriva a 23.1, in linea con la Statale e poco al di sopra del Politecnico.

Davvero? Vediamo cosa è cambiato dal 2017 al 2018 negli indicatori di Milano Bicocca.

A parte HiC, gli altri indicatori rimangono stazionari (Alumni, Award) o mostrano lievi crescite (N&S, PUB, PCP). Vediamo nel dettaglio la diagnosi del Corriere.

(i)

un magro 9.6 nel settore HiC [vale la pena di notare che al lettore del Corriere non viene mai spiegato cosa significhi HiC].

L’indicatore HiC è un punteggio assegnato in funzione del numero di ricercatori “Highly Cited” (chi fosse interessato a capirne di più può consultare la nostra Guida per giornalisti grulli). Come mai l’indicatore HiC di Milano Bicocca scende da 10,9 a 9,6? Se controlliamo il numero di ricercatori highly cited, vediamo che non è cambiato: 1 ricercatore sia nel 2017 che nel 2018.

Perché, a parità di ricercatori highly cited, Bicocca prende riceve meno punti nel 2018? Perché l’indicatore HiC è normalizzato rispetto all’ateneo con il maggior numero di ricercatori highly cited – ovvero Harvard – il cui punteggio viene posto per definizione pari a 100. Harvard ha incrementato il suo numero di highly cited, svalutando il valore, in termini di punteggio HiC, del singolo ricercatore highly cited.

(ii)

un debole 5.5 per il fattore Nature & Science

Al Corriere sfugge che Bicocca ha circa 900 docenti contro 2.122 della Statale e che è quindi del tutto ovvio che il punteggio per gli articoli su Science e Nature sia significativamente inferiore.

(iii)

E non bastano a risollevarla le discrete prestazioni nei settori Pub – le citazioni, dove conquista un modesto 33.6, quasi quanto il Politecnico

Abbiamo già visto che PUB non ha a che fare con le citazioni ma con le pubblicazioni. Ma anche dopo aver corretto lo svarione, il confronto è fuori luogo, dato che Bicocca pur con meno docenti del Politecnico (900 contro 1.400) produce quasi lo stesso numero di pubblicazioni. Persino a confronto con la Statale, tenuto conto delle dimensioni, il punteggio PUB non è “modesto”.

(iv)

Pcp, il punteggio che considera lo staff accademico, dove arriva a 23.1, in linea con la Statale e poco al di sopra del Politecnico.

Il Corriere, non avendo capito che Pcp è la somma degli indicatori divisa per i docenti, non si rende conto che quest’ultima frase contraddice tutta la sua analisi precedente. Infatti, sta scrivendo – anche se inconsapevolmente – che, se si tiene conto delle diverse dimensioni, Statale, Bicocca e Politecnico ottengono risultati tutto sommato confrontabili.

Morale della favola: dal 2017 al 2018, in termini assoluti la “performance” di Milano Bicocca non ha subito grandi variazioni, come è ovvio che accada a distanza di un solo anno. Anzi, in termini di articoli su Nature e Science (N&S) e di articoli su rivista (PUB), Bicocca ha persino ridotto le distanze rispetto a Harvard (infattti, entrambi gli indicatori sono saliti) e lo score complessivo è rimasto sostanzialmente stabile con un lievissimo aumento da 12,19 a 12,30. L’anno scorso, Milano Bicocca era in posizione 389-390 alla pari con Halle-Wittenberg, ovvero molto vicina alla 400-ma posizione. Nonostante il suo punteggio sia salito da 12,19 a 12,30, quest’anno Bicocca è finita poco oltre la 400-ma posizione e, sebbene non ci sia stato nessun peggioramento in termini reali, è stata “retrocessa” nel segmento 400-500. Tanto è bastato per definirla “in affanno” e “crollata”, a dimostrazione di quanto siano “utili” le indicazioni che le classifiche forniscono all’opinione pubblica e ai governi degli atenei.

3. San Raffaele, l’oggetto misterioso

Nella top-500 entra anche l’Università Vita Salute San Raffaele. Ecco la spiegazione del Corriere:

Resiste invece nella fascia 401-500 il San Raffaele, forte dei suoi prof: nel giudizio sullo staff acquisisce un 35.3 che va ben oltre le performance di Statale e Politecnico.

Come mai Pcp ha un valore elevato? La spiegazione è semplice: l’Università del San Raffaele è specializzata in discipline i cui “risultati” (ricercatori highly cited, articoli su Nature e Science, articoli indicizzati) vengono in grandissima parte contabilizzati nei punteggi ARWU. Ciò non accade per le discipline umanistiche: per un ateneo generalista, le humanities sono solo zavorra dato che i relativi docenti sono sostanzialmente “improduttivi” ai fini di Award, Alumni, HiC, N&S, PUB, cosicché la loro presenza ha il solo effetto di abbassare l’indicatore Pcp.

Se l’Università Statale di Milano potesse licenziare tutti i docenti delle materie umanistiche, l’anno prossimo potrebbe incrementare ancora un po’ il suo punteggio. I primi cinque indicatori rimarrebbero circa uguali, ma riducendo il denominatore, la formula che fornisce Pcp restituirebbe un valore più grande. Nessuna sorpresa, pertanto, che l’Università del San Raffaele abbia il Pcp più grande.

4. Milano Statale on the top: merito di 6 anni di buongoverno?

Cosa ha spinto la risalita? «Sei anni di governance che scommette al vertice sulla ricerca, con investimenti anche in, nuove tecnologie. Un esempio? Il criomicroscopio elettronico. Altro punto, il reclutamento delle eccellenze, e prorettore con 40 scienziati di rilievo ospitati»

Monica Di Luca
prorettore all’Internazionalizzazione, Università Statale di Milano

Abbiamo già visto che la gran parte del “salto” della Statale è spiegato da un ricercatore HiC in più. Il criomicroscopio non c’entra nulla come poco o nulla c’entrano gli ultimi sei anni di governance. Se l’anno prossimo mancasse all’appello uno dei due ricercatori HiC, l’ateneo sarebbe sostanzialmente lo stesso, ma il Corriere del 2019 inventerà fantasiose spiegazioni per motivare il “crollo” della Statale. Se poi sparissero tutti e due, sarebbe una vera e propria catastrofe, probabilmente imputata al neo-rettore le cui responsabilità, ovviamente, sarebbero nulle, più o meno come i meriti della passata governance. Ai lettori viene propinata una girandola di parole in libertà, dietro le quali c’è il vuoto pneumatico di chi non capisce le classifiche oppure le capisce e, deliberatamente, le strumentalizza pro domo sua.