Ranking a go-go e promemoria per il nuovo ministro

Ritorniamo sulla questione dei ranking internazionali delle università spinti da due nuovi eventi vicini e da due più lontani (dei quali non avevamo dato notizia). I due eventi vicini sono la pubblicazione dell’ultimo ranking approntato dall’università di Leida e quella del nuovo rapporto scritto da Andrejs Rauhvargers per conto della European University Association, entrambi del mese di aprile. Gli eventi più lontani sono la pubblicazione del Times Higher Education World University Ranking e del Quacquarelli Symonds World University Rankings relativo agli anni 2012-13.

1. Molti, troppi caveat per essere una cosa seria

I motivi per i quali non avevamo dato notizia dei due ranking più lontani nel tempo sono stati fondamentalmente dovuti alle forti riserve critiche che nel contempo abbiamo maturato su questi strumenti di valutazione. E tali nostre perplessità vengono in sostanza ribadite dal rapporto di Rauhvargers, poco sopra menzionato. Si evidenzia in esso, ad es.,  come sia difficile comparare le discipline scientifiche (medicina, scienze naturali, ingegneria e computer science) con quelle di tipo umanistico, e ciò a causa delle limitazioni delle basi dati maggiormente utilizzate, ovvero quelle fornite dalla Thomson Reuters e dalla Elsevier; sicché le “arts and humanities” e gran parte delle scienze sociali sono in essi sottorappresentate, a causa di «persistent biases that remain in bibliometric indicators and field-normalised citation reports, despite substantial methodologica improvements. This means that citation impact is still determined more reliably through indicators that measure the proportion of articles in intensively cited journals, and thus favours those fields in which these articles are concentrated, namely medicine, natural sciences and engineering. These constitute the most prominent fields in the Thomson Reuters and Elsevier databases and therefore determine, to a large degree, performance in the global rankings. In the arts, humanities and the social sciences published research output is concentrated in books. Until providers tackle the problem of measuring book publication citations impact, this bias in subject focus is unlikely to be overcome» (p. 18-9). Per non parlare del fatto che l’inglese è la lingua privilegiata, per cui gli articoli in altre lingue sfuggono alla valutazione di qualità on quanto sono pochissimi a leggerli e quindi a citarli: «The result is that the non-English-language output […] has a lower citation impact and thus a lower position in the rankings» (p. 19). Ad es. il CTTS Leiden Ranking esclude dalla propria valutazione gli articoli non scritti in inglese.

Si sottolinea inoltre come in alcuni ranking non sono spiegati i modi in cui vengono applicati i criteri enunciati (è il caso del QS ranking) o addirittura non è fornita alcuna informazione sul come sono selezionate le università da sottoporre a valutazione (come avviene col celebrato THEWUR – per questa e altre sigle vedi la tabella 1); insomma, come recita il titolo del paragrafo: “Superficial descriptions of methodology and poor indications”. A ciò si associa il fatto che alcuni dei criteri utilizzati (come la reputazione tra pari, il numero dei premi Nobel) finiscono di per sé per favorire solo un limitato numero di università di élite. Un effetto simile hanno anche altri indicatori come il numero di articoli pubblicati in Science and Nature e il numero di ricercatori più citati, che si basa su un complesso di soli 5.500 ricercatori nel mondo, e così via. Infine si fa notare come le posizione elevate ottenute nei ranking da un piccolo gruppo di università hanno la caratteristica di essere spesso autoperpetuantesi, specie quando si fa uso di criteri come la reputazione. Insomma, una volta raggiunti i piani alti, si comincia a vivere di rendita.

Ma ci sono anche rischi di fondo che vengono presi in esame e dei quali si sono resi conto persino chi produce i data base, come la Thomson Reuters o Elsevier: le istituzioni sono incoraggiate a concentrarsi maggiormente sulle comparazioni numeriche piuttosto che sull’educazione dei giovani o addirittura a favorire la manipolazione dei dati per migliorare la propria posizione, come è già avvenuto ed è stato denunciato in certi casi clamorosi. Come aggiunge l’autore v’è anche «a strong risk that in trying to improve their position in the rankings, universities are tempted to enhance their performance only in those areas that can be measured by ranking indicators. […] global rankings tend to favour the development or reinforcement of stratified systems revolving around so-called“world-class universities”thus also encouraging a“reputation race”in the higher education sector. […] As far as the system level is concerned, it has been observed that world-class institutions may be funded at the expense of institutions that further other national goals, with all the challenges that this represents for system-level development. There is a risk that they become more divided, segmented, and hierarchical, with the emergence of a second tier of more teaching-oriented universities. A move in this direction would mean research will come to outweigh teaching activities and there may also be an imbalance between academic fields. Among the dangers inherent in such developments, pointed out by various commentators, it is of particular concern that without specific policies and incentives to promote and protect institutional diversity, the premium placed on global research rankings may result in the development of more uniform and mainly vertically differentiated systems» (p. 22).

A queste riserve avanzate dal rapporto di Rauhvargers si potrebbero aggiungere le tante analisi che nel contempo sono state fatte sui limiti e l’attendibilità di tali ranking complessivi sulle università e che hanno portato a casi clamorosi come ad es. quello del THEWUR che nel 2010 aveva collocato l’università di Alessandria d’Egitto al quarto posto nel mondo per Impact Factor (ma vedi in merito l’articolo di G. De Nicolao sui “Numeri tossici che minacciano la scienza”). Sempre su questo ranking, sono stati sollevati molti dubbi sul modo in cui sono metodologicamente calcolati i suoi indicatori, sulla loro reciproca correlazione e su molte altre cose (un esempio abbastanza devastante di analisi di uno dei ranking qui censiti, quello di Shanghai, è dato dall’articolo di Billout et al.). Notizie in merito possono essere trovate su University Ranking Watch, un blog curato da Richard Holmes «devoted to the analysis and discussion of university rankings and other topics related to the quality of higher education», che appunto mostra quanto poco siano affidabili questi ranking e quanta attenzione bisogna fare per non utilizzarli incautamente.

Insomma sono tanti e tali i caveat – per non parlare dei limiti intrinseci dei vari indicatori utilizzati, specie quelli bibliometrici, denunziati da una vasta letteratura e sui quali già più volte su Roars abbiamo attirato l’attenzione – che è necessario prendere con grande cautela quanto ci viene mostrato in questi ranking. E tuttavia è assai diffusa, specie in Italia, una loro spregiudicata e acritica utilizzazione da parte di qualche università italiana per vantare la propria eccellenza o di qualche politico o pubblicista per denigrare in generale la scarsa performance del sistema accademico italiano e quindi giustificare la necessità di “affamare la bestia”; si ritiene che tale opportuna cura dimagrante possa far rinascere a nuova vita l’università italiana, fatta di sobrietà ed eccellenza qualitativa. Inutile ricordare i guasti causati da tale modo miope di vedere, di cui l’Anvur è l’esempio più evidente. Aggiungiamo che non bisogna neanche trascurare il fatto che di solito i ranking presi in considerazione si fermano alle prime 500 università, che rappresentano una piccola percentuale delle circa 20.000 università del mondo (sono più di 21.000 quelle i cui siti sono stati censiti dal WRWU), per cui entrare a far parte di esse significa fare parte del club abbastanza esclusivo delle top 2,5% università (v. le slide #19-20 dell’intervento pubblicato ieri di De Nicolao). Ne segue la fallacia di ritenere la distanza tra il 100-esimo e il 150-esimo un abisso, mentre in effetti essa è estremamente piccola se considerata nell’ammontare totale; per cui essere 300-esimi o 100-esimi è una differenziazione entro un club già esclusivo. Non è che la 300-esima università sia a livello del Burkina Faso, come molti invece pare ritengono.

2. A che serve dunque discuterne?

Eppure, pur con queste cautele, è possibile fare dei discorsi sensati a partire da essi? Forse è possibile se si adotta un’ottica di sistema, piuttosto che guardare alla performance di questo o quell’ateneo, e inoltre si cerca di valutare nel loro complesso i ranking a disposizione. E in ogni caso, visto che di essi si fa in Italia un uso terroristico, allora il vedere che cosa effettivamente essi dicono – anche a volerli prendere sul serio – potrebbe avere il senso di ridimensionare le conclusioni che se ne traggono e a ricondurre nelle giuste proporzioni le polemiche e le discussioni che certamente saranno riproposte in un prossimo futuro. E ciò potrebbe servire anche come promemoria e memento del nuovo ministro.

A tale fine, traendo spunto dai ranking recentemente pubblicati, abbiamo innanzi tutto proceduto ad aggiornare la tabella a suo tempo pubblicata su questo sito, in cui sono sintetizzati i risultati delle università italiane secondo le più importanti classificazioni; alle nove già da noi a suo tempo inventariate, abbiamo aggiunto anche il ranking della Scimago. Le caratteristiche e le modalità con cui questi dieci ranking sono composti sono sintetizzati bella Tabella 1/a e 1/b. Invece i risultati complessivi, con le posizioni delle diverse università italiane, sono forniti dalla Tabella 2.

Per quanto riguarda i diversi ranking, è necessario distinguere quelli che valutano prevalentemente la qualità della ricerca scientifica, e quindi l’eccellenza di docenti e ricercatori, e quelli che invece prendono in considerazione anche altri fattori (come le possibilità di impiego, il rapporto docenti/studenti, i rapporti con le industrie, i premi Nobel o le Field Medal, i guadagni degli ex studenti e così via). E poi, alcuni di questi si basano sul metodo dei questionari, ovvero sull’opinione di esperti ed ex studenti, altri invece su indici obiettivi di carattere bibliometrico (Impact Factor, numero di pubblicazioni, H-Index e così via) o statistico (finanziamenti ricevuti ecc.). Ad es. il QSWUR 2012, pubblicato nel settembre passato e che ha fatto titolare i giornali sull’unica università italiana (quella di Bologna) tra le prime 200 al mondo (indietreggiando addirittura di 11 posizioni rispetto al 2011!) è un ranking misto che prende in considerazione sei indicatori, di cui solo uno concerne la qualità della ricerca scientifica su basi bibliometriche. Se consideriamo gli altri indicatori (la peer review da parte di altri docenti, la valutazione da parte dei dipendenti, il rapporto studenti/docenti, l’attrattività internazionale per studenti e per facoltà) è facile capire perché le università italiane non si collochino ai primi posti; e ciò non ha nulla a che fare con la loro produttività o qualità scientifica. Eppure questo necessario chiarimento è per lo più assente negli organi di stampa che ne danno notizia.

Se invece concentriamo la nostra attenzione sulla qualità della ricerca e dei docenti – ed è di solito ciò che viene messo in luce nel dibattito italiano, senza però avvertire che le classifiche utilizzate in effetti non valutano solo questa ma anche altri fattori –, vediamo che i ranking che privilegiano in misura maggiore o esclusiva questo aspetto sulla base di dati bibliometrici (a cui oggi in molti sono affezionati, in primo luogo l’Anvur) sono l’NTU Ranking, quello della Scimago, il CWTS Leiden Ranking e l’URAP.

In particolare, in quello più affidabile e completo, cioè l’NTU, se l’Italia non ha università tra le prime 50 e quindi non appartiene alla élite delle nazioni (composta solo da 11 membri: Stati Uniti, Germania, Gran Bretagna, Giappone, Canada, Francia, Olanda, Svezia, Australia, Svizzera e Danimarca) e piazza solo un’università tra le prime 100 (nel 2009 ne piazzava 2), nel complesso – cioè tenendo conto del numero di istituzioni che si piazzano tra le prime 500 università censite – il suo quarto posto non è da disprezzare (vedi tabella 3).

Ciò significa che – se sono attendibili questi dati, un caveat che dobbiamo sempre tener presente – per le università italiane può esser fatto lo stesso discorso che nel 1999 ha portato l’Onu a classificare il sistema sanitario italiano come il secondo migliore al mondo: risultato che desta stupore quando si abbia davanti agli occhi il degrado di certi reparti ospedalieri, ma che diventa plausibile se si tiene conto della sua copertura media sulla popolazione e non solo dei centri di eccellenza scientifica. E così il nostro sistema universitario è complessivamente di buon livello, nel senso che esso assicura una qualità media diffusa sul territorio senza molti picchi ma anche senza molte deficienze gravi. Ed inoltre il numero di università su tale medio livello è considerevole, visto che ci posiziona come il quarto paese al mondo per numero di università che rientrano tra le prime 500 (ben 27). E in considerazione del fatto che abbiamo pochi atenei, la percentuali di essi che entra nelle varie classifiche è alta, come dimostra la slide #31 del seguente link. Tale risultato viene anche nella sostanza confermato dalla distribuzione per paese delle prime 500 istituzioni educative su 3.290 dei dati Scimago (comprendenti non solo le università, ma anche centri di ricerca governativi, ospedali e altro): l’Italia occupa il 6° posto con 21 istituzioni, essendo preceduta solo da USA, Cina, Germania, Gran Bretagna e Francia; e ciò tenendo conto che si deve confrontare con colossi mondiali della ricerca che annoverano un numero molto più alto di istituzioni di ricerca di quanto non abbia l’Italia.

Anche le classifiche predisposte dalla Scimago concernenti la collocazione delle varie nazioni in base a diversi parametri, tra i quali l’H-Index (che è stato posto alla base dei criteri per l’abilitazione scientifica nazionale da parte dell’Anvur, sia pur modificandolo in modo discutibile), confermano quanto prima detto, posizionando l’Italia rispettivamente al 17° e al 7° posto tra le nazioni più industrializzate al mondo (vedi tabelle qui sotto – entrambi i valori sono quelli delle nazioni con più di 100.000 documenti, che sono in tutto 37).

E se prendiamo i valori forniti dalla Thomson Reuters (una delle basi di dati utilizzate dall’Anvur per calcolare le mediane, cioè i valori che aprirebbero le porte alla progressione di carriera), vediamo che l’Italia occupa l’8° posto per numero di articoli ogni 1000 ricercatori accademici e avrebbe addirittura il 3° per articoli ogni 1000 ricercatori (tutti, e non solo quelli delle università); tuttavia quest’ultimo dato non può ritenersi attendibile visto il bassissimo numero di ricercatori nelle imprese (vedi al link). La non infima qualità della nostra ricerca scientifica è ulteriormente attestata da una ricerca dell’Oecd del 2010 la quale poneva l’Italia al 7° posto nella particolare classifica dell’1% degli articoli più citati, superando così paesi come il Giappone, l’Australia, la Svizzera ecc., che di solito nei ranking generali sulle università ci precedono (vedi al relativo link – ma vedi anche quanto detto nell’intervento pubblicato ieri da De Nicolao, slides #21-26).

3. L’ultimo arrivato: il ranking dell’università di Leida

Ma veniamo al recentemente pubblicato CWTS Leiden Ranking. Esso è ritenuto tra quelli più attendibili e si caratterizza per evitare di costruire un indice sintetico che assembli con un peso proporzionale i diversi parametri usati, che sono 4 indicatori di impatto e 6 indicatori di collaborazione (specificati nelle note alla Tabella 6).

Nella tabella da noi costruita vengono forniti i due più significati indicatori di ciascuna tipologia. Ad una visione complessiva salta agli occhi come le università italiane si collochino tutte nella parte medio bassa della classifica; tuttavia vale qui ancora l’avvertenza prima fatta sul fatto che ci stiamo muovendo sempre all’interno del top 5% mondiale. Inoltre il fatto che l’Italia sia al 5° posto per numero di università indicizzate (dopo USA, Germania, Cina e UK), conferma quanto prima detto a proposito della buona qualità media del sistema universitario, che tuttavia è privo di punte di eccellenza. È da notare l’enorme progresso effettuato dalla Cina, che è ora presente con ben 37 università (di cui due posizionate al 53° e 55° posto), con ciò venendo premiato lo sforzo da essa effettuato con un programma di massicci investimenti dell’ultimo decennio.

Ma un altro significativo dato è da notare in questa classifica. Quando infatti si disaggregano i campi disciplinari, si nota che vi sono università italiane che riescono a raggiungere la tanto lodata eccellenza: notiamo così che in “Mathematics and computer science” Parma è al 37° posto e Pavia all’87°; e vi sono altre università che pur ottenendo un mediocre risultato nel valore aggregato di tutte le discipline, migliorano decisamente in alcuni campi: è il caso di università a volte considerate marginali come Bari o Catania o di altre dotate di maggior prestigio che migliorano in certi ambiti scientifici la propria mediocre prestazione complessiva, come Padova, Perugia, Trieste e così via. Del resto questa caratteristica viene confermata se si esaminano i dati disaggregati di altri ranking, come ad es. il NTU. Entrambi mostrano però un trend comune, ovvero la relativa debolezza dell’Italia nel campo delle scienze umane rispetto agli altri paesi presenti in classifica. Essa potrebbe essere dovuta in sostanza a due motivi. Innanzi tutto alle basi dati utilizzate, che privilegiano articoli su riviste in inglese e trascurano di prendere in esame le monografie; come abbiamo visto è questo un limite denunziato anche dal rapporto di  Rauhvargers. Ma anche, in secondo luogo, alla campagna denigratoria ormai in corso da più di un decennio fatta nei loro confronti da una sorta di plebeismo culturale, per il quale tali forme di ricerca non danno “da mangiare” e non stimolerebbero il progresso scientifico ed economico, con la conseguenza del deinvestimento in esse e il deperire di interi ambiti disciplinari, che vengono a morire con l’andata in pensione dei residui loro cultori. Una tale concezione non solo va contro ogni seria valutazione dell’importanza di tali discipline per la stessa ricerca scientifica (e sarebbe qui tedioso e troppo lungo portare argomenti in merito, che ogni serio scienziati ben conosce), ma trascura la fondamentale funzione che l’istruzione universitaria (e non solo essa) deve adempiere per la preparazione e la formazione culturale dei cittadini, se non ci si vuole poi lamentare della “perdita dei valori”, dell’inciviltà dei comportamenti, dello scadente “capitale umano” e così via. Di certo i valori non si apprendono imparando a progettare microcircuiti.

4. Uno sguardo complessivo e aggregato

Ma il quadro che emerge da questi ultimi ranking evidenzia soprattutto come sia sbagliato parlare di università in generale, ritenendo che vi siano università di eccellenza ed altre di serie B; per il modo in cui si è storicamente venuto a strutturare il sistema universitario italiano, vi sono in ogni università settori di eccellenza e settori mediocri, per cui è necessario valutare attentamente ciascuna specifica situazione senza giudizi totalizzanti o, peggio, predisponendo politiche che non tengano conto di questa sua peculiare caratteristica.

Osserviamo infine anche come tutte le università italiane presenti nei ranking internazionali qui esaminati siano statali: ad eccezione della Cattolica di Milano e della Bocconi (che è però presente in una classifica molto specializzata, come quella dell’IPCHEI e in quella Scimago, tra tutte la più generosa verso le università italiane – sulla Bocconi vedi l’articolo già pubblicato su Roars), nessuna delle prestigiose università private che sono sorte negli ultimi anni o sono preesistenti (come LUISS, IULM, San Raffaele ecc.), viene menzionata nei ranking internazionali tra le prime 500. Altra eccezione è rappresentata dalla Università Vita-Salute del San Raffaele che è al 489° posto nel solo ranking Scimago per impatto normalizzato (per questo non l’abbiamo inclusa nella figura 2) ed è quindi la prima delle alte istituzioni educative italiane; in questo caso incide fortemente l’alta specializzazione specie in campo medico (ha un indice di 0,9, diversamente dalle università generaliste, che oscillano tra 0,5 e 0,6 in un range 0-1). In ogni caso – a voler credere a tali ranking, così come molti fanno – è degno di nota il fatto che tutte le università statali bibliometricamente misurabili (l’Orientale di Napoli per es. non lo è) rientrano nelle top 2.800 mondiali censite dalla SCImago (il top 14% dei circa 20.000 atenei mondiali – vedi i link 1 [slide 33], link 2 e link 3). Se volessimo stilare una classifica delle “migliori” università italiane in base alla performance ottenute nei dieci ranking da noi presi in esame, noteremo che sono in tutto 33 le università che ottengono almeno due collocazioni utili (abbiamo eliminato il caso di una sola collocazione, in quanto il dato ci sembra poco significativo), nell’ordine discendente esibito dalla figura 2. Se si vuole partire per una riqualificazione del sistema universitario italiano, questo dato potrebbe rappresentare – a voler prendere sul serio i ranking –  una cocente delusione per i sostenitori del privato e i denigratori del sistema pubblico.

È ovvio che andrebbero fatte analisi più raffinate di quelle qui proposte. Ad es., un fattore di solito non preso in considerazione è il rapporto tra performance scientifica e ammontare dei finanziamenti per ricerca cioè considerare anche la qualità e la quantità della produzione scientifica in rapporto gli investimenti per ricerca, cioè ai finanziamenti ricevuti dalle università per questo scopo, misurando così la “produttività scientifica”. Ebbene da un rapporto preparato nel 2011 nel Regno Unito per il governativo Department of Business, Innovation and Skills l’Italia si posizione in maniera lusinghiera, al di sopra di USA, Francia e Giappone (vedi la qui sotto).

Inoltre un’analisi che metta a confronto le singole istituzioni universitarie di sicuro esso potrebbe riservare grosse sorprese, in quanto si vedrebbe facilmente (abbiamo fatto alcuni sondaggi in merito (vedi al link di L’Italia che affonda) che le università italiane ottengono rendimenti di gran lunga superiori ai mezzi a loro disposizione, rispetto ad es. alle università americane, sempre prese a pietra di paragone. Sicché, si potrebbe paradossalmente dire che bisogna domandarsi non tanto il perché le università italiane siano così indietro rispetto alle americane, ma come mai queste siano così poco avanti rispetto a quelle italiane. Altro aspetto scarsamente analizzato è il rapporto tra numero dei ricercatori e performance; anche in questo caso qualche indicazione l’abbiamo data nel sito indicato. Ma v’è ancora molto lavoro da fare.

5. Un promemoria per il nuovo ministro

In conclusione, i ranking generali sulle università e le classifiche bibliometriche più specifiche che sono elaborate da varie istituzioni internazionali sono oggetti assai complessi che devono essere utilizzati con cautela e facendo attenzione a cosa effettivamente fanno riferimento, al punto che vi è stato chi ha sostenuto in modo del tutto plausibile la loro totale inaffidabilità (per non parlare del possibile taroccamento dei dati). Non bisogna dimenticare inoltre l’incertezza statistica delle classifiche, per cui sono un po’ ridicoli quei rettori che esultano o si rattristano quando il loro ateneo guadagna o perde una decina di posizioni, dato che errori nell’ordine delle decine di posizioni sono del tutto plausibili e possono esservi notevoli discrepanza tra i diversi rankings, come è ben noto in letteratura (v. ad es. l’articolo di Saisana & D’Hombres). Ed è poi necessario aver un quadro complessivo, utilizzando diversi indicatori, e non assumere scandalisticamente quelli che fanno più comodo o per denigrare o per esaltare singole realtà. E ciò specie in un periodo in cui tali valutazioni bibliometriche sono assai discusse nella letteratura internazionale più accreditata, che ne ha messo in luce i limiti e le possibili e sicure distorsioni che possono apportare alla ricerca scientifica e alla politica della ricerca di chi si serve di esse in modo incauto. È questo un promemoria per il nuovo ministro, per incoraggiarlo ad operare senza prendere per oro colato quello che certa stampa interessata e certi opinionisti disinformati e tendenziosi vogliono far passare come uno stato di fatto indiscutibile, allo scopo di distruggere il patrimonio costituito dalle università pubbliche e statali, che in sostanza danno buona prova di sé in tutti i ranking internazionali (anche a volerli prendere per buoni) e che non hanno nulla da farsi rimproverare quanto alla qualità dei loro docenti e ricercatori rispetto alle istituzioni di insegnamento privato, che invece si vorrebbero additare a modello di eccellenza.

Alle università italiane non fa difetto la qualità del ricercatori, ma la volontà politica di sostenerle, di finanziarle adeguatamente e di fornire loro mezzi organizzativi, strumentali e scientifici che le mettano in grado di migliorare la propria reputazione e collocazione a livello mondiale. Con l’ottimismo della volontà abbiamo la speranza che il nuovo ministro voglia invertire la rotta rispetto a quanto è stato fatto in passato; ma il pessimismo della ragione ci fa pensare che i condizionamenti e le pressioni provenienti da settori poco interessati alla cultura e al ruolo che in essa può assumere l’intervento statale possano soverchiare il potere di azione di un ministro anche volenteroso.