Classifiche internazionali

Classifiche, che (insana) passione!

Una piccola guida storica e concettuale alle classifiche di Università, per consultare meglio l’ultima della serie, l’edizione 2013-14 dei “Times Higher Education World University Rankings”, che anche quest’anno sembra riservare poche gioie e molti dolori all’Accademia Italiana.  Ma come vanno letti questi risultati? Cosa misurano? Quali distorsioni comportano? Quali sono gli argomenti di chi ritiene queste classifiche inutili o addirittura perniciose?


Un’alba poco dorata per l’Università Italiana.  E così, puntuale come il sorgere del Sole, è arrivato il giorno di un’altra tornata di classifiche di Università. Ma già sapevamo che per noi Italiani non ci sarebbero state buone notizie, rispetto al solito refrain, ritrasmesso più volte dalla stampa nostrana. Stiamo parlando della nuova edizione dei prestigiosi World University Rankings curati dal settimanale specializzato britannico “Times Higher Education” in collaborazione con il colosso dell’informazione Thomson Reuters, che fornisce le principali basi di dati. Anch’io, come molti altri curiosi, mi recherò oggi ad acquistare una copia cartacea del THE, benché ovviamente le classifiche siano consultabili anche online – e precisamente da ieri sera, 2 ottobre, alle 22:00 italiane -, assieme ad una esauriente descrizione della metodologia impiegata, e ad altre notizie complementari.

Non è solo l’attaccamento al classico fruscio delle pagine patinate che mi spinge a questo passo. La Direzione del settimanale e la squadra di redattori che si occupa delle classifiche sotto la guida di Phil Baty, accanto all’unità specializzata responsabile della raccolta e dell’elaborazione dei dati, sanno bene che i World University Rankings costituiscono un asset importante del loro periodico, e vi costruiscono attorno una fetta importante della strategia editoriale. In particolare, in corrispondenza della pubblicazione delle classifiche, viene proposta anche una ampia dose di commenti, di riflessioni, e di rilievi critici che soddisfano tutti i palati interessati alle politiche dell’istruzione superiore e della ricerca. E’ quindi sensato affermare che la formulazione dei ranking offre l’occasione per approfondimenti di vario tipo, anche indipendenti dalle stesse classifiche, ma che rielaborano in maniera diversa e più qualitativa l’enorme mole di dati collezionata per ogni edizione; tale strategia innerva poi la politica editoriale del THE durante tutto l’arco dell’anno.

Smania informativa.  L’ultima annotazione mi consente di ricordare come la stessa genesi di questo tipo di classifiche sia tipicamente commerciale, e ben distinta dalle politiche pubbliche di settore, le quali – a dispetto della percezione indotta – non impiegano quasi mai simili strumenti. A questo riguardo si fa di solito riferimento agli Stati Uniti d’America, dove la popolarità di tali esercizi comparativi risulta più chiara se si tiene presente che in quel Paese esistono all’incirca 4.000 istituti di istruzione post-secondaria, e la sete di informazioni non è mai soddisfatta del tutto. Il periodico U.S. News and World Report costituisce l’esempio più classico di redazione di classifiche nazionali di Università e College, e la home-page del sito tiene in bella evidenza l’offerta per un anno di abbonamento alla “Bussola” completa delle oltre 1.600 istituzioni presenti nel proprio database, alla modica cifra di $ 29,95. Oppure i ranking si mettono in relazione a certe tipologie di corsi di studio, come gli MBA, gli ambìti (e sovente costosi) Master in Business Administration, che si disputano le attenzioni di ambiziosi aspiranti manager d’impresa.

E proprio dal mondo dei network di alumni di MBA nasce e sviluppa l’iniziativa di Nunzio Quacquarelli e della sua Agenzia londinese, la Quacquarelli-Symonds (QS), che dal 1990 costruisce un business di servizi informativi e di consulenza per laureati, studenti e aspiranti studenti universitari. Fu dalla collaborazione di QS con il THE – allora THES, Times Higher Education Supplement, che comunque era (a dispetto del nome, cambiato l’anno seguente) un settimanale indipendente già dal 1971 – che nacquero nel 2004 i “THES-QS World University Rankings” (poi THE-QS, fino al 2009). Si trattava di una risposta “anglosassone” e “di mercato”, decisa dall’allora direttore del THES John O’Leary, a quella vera e propria bomba sganciata nel bel mezzo del dibattito pubblico sull’Università durante il 2003 che fu l’Academic Ranking of World Universities (ARWU), pubblicato da alcuni ricercatori dell’Università Jiao Tong di Shanghai, che si annunciava come la prima “classifica mondiale” di Università eseguita su larga scala.

L’origine di questa idea non era in effetti commerciale, benché oggi il marchio ARWU sia di proprietà della “ShanghaiRanking Consultancy” (SRC), che risulta quindi essere una sorta di spin-off di tutta l’intrapresa, ma si nutriva del dibattito politico-culturale cinese di quel periodo, che discuteva la questione di quando la Cina avrebbe potuto disporre di una Università di livello mondiale, una “World-Class University”, appunto. Fu così che alcuni ricercatori, che probabilmente non avrebbero mai avuto grande fama come scienziati, si misero meticolosamente all’opera per produrre un qualche “strumento di misura” che potesse rilevare i dati sensibili per il dibattito, finendo per assurgere a “primedonne mondiali” in materia di Università, con il loro leader Liu Nian Cai ricercato e interpellato un po’ in tutto il mondo.

Salto di scala.  L’anno 2003 è quindi diventato una data che fa da spartiacque, nella storia delle classifiche di Università; tutto ciò accadeva mentre si intensificava il dibattito pubblico in merito all’importanza di sviluppare un’“economia basata sulla conoscenza”, che stava facendo lievitare l’interesse per la qualità delle istituzioni universitarie e di ricerca scientifica. E proprio il crescere dell’appeal popolare di queste classifiche richiamò l’attenzione degli esperti sulla validità e sulla rilevanza dei principi e degli algoritmi che stanno alla base della loro compilazione. Come è noto, la formulazione delle graduatorie si basa tipicamente sulla raccolta di dati che si riferiscono a indicatori ritenuti rilevanti per determinate la qualità dell’Università – pubblicazioni, citazioni delle pubblicazioni, pubblicazioni su riviste prestigiose, numero di Premi Nobel (di ex-allievi o di attuali docenti), dotazioni strutturali (numero di docenti per studente, risorse incamerate), ecc. ecc. In qualche caso sono presi in considerazione anche giudizi “umani” su aspetti più o meno specifici, opportunamente sollecitati ad un campione di “esperti” da parte dei produttori dei ranking. La scelta degli indicatori e dei pesi da attribuire ai vari criteri (in congiunzione con una opportuna normalizzazione dei dati grezzi) determinerà la classifica e quindi la posizione relativa dell’Università all’interno del campione considerato – geografico o anche per macrosettori scientifico-disciplinari.

La consapevolezza dei punti deboli della metodologia di Quacquarelli-Symonds, che si basava in larga parte su questionari “reputazionali” somministrati ad accademici e imprenditori di tutto il mondo – che mai ovviamente avrebbero potuto dare un giudizio su tutte le Università per conoscenza diretta – portò nel 2009 alla rottura della collaborazione del THE con i “ragazzacci” di QS guidati da Ben Sowter, che dal 2010 hanno proseguito in proprio la redazione di nuovi “World University Rankings”, cercando ovviamente di migliorare, rendere più robuste e complementare le survey (che quest’anno arrivano a coinvolgere 62.000 contatti fra gli accademici e 28.000 fra i datori di lavoro), e suscitando comunque nuovi appetiti – immaginate di chi? U.S. News and World Report, che si è aggiudicata subito la pubblicazione per la stampa.

Intanto il Times Higher Education aveva identificato nella appropriata struttura di intelligence di Thomson-Reuters, il Global Institutional Profiles Project, il nuovo partner per le proprie classifiche, che sono quindi proseguite con una metodologia nuova e capillare, ritenuta oggi quella più all’avanguardia fra i 3 maggiori “produttori” mondiali. L’editoriale con cui nel Novembre 2009 l’allora direttrice Ann Mroz annunciava la “nuova gestione” rimane un classico per chi voglia introdursi nella ormai larghissima letteratura sull’argomento.

Anche ROARS ha avuto modo di discutere ampiamente dei ranking, e non vogliamo qui ripercorrere tutti gli argomenti critici che la comunità scientifica ha rilevato e posto all’attenzione del pubblico in questi anni, e che in Italia, a causa della peculiare forma del nostro dibattito in materia di Università, hanno ricevuto un’attenzione limitata o distorta. Basti solo ricordare il riverbero che certe “ideologie maniacali” sul ruolo del confronto fra Università e fra Dipartimenti hanno potuto godere nelle more della messa in opera dell’ANVUR, nella definizione delle sue funzioni e dei suoi compiti.

THE Rankings 2013-14. Grazie ad un ormai collaudato calendario, l’uscita delle classifiche curate dai principali produttori è ormai programmata al decimo di secondo, e preannunciata agli organi di stampa con studiato anticipo. E’ proprio questo sistema di comunicazione che mi consente di preparare questo pezzo con una certa comodità, potendo consultare il Comunicato del THE contenente una dettagliata anteprima.

Lo strillone mi mette tutto sotto il naso, senza problemi. Il primato assoluto del California Institute of Technology, per il terzo anno consecutivo. Harvard che riguadagna il secondo posto, a pari merito con Oxford. I segnali allarmanti per l’Europa continentale, tranne che per la Scandinavia. Va bene, va bene, abbiamo capito. Sono più o meno cose risapute, così come il record numerico degli Stati Uniti, l’avanzata dell’Asia, la tradizionale gerarchia Europea con 31 Università britanniche nelle prime 200, e 12 olandesi, 10 tedesche, 8 francesi, 7 svizzere, 5 belghe… Ma, “ovviamente”, nessuna italiana.

Forse bisognerebbe ricordare che la “politica di sistema” degli Stati Europei continentali prevede che la capacità di ricerca sia dispiegata anche in altri Enti, oltre alle Università: dal CNRS e dall’INSERM in Francia, fino al Max Planck e alla Fraunhofer-Gesellschaft in Germania – solo per citare i maggiori. E pure i nostri CNR e INFN non sfigurano di certo, fatte le debite proporzioni in quanto a personale e finanziamenti. Nei Paesi anglosassoni, invece, esistono solo pochi “Laboratori Nazionali” al di fuori delle Università, in quanto a sistemi pubblici di ricerca: non è una differenza da poco. E poi non dimentichiamo mai che da noi vige un modello di sistema universitario che rigetta la concentrazione del potenziale di ricerca in un numero ristretto di sedi (come invece avviene in UK e USA): chi l’ha detto che sarebbe di per sé sbagliato?

Mentre faccio questi ragionamenti mi sovviene che una delle critiche più tradizionali alle classifiche di Università è lo sbilanciamento degli indicatori sul versante della ricerca, e, al suo interno, la sopravvalutazione delle scienze naturali e biomediche rispetto alle discipline umanistiche. O anche la strana mescolanza di indicatori estensivi (che dipendono dalla “grandezza” dell’istituzione) ed intensivi. Il THE afferma di essere all’avanguardia con la propria metodologia, che comprende 13 indicatori di prestazione rappresentanti diverse “dimensioni istituzionali” (da notare che sia i pesi sia alcuni indicatori sono un po’ cambiati durante questi anni):

e si picca di fare per bene la normalizzazione delle citazioni per campo disciplinare… mah. Di certo su alcuni di questi indicatori le Università Italiane possono far poco rispetto ai Paesi “di Serie A”. Secondo Elizabeth Gibney, redattrice ed esperta di ranking del THE, che ho contattato direttamente ieri, «le Università italiane tendono a realizzare bassi punteggi sugli indicatori relativi alla ricerca (sia che riguardino il volume, le risorse a disposizione e la reputazione), all’insegnamento (compresa la reputazione e fattori come il numero di dottorati rispetto al personale accademico), e alla internazionalizzazione. Invece i punteggi relativi alle citazioni sono relativamente buoni». Uhmm…

E allora consoliamoci con qualche dolcetto che ci riserva, comunque, questa edizione. Abbiamo 15 Università nel “girone di serie B”, quello compreso fra il 200° e il 400° posto; l’anno scorso erano 14. Ed inoltre la maggioranza di queste 15 guadagna “bande” migliori rispetto al 2012 (ricordiamo che in questo settore la posizione è data per gruppi di 25 o di 50). Trento guida la pattuglia:

Sarà contento il Rettore dell’Università di Bari, a cui un imperioso Francesco Giavazzi voleva chiudere l’Università in quattro e quattr’otto, con il sostegno interessato del Presidente della Regione Abruzzo. Non male anche qualche piccola soddisfazione nelle classifiche “Top 100” di area Scientifico-disciplinare: Bologna 76° in quella Umanistica, e “La Sapienza” 80°; il Politecnico di Milano all’83° posto in quella ingegneristico-tecnologia, con Pavia 94°.

Meglio studiare.  Se avete voglia di leggere qualcosa di più informativo, che approfondisca le caratteristiche delle classifiche mondiali di Università nello stesso spirito di queste note, il mio consiglio va subito al Progetto di “Rankings Review” dell’Associazione delle Università Europee (EUA), che ha già prodotto due Relazioni, una del 2011 e una del 2013, e che evidentemente è stato pensato e realizzato dal punto di vista delle Istituzioni valutate – magari anche un po’ bastonate, come quelle Europee (continentali, soprattutto). Se invece volete sentire l’altra campana, quella dei “produttori” di classifiche, dovete rivolgervi all’associazione da essi creata, l’IREG Observatory on Academic Ranking and Excellence, e che ha da subito proposto (nel 2006) un codice di norme raccomandabili (detti “Berlin Principles”) per la redazione dei ranking al fine di autoregolamentare le proprie metodologie, per meglio garantirne la qualità e l’affidabilità. Il codice è stato poi completato da una procedura di audit, in base alla quale proprio di recente sono state rilasciate le prime certificazioni: con grande scorno (immaginiamo) del gruppo di Shanghai, che aveva sempre dichiarato di voler essere il primo produttore ad essere accreditato, sono stati i “ragazzacci” di Quacquarelli-Symonds ad ottenere il riconoscimento, nello scorso maggio, unitamente ad un istituto polacco che redige classifiche a livello nazionale.

Per contrastare gli aspetti più perniciosi di questi approcci alla valutazione, l’Unione Europea ha da tempo cercato di promuovere un possibile strumento alternativo di rilevazione e pubblicità delle diverse caratteristiche degli istituti di alta formazione. Si tratta di uno strumento interattivo che non propone classifiche pre-confezionate, ma incorpora la possibilità di formulare “domande personalizzate” ad un database di dati grezzi molto esteso, riferito a criteri che coprono aspetti “multidimensionali” rispetto a tutte le possibili mission degli istituti di formazione terziaria. Con il Progetto U-Multirank, che ha già superato una fase di studio preliminare di fattibilità e che ora è al primo round della fase di raccolta capillare di dati, si spera pertanto di “relativizzare” i giudizi che la pletora di ranking ha fatto piovere sul mondo accademico in questi anni. Questo strumento potrà trarre giovamento dagli esiti un altro progetto (U-Map project) mirato alla classificazione delle tipologie di istituzioni di istruzione superiore europee, in analogia con l’americana Carnegie classification of higher education institutions. Infatti la diversità di istituzioni e tipologie di corsi di istruzione terziaria, dal punto di vista dei compiti, degli obiettivi, e delle relazioni con la comunità locale e con la comunità scientifica globale (c.d. “diversità orizzontale”), è sempre stata ritenuta un elemento positivo dei sistemi educativi, ma le classifiche ora più di moda non ne tengono conto, contribuendo anzi alla sostanziale proposizione di un unico canone di “World-Class University”.

Anche l’UNESCO, in base alle proprie prerogative, si è attivata, e, in collaborazione con la World Bank e con l’OCSE, ha organizzato nel 2011 il Global Forum – Rankings and Accountability in Higher Education: Uses and Misuses, che ha visto la partecipazione dei maggiori studiosi e professionisti del settore. La Lezione Magistrale di Ellen Hazelkorn, autrice dell’ormai classica monografia “Rankings and the Reshaping of Higher Education. The Battle for World-Class Excellence”, non ha mancato di sottolineare i limiti e la parzialità dello strumento delle classifiche per la determinazione della qualità delle istituzioni di istruzione superiore. Da alcuni mesi sono disponibili anche gli Atti della Conferenza.

Ah, dimenticavo: gli amici di Shanghai vi aspettano alla loro prossima Conferenza!

 

Send to Kindle
Tag: , , , , , , , , ,

One Comment

  1. michaelc says:

    Premesso che queste classifiche sono pericolose, e non si possono applicare a tutte le realtà nazionali allo stesso modo come scrive l’autore, negli ultimi anni i ministri italiani (tutti, di qualsiasi colore) hanno limitato le assunzioni di personale docente (abbassando i parametri 3 e 12), poi hanno limitato i fondi per i dottorati (abbassando i parametri 4 e 5), poi hanno diminuito lo stipendio dei docenti (abbassando il parametro 6), poi hanno limitato la possibilità di andare in missione (limitando il parametro 13), poi hanno diminuito i fondi per la ricerca (limitando il parametro 9).
    Tutte limitazioni che SONO IMPOSTE ai ricercatori.
    Quindi, con la logica tipica del minus habens intellettuale (il politico), hanno concluso: le università italiane sono pessime, non entrano nei ranking.
    Ma se hanno fatto di tutto per tenercene fuori!

Leave a Reply

Sostieni ROARS

Sostieni ROARS