Classifiche internazionali / Interviste

Vi spiego il doping delle classifiche degli atenei. Intervista a Giuseppe De Nicolao.

Quest’anno, nella classifica QS si è verificato il collasso delle università italiane, Siena meno 221 posizioni, Pavia meno 179. Un’università non può perdere così tante posizioni in un anno: il vero motivo del collasso è che QS ha cambiato le regole del gioco da un anno all’altro, introducendo distorsioni arbitrarie che danneggiavano alcune nazioni o discipline e ne favorivano altre. Una ragione in più per non credere a classifiche dalle basi scientifiche assolutamente precarie. Ma visto che il pubblico è affezionato a queste “gare”, questa estate abbiamo provato a stare al gioco, pubblicando una “controclassifica Arwu”. Sfogliando i bilanci delle università, abbiamo ricavato il costo di un punto Arwu – premi Nobel, citazioni di articoli ecc. – per i 20 atenei al top della classifica mondiale e per i 20 atenei italiani. Il risultato di questa “sfida infernale” è stato che nella classifica dell’efficienza le prime quattro sono italiane e tra le prime dieci, otto sono italiane. Certo, Harvard, Cambridge, sono università di grande pregio, però consumano moltissimo. Harvard spende in un anno il 44% di quello che il Miur stanzia nel Fondo di finanziamento ordinario per sessantasei università statali.

Pubblichiamo l’intervista di Donatella Coccoli a Giuseppe De Nicolao, apparsa in versione abbreviata in uno sfoglio di Left dedicato all’università, incluso nel fascicolo del 3 ottobre 2015: Vi spiego il doping delle classifiche

01_cover_382015

Professor De Nicolao le classifiche delle università sono attendibili?

In ambito accademico, le classifiche non sono ritenute scientificamente attendibili. Esiste infatti una letteratura che le analizza evidenziandone gli errori, le ingenuità metodologiche, le inaffidabilità. Vengono stilate aggregando un po’ di numeri che conducono a classifiche che valgono, più o meno, come quelle che elencano i migliori cento film della storia del cinema. Nonostante le basi scientifiche poco solide, tuttavia hanno una grande potenza mediatica e i giornali vanno avanti imperterriti a diffonderle e commentarle. È molto facile del resto, scrivere un articolo sulla migliore università del mondo che è Cambridge o Harvard e dire che le italiane sono al trecentesimo posto ecc.

Dal punto di vista scientifico lei sostiene che le classifiche sono inaffidabili, ma quali sono i parametri secondo i quali le università vengono giudicate?

Le classifiche, in linea di massima, sono costruite in maniera tale da far vincere chi è più ricco. In un certo senso sono classifiche meritocratiche secondo l’accezione comune della meritocrazia. Si misurano i risultati di un’istituzione o anche di un singolo scienziato senza tener conto delle risorse a disposizione né del punto di partenza. Ad Harvard, una delle migliori università del mondo, effettivamente ci sono i ricercatori più rinomati, quelli che hanno vinto i premi Nobel, ci sono le ricerche di punta, ma anche i finanziamenti più ingenti. Si esalta la gara, la competizione di tipo sportivo, ma non si dice mai che quelle americane e inglesi sono università che dispongono di molti fondi e grandi patrimoni. Non è eccitante per il pubblico. Si dimentica che il fondamento di una gara invece è una condizione di uguaglianza. Se io ho un gommone e gli altri hanno un motoscafo d’altura, non è la stessa cosa, ma questa cosa non ce la dicono mai, ci dicono solo che quel motoscafo è arrivato prima.

Quali sono le classifiche che risultano più determinanti anche a livello dei media?

Dal 2003, quando è uscita la prima, quella di Shanghai, ce ne sono state diverse. Oggi quelle che “bucano” di più sui media sono appunto, l’Arwu di Shanghai, la classifica Qs, Quacquarelli Symonds, che tra l’altro è uscita pochi giorni fa. Un tempo la Qs era anche la classifica di Times Higher Education, un magazine inglese, il quale dal 2010 ha prodotto una sua classifica separata.

Come vengono valutate le università? Vengono raccolti documenti, notizie su finanziamenti, produzione di ricerche?

Ognuna di queste classifiche usa una specie di paniere. Quella di Shanghai, in particolare conteggia il numero di premi Nobel sia tra gli ex alunni che nel corpo docente, e anche le medaglie Fields, un’onorificenza in campo matematico. Ma non prende in esame, per esempio, i premi Nobel per la letteratura, ed è decisamente orientata sul lato scientifico. Un altro indicatore è dato dagli scienziati molto citati. Solo che i database bibliometrici coprono prevalentemente la produzione nell’ambito delle scienze, e molto meno quella nell’ambito degli studi umanistici e sociali. Quindi, se io volessi far salire la Sapienza o la Statale di Milano nella classifica di Shanghai dovrei chiudere i dipartimenti di letteratura e investire in quelli di biologia, o scienze mediche. Le regole con cui vengono aggregati questi indicatori, poi, sono arbitrarie perché se io conto il numero di articoli prodotti e dall’altro il numero di premi Nobel, come faccio a combinare grandezze di natura così diversa?

Ci sono state critiche in passato?

Subito dopo l’uscita della classifica di Shanghai, nel 2004 su Nature era stato pubblicato un articolo dell’inglese David King il quale aveva scritto che le classifiche non sono il modo corretto per valutare  le università e i sistemi universitari nazionali. Un approccio più scientifico – secondo King – è studiare l’efficienza del sistema universitario nel suo complesso, cioè, per usare una metafora, andare a vedere quanti chilometri fa un’automobile a fronte della benzina consumata.

La Qs che è appena uscita, ha suscitato sorprese perché atenei come per esempio quello di Siena è scivolato di 200 punti. Come è possibile?

La Qs è quella che usa di più il survey reputazionale, cioè vanno a chiedere agli accademici i pareri su altre università nel proprio settore. E’ un metodo molto autoreferenziale e tende a rafforzare le posizioni dei sondaggi precedenti. Tra l’altro, sembra che questi sondaggi non raccolgano grandi numeri e siano molto volatili. Quest’anno si è verificato il collasso delle italiane, – Siena meno 221 posizioni, Pavia meno 179 –. Un’università non può perdere così tante posizioni in un anno, essendo evidente che la qualità scientifica e didattica di un ateneo è soggetta a cambiamenti relativamente lenti. Se si effettua un controllo, si vede che il vero motivo del collasso è che QS ha cambiato le regole del gioco. A questo punto, Qs avrebbe dovuto avvisare molto più chiaramente che il 2015 era l’anno zero di una nuova classifica e che non si potevano fare confronti con i risultati degli anni precedenti.

Che cosa è avvenuto?

Nei database bibliometrici i volumi delle citazioni nelle diverse discipline sono diversi. Un po’ maldestramente Qs ha tentato di mettere tutti sullo stesso piano: discipline scientifiche ingegneristiche e umanistiche. Solo che mentre, per le materie scientifiche e ingegneristiche la lingua franca è l’inglese, quando ci si muove su quelle umanistiche e sociali  sono le lingue nazionali a contare. Con questa “correzione” di Qs si è verificata una vera e propria distorsione linguistica: chi produce ricerca in lingue diverse dall’inglese è meno presente nei database. E questo sembra spiegare il crollo di tutte le università italiane a eccezione dei Politecnici di Milano e Torino che, infatti, non hanno facoltà umanistiche.

Veniamo alla sua controclassifica, in piena estate lei ha prodotto quello che lei ha chiamato  “esercizio pedagogico”.

L’ho chiamato così, perché la redazione di Roars non crede alle classifiche. Ma visto che il pubblico è affezionato a queste “gare”, abbiamo provato a stare al gioco, fingendo che la classifica di Shangai misuri davvero qualcosa di sostanziale. Ma anche se così fosse, chi ha stilato la classifica ha trascurato un aspetto essenziale. Tornando alla metafora dell’auto, si sono dimenticati di quantificare la benzina nel serbatoio. E noi italiani, ci siamo chiesti, con la benzina che mettiamo nella nostra automobile, corriamo tanto o corriamo poco? Sono andato a vedere i bilanci delle università e ho visto quanto spendono ogni anno le prime venti università della classifica Arwu e quanto spendono le venti università italiane che entrano tra i 500 atenei di quella stessa classifica. Ho ricavato il costo di un punto Arwu – premi Nobel, citazioni di articoli ecc. –. In pratica ho ricavato quanto costa un km percorso dagli atenei italiani, mettendolo a confronto con i costi degli atenei al top della classifica mondiale . Il risultato è che in questa controclassifica Arwu, su quaranta atenei, le prime quattro sono italiane: la Normale di Pisa, Ferrara, Trieste e Milano Bicocca; e tra le prime dieci, otto sono italiane.

Normalized_ARWU_2015

Ci sono state obiezioni, reazioni?

Qualcuno ha detto che noi non siamo migliori di Harvard e Cambridge. Ed è vero: potrei dire che la Prius è meglio della Lamborghini? Ma, allo stesso tempo, nessuno può negare che il consumo della Prius è inferiore. Certo, Harvard, Cambridge, sono università di grande pregio, però consumano moltissimo. Harvard spende in un anno il 44 % di quello che il Miur stanzia nel Fondo di finanziamento ordinario per sessantasei università statali.

Harvard_Yale_vs_Italy

La sproporzione delle risorse è tale che il vero confronto va condotto sul piano dell’efficienza. E allora sembra davvero che noi stiamo riuscendo a fare le nozze con i fichi secchi. Il risultato che abbiamo ottenuto non è una sorpresa, per chi si studia scientificamente la produttività accademica. Infatti, anche altri studi confermano che nostra produttività scientifica è alta: in media superiamo americani, francesi, tedeschi, giapponesi.

UK_Res_Base_2013_productivity

Le classifiche quanto influenzano le politiche di finanziamento?

Le classifiche hanno un grandissimo impatto e non solo in Italia. Quando sono uscite, hanno causato uno choc in Francia, in Germania e un po’ in tutto il mondo. Tutti i Paesi si vedono colpiti nell’orgoglio nazionale, perché dominano soprattutto gli atenei americani e inglesi. L’effetto di queste classifiche è quello di stimolare un ragionamento da gare olimpiche: dobbiamo anche noi piazzare un ateneo tra i primi venti. Una forma di regressione grazie alla quale i numeri finti delle classifiche occultano numeri veri relativi a spesa e risultati. Si coltiva l’illusione che i problemi dell’istruzione si risolvano portando qualche università ai primi posti. Un riflesso condizionato che finisce per giustificare e promuovere politiche di concentrazione delle risorse, che aumentano le disuguaglianze tra gli atenei e nell’accesso all’istruzione universitaria.

E veniamo allora al problema della diversa distribuzione dei fondi alle università italiane.

Fino a qualche anno fa prevaleva un trascinamento della ripartizione storica, per cui ogni anno, salvo alcuni aggiustamenti, i finanziamenti rimanevano abbastanza stabili. La rivoluzione degli ultimi anni è stata un cambio delle regole, per cui si sta andando verso uno schema di ripartizione – non ancora del tutto assestato – costituito da un 70 per cento basato sul numero degli studenti e l’altro 30 distribuito su base premiale, in cui prevale la valutazione della ricerca da parte dell’Anvur, l’agenzia di valutazione del sistema universitario e  della ricerca. Alla base di tutto c’è l’ideologia dell’efficienza, con aspetti corretti e altri più discutibili. Se ci sono tanti studenti e se fai buona ricerca è chiaro che occorrono risorse adeguate. Il problema è che le risorse sono andate via via calando e nella premialità all’italiana chi ottiene una valutazione migliore, non viene premiato ma viene  solo tagliato un po’ meno. Con dei meccanismi particolari, come quello dei punti organico, legati all’assunzione del personale, i quali sotto il governo Monti sono stati sottoposti ad una regolamentazione rivelatasi assai problematica.

UE28Laureati2004_13

Qual è il problema legato alle assunzioni di professori?

L’Italia è l’ultimo Paese in Europa per percentuale di laureati e penultimo nel rapporto spesa universitaria-Pil. Abbiamo anche pochissimi ricercatori accademici sul totale degli occupati. Eppure, a partire dal 2008è stato deciso di dare una sforbiciata enorme al settore dell’università attraverso tagli del fondo di finanziamento ordinario accompagnati da pesanti riduzioni del turn over – dapprima bloccato e ancora oggi limitato al 50% – . Questo significa che, invece di compensare questo ritardo enorme nella formazione e nella ricerca universitaria, stiamo riducendo la nostra capacità formativa e stiamo scoraggiando gli studenti, al punto che le immatricolazioni calano, soprattutto al Sud. Visto che alcuni atenei sono in difficoltà economiche,  Monti aveva introdotto una regola secondo la quale il turn-over andava conteggiato complessivamente su tutto il sistema con possibili travasi tra un ateneo e l’altro. A tale scopo, è stato ideato un coefficiente di sostenibilità economica finanziaria, l’Isef, in base al quale si giudica se l’ateneo possiede la sostenibilità economica necessaria per procedere alle assunzioni.

Punti_Organico_2015_Regioni

2012-2015: travaso di punti organico tra le diverse regioni italiane dovuto  (da: Punti organico: in 4 anni il Nord si è preso 700 ricercatori dal Centro-Sud)

È giusto togliere professori là dove sono andati in pensione?

Il modo più logico sarebbe stato calcolare l’Isef di tutti gli atenei, assegnando il turn-over di legge (il 50% attualmente). Solo agli atenei sotto la soglia andrebbe assegnato un turn over inferiore, calcolato in modo da risultare sostenibile dal punto di vista economico. Si sarebbe potuto infine procedere a redistribuire il turn-over non “consumato” tra gli atenei con l’Isef in regola. Invece, il Miur ha istituito una specie di gara a chi ha l’Isef più alto, con il risultato di avere atenei a cui è stato garantito un turn-over  persino superiore al 100 per cento, a spese delle assunzioni in atenei che, pur superando i requisiti di sostenibilità economica avevano la sola “colpa” di avere un Isef meno alto di altri atenei. Va detto poi che nel calcolo dell’Isef entrano le tasse degli studenti. È chiaro che gli atenei del Sud, per il contesto molto più difficile, non possono alzare le tasse, un dato che contribuisce a spiegare perché gli Isef migliori stanno al Nord. Alla fine un indicatore che doveva servire solo per capire se l’ateneo è sostenibile o meno, è diventato un indicatore premiale: più l’Isef è alto e più puoi limitare le perdite di personale. È una vera politica di incentivazione della disuguaglianza: drenare risorse dai deboli per portarle ai più forti.

 

Send to Kindle
Tag: , , , , , , , , , , , , , , , , , , , , , , ,

3 Comments

  1. indrani maitravaruni says:

    Gentilissimo De Nicolao,
    Lei sta davvero facendo un lavoro meritorio. Sarà il caso di chiamarlo, visti i tempi, “la buona informazione”. Viviamo in un periodo assurdo, con un manipolo di dementi e distruttori alla guida dell’università. Tentiamo di misurare qualsiasi cosa tranne quelle importanti (che forse non si possono misurare), si toglie a chi ha poco, si stroncano i giovani, si pongono obiettivi insulsi o strampalati. Almeno questo sito fa intravedere il barlume della verità. Ogni tanto ci vuole una boccata d’ossigeno.

  2. flashrandom says:

    Caro De Nicolao,
    parole sante, grazie.

Sostieni ROARS

Sostieni ROARS