Andrea Bonaccorsi e le classifiche degli atenei: Voodoo rankings!

Stanno per uscire le classifiche della VQR che decideranno quali sedi verranno premiate e quali chiuse. E con la VQR tornano Peppe e Gedeone, i due colleghi polemicamente appassionati di bibliometria. Andrea Bonaccorsi sta per tenere una distinguished lecture presso il loro dipartimento e Gedeone bussa alla porta di Peppe. Tra i due si innesca una discussione sulle classifiche degli atenei con un inaspettato colpo di scena finale.

– Ciao Peppe! – Gedeone entrò subito dopo aver bussato senza quasi dare il tempo a Peppe di rispondere “avanti”.

Peppe non si girò nemmeno, immerso com’era nel tentativo di riconoscere i messaggi urgenti in mezzo a quella valanga informe di messaggi accumulatisi negli ultimi giorni occupati interamente dall’esame di curricula e titoli.

– Bentornato, Peppe, come vanno i lavori della commissione per l’abilitazione scientifica?

– Non me ne parlare … un lavoraccio. Figurati che ci sono ancora candidati senza indicatori bibliometrici ed altri i cui indicatori sono ancora provvisori.  Un inferno. E tu? Che mi dici?

– Ti venivo a chiamare perché tra un quarto d’ora inizia la distinguished lecture di Andrea Bonaccorsi. Tra poche settimane usciranno i risultati della VQR [la presentazione pubblica dei risultati si terrà il 16 luglio 2013, NdR] e i colleghi accorreranno in massa sperando che spieghi qualcosa su come verranno fatte le classifiche degli atenei.

1. I filo-inglesi de noantri

L’argomento VQR distolse Peppe dal suo monitor.

– Eh sì, le classifiche degli atenei. Cosa aveva detto Benedetto nella famosa intervista rilasciata a Repubblica agli inizi del 2012?

Il risultato finale sarà una classificazione delle università fatta all’interno di ogni area scientifica … Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.

Ricordo bene quell’intervista che mise immediatamente a nudo, più ancora che l’inadeguatezza tecnica dell’ANVUR, la sua intenzione di arrogarsi un ruolo politico del tutto anomalo nel panorama internazionale dove all’agenzia di valutazione spetta un ruolo tecnico, ben distinto da quello del decisore politico incarnato dal ministro. Per non dire degli errori tecnici di cui è costellata la VQR …

– Peppe, tu sai che io non condivido il tuo atteggiamento iper-critico e a volte, lasciamelo dire, capzioso. Una cattiva valutazione è comunque meglio che nessuna valutazione. In fin dei conti, si tratta di adeguarci agli standard internazionali. Dobbiamo fare la classifica degli atenei per distribuire i fondi in base al merito. Io sono d’accordo con quanto ha scritto Luigi Guiso sul Sole 24Ore: si fa la classifica e si assegnano le risorse premiali solo agli atenei che si collocano nel top 25% della classifica. Agli altri nulla. È ora di adeguarci a quello che si fa da tempo in Inghilterra, dove il RAE, il Research Assessment Exercise, ha come scopo principale quello di fornire una classifica della qualità degli atenei che viene usata per ripartire i finanziamenti pubblici.

[youtube=http://www.youtube.com/watch?v=1joXNHs4_ME]

– Gedeone, la tua conoscenza del RAE è peggiore dell’inglese di Alberto Sordi. Se tu fossi uno studente, ti boccerei in malo modo. Lo sai cosa scrive l’HEFCE, l’agenzia  inglese? – disse Peppe mentre apriva un articolo di ROARS:

RAE2008 results are in the form of a quality profile for each submission made by an HEI [Higher Education Institution]. We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.

RAE2008-Frequently asked questions

 

Gedeone guardò Peppe con sospetto quasi temesse di essere ingannato.

– Ma scusa,  se non fanno le classifiche come fanno a premiare gli atenei migliori?

Peppe non si scompose e con il suo tono un po’ saccente spiegò che nel RAE i fondi erano ripartiti con una formula che teneva conto delle valutazioni dei singoli prodotti scientifici. Usando i coefficienti del 2008 , per una generica struttura il finanziamento era stato proporzionale a

7*NA + 3*NB + NC

dove NA, NB, NC indicano il numero di prodotti di livello A, B e C, rispettivamente.

– Ma non è lo stesso? interruppe Gedeone.

– No, non è lo stesso. Se tu fai la classifica e finanzi solo gli atenei nel top 25%, tutti i prodotti di livello A presentati dall’altro 75% degli atenei non valgono più nulla in termini di finanziamento. Quello che  tu auspichi sarebbe uno schema tutto-niente che configura punizioni e premi collettivi che non hanno nessun riscontro nel sistema inglese che premia l’eccellenza (perdonami la parola) a prescindere da dove si trovi. Lo schema tutto-niente, se possibile,  è reso ancora più assurdo dalla distribuzione dei talenti nell’accademia italiana che sono sparsi un po’ ovunque. C’è solo da sperare che l’ANVUR e il ministro non diano retta ai tuoi maldestri consigli da filo-inglese de noantri.

Gedeone friggeva. Peppe era un amico, ma quando ti faceva le pulci sfoderava un’ironia ai limiti della crudeltà.

– In ogni caso – proseguì Peppe – non mi sorprendo più che tanto dei pasticci bibliometrici commessi dall’ANVUR: a parte Bonaccorsi, nessun membro del consiglio direttivo ha una statura internazionalmente riconosciuta nel campo della valutazione [Alberto Baccini: il futuro della valutazione in un paese latecomer, slide n. 27, NdR]

2. Una classifica che fa acqua da tutte le parti

Gedeone stava per prendere la parola per associarsi alle lodi di Bonaccorsi, quando Peppe afferrò una manciata di fogli che stavano sparsi sulla scrivania e agitandoli in aria iniziò una delle sue proverbiali tirate contro gli studenti poco preparati.

– Prima che mi dimentichi, volevo dirti che ho letto quell’elaborato che mi hai lasciato nella casella delle lettere. Da un lato, apprezzo la tua idea di assegnare un lavoro sugli argomenti del seminario che ho tenuto per i tuoi studenti. Dall’altro, mentre leggevo il lavoro del tuo studente ho disturbato diversi beati e santi del paradiso. Da quanto capisco, tu hai chiesto di elaborare un confronto bibliometrico tra la ricerca prodotta dai sistemi universitari dell’Asia, dell’Europa e del Nord America. A parte l’uso retorico e pervasivo delle parole “excellence” ed “excellent”, lo studente si lancia nella compilazione di una ennesima classifica degli atenei, che misura soltanto i risultati senza tener conto né del numero di ricercatori né dei fondi disponibili, rimandando ad uno studio futuro l’aspetto più importante. È come confrontare i chilometri percorsi da due autoveicoli senza terne conto di quanta benzina avevano nel serbatoio.

Si vede che ho proprio sprecato il mio fiato. Nel mio seminario, avevo spiegato che la classifiche internazionali degli atenei non possono e non devono essere usate per confrontare la produzione e la produttività scientifica delle nazioni e tanto meno dei continenti. Ho anche proiettato la classica frase di King:

The Shanghai Institute of Education has recently published a list of the top 500 world universities. The order is based on the number of Nobel laureates from 1911 to 2002, highly cited researchers, articles published in Science and Nature, the number of papers published and an average of these four criteria compared with the number of full-time faculty members in each institution. I believe none of these criteria are as reliable as citations.

D. A. King, “The scientific impact of nations – What different countries get for their research spending”, Nature, vol. 430|15, July 2004, www.nature.com/nature

Ho pure raccomandato di leggere “Should you believe in the Shanghai ranking” di Billaut et al., che smonta pezzo a pezzo gli errori metodologici di queste classifiche degli atenei. E questo studente cosa fa? Per confrontare i continenti si inventa l’ennesima classifica degli atenei!

Il nostro amico considera 251 scientific fields e per ciascuno di essi costruisce una classifica degli atenei combinando con il medesimo peso sei diversi indici:

• volume of research (number of articles in Scopus refereed journals)
• impact of research (4-year h-index, derived from the number of citations received)
• quality of research (% of articles published in the top 25% and 10% journals, respectively, according to SNIP, a field-normalized measure of impact of journals used by Scopus)
• quality of research (% of citations received from articles published in the top 25% and 10% journals, respectively, according to SNIP)

Uno zibaldone di criteri che vengono aggregati in modo totalmente empirico calcolandone la media dopo che sono stati normalizzati tra 0 e 100.

– E cosa c’è di male? – domandò sorpreso Gedeone – io farei lo stesso. Anzi quando c’erano da calcolare i criteri per la distribuzione dei fondi di ricerca dell’ateneo ho fatto proprio così!

Peppe gli lanciò un’occhiataccia che mescolava disprezzo e commiserazione.

– Ci sono almeno tre grosse falle in questa classifica che imbarca acqua da tutte le parti. Adesso te le mostro.

3. La prima falla: la tecnica di aggregazione è instabile

Il primo errore è la dimostrazione che il tuo studente è un vero fancazzista (scusami il termine, ma quando ci vuole ci vuole). L’articolo di Billaut, non l’ha nemmeno sfogliato! Infatti, usare la media degli indicatori normalizzati significa commettere la stessa identica porcheria che Billaut ha stigmatizzato nella classifica di Shanghai.

– Ma non sei un po’ troppo duro? – Intervenne Gedeone facendo trapelare un imbarazzo di cui Peppe non capiva la ragione.

– Te lo spiego con un esempio, quasi uguale a quello riportato da Billaut – disse Peppe mentre apriva un foglio Excel intitolato “fnczzista.xlsx“. Per semplicità, consideriamo solo i primi due indicatori: il numero di articoli e l’h-index. Immagina che ci siano otto atenei i cui indicatori e le relative normalizzazioni sono riportati nella seguente Tabella A.

Adesso ti mostro che la classifica finale è fragile come un castello di carte, se non di più. Immagina che ci sia un unico cambiamento nell’h-index dell’università che occupa la prima posizione. Più precisamente l’h-index dell’Università h passa da 50 a 70, mentre tutto il resto rimane immutato. Logica vorrebbe che la classifica non cambiasse. Invece,  guarda la Tabella B e vedi un po’ cosa succede …

Hai visto? Le posizioni in classifica degli altri atenei si rovesciano: l’Università a, che era seconda diventa ottava, l’Università b, che era terza diventa settima e così via fino all’Università f che da settima diventa terza e l’Università g che passa dall’ottavo al secondo posto. Ti ricordo che questo terremoto nella classifica è avvvenuto senza che nessuno di questi sette atenei migliorasse o peggiorasse di un millimetro. È bastato che il primo in classifica migliorasse il valore di un singolo indicatore. Che un cambiamento di un indice nell’ateneo di testa possa sconvolgere la classifica di tutti gli altri è un segno di instabilità assai preoccupante. Billaut non usa mezzi termini e, senza tanti complimenti, scrive

The aggregation technique used is flawed

4. La seconda falla: la classifica di Pinocchio

Peppe prese un foglio di carta e si mise a scarabocchiare numeri.

– Adesso ti mostro con un esempio che questi criteri danno risultati privi di senso, delle vere e proprie classifiche di Pinocchio che possono premiare chi fa peggio e punire chi fa meglio. Per semplicità, considera solo tre dei sei criteri:

1. numero di articoli
2. % di articoli nelle riviste top 25%
3. % di articoli nelle riviste top 10%

Ora considera quattro atenei che in un certo scientific field hanno la seguente produzione:

Università A:
200 articoli in totale
105 articoli in riviste top 25% (52,5% del totale)
60 articoli in riviste top 10% (30% del totale)

Università B:
100 articoli in totale
100 articoli in riviste top 25% (100% del totale)
55 articoli in riviste top 10% (55% del totale)

Università C:
50 articoli in totale
50 articoli in riviste top 25% (100% del totale)
50 articoli in riviste top 10% (100% del totale)

Università D:
50 articoli in totale
0 articoli in riviste top 25% (0% del totale)
0 articoli in riviste top 10% (0% del totale)

Quale è la classifica delle università secondo te, Gedeone?

– L’università A è sicuramente la migliore – rispose l’altro – produce più articoli di tutte, ma anche più articoli nelle riviste top 25% e più articoli nelle riviste top 10% rispetto alle altre. Allo stesso modo, l’Università B precede nettamente l’Università C: più articoli, più articoli nelle riviste top 25% e più articoli nelle riviste top 10%. L’Università D, infine è la cenerentola. Insomma, non c’è dubbio che la classifica è

1. A
2. B
3. C
4. D

– Hai detto bene – proseguì Peppe – nel gergo della teoria delle decisioni si dice che l’università B è dominata, in senso paretiano, dall’università A. Un criterio di decisione che sia minimamente sensato non dovrebbe mai preferire B ad A. Lo stesso vale per B e C, nel qual caso è C ad essere dominata da B.

Ricordati che dobbiamo normalizzare i tre indicatori tra 0 e 100. Le percentuali sono già a posto. Rimane da normalizzare il numero di articoli. Attribuiamo il punteggio 100 all’Università A che produce più articoli di tutti, ovvero 200, e il punteggio 0 alle Università C e D che hanno la produzione minima, pari a 50. Il valore normalizzato per l’Università B si calcola con una semplice proporzione:

normalized #papers = (100 – min)/(max-min) =(100 – 50)/(200 – 50) = 33,3

Procediamo con il calcolo dell’indicatore aggregato:

Università A:
score = (normalized #papers  + % top 25% + % top10%)/3 = (100 + 52,5 + 30)/3 = 60,8

Università B:
score = (33,3 + 100 + 55)/3 = 62,8

Università C:
score = (0 + 100 + 0)/3 = 66,7

Università D:
score = = (0 + 0 + 0)/3 = 0

– Come vedi, la tecnica di aggregazione è insensata. L’università C è “dominata” dall’università B, che a sua volta è dominata da A. Ciò nonostante C ottiene il punteggio più alto e vince la competizione. L’Università A, che domina tutte le altre, si classifica solo terza. Una vera e propria “classifica di Pinocchio” che premia i peggiori e punisce i migliori.

Gedeone guardava ed ascoltava un po’ basito.

– Caro Gedeone, l’idea di costruire una classifica mediando una quantità (il numero di articoli) con delle percentuali è realmente demenziale e mi getta nello sconforto pensare che provenga da qualcuno dei nostri studenti. Per farti apprezzare meglio quanto sia demenziale l’idea del tuo studente, immagina che le prestazioni dell’Università A subiscano un lieve peggioramento:

Università A:
150 articoli in totale
105 articoli in riviste top 25%
60 articoli in riviste top 10%

Gli articoli nelle due fasce top sono rimasti gli stessi, ma è calata la produzione totale da 200 a 150 articoli. Cosa ti aspetti?

– Che l’Università A vada ancora peggio, ma non dirmi che viene superata anche da D perché non ci credo, anche se devo ammettere che sei un vero prestigiatore con i numeri.

– No, mio caro Gedeone, succede l’opposto. Diminuendo la sua produzione scientifica, L’Università A balza al primo posto e la classifica si raddrizza, un vero e proprio paradosso: diminuire la  produttività fa guadagnare posizioni in classifica. Guarda qui – disse aprendo un secondo foglio Excel intitolato “peggiodicosi.xlsx“.

Dato che le classifiche degli atenei del tuo studente sono basate su una tecnica di aggregazione priva di senso, anche il confronto tra i continenti perde significato. Prendendo in prestito quanto scritto da Billaut,

any of our MCDM [Multiple Criteria Decision Making NdR] student that would have proposed such a methodology in her Master’s Thesis would have surely failed according to our own standards.

Gedeone, devi dire allo studente che l’elaborato va riscritto da cima fondo. Devi anche dirgli di rileggersi l’articolo di King e quello di Billaut. Meglio, di leggerseli per la prima volta, perché mi sembra parecchio a digiuno della letteratura sull’argomento. Anche un bel ripasso di teoria delle decisioni ci sta bene. Non è accettabile che proponga una metodologia che viola il principio di dominanza paretiana,

5. La terza falla: c’è un errore nei conti!

Peppe era come un fiume in piena. Più volte, Gedeone avrebbe voluto interromperlo per dire una cosa che sembrava importante, ma Peppe proseguiva inesorabile.

– E c’è di peggio, Oltre ad avere usato criteri insensati, non tornano nemmeno i conti!  Per favore, guarda la seconda colonna della Tabella 1

Tabella 1

– Cosa sono i  “Total number of fields in top 30%”? Per esempio, cosa vuol dire che per l’Europa questo totale è 2.863? chiese Gedeone.

– È la somma di tutti i piazzamenti nelle “zone top 30%” delle classifiche conseguiti dalle università europee. Un po’ come se 2.863 fosse il totale delle medaglie europee. Se una nazione ottiene più medaglie nello stesso field, i doppioni vengono tenuti e sommati. Il totale mondiale delle medaglie mondiali è in fondo all’ultima colonna ed è 8.692. Guarda adesso la seconda colonna della Tabella 2:

Tabella 2

Ora stiamo contando i piazzamenti nelle “zone top 10%” delle classifiche. Un po’ come se fosse il totale delle medaglie d’oro di ciascun continente. Il totale mondiale delle medaglie d’oro è in fondo alla colonna ed è 813.

Riassumendo, le medaglie vengono assegnate agli atenei nei primi tre decili di ogni singola classifica. Tra queste medaglie, sono d’oro solo quelle assegnate agli atenei nel primo decile. Per la definizione di decile basta guardare Wikipedia sotto la voce “quantile”:

l’insieme della popolazione “entro il terzo decile” indica quel 30% di popolazione con i valori più bassi.

Nel nostro caso, stiamo contando dall’alto e i primi tre decili indicheranno quel 30% di atenei con gli scores più alti in un certo scientific field. Ne consegue che in ognuna delle 251 classifiche, le medaglie d’oro – assegnate al 10% più alto – sono un terzo delle medaglie complessivamente assegnate in quel field.

Ne segue che il numero totale di medaglie distribuito su scala mondiale deve essere il triplo (qualche ex-aequo a parte) delle 813 medaglie d’oro mondiali. Ma il numero totale di medaglie, invece di essere 813 x 3 = 2.439, è pari a 8.692, un numero che, lungi da essere il triplo, è più di dieci volte maggiore delle 813 medaglie d’oro. Una discrepanza inspiegabile.

Non si capisce come far tornare i conti. Come se non bastassero i criteri insensati, ci sono anche degli errori di calcolo!

6. Voodoo Rankings!

Peppe si stava accalorando.

– Queste classifiche hanno ben poco da spartire con la scienza. Roba da stregoni. Non so nemmeno come etichettarle. Ah, ecco! Un buona definizione potrebbe essere

Voodoo Rankings

E nel mentre Peppe strappò il documento gettando i pezzi nel cestino. Però, si pentì subito dopo e, mentre si piegava per raccogliere i fogli strappati, tentò di scusarsi.

– Scusami, Gedeone, mi sono lasciato trascinare dalla foga. Lo studente ha pur sempre il diritto di vedere dove ha sbagliato, adesso rimetto assieme le pagine con lo scotch …

– Lascia stare, Peppe, non c’è bisogno, lascia pure tutto nel cestino che forse è meglio …

– Ma perché …  come facciamo con lo studente?

– Peppe, quello che – in tutti i sensi –  hai fatto a pezzi non è il compito di uno studente. È il paper che Bonaccorsi presenterà questo pomeriggio!

– Mi stai prendendo in giro?

– Lo stupore di Peppe durò solo un attimo. Poi guardò Gedeone dritto negli occhi per avere conferma dello scherzo. Gli bruciava esserci cascato. Di solito era lui a burlarsi di Gedeone. Ma Gedeone, serio, proseguì:

– No, non è uno scherzo, beh … in un certo senso sì. Sai, volevo chiederti un parere sul paper di Bonaccorsi senza farti sapere che era suo e l’ho messo nella tua casella delle lettere staccando la prima pagina con gli autori. Eccola, controlla tu stesso – gli disse tirando fuori dalla tasca un foglio piegato in quattro:

– Peppe, quello che hai stracciato è un Policy Brief redatto per la Commissione Europea, il cui primo autore è Bonaccorsi.

Seguì un minuto denso di imbarazzato silenzio. Gedeone stringeva le labbra tentando inutilmente di reprimere un sorrisetto di rivincita. Peppe aveva ripreso in mano i fogli stracciati e, dopo averli pietosamente ricomposti sulla scrivania, li fissava attonito con la bocca socchiusa. Stentava a capacitarsi che quel report non fosse il parto di uno sprovveduto studente, ma di un membro del Consiglio Direttivo dell’ANVUR, l’Agenzia di Valutazione Nazionale.

Fu Gedeone a rompere il silenzio:

– Dai Peppe, non stare lì impalato. Vieni con me. Tra poco inizia il seminario di Bonaccorsi. Credo che ci sarà da divertirsi. Ma, per favore, evita di usare l’espressione Voodoo Rankings che altrimenti nella VQR inventano veramente qualche formula magica che sbatte il nostro ateneo in ultima posizione. A meno che …

– … a meno che, stregoneria per stregoneria, non preferiscano infilzare di spilli il pupazzetto del nostro rettore – completò la frase Peppe lanciando un fulmineo e beffardo sguardo di intesa.