In quella città unica e meravigliosa che è Napoli, durante la guerra, il mio bisnonno Gustavo “campava la famiglia” vendendo i numeri del lotto. Non certo li sognava semplicemente: aveva quaderni e quaderni dove annotava meticolosamente quali erano in ritardo e quindi sarebbero usciti. Effettivamente, alcuni dei suoi clienti vincevano davvero. La mia mamma ci si arrabbiava ogni volta: -“nonno, ciascun numero ha la stessa probabilità di uscire ogni volta!”-, ma questo ragionamento non toccava né le sue granitiche certezze e neppure quelle dei suoi clienti.
In effetti, lo schema ideato dal nonno (in buona fede?) era geniale. Vendeva, grazie alla sua capacità di affabulatore, dei numeri immateriali ottenendone un ritorno economico reale. Le persone avevano fiducia proprio perché dietro ai “suoi” numeri c’era davvero un lavoro di ore a studiare a cifre ed estrazioni che nessuno comprendeva appieno.
Ho ripensato ai numeri di nonno Gustavo quando è uscita l’ennesima classifica di Università, e ai suoi affezionati clienti quando ho letto i commenti sulla stampa. In questa ed altre classifiche ci sono degli elementi comuni con il “lavoro” di nonno Gustavo: la risposta semplice ad una domanda che non ha risposte reali (i numeri), il marketing del prodotto (i siti web delle compagnie private che presentano le classifiche sono davvero ben progettati), una parte dei clienti soddisfatti (chi è in testa alle classifiche è raro che le contesti), lo studio con procedure complicate senza validazione scientifica (la pseudoscienza delle classifiche) che tuttavia accredita il “bene” presso chi non comprende come il dato è ottenuto.
Nella nuova edizione della classifica, Bologna ha avuto un’ottima performance, prima tra le università Italiane (182esima a pari merito) con 55.8 punti, sopravanzando di ben due punti percentuali Roma-Sapienza (202esima con solo 53.8). Qualcosa di cui esultare davvero stavolta?
Si potrebbero segnalare gli svarioni degli anni precedenti di questa graduatoria, ma proviamo invece a spiegare perché è proprio il “cuore” della classifica ad essere fallace. Questa è basata su una raccolta dati, che sono con un peso rilevante (40%) le “opinioni” degli accademici in giro per il mondo e la loro combinazione tramite la media pesata.
Esempio pratico: abbiamo tre studentesse, Anna, Barbara e Carla, che alla fine dell’anno ottengono in matematica, lettere e ginnastica rispettivamente i seguenti voti: A: 8,6,6, B: 6,8,6; C: 7,7,7. Problema: qual è la studentessa migliore? Si direbbe Carla (media del 7 rispetto ad Anna e Barbara, solo 6.77). In questo caso si parla di media aritmetica perché ciascun voto è pesato in modo uguale (33%). Tuttavia, si potrebbe obiettare che la matematica sia più importante della ginnastica, e assegnargli un peso maggiore (media aritmetica ponderata), tipo 60% e pesando per il 20% le altre due discipline. In questo caso, la prima in classifica è Anna (media pesata 7.2). Analogamente, se pesiamo di più la letteratura, Barbara domina le altre due. Come stabiliamo quali sono i pesi “corretti”? Qui non c’entrano nulla matematica o misure oggettive (ammesso che la compilazione di un questionario possa portare a “dati oggettivi”), ma solo una decisione a tavolino di chi ha ideato la classifica, la quale può stravolgere la graduatoria soprattutto quando le differenze sono minime.
A questo punto molti lettori potrebbero commentare: ma se questa classifica o le altre non vanno bene, perché non la proponi tu sapientone quella giusta? Potrei replicare che era esattamente l’obiezione di nonno Gustavo: -“studia i tutti miei calcoli e dammela tu una soluzione migliore per predire quali numeri usciranno al lotto”-.
Nonno Gustavo non l’ho mai conosciuto, se non dai racconti della mia famiglia. Sempre con una salute di ferro, andò via per una banale infezione un mese prima che io nascessi. Se lo potessi incontrare, gli proverei a spiegare che le classifiche sono in realtà predeterminate e in base a queste scelte. Le posizioni intermedie variano anche significativamente, quindi sono inutili. Riguardo alle università che sono in testa in a tutte le classifiche, queste graduatorie sono di nuovo superflue poiché è comunque noto che Cambridge(terza) e Harvard (quinta)sono eccellenti università e se una vale 99.4 e un’altra 99.3 non c’è significativa differenza con il MIT (100, primo). Ho paura che alla fine sarebbe nonno Gustavo a convincermi di comprare a un prezzo di favore i “suoi” numeri del lotto…
(articolo apparso anche su Il Fatto Quotidiano)
Francamente non sono d’accordo con il parallelo. C’è una differenza fondamentale fra i numeri del lotto e le università. I primi escono realmente a caso, per cui ogni predizione è necessariamente pretestuosa. Le Università invece sono realmente diverse tra loro, con alcune miglior ed altre peggiori. Il problema è come valutarle e quanto siano affidabili le classifiche, ovviamente, come messo in evidenza nell’articolo. Dire però che valutare l’Università è come predire i numeri del lotto porta a conclusioni sbagliate. Una cosa è sostenere che le valutazioni hanno limiti, vanno prese con le pinze, la metodologia studiata e che un numero non è sufficiente per una valutazione globale. Un’altra cosa è sostenere che valutare l’Università è come “dare i numeri al lotto”, praticamente il bengodi dei mediocri.
Saluti,
V.
Nessuno sostiene che valutare l’Università è come “dare i numeri al lotto”, ma che gli attuali *ranking delle universita’* misurano il nulla.
caro Valdimir,
il parallelismo dell’articolo non è tanto su “classifiche-numeri al lotto”. E’ piuttosto sui conti di nonno Gustavo e e gli “algoritmi” che “misurerebbero” la università permettendo di ottenere una “classifica”. Il successo del Nonno dipendeva dal fatto che non si limitava come altri suoi “colleghi” a dire -“i numeri li ho sognati”- ma bensì presentava una serie di “calcoli e studi” che “supportavano” le sue conclusioni. Nella Napoli di metà secolo scorso molte persone gli credevano davvero. Proprio chi crede fortmente nella valutazione e ritiene che le università non siano affatto uguali dovrebbe rifiutare pratiche “Nonno Gustavo-Style”, che ad una anche supercifiale analisi non misurano nulla.