«Pavia meglio di Oxford se ricevesse gli stessi soldi», intitolava la Provincia Pavese del 20 agosto, in relazione alla “controclassifica” ARWU pubblicata da Roars e fatta oggetto di un articolo sul Corriere della Sera. Il feticcio delle classifiche è talmente potente che non si riesce proprio (ma non solo a Pavia) a digerire il vero messaggio, ovvero che le classifiche sono pseudoscienza. Sono un po’ come gli oroscopi, ma meno innocue, perché sono numeri finti che nascondono i numeri veri e, con essi, i problemi reali. Siamo ancora al primo passaggio: intaccare la granitica convinzione che le classifiche fotografino la realtà e che questa fotografia certifichi lo spreco dei soldi spesi per università e ricerca. A giudicare dalle reazioni pavesi, adesso ci sono un po’ meno certezze su contenuti della fotografia, ma la guarigione dalla superstizione sembra ancora lontana.

Mercury«Pavia meglio di Oxford se ricevesse gli stessi soldi»

intitola la Provincia Pavese del 20 agosto scorso, in relazione alla “controclassifica” ARWU da me pubblicata sul blog Roars (Classifica ARWU 2015: 14 università italiane meglio di Harvard e Stanford come “value for money”) e fatta oggetto di un articolo sul Corriere della Sera. Nonostante avessi definito la mia provocazione un “divertissement agostano”, non mi ero spinto fino al punto di immaginare i traguardi raggiungibili dagli atenei italiani se ricevesserero gli stessi soldi di Oxford oppure – ancor meglio – di Harvard e Stanford.

ControClassificaCorriere

Che a parità di soldi Pavia possa essere meglio di Oxford, è una pura ipotesi che non avremo mai modo di verificare, dato che non esiste la più remota possibilità di pareggiare le risorse di cui dispongono le cosiddette World Class Universities.

Per rendere l’idea, le operating expenses annuali di Pavia (che conquista 10,5 punti nella classifica ARWU) sono dell’ordine dei 200 milioni di Euro, mentre quelle di Oxford (56,6 punti ARWU) si aggirano sul miliardo di sterline, più di sei volte maggiori. Un divario di risorse che non possiamo sperare di colmare.

Il vero punto (che nel testo della Provincia, almeno in parte, emerge) è che non ha senso sparare a zero sugli atenei italiani usando come proiettili le classifiche internazionali.

Prima di tutto, questi ranking non hanno base scientifica. In secondo luogo, se anche ci ostinassimo a crederci, i risultati delle 20 università italiane che entrano in classifica sono ampiamente commisurati alle spese (per le altre italiane non conosciamo i punteggi ARWU necessari per poter giudicare).

Questo il vero insegnamento da trarre: bisognerebbe scordarsi delle classifiche e ritornare (o iniziare) a ragionare sui problemi reali.

L’articolo della Provincia, oltre a dare un titolo sensazionalistico (forse comprensibile, ma infedele nei confronti della fonte), nel finale confonde qualità con efficienza:

università che hanno più soldi, ma non più qualità delle italiane.

La “controclassifica” non affrontava l’impervio problema di misurare la “qualità” ma si limitava a calcolare cosa costano i “punti ARWU” conquistati dalla università italiane (che spendono 36 milioni di dollari per punto conquistato) e dalle “top 20” mondiali (55 milioni di dollari per punto). Che i punti ARWU misurino effettivamente la “qualità” è un’assunzione alquanto temeraria.

Se passiamo ad esaminare le comunicazioni istituzionali, il comunicato dell’ateneo è scarno e, per fortuna, non indulge a toni trionfalistici, che però riemergono in questa schermata di Unipv.news, un vero inno alle classifiche in tutte le loro forme.

UNIPV_news_29_08_2015La “Controclassifica Roars”, quello che io stesso ho definito un “esercizio pedagogico senza pretese di scientificità”, non intendeva scovare le università più efficienti su scala mondiale ma solo mettere a confronto le “top 20” di ARWU con le 20 italiane. Impossibile vantarsi di essere tra le “prime 10 al mondo”, senza aver valutato centinaia di altre università mondiali.

Va anche detto che la classifica CENSIS, citata in basso nella schermata di Unipv.news, è alquanto malmessa. Si tratta di una classifica dove abbondano errori metodologici e indicatori inappropriati, se non proprio errati (Le classifiche CENSIS-Repubblica sono credibili?). Al punto da fornire esiti paradossali come la medaglia d’argento a Roma Foro Italico per la ricerca nell’area dell’ingegneria industriale e dell’informazione, quando l’ateneo romano, specializzato nelle scienze motorie, non offre nessun corso di ingegneria e dispone di quattro – dicasi quattro – professori e ricercatori afferenti a quell’area disciplinare (Classifica CENSIS-Repubblica: davvero Foro Italico surclassa i Politecnici nella ricerca di ingegneria?).

CENSIS_Ingegneria_2015Bisogna dire che l’ateneo pavese ha sempre tenuto in grande considerazione le classifiche CENSIS, al punto di essere uno dei 17 atenei che qualche anno fa avevano pagato il CENSIS per collaborare allo sviluppo di un “modello di valutazione sperimentale” e calibrarne i pesi. Costo? 20.000 Euro per ateneo (CENSIS chiedeva 20.000 Euro agli atenei per partecipare alla calibrazione di algoritmi di ranking. E 17 atenei aderirono). Non proprio il massimo della trasparenza, visto che alcuni degli indicatori proposti in quel progetto sono tuttora usati nella classifica CENSIS-Repubblica per “valutare” tutti gli atenei italiani.

Il feticcio delle classifiche è talmente potente che non si riesce proprio (ma non solo a Pavia) a digerire il vero messaggio, ovvero che le classifiche sono pseudoscienza. Sono un po’ come gli oroscopi, ma meno innocue, perché sono numeri finti che nascondono i numeri veri e, con essi, i problemi reali.

Siamo ancora al primo passaggio. Sarebbe già qualcosa se la “controclassifica” avesse intaccato la granitica convinzione che le classifiche fotografino la realtà e che questa fotografia certifichi lo spreco dei soldi spesi per università e ricerca. A giudicare dalle reazioni pavesi, adesso ci sono un po’ meno certezze su contenuti della fotografia, ma la guarigione dalla superstizione sembra ancora lontana.

King_MercuryPubblicato il 31 agosto 2015 su www.circoloerreraunipv.it

Print Friendly, PDF & Email

11 Commenti

  1. Giusto denunciare la povertà del dibattito sul tema; eviterei di aggiungere polemiche a polemiche etichettando con “pseudoscienza” la pratica di costruir classifiche.
    Io rimarrei in prima battuta sulla posizione (sperabilmente diffusa) per cui “ogni valutazione non è scienza”; siamo nel campo dell’attribuzione di valore, della formulazione di giudizi soggettivi, non dello “scattare fotografie” come talvolta si legge in documenti anche ufficiali. Per quanto esistano modi e ambiti migliori su cui cimentarsi nel dare giudizi, non possiamo nemmeno squalificare eccessivamente chi vuole formulare povere valutazioni in forma numerica sulle Università.

  2. Caro Renzo,

    Per me le classifiche di università sono assolutamente pseudoscienza, al pari del cosiddetto “metodo stamina” e della chemioterapia Di Bella. Pseudoscienza della più pericolosa, perché molte persone in ambito accademico (che dovrebbero avere gli strumenti culturali per accorgersene) non sono consapevoli di quanto effettivamente lo siano.

    Iniziamo con una considerazione: a cosa servono? La risposta a questa domanda è fondamentale. Ma ci torniamo dopo.

    È vero che tante persone le usano ma prendiamo l’omeopatia. Sono 200 anni che alle persone con mente semplice è propinata acqua che nessuno è in grado di distinguere da altra acqua. Non è che se tanta gente dà credito alle classifiche, queste diventino improvvisamente scienza.

    Le classifiche partono da un’ipotesi pseduoscientifica: “-è possibile descrivere un’istituzione universitaria con un solo numero”. Ora, vorrei trovare un qualsiasi articolo scientifico attendibile che abbia almeno studiato questa ipotesi. Perché se non c’è, è inutile continuare.

    Attenzione al potere mistificatorio dei numeri. Il mio bisnonno lo conosceva bene. Vendeva i numeri del lotto ai malcapitati. E loro gli credevano perché lui presentava tutta una serie di tabelle nelle quali con precisione certosina studiava i ritardi dei numeri. Ma era l’ipotesi di base ad essere fallace: non è possibile prevedere quali numeri usciranno basandosi sulle estrazioni precedenti e quindi i suoi complicatissimi calcoli erano inutili. Prima di misurare qualcosa in ambito scientifico ci si dovrebbe chiedere : “ma cosa sto misurando?”

    Si misurano in modo discutibile dei parametri e dopo si combinano. Ma in che modo? E qui troviamo la seconda falla grave: la scelta della classifica dipende dalla scelta dei coefficienti. 40% didattica 60% ricerca? Qualsiasi essa sia, la scelta dei coefficienti è arbitraria. Di nuovo, non esiste nessuno studio attendibile che dica quali sono i coefficienti migliori.

    E qui arriviamo a un test per vedere se stiamo facendo scienza o no. Le scienza è falsificabile. È possibile riconoscere la falsificazione. Nelle classifiche di università no, perché non c’è una classifica giusta o sbagliata. Ovviamente, chi compila le classifiche presenta il risultato finale mettendo nelle prime posizioni quelle che effettivamente sono le università migliori, tipo Harvard o Cambridge. Ma servivano i calcoli della classifica per arrivare a questo?

    Le classifiche sono quindi pseudoscienza, perché c’è appunto la volontà di presentare come scienza qualcosa che scienza non è.

    Adesso torniamo alla prima domanda: a chi servono le classifiche.

    Agli studenti? No perché non misurano nulla.
    Alle università per migliorarsi? No perché i parametri che si considerano hanno poco o nulla a che vedere con quelli che dovrebbero portare a un’università migliore.
    Ai giornalisti e amministratori universitari per scrivere articoli sensazionalistici? A chi compila la classifica per “vendere” i suoi numeri ai malcapitati come buona regola di qualsiasi pseudoscienza? Ecco forse adesso abbiamo la risposta…

    • le classifiche in effetti sono solo marketing. Può darsi che in un’epoca di declino scientifico (e etico) il marketing abbia un fascino irresistibile. Il problema è che i primi complici di questa deriva sono i policy makers, talora troppo ignoranti per coglierne il senso, talora – quando provengono dal mondo accademico, e non sono pochi – troppo furbescamente impegnati a trarre il loro personale tornaconto, costi quel che costi.

    • Cerco di precisare: molti produttori di rankings non hanno mai inteso presupporre che la loro attività fosse “scienza”; sanno benissimo che la “valutazione” è qualcosa di fondamentalmente diverso (un po’ di filosofia non è passata invano). Piuttosto, ritengono che loro classifica sia una “valutazione esperta”, fatta da gente che ne sa di università, e con l’uso di dati attendibili – mi spiego?
      Per questo non si coglie nel segno al 100% quando si accusano costoro di fare “pseudoscienza” (o, meglio, si rischia di sfondare delle porte aperte, da questo punto di vista).

    • > Cerco di precisare: molti produttori di rankings non hanno mai inteso presupporre che la loro attività fosse “scienza…”

      Caro Renzo, personalmente sono un fan dei film di fantascienza. Questi non sono pseudoscienza perché pur basandosi su presupposti plausibili (es. i viaggi nel tempo in prossimità di un buco nero) sono chiaramente finzione. Non c’è nessun intento di indurre in errore. Chi produce film di fantascienza non si offre come certo consulente a pagamento presso persone di mente semplice per un viaggio nel tempo! Non mi risulta che chi produce i ranking scriva “attenzione: la seguente classifica non ha nulla a che vedere con un’analisi attendibile della realtà”. Anzi. Non è un caso che solo le prime posizioni delle classifiche siano pubblicate. Il produttore si offre di “valutare” (dietro lauto compenso) i sistemi universitari di interi paesi costruendo una “classifica affidabile”. Per non parlare di chi riesce ad ottenere fondi pubblici per la sua meritoria attività o chi offre consulenze per migliorare il proprio ranking.

      Nei ranking, non esiste alcuna “valutazione esperta”. Non confondiamo l’informazione (una serie di numeri) con la conoscenza (la capacità critica di analizzarli). La valutazione dell’università serve ad allocare le risorse in modo ottimale. La compilazione dei ranking serve essenzialmente a vendere gli stessi ranking.

    • Caro Marco,
      non ci stiamo dividendo sul giudizio complessivo da dare all’impresa dei ranking universitario dal punto di vista della qualità: siamo d’accordo che si tratta di espressioni povere e grossolane.
      Stiamo cercando di inquadrare meglio i caratteri di codeste intraprese. Io ribadisco che la qualifica di “pseudoscienza” non serve all’uopo, in primis perché loro stessi non pensano di fare scienza.
      Dico inoltre che il concetto di “valutazione esperta” esiste, e loro [la maggioranza] pensano di essere nel novero di quelli che la stanno facendo. Una “valutazione esperta” è quella di un professionista nei confronti di una situazione che ricade sotto la sua competenza. Ad esempio i voti che tu dai agli studenti sono “valutazioni esperte”.
      Spero di essermi spiegato meglio.

    • Beh, credo che un valutatore che mette Alessandria di Egitto davanti a Harvard e Stanford, tanto esperto non sia. Stregoneria o pseudoscienza sembrano termini più appropriati.


      A riprova di quanto fosse esperto il valutatore, basta leggere cosa dichiarava in occasione del fantasmagorico exploit degli egiziani:
      ____________________

      “Times Higher Education (THE) is confident that the 2010-2011 world university rankings represent the most accurate picture of global higher education THE has ever produced.”
      ____________________
      “We believe we have created the gold standard in international university performance comparisons.”
      ____________________
      Siamo nei paraggi dei guaritori filippini.

  3. Sono totalmente d’accordo con Giuseppe, Marco e Andrea. Aggiungo che il Marketing è è la negazione e la maggiore mistificazione della tanto osannata Meritocrazia. Sono sempre gli “altri” a non applicare il merito. La libertà di stampa in Italia ci colloca tra il 64 e il 73 posto al mondo, nessuno lo dice. Ma anche questa graduatoria è legata a parametri internazionali (discutibili?). Trovo assolutamente opportuno rispondere con dati meditati (come quelli di Nicvola meravigliao) per dimostrare l’incosistenza delle graduatori di merito pubblicizzate dai giornali nazionali e sostenuti dai soliti spaghettieconomisti (mi piace molto questa definizione roars) Avanti tutta roars e grazie per quello che fate

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.