Fake News 24 / La bufala del giorno

La classifica del Sole 24 Ore: Macerata e Salerno al top per la ricerca … o no?

Se il Sole 24 Ore pubblica la sua Classifica delle Migliori Università Italiane è naturale andare a vedere chi vince e chi perde. E c’è una sorpresa proprio per quanto riguarda l’indicatore più ambito, ovvero la qualità della ricerca scientifica. Infatti, l’Università di Macerata si colloca sul gradino più alto del podio infliggendo un pesante distacco alla seconda classificata, l’Università di Salerno, che è comunque una sorpresa. Verona è solo terza seguita da Trento. Ma quali indicatori ha usato il Sole 24 Ore per sconvolgere le gerarchie costituite? Stando a quanto dichiarato, ha fatto “tesoro delle valutazioni realizzate dall’Anvur”. Ma se andiamo a verificare sui dati VQR forniti dall’ANVUR, i conti non tornano. Per di più, la nota tecnica del Sole 24 Ore è indecifrabile e sgrammaticata. Impossibile raccapezzarsi. Almeno, fino a quando non bussa alla porta il nostro collega Gedeone, portando con sé la soluzione del mistero …

SulSoleLeClassifiche

Non senza essere stata annunciata con un certa qual soddisfazione, sul Sole 24 Ore di oggi è stata pubblicata la Classifica delle Migliori Università italiane.

Se si entra nel dettaglio tecnico, non sembra esserci un grande sforzo metodologico. Avendo considerato nove indicatori per la didatttica, nornalizzati ciascuno tra 0 e 100, se ne calcola la media per ottenere la classifica generale per la didattica.

Si tratta di una metodologia di aggregazione non validata, che, come brillantemente spiegato da Billaut et. al, è soggetta alla cosiddetta “normalization trap”, di cui abbiamo già parlato in un precedente articolo di Roars (Andrea Bonaccorsi e le classifiche degli atenei: Voodoo rankings!). Riferendosi a questa tecnica di aggregazione dei punteggi, Billaut era stato molto esplicito:

The aggregation technique used is flawed

Il Sole 24 Ore usa lo stesso metodo (fallato) per aggregare altri tre indicatori relativi alla ricerca. Infine, mediando il voto della didattica e quello della ricerca si ottiene il voto complessivo che fornisce la classifica generale.

Non potendo dare molto credito alla classifica complessiva, può essere tuttavia interessante esaminare i dati e le classifiche dei singoli indicatori. In particolare, il Sole rielabora i voti VQR per stilare una classifica della qualità della ricerca. Un’operazione abbastanza spericolata, dato che la stessa ANVUR aveva messo in guardia relativamente alla possibilità di comparare i voti ottenuti nelle diverse aree scientifiche:

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina.
Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie Aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse, un esercizio senza alcun fondamento metodologico e scientifico.

Questo stesso caveat riguarda in qualche caso il confronto tra settori scientifico-disciplinari (SSD) interni a un’Area. Mentre in alcuni casi è possibile confrontare la qualità della ricerca tra SSD della stessa Area, in altri casi (evidenziati nei singoli rapporti di Area) tale confronto non è possibile né opportuno. Le graduatorie di Area e di sottoinsiemi più omogenei all’interno di un’Area, quali sub-GEV o SSD, sono finalizzate al confronto nazionale di natura verticale al loro interno.

Rapporto Finale ANVUR – Parte I, p. 7

Va anche detto che il Sole 24 Ore non è il primo a cimentarsi nel tentativo di rendere comparabili i risultati conseguiti in aree scientifiche diverse. Ci ha provato l’ANVUR in due modi diversi (standardizzazione per area e per SSD) nell’accreditamento dei dottorati e ci ha provato anche la CRUI proponendo altre due standardizzazioni finalizzate alla ripartizione interna agli atenei. Quello del Sole 24 Ore sarebbe pertanto almeno il quinto diverso tentativo di risolvere un problema per sua natura impossibile.

In assenza di un campione di riferimento (il metro di Sèvres, per intenderci) la calibrazione non è possibile se non a costo di ipotesi che vanno esplicitate e discusse nel merito (VQR da buttare? Persino ANVUR cestina i voti usati per l’assegnazione FFO 2013). Sembra di assistere agli sforzi di inventori dilettanti che si ingegnano a ottenere il moto perpetuo.

C’è comunque la curiosità di capire a quale marchingegno numerico abbia fatto ricorso la classifica del Sole 24 Ore per estrarre una classifica unica dal tabellone dei voti VQR nelle 16 diverse aree. In particolare, vorremmo capire come sia possibile che in testa agli atenei italiani ci sia Macerata, con uno strabiliante 2,6, seguita da Salerno con un punteggio 1,9 meno brillante, ma comunque superiore al Politecnico di Milano. con il suo 1,7.MacerataSalernoTopSecondoSole24Lavoriamo duramente sul foglio Excel gentilmente messo a disposizione dal Sole, ma non veniamo a capo di nulla. Non sembra esserci nessun modo di elaborare i voti VQR in modo da proiettare Macerata al primo posto della VQR.

Andiamo a cercare una nota metodologica sul sito e troviamo questo.

NotaMetodologica

 … media aritmetica dei valori R di qualità della produzione scientifica di area con pesi pari alla proporzione di prodotti di ricerca attesi dall’area sul totale di prodotti rapporto tra numero di ricerca attesi nell’ateneo.

Boh. Oltre che i numeri sembra diventato problematico anche l’uso della lingua italiana. A meno che non si tratti di una “supercazzola prematurata” nel migliore stile dell’indimenticabile “Amici Miei” di Mario Monicelli.

Insomma, questa classifica ci sta procurando un vero mal di testa.

Stiamo per gettare la spugna, quando bussa Gedeone, un nostro collega. Tutto infervorato, parla delle classifiche che ha letto sulla copia cartacea del Sole 24 Ore che ha sotto braccio. Per curiosità dispieghiamo il quotidiano sulla scrivania e cerchiamo la classifica inspiegabile. Ed ecco cosa si vede.

Sole24OreCartaceo

Ecco spiegato l’arcano. Nella versione on-line è stata scambiata la colonna della Qualità della produzione scientifica (voti VQR)  con quella della Competitività della ricerca (fondi esterni), che ha a che fare con la capacità di attrazione di risorse per progetti. È in questo campo  (colonna di destra) che Macerata e Salerno eccellono, non nella valutazione dei prodotti della ricerca (colonna di sinistra).

Andando a ricontrollare sul sito del Sole si vede che anche le “Classifiche personalizzate” sono sbagliate.

Personalizzate

Ma Gedeone era venuto per un’altra ragione:

Hai visto che dilettanti quelli del Sole 24 Ore: hanno usato un bel po’ di dati della VQR 2004-2010, ma nel citare la fonte, sai cosa hanno scritto dappertutto? Guarda qui.

VQR2006_2010

Non citare correttamente il periodo temporale della VQR 2004-2010 è indubbiamente una distrazione, ma messa assieme alla nota metodologica in stile supercazzola e allo scambio di colonne rende l’idea della cura che sta dietro tutta l’operazione. Tanto più che ci sono altri punti interrogativi. La classifica dell’Alta formazione dovrebbe misurare la Qualità dei dottorati, come messo in bella evidenza, ma chi conosce la VQR rimane perplesso nel vedere indicata come fonte  “Rilevazione 2013 Anvur sulla qualità della ricerca – Vqr 2006-2010 [sic]”. Infatti, è noto che la VQR non contemplava nessuna misura della qualità dei dottorati.

AltaFormazione

Nella VQR, l’unico dato relativo all’alta formazione era l’indicatore IRAS5, ovvero un semplice conteggio del numero di ricercatori in formazione (studenti di dottorato, assegnisti di ricerca, borsisti post-doc). Come si può leggere qui,  è questa l’informazione su cui il Sole ha elaborato il terzo indicatore della ricerca, etichettato come “Qualità dei dottorati”, mentre è solo un conteggio di ricercatori.

E questo è solo quello che salta all’occhio ad un primo esame sommario.

Riguardo alla classifica di Shanghai, Billaut scriveva

Therefore, it does not seem unfair to say that the Shanghai ranking is a poorly conceived quick and dirty exercise.

ma solo perchè non aveva visto le classifiche del Sole 24 Ore.

Post Scriptum: Nell’articolo in prima pagina del Sole,  il Prof. Daniele Checchi mette le mani avanti:

I dati di queste pagine sono un buon esempio di come si possano fornire informazioni in un formato utilizzabile. Ma già immagino i detrattori che cominceranno a obiettare sull’affidabilità di questo o quel dato, o sulla loro ponderazione.

http://www.ilsole24ore.com/art/notizie/2014-06-23/misurare-poter-migliorare-063641.shtml

Prudenza o preveggenza?

 

 

Send to Kindle
Tag: , , , , , , , ,

15 Comments

  1. Giuseppe De Nicolao says:



    Sul Sole in prima pagina Daniele Checchi firma un articolo intitolato
    ________________
    “Misurare per poter migliorare”
    ________________
    Alla luce degli svarioni evidenziati da Roars, un titolo più appropriato avrebbe potuto essere
    ________________
    “Migliorare per poter misurare”
    ________________
    È patetico difendere l’incompetenza evocando
    ________________
    “… una guerra sotterranea. Tra chi ritiene che i processi formativi possano essere misurati, usando queste misure per rendere conto del lavoro svolto, e chi al contrario pensa che “per natura” la formazione e la trasmissione della conoscenza siano fenomeni così complessi da sfuggire a ogni tentativo di quantificazione.”
    ________________

    Le difese ideologiche hanno le gambe corte. Parafrasando quello che scriveva Bruce Thompson sull'(ab)uso dei percentile ranks nella costruzione di classifiche (http://www.eric.ed.gov/ERICWebPortal/detail?accno=ED363637), viene da dire:
    ________________
    “The only reason for using flawed methods is ignorance, and it is questionable whether a defense of ignorance will be viable.”

  2. Questo è [uno de]i prezzi che la comunità accademico-scientifica continua a pagare per non aver contestato in fieri il bubbone della VQR, anzi validandola con le solite formule ideologiche sulla “necessità della valutazione ex-post”, che non vuol dire niente in generale, e – come si vede – vuol dire ancor meno nel caso particolare, laddove contribuisce a tirarsi la zappa sui piedi.

  3. Giuseppe De Nicolao says:

    Sul sito del Sole 24 Ore è stato corretto lo scambio di indicatori, che rimane comunque è documentato dalla “cattura” dello schermo riportata nel nostro articolo. Lo scambio è stato corretto anche nella “classifica personalizzata”.

    • Da notare che sono stati corretti strafalcioni materiali non gli errori concettuali. Per correggere questi ultimi bisognerebbe studiare, attività troppo impegnativa a quanto pare

    • Giuseppe De Nicolao says:

      L’università di Macerata non si rassegna e ancora oggi (24.06.2014, ore 18:30) rivendica il primo posto per la qualità della ricerca. Nella nota in piccolo scrive
      _______________
      NOTA. In due delle tabelle pubblicate a pagina 3 dell’edizione odierna del Sole 24 Ore sono stati invertiti i titoli, “Qualità produzione scientifica” e “Competitività della ricerca”, come risulta dalle tabelle on line
      _______________
      dando per scontato che ad essere sbagliata fosse la versione cartacea. Purtroppo, ad essere sbagliate erano le tabelle on line, prontamente corrette dopo la denuncia di Roars.


      http://www.unimc.it/it/unimc-comunica/comunicati-stampa-1/comunicati-stampa2014/luniversita-di-macerata-tra-i-migliori-atenei-italiani
      _______________
      Difficile rassegnarsi all’idea che la medaglia d’oro piovuta dal cielo fosse destinata a qualcun altro.
      Viene in mente il caso di Alessandria d’Egitto protagonista di un effimero quarto d’ora di gloria nella classifica Times Higher Education grazie agli exploit di M. El Naschie, fenomenale pubblicatore di articoli sulla rivista da lui stesso diretta. All’ateneo egiziano, il blog Ranking Watch ha dedicato un post compassionevole paragonandola ad un “ageing boxer trying for ever more obscure titles” (http://rankingwatch.blogspot.fr/2014/04/will-alexandria-university-make-comeback.html).
      Forse Macerata farebbe meglio a prendere atto della realtà.
      Il Sole 24 Ore con il suo svarione ci ha offerto una dimostrazione esemplare di cosa sia la valutazione della ricerca in Italia: una stregoneria che i valutati subiscono senza capirne nulla. Se prendessimo a caso uno degli atenei con i peggiori voti VQR e dicessimo che nella specialissima classifica Roars sono risultati i migliori d’Italia, si precipiterebbero a scriverlo nella home page senza fare la minima verifica (intontiti da standardizzazioni ANVUR e CRUI, non saprebbero da dove cominciare, d’altronde).
      Magia nera, insomma.

  4. nonnepossopiu says:

    Però facciamo ottime scarpe.

  5. Dopodichè vorrei far notare, personalmente, che non solo la metodologia utilizzata per stilare la classifica è sbagliata, ma anche i dati utilizzati sono errati. Un esempio lampante è la copertura di borse di studio nell’Ateneo di Padova: per il sole 24 ore ferma al 60% circa, nella realtà totale, del 100%.
    Sarà l’unico errore?

  6. Chissà perché nel nostro Paese, a parte gli eventi sportivi, le classifiche vengono fatte solo per le Università?
    Anche i giornali vivono di sussidi pubblici e beneficiano dei cosiddetti “contributi indiretti”, attraverso importanti riduzioni fiscali.
    Invece di distribuirli a pioggia tali sussidi e agevolazioni, non si potrebbe vincolarli a un sistema di valutazione nazionale, come quello delle Università?
    Prima di tutto ci vorrebbe una nuovissima Agenzia Nazionale di Valutazione del Sistema dell’Editoria (ANVEDI). Poi, per qualche anno, tutti i giornalisti italiani dovrebbero inserire i loro articoli in una macchinosissima piattaforma informatica del CINECA.
    Il sistema potrebbe quindi calcolare le citazioni di ciascun articolo pubblicato e, da queste, le mediane e gli indici-h per ciascuna testata. In questo modo potrebbe essere distribuita la “quota premiale” del finanziamento pubblico all’editoria.
    Chissà cosa succederebbe? Magari, dalla somma normalizzata dei vari indicatori, verrebbe fuori che la testata più autorevole e accreditata è Topolino.

    • Spero non ti dispiaccia: ho messo la tua idea dell’ANVEDI sulla pagina FB di Roars…
      Citando l’autore ovviamente!!!

  7. ANVEDI è bellissimo 🙂
    Dicono che prossimamente la VQR verrà utilizzata per capire quanto i ricercatori usino la mensa ed eventualmente chiuderne qualcuna. Lì, si perde solo tempo.

    • E andare al bagno? si sa, le donne ci mettono piu` degli uomini? un altrO ARGOMENTO DA CLASSIFICAZIONE: chi piu` ci mette, meno e` produttivo…o no?

    • La VQR può anche questo. Sono numeri esoterici quindi difficilmente comprensibili applicando il metodo scientifico. E’ tutto lì. Si prenda ad esempio il 28 che per addizione teosofica fa 1 (2+8=10=1+0=1) ma che è anche 7×4, apparentato a 4 che sono le fasi della luna.
      Noi miseri ricercatori non ci possiamo arrivare. Possiamo solo crederci.

  8. Pingback: Classifica Università. Numeri e sviste del Sole 24 Ore

  9. Pingback: [Reblog]: La classifica del Sole 24 Ore: Macerata e Salerno al top per la ricerca … o no? | Io Non Faccio Niente

  10. Pingback: La rankingmania per l’Università: valutare per migliorare, migliorare per valutare | Il Nadir

Leave a Reply

Sostieni ROARS

Sostieni ROARS