È noto che le classifiche delle università sono volatili e si contraddicono a vicenda, ma quelle del Sole 24 Ore si avviano a battere ogni record. Il 20 luglio scorso, il Politecnico di Torino brillava al primo posto della classifica che misura l’occupazione dei laureati, ma il 29 luglio la sua fortuna si eclissa e sprofonda al 22-esimo posto. Cosa è successo? Il 24 luglio Roars intitolava Classifica Sole 24 Ore: un “aiutino” e … voilà, la LUISS scavalca il San Raffaele. Passano pochi giorni ed ecco che il Sole “ricalcola” le classifiche, riportando il San Raffaele al secondo posto degli atenei non statali, seppure a pari merito con la LUISS. Ma la pezza è peggio del buco, perché adesso è il Politecnico di Torino a subire un serio danno di immagine, derivante dall’adozione di un indicatore del tutto inadeguato. Il Politecnico di Torino subirà in silenzio lo smacco? O esigerà dal Sole un altro “ricalcolo”?
1. Contrordine, compagni!
Un uomo i cui occhi sono coperti dalla prima pagina dell’Unità ripiegata a formare una benda, sotto la quale spunta un improbabile nasone dotato di tre narici. Era in questo modo, per nulla politically correct, che Giovannino Guareschi ritraeva i militanti del partito comunista, visti come zelanti e ottusi esecutori di ogni singola parola stampata sull’organo ufficiale del loro partito. Talmente ottusi, secondo la satira del Candido, da prendere alla lettera anche i refusi. Era questo il leitmotiv delle vignette intitolate “Obbedienza cieca, pronta, assoluta” che iniziavano invariabilmente con le parole “Contrordine compagni!”, l’incipit di un’immaginaria rettifica che arrivava troppo tardi per risparmiare ai “trinariciuti” le più imbarazzanti (e comiche) disavventure.
A distanza di tanti anni, i trinariciuti sembrano l’eco di un lontano passato, mentre l’espressione “contrordine compagni” è un modo di dire di cui i più giovani ignorano l’origine.
Tuttavia, il Sole 24 Ore sembra essersi messo di impegno per dare nuova attualità alle vignette di Guareschi (lungi da noi però insinuare che il lettore medio del Sole abbia più di due narici). Ci riferiamo alle classifiche delle università che, a pochi giorni dalla loro uscita, sono subito soggette a rettifiche sostanziali, proprio come l’Unità immaginata da Guareschi era continuamente impegnata a pubblicare trafiletti di rettifica dei propri refusi.
Nell’estate 2014, Macerata e Salerno avevano potuto provare – sebbene per poche ore – l’ebbrezza di stare in cima alla sottoclassifica della ricerca scientifica, quella basata giudizi ottenuti dai prodotti della ricerca nella VQR 2004-2010 (che per un refuso del Sole era diventata VQR 2004-2009). Come prontamente notato da Roars, non c’era nessun primato scientifico, ma solo un maldestro scambio di colonne, che, a valle della segnalazione di Roars, il Sole aveva provveduto a rettificare.
Non che nel 2015 le cose siano andate meglio. Le classifiche sono state pubblicate il 20 luglio e, meno di 10 giorni dopo, è apparso un trafiletto dal titolo apparentemente innocuo:
Occupazione, in vetta Insubria e Bicocca
In realtà, ci troviamo di fronte a una riedizione dei trafiletti dell’Unità immaginati da Guareschi, quelli che iniziavano con “Contrordine compagni!“. Nel testo, infatti, viene scritto che
l’indicatore sull’occupazione dei laureati a un anno dal titolo è stato ricalcolato, accogliendo i suggerimenti di AlmaLaurea, tenendo conto del numero di laureati intervistati relativi a ogni corso di laurea, e non solo sulla base della percentuale media degli occupati a un anno (definizione Istat)
Qualsiasi cosa possa voler dire la spiegazione tecnica (noi stessi fatichiamo a decifrarne il senso preciso), risulta però chiaro che la classifica Occupazione è stata ricalcolata. Solo nelle ultime righe emerge quella che potrebbe essere la vera ragione dell’inaspettato ricalcolo:
fra gli atenei non statali … il primo posto continua ad essere riconosciuto alla Bocconi, seguita da Luiss e da Milano San Raffaele a pari merito. Con il ricalcolo quet’ultimo ateneo ottiene infatti un punto in più, che gli permette di pareggiare i conti con l’università romana.
Che sia una coincidenza o meno, il 24 luglio era uscito un articolo di Roars intitolato Classifica Sole 24 Ore: un “aiutino” e … voilà, la LUISS scavalca il San Raffaele, nel quale si spiegava proprio come un intervento “chirurgico” sulla scelta dell’indicatore usato per stilare la classifica Occupazione aveva consentito alla Luiss di sorpassare il San Raffaele.
Il trafiletto si guarda bene dall’osservare che l’onda lunga del ricalcolo si è abbattuta sul Politecnico di Torino che, da primo che era nella classifica Occupazione, ora sprofonda al 22-esimo posto. Probabilmente, il Sole intendeva risarcire felpatamente il San Raffaele, restituendogli un secondo posto che – come vedremo – gli spettava sia con i criteri 2014 che con quelli 2015, nella speranza che nessuno si accorgesse degli effetti collaterali sugli altri atenei.
Ma non corriamo troppo. Se vogliamo dipanare la matassa di questa storia, dobbiamo andare per ordine, partendo dall’aiutino, grazie al quale la LUISS, “l’Università di Confindustria”, aveva strappato il secondo posto al San Raffaele nella classifica degli atenei non statali.
2. Il testa a testa tra San Raffele e LUISS
Uno degli elementi che risaltavano nel confronto tra le classifiche 2014 e 2015 del Sole 24 Ore era il sorpasso della Luiss a spese di Milano San Raffaele nella classifica degli atenei non statali. Nel 2014 la Luiss era terza a ben sei punti di distanza dal San Raffaele, mentre nel 2015 lo supera di un punto, aggiudicandosi la medaglia d’argento.
Destava un certo interesse il fatto che su 12 indicatori usati nel 2011, il Sole ne avesse confermati 11, modificando solo l’indicatore usato per stilare la classifica Occupazione. A titolo di esperimento, avevamo provato a ricostruire come sarebbe stata la classifica 2015 degli atenei non statali senza questa modifica “chirurgica”, di cui non erano state spiegate le ragioni.
Mantenendo gli stessi indicatori del 2014 (riquadro di sinistra: PRIMA DELLA CURA), Milano San Raffaele avebbe confermato l’argento anche nel 2015 con un margine di due punti, mentre l’adozione di un nuovo indicatore nella classifica Occupazione risultava determinante ai fini del sorpasso (riquadro di destra: DOPO LA CURA).
Avevamo anche messo a confronto l’indicatore utilizzato nel 2014 (laureati che non lavorano ma cercano) con quello che – a detta del Sole 24 Ore – lo aveva sostituito nel 2015 (tasso di occupazione), osservando che il nuovo indicatore sembrava essere meno affidabile e più soggetto a distorsioni di quello precedente.
Dal trafiletto del 29 luglio veniamo a sapere che il pasticcio era persino peggiore di quanto avessimo immaginato. Nonostante il Sole citasse AlmaLaurea come fonte, i valori del nuovo indicatore non erano nemmeno stati calcolati correttamente. Come abbiamo potuto verificare, solo dopo l’ultimo ricalcolo essi coincidono con le percentuali che ciascuno può estrarre interrogando i risultati dell’indagine AlmaLaurea. Le fumose spiegazioni tecniche del trafiletto non aiutano a capire da dove fossero saltati fuori i dati del 20 luglio che, pur etichettati come tassi di occupazione estratti da AlmaLaurea, in realtà se ne discostavano anche significativamente. Insomma, l’aiutino, oltre che chirurgico, era stato anche alquanto opaco.
Non sappiamo se, dopo la pubblicazione dell’articolo di Roars che smascherava l’aiutino, Milano San Raffaele abbia inoltrato le sue rimostranze alla direzione del Sole 24 Ore, ma il ricalcolo del tasso di occupazione si è rivelato provvidenziale per sedare i possibili conflitti tra atenei non statali. Come mostrato qui sotto, il ricalcolo ha consentito al San Raffaele di guadagnare una posizione nella classifica Occupazione.
Come conseguenza del miglior punteggio dopo il “ricalcolo”, Milano San Raffaele contiene la rimonta della Luiss e, nella classifica finale “ricalcolata”, ne uguaglia il punteggio, tanto è vero che il Sole sancisce un salomonico “pari merito”, che dovrebbe accontentare un po’ tutti.
3. Effetto collaterale: Torino Politecnico sprofonda
Tutto è bene quel che finisce bene, verrebbe da dire. Tuttavia, prima di celebrare un finale a tarallucci e vino, sarà meglio sentire cosa ne pensano al Politecnico di Torino. Infatti, come effetto collaterale del “ricalcolo”, l’ateneo torinese sprofonda di ben 21 posizioni nella classifica Occupazione.
Desta senzazione il fatto che nel tasso di occupazione Roma Foro Italico infligga al Politecnico torinese un distacco superiore a 22 punti percentuali. Dopo fiumi di inchiostro spesi a lodare le lauree tecniche, scopriamo improvvisamente che chi mette al primo posto le prospettive occupazionali, farebbe molto ma molto meglio a indirizzarsi verso le scienze motorie.
È lo stesso autore del trafiletto a far trasparire il suo imbarazzo per un risultato di cui non sembra pienamente convinto nemmeno lui. Il Foro Italico, a dispetto del primo posto in classifica, non viene neppure menzionato nel titolo, dove si dà invece risalto ai nomi del secondo e terzo ateneo (“Occupazione, in vetta Insubria e Bicocca”), mentre nel testo si osserva che il Foro Italico risulterebbe «favorito dall’offerta formativa specializzata».
Sorge un più che giustificato sospetto che ci sia qualcosa che non funziona, ma il Sole, prevenendo le nostre preoccupazioni, ci avverte che, dopo tutto, nelle classifiche che contano nulla è cambiato,
4. “Il ricalcolo non modifica
la graduatoria finale”: vero o falso?
Riguardo ai possibili effetti collaterali sulle classifiche generali, le più importanti presso la stampa e l’opinione pubblica, il Sole 24 Ore tranquillizza la schiera degli atenei statali affermando che
Il ricalcolo dei punteggi non modifica la graduatoria finale degli atenei statali
Ma è proprio così? Procediamo ad un esercizio di fact cheking, tenendo d’occhio proprio il Politecnico di Torino.
Nella classifica generale della Didattica, se è vero che le prime quattro posizioni sono rimaste indenni, dalla quinta in poi ci sono stati un po’ di smottamenti. Il Politecnico di Torino, in particolare. è scivolato indietro di sei posizioni: il 20 luglio era sesto in Italia, mentre il 29 luglio si è risvegliato dodicesimo (oppure 11-esimo a pari merito con Padova, se l’uguaglianza di punteggio va interpretata come un ex aequo).
Ma forse il Sole intendeva dire che a non essere modificata era solo la classifica generale, quella che mette insieme Didattica e Ricerca. Proviamo a controllare se almeno questo è vero.
Il Politecnico sembra scivolare dall’11-esimo al 14-esimo posto. Ad essere pignoli, il 20 luglio occupava la posizione 11-12, a pari merito con Macerata, mentre il 29 luglio occupa la posizione 12-14 a pari merito con Piemonte Orientale e Ferrara. Il fatto che nei casi di ex aequo non venga usato l’ordine alfabetico lascia il dubbio se l’ordinamento sia significativo o meno: il 29 luglio, Torino Politecnico va considerato 14-esimo (come da tabella) oppure 12-14-esimo? Persino nella incresciosa ipotesi che questo appassionante interrogativo debba rimanere senza risposta, possiamo comunque dire che la graduatoria generale risulta modificata per Torino Politecnico, ma anche per altri atenei.
Insomma, contrariamente a quanto scrive il Sole, non è vero che “Il ricalcolo dei punteggi non modifica la graduatoria finale degli atenei statali”. Aver risarcito il San Raffaele, riportandolo al secondo posto degli atenei statali, ha innescato un effetto domino anche sulle classifiche degli atenei statali, la cui vittima più illustre è stato il Politecnico di Torino che è sceso clamorosamente nella classifica occupazione, ma anche nella classifica Didattica e, marginalmente, persino in quella Generale.
5. Ma cosa misura la classifica
“Occupazione” del Sole 24 Ore?
Ma, dopo tutto, cosa mai si potrebbe imputare al Sole 24 Ore, a parte l’aver diffuso dei numeri che si è precipitosamente rimangiato meno di dieci giorni dopo? Nella versione “ricalcolata”, la classifica Occupazione è stilata in base ai valori del tasso di occupazione certificati da AlmaLaurea. A prima vista sembra un indicatore del tutto ragionevole e, se Roma Foro Italico umilia il Politecnico di Torino, vorrà dire che le prospettive occupazionali dei laureati tecnici sono state a lungo sopravvalutate. Una specie di rivincita del mens sana in corpore sano.
In realtà, il tasso di occupazione a un anno è un indicatore tutt’altro che ragionevole, come avevamo già spiegato nel precedente articolo dedicato alle classifiche del Sole. AlmaLaurea dà questa definizione:
- Tasso di occupazione: rapporto tra occupati e intervistati. Si considerano occupati tutti coloro che dichiarano di svolgere un’attività, anche di formazione, purché retribuita.
Ebbene, in presenza di un’elevata percentuale di laureati che proseguono l’attività di formazione senza essere retribuiti, il tasso di occupazione potrebbe risentirne. Un fenomeno che ha poco a che fare con l’effettiva difficoltà a trovare un’occupazione.
E questo sembra proprio essere il caso del Politecnico di Torino. Il tasso di occupazione complessivo (55,4%) risente di un tasso di occupazione alquanto basso per i laureati triennali (33,5%) mentre quello dei laureati magistrali schizza all’84,7%. Molto banalmente, il 54,1% dei laureati triennali non lavora semplicemente perché sta proseguendo gli studi, per esempio come iscritto alla laurea magistrale, a dimostrare che il basso tasso di occupazione dei laureati triennali non è in alcun modo sintomatico di difficoltà sul fronte dell’occupazione.
Si può avere un’immediata controprova di questa interpretazione, controllando quali siano le percentuali di laureati che, pur cercando, non lavorano. Se consideriamo questo indicatore, non solo le percentuali sono contenute, ma – a differenza di quanto appena visto per i tassi di occupazione – non si evidenziano macroscopiche discrepanze tra i laureati triennali (15,2%) e quelli magistrali (18,6%). Alla luce di queste considerazioni, risulta ancora più incomprensibile la scelta del Sole di abbandonare un indicatore non troppo irragionevole (la percentuale di laureati che, pur cercando, non lavorano) per adottarne uno decisamente meno robusto (il tasso di occupazione).
A meno che il vero scopo non fosse davvero quello di elargire “aiutini” a qualcuno.
6. Trinariciuto sarà lei!
A questo punto, sarà interessante vedere se la comunità accademica del Politecnico di Torino – a partire dagli studenti fino al governo dell’ateneo, rettore incluso – accetterà di essere trattata come una massa di “trinariciuti” che credono ciecamente e prontamente nella collocazione del loro ateneo al 22-esimo posto nella classifica dell’occupazione, solo perché gli “esperti” del Sole hanno adottato un indicatore che conta come inoccupati i laureati che proseguono gli studi.
Un danno di immagine niente male, per non dire dell’informazione distorta che viene trasmessa a chi, leggendo il Sole, penserà che le lauree tecniche, tutto d’un tratto, non offrono più prospettive occupazionali così brillanti (vuoi mettere scienze motorie al Foro Italico?).
Oppure i torinesi alzeranno la voce ed esigeranno un’ulteriore rettifica della traballante classifica curata da Gianni Trovati? Se ciò accadesse, gli suggeriamo di comunicarlo ai lettori con un trafiletto dal titolo più esplicito di quello usato per la prima rettifica. Per esempio, un titolo breve ma chiaro potrebbe essere
“Contrordine compagni!”
Non possiamo chiudere senza una menzione a Daniele Checchi (1), il quale sia nel 2014 che nel 2015 ha dato il suo endorsement alle classifiche del Sole 24 Ore, tessendo le lodi delle classifiche in generale e di quelle del Sole, in particolare. Degna di nota la sua difesa preventiva dell’affidabilità dei dati:
I dati di queste pagine sono un buon esempio di come si possano fornire informazioni in un formato utilizzabile. Ma già immagino i detrattori che cominceranno a obiettare sull’affidabilità di questo o quel dato, o sulla loro ponderazione.
Non ci azzardiamo a ipotizzare come Checchi sarebbe stato ritratto da Giovannino Guareschi. Possiamo però rassicurare i nostri lettori. Ci è capitato di incontrare Checchi e, nonostante la sua fiducia “cieca, pronta, assoluta” nei confronti di classifiche traballanti, possiamo testimoniare, senza ombra di dubbio, che, di narici, ne ha solo due. Per ora, almeno.
(1) Daniele Checchi fa parte della rosa di 15 nominativi individuati dal Search Commitee incaricato di selezionare i candidati entro cui il Ministro designerà i nomi che andranno a sostituire i quattro membri del Consiglio direttivo ANVUR ormai scaduti. Una scelta, quella del comitato, che, alla luce del presente articolo, si rivela essere stata particolarmente felice. Chi più di Checchi, infatti, si è guadagnato sul campo i galloni per dirigere un’agenzia che, pur esigendo “obbedienza cieca, pronta, assoluta”, ha fatto del “contrordine compagni” il suo marchio di fabbrica? Quello che segue è un elenco, solo parziale, di documenti pubblicati e poi ritrattati dall’agenzia di valutazione.
- La FAQ sulla manipolazione dell’età accademica pubblicata il 12 luglio 2012 e rimossa il giorno dopo:
Abilitazioni e ANVUR: mamma, mi sono perso la FAQ sulla manipolazione dell’età accademica! - La prima versione della FAQ sull’indice h-contemporaneo (il cosiddetto “Katsaros index”), pubblicata il 13 luglio 2012 e ritirata dopo meno di 24 ore:
Abilitazioni: l’ANVUR scodella l’indice di Katsaros (e poi ci ripensa) - Le mediane dei settori bibliometrici, sono state pubblicate il 13 agosto 2012, ma poi ritirate perché errate e sostituite da una nuova versione due settimane dopo, il 27 agosto:
Attenzione: mediane in movimento! - Vita ancor più breve ha avuto la prima versione delle mediane dei settori non bibliometrici, pubblicate venerdì 24 agosto 2012 e ritirate a tempo di record il lunedì successivo: un solo weekend di vita:
Attenzione: mediane in movimento! - La revisione degli elenchi delle riviste scientifiche e di fascia A, pubblicati il giorno 1 marzo e scomparsi dopo poche ore senza alcuna spiegazione. Le liste rivedevano la luce il 6 marzo: erano spariti due titoli e se ne era aggiunto un centinaio di nuovi, con un ragguardevole record di 40 titoli in più nel settore concorsuale 14/A2 di un membro del gruppo di lavoro riviste e libri, Maurizio Ferrera:
Abilitazioni: ecco le liste “last minute” per le riviste di classe A. - Analogo destino hanno avuto gli esiti della VQR: il 22 luglio l’ANVUR ha pubblicato un comunicato in cui ammetteva di aver diffuso alla stampa alcuni numeri diversi da quelli del Rapporto Finale VQR. In un secondo comunicato, datato 31 luglio, l’ANVUR ammetteva che le classifiche dei dipartimenti riportate nel Rapporto finale VQR e diffuse alla stampa erano diverse da quelle dei Rapporti di Area predisposti dai GEV. Dato che il GEV dell’Area 1 (Scienze matematiche ed informatiche) non acccettava di rinunciare alle sue classifiche, l’ANVUR avvisava di aver modificato le tabelle relative all’Area 1 nelle Parti 1 e 2 del Rapporto finale VQR. Venivano inoltre segnalati errori materiali. Nel settembre 2013, a meno di due mesi di distanza dalla pubblicazione, l’ANVUR aveva modificato 111 file su 243:
Introvabile! L’edizione originale della VQR. Da conservare e collezionare! - il 29 dicembre 2014, l’ANVUR pubblica la versione finale del documento sulla valutazione dei corsi di dottorato, ma, dopo una decina di giorni il file sparisce e viene sostituito da una nuova versione:
È ritornata l’ANVUR al canto del cucù - Il 30 luglio 2015, l’ANVUR pubblica un avviso sul suo sito con il link alle liste aggiornate delle riviste scientifiche e delle riviste in classe A per tutti i settori non bibliometrici ai fini dell’abilitazione nazionale. Nel giro di poche ore, l’avviso e le “liste fantasma” scompaiono, lasciando il posto ad uno scarno avviso che imputa la retraction a non meglio precisati errori materiali.
Abilitazione nazionale: ritornano le liste di riviste a cucù
