VQR: le classifiche prêt-à-porter confezionate dai GEV. And the winners are …

Nel 2013, l’ANVUR fornì alla stampa classifiche VQR diverse da quelle contenute nel rapporto finale. In particolare, l’ANVUR aveva modificato le soglie di demarcazione dei segmenti dimensionali degli atenei (piccoli, medi e grandi). Sono trascorsi quattro anni, ma quella di giocare con le soglie dimensionali rimane una tentazione irresistibile per i GEV (Gruppi di Esperti della Valutazione). Rispetto al 2013, il GEV 01 (Scienze Matematiche e informatiche) ha alzato la soglia delle grandi università e anche quella delle medie. Roma Tor Vergata, che sarebbe stata medaglia oro tra le grandi, è stata così declassata tra le medie, dove ha preso un più modesto bronzo. Avendo spostato di categoria Tor Vergata, ad aggiudicarsi l’oro tra le grandi è stata Pisa (università del coordinatore del GEV), mentre il bronzo è andato a Roma La Sapienza (università di un coordinatore sub-GEV) che così, seppur rocambolescamente, ha rimediato l’unico podio di tutta la VQR 2011-2014. Il cambio della soglia tra medie e piccole ha spostato Brescia e Roma Tre tra le piccole. Risultato? Senza queste concorrenti, ad aggiudicarsi l’argento tra le medie è stato il Politecnico di Torino (coordinatore di sub-GEV) che altrimenti sarebbe restato ai piedi del podio. Con tanti saluti a Roma Tre che è rimasta a bocca asciutta. E questa è solo l’Area 01. Ce ne sono altre 15, in buona parte delle quali il “gioco delle soglie” ha modificato sensibilmente il medagliere, come vi mostreremo in dettaglio. Cercando anche di capire in che misura la presunta “convergenza” tra atenei sia stata “aiutata” da questi giochi di prestigio.

Questo post è la seconda parte del nostro Dossier VQR 2011-2014. Questi i link alle altre parti:

• Antefatto: La VQR? Uno spreco. Il premio vale 58 MLN, la gara ne costa almeno 30.
• Prologo: VQR, la classifica dei baroni. Unicusano e Messina travolgono i Politecnici. E se osi fiatare …
• Parte 1: Messina, miracolo nella VQR. Travolto il Politecnico di Milano (e quello di Torino)
• Parte 3: Storie di ordinaria baronia nella VQR di area 13.

1. Ora e sempre convergenza 

L’ANVUR proprio non resiste a produrre classifiche. Anche nella VQR 2011-2014 ha prodotto classifiche distinte per area, e all’interno di ciascuna area separando università piccole, medie e grandi.

I lettori più attenti di Roars ricorderanno la vicenda delle classifiche degli atenei della VQR 2004-2010. ANVUR fornì alla stampa classifiche diverse da quelle contenute nel rapporto finale. In particolare ANVUR modificò per la stampa le soglie di demarcazione dei segmenti dimensionali degli atenei (piccoli, medi e grandi). Il cambiamento di classe dimensionale di università, enti di ricerca e dipartimenti fece sì che le classifiche diffuse alla stampa fossero molto diverse da quelle contenute nei rapporti finali [si veda qui, qui, e qui].

Questa volta ANVUR è stata più accorta. Ed ha predisposto per la stampa classifiche che sono presenti anche (con una eccezione) nel rapporto finale. Anche questa volta le classifiche hanno un ruolo centrale nella VQR. Sono infatti lo strumento principe dei giornalisti che possono scrivere i loro pezzi senza grande sforzo, e uno strumento di marketing appetibile per gli uffici stampa degli atenei.

Questa volta le classifiche sono state usate anche da ANVUR per raccontare la storia del cambiamento e della “convergenza”.

L’ANVUR sembra voler dimostrare ad ogni costo l’esistenza di una “convergenza”: la valutazione fa bene, indica standard, e favorisce la convergenza verso quegli standard. Per verificare l’esistenza di questa tendenza alla convergenza quale occasione migliore che la comparazione tra i risultati delle due VQR? E’ difficile difendere l’utilità di un’agenzia di valutazione se i suoi voti innescano una spirale competitiva che, premiando i più forti, li rende sempre più forti e fa collassare gli atenei più deboli, in particolare quelli del meridione, come documentato nella ricerca coordinata da Gianfranco Viesti. Invece, se chi stava più indietro riesce a ridurre il distacco, vuol dire che la competizione è una medicina che fa bene a tutti. Ecco perché è così importante dimostrare (o almeno convincere la stampa) che tra le due VQR c’è stato movimento, in particolare, come ha scritto il coordinatore VQR, Sergio Benedetto, c’è stato un:

effettivo miglioramento nella qualità delle pubblicazioni degli atenei più “deboli”

In uno slogan: c’è stata convergenza. Anche e soprattutto degli atenei del sud.

Un primo tentativo per dimostrare la convergenza era andato a vuoto prima di Natale. Nel corso di una conferenza stampa in cui venivano anticipati solo alcuni risultati della VQR 2011-2014 il Presidente Andrea Graziosi aveva sostenuto l’esistenza di una convergenza sulla base della distribuzione statistica dei voti ottenuti dagli atenei. A stretto  giro di posta, era stato però smentito da Roars sulla base di una semplicissima osservazione: i voti utilizzati nella nuova VQR differiscono da quelli usati in quella vecchia. Inoltre, la nuova scala dei voti, che rende più difficile conseguire voti estremi (negativi o positivi), crea il miraggio di una convergenza anche quando tutto rimane come prima.

Nel corso della successiva conferenza stampa di febbraio, l’ANVUR ammette che buona parte della presunta convergenza di dicembre era dovuta al cambio dei voti.  Ma ecco che la convergenza ricompare nelle classifiche. Come sappiamo il cambio dei voti non permette una facile comparazione tra le due VQR. Ma le classifiche sono le classifiche. E se un ateneo sale sul podio nella VQR2, se non era sul podio nella VQR1, questo può senz’altro essere considerato un segnale di miglioramento. Ecco la dichiarazione per la stampa del coordinatore della VQR Sergio Benedetto:

“i miglioramenti che si scorgono confrontando le posizioni nella graduatoria tra le due VQR sono distribuiti in tutto il territorio nazionale, senza una netta distinzione tra aree geografiche. Assistiamo a un processo di convergenza che però è ancora lontano dal colmare le differenze geografiche.”

Abbiamo preso alla lettera la dichiarazione del coordinatore VQR Sergio Benedetto, ed abbiamo pensato di confrontare le classifiche della VQR 2004-2010 (da ora in poi VQR1) con quelle della VQR 2011-2014 (VQR2). Nessuno ancora l’ha fatto.

2. La convergenza di Area 09

Come primo esercizio abbiamo contato i podi che si sono aggiudicati le università del Sud. Erano 16 nella VQR1, sono 17 nella VQR2. Non una grande differenza. Ma alcuni cambiamenti appaiono esserci stati. In particolare in Area9, ingegneria industriale e dell’informazione, nella VQR1 solo il Sannio tra le università del Sud si aggiudicava un posto, mentre nella VQR2 ben 3 posti sui 9 disponibili sono occupati da Napoli Federico II, Politecnico di Bari e Salerno. Vediamo allora le classifiche.

E’ innegabile che ci siano stati grandi cambiamenti tra le due VQR. Nel segmento delle grandi università scende dal podio il Politecnico di Milano, scavalcato da Napoli Federico II; nessuna delle università medie nel 2004-2010 è riuscita a confermare il podio nel 2011-2014. Addirittura due atenei del Sud, Salerno e Politecnico di Bari, scalzano due atenei del Nord: Trento e Ferrara che scendono dal podio. Tra le piccole, Pisa S. Anna soffia il gradino più alto a Torino, che deve accontentarsi del secondo posto, seguito da Verona che fa scendere dal podio Roma Biomedico.

Convergenza? Crescita delle università del Sud? Declino del Politecnico di Milano? Vediamo un po’ cosa è successo tra le due VQR.

Vediamo anzitutto il sorpasso di Napoli Federico II. C’è anzitutto una questione di arrotondamenti: il valore di R di Napoli Federico II secondo è 1,046, quello di POLIMI 1,039. E se si guardano i dati analitici si scopre che la differenza è dovuta ai 48 prodotti mancanti a POLIMI. Il sorpasso di Napoli Federico II è un eccellente esempio di sorpasso dovuto alla (Valutazione della) Qualità dei Rettori piuttosto che della ricerca svolta: la diversa capacità dei rettori di arginare il boicottaggio stopVQR (per il recupero degli scatti ai fini giuridici) ha lasciato il segno nei risultati della VQR2 (lo avevamo già spiegato qua).

Ma ecco i dati analitici delle valutazioni con cui ANVUR costruisce le classifiche. POLIMI finisce dietro Napoli Federico II pur presentando oltre il doppio di prodotti eccellenti, quasi il triplo di prodotti elevati, il doppio di prodotti discreti, ed anche più prodotti accettabili. Un esempio eccellente del non-senso delle classifiche anvuriane (ne avevamo scritto il 2 settembre 2013).

Per rendersi conto dell’assurdità del sorpasso di Napoli Federico II nei confronti del Politecnico di Milano, basta pensare in termini di medagliere olimpico. Se i prodotti A,B,C,D fossero medaglie d’oro, di argento, di bronzo e “di legno” (quarto posto), nessuno si sognerebbe di far precedere una nazione con 283 medaglie d’oro da un’altra con 128 ori, senza considerare che anche argenti, bronzi e “legni” vanno nella stessa direzione. Nessuno, ad eccezione dell’ANVUR.

Vediamo adesso il podio delle università medie. Salerno sale dall’8° posto della VQR1 al gradino più alto del podio. Ma, sorpresa, Salerno non scavalca né Trento né il Sannio. Perché Trento e Sannio semplicemente non competono più per quel podio.  Trento e Sannio sono ora nella classifica delle piccole, perché il GEV ha deciso di modificare le soglie dimensionali in base a cui si decide se un ateneo gareggia nel campionato delle università piccole, medie o grandi. Guardiamo allora che è successo: Pisa che nella VQR1 era ottava su undici tra le università grandi, passa al secondo posto tra le medie, e il Politecnico di Bari dalla sesta posizione tra le grandi nella VQR1 salta alla terza tra le medie nella VQR2. Sannio, Trento e Ferrara, che salivano sul podio in quest’ordine nella VQR1, sono mandate a competere con atenei molto più piccoli di loro, e scivolano rispettivamente al 16°/8°/20° posto di quella classifica.

Se la classificazione dimensionale fosse restata la stessa, Trento avrebbe conquistato la prima posizione tra le medie, Sannio sarebbe sceso al secondo posto e Perugia avrebbe scalzato Ferrara (l’ateneo del coordinatore del GEV) che sarebbe stato l’unico ateneo a scendere dal podio (forse che, come si dice, mal comune mezzo gaudio?)

Dunque si può sostenere che in Area9, se, come suggerisce Benedetto, si fa il confronto tra VQR1 e VQR2, è la modifica delle soglie dimensionali che ha fatto “convergere” il Sud: nella VQR2 ben 3 posti sui nove podi disponibili sono appannaggio di università del Sud. Se l’ANVUR non avesse “ritoccato” le soglie, il Sannio sarebbe sceso dal gradino più altro sorpassato da Trento. Napoli Federico II sarebbe comunque salita al 3° posto tra le grandi. Nessuna traccia né di Salerno, né del Politecnico di Bari. Morale della favola: solo due atenei del Sud sul podio, con uno dei due che viene sorpassato da un ateneo del Nord. Una favola la cui morale non coincide con la storia della convergenza.

3. Convergenza o ritocco delle soglie?

A questo punto ci è venuto un dubbio: ma le soglie dimensionali tra VQR1 e VQR2 sono cambiate solo in Area9 o sono cambiate anche in altre aree? E quali cambiamenti nelle classifiche questo ha comportato?

Prima di procedere, è utile ricordare che è concettualmente erroneo stilare classifiche che confrontano istituzioni di dimensioni diverse. Per ragioni di variabilità statistica, i voti estremi si concentrano tra le istituzioni più piccole. Questo significa che, di norma, la medaglia d’oro spetterebbe agli atenei più piccoli. Si tratta di un fenomeno ben noto che sta alla base del rifiuto categorico di stilare classifiche leggibile sul sito dell’HEFCE, l’agenzia di valutazione inglese, che pure conduce una valutazione della ricerca utilizzata, proprio come la VQR, per ripartire finanziamenti tra gli atenei.

L’ANVUR, invece si ostina a produrre classifiche e, per ovviare al problema delle diverse dimensioni, produce classifiche distinte per università piccole, medie e grandi. Un espediente che però sposta il problema dell’incomparabilità all’interno delle tre classi. Tra le università grandi i voti estremi tendono a concentrarsi tra quelle le cui dimensioni sono prossime al confine con le università medie.

Ecco che, se si spostano le linee di confine, si può fare lo sgambetto ad alcuni atenei oppure dare una spintarella ad altri. Un università medio-grande che, nel torneo degli atenei di medie dimensioni è mediocre potrebbe invece salire sul podio se venisse fatta gareggiare tra le grandi. Insomma, la scelta delle linee di confine consente un’agevole manipolazione delle classifiche. Fermo restando che queste classifiche sono prive di basi scientifiche, un elementare principio di correttezza imporrebbe di fissare le classi dimensionali prima di conoscere i risultati. Ma l’ANVUR si è guardata bene dall’anticipare tali classi nel bando della VQR.

Nel Rapporto Finale (pp. 47-48) si legge:

A partire da questo testo si capisce più o meno che le soglie della VQR2 sono simili a quelle della VQR1. Poiché le soglie sono espresse in numero di prodotti attesi, le soglie dovrebbero essere state opportunamente riproporzionate tenendo conto del fatto che nella VQR1 gli addetti alla ricerca dovevano presentare 3 prodotti, mentre nella VQR2 soltanto 2. Quindi, per esempio, una soglia di 75 prodotti attesi nella VQR1 corrisponde ad una soglia di 50 nella VQR2.

Altro elemento di cui ANVUR ha tenuto conto nel fissare le soglie è stato il salto dimensionale: cioè la presenza di “differenze significative” tra l’ultimo ateneo di una classe ed il primo della successiva. Qui il problema sta nella nozione di “differenza significativa”. Per esempio in Area 3 la più grande delle piccole ha dimensione 100, la più piccola delle medie ha dimensione 103. Tre prodotti è una “differenza significativa”?

Lasciamo invece ai lettori l’interpretazione del significato del punto 3, perché la frase come è formulata appare del tutto priva di senso.

Nella tabella seguente sono messe a confronto le soglie di passaggio di classe tra le due VQR. Come si può notare in alcune aree le soglie non sono cambiate, mentre in altre sono cambiate in modo radicale. Da notare le modalità del cambiamento: sono state generalmente innalzate le soglie rispetto alla VQR1 in modo tale da spostare gli atenei più piccoli della classe “grandi” e “medie” nella classe dimensionale immediatamente inferiore.

4. Tutte le classifiche, soglia per soglia

Vediamo quali sono le conseguenze dei cambiamenti di classificazione sulle classifiche di ogni Area.

Area 01

In Area1 le soglie sono modificate. Si alza la soglia delle grandi che passa da 160 a 200 ed anche quella delle medie da 50 a 90 prodotti. Roma Tor Vergata, seconda tra le grandi nella VQR1, viene declassata tra le medie dove occupa il terzo posto. Sale così sul gradino più alto del podio delle grandi Pisa (università del coordinatore del GEV), e Roma La Sapienza (università di un coordinatore sub-GEV) può così aggiudicarsi l’unico suo podio nella VQR2. Il cambio della soglia (da 50 a 90) tra medie e piccole sposta Brescia (52 prodotti) e Roma Tre (79 prodotti) tra le piccole, permettendo così di liberare il 2° posto sul podio al Politecnico di Torino (coordinatore di sub-GEV) che altrimenti sarebbe restato fuori dai primi posti.

Area 02

In Area2 le soglie appaiono sostanzialmente immutate. Con tre università del Sud sul podio tra le piccole. Due su tre di quelle università (Enna Kore e Catanzaro) presentano 6 prodotti ciascuna: hanno cioè ciascuna 3 docenti di fisica! Quelli del Politecnico di Bari sono ben 8. Da notare che tutte e tre le università sorpassano la Scuola Normale Superiore di Pisa, seconda nella VQR1. Anche in questo caso i dati analitici mostrano il nonsense di queste classifiche. La scuola Normale Superiore ha presentato alla VQR 22 prodotti eccellenti e 2 prodotti di qualità elevata, ma ha avuto 2 prodotti mancanti (#stopVQR?). Viene sorpassata da Enna Kore (6 prodotti eccellenti), Catanzaro (5 eccellenti, 1 elevato), Chieti e Pescara (19 eccellenti, 2 elevati) e Sassari (9 eccellenti, 1 elevato).

In particolare i dati di Enna sono stati efficacemente commentati da Daniele Checchi, del consiglio direttivo di ANVUR. Alla domanda del Corriere della Sera: “Ma tanti o pochi, i fisici di Kore sono o no i più bravi d’Italia”, ha risposto: “Assolutamente no”. In conclusione, un po’ poco per sostenere la convergenza in Area2 …

Area 03

In Area3 la soglia delle piccole si sposta verso l’alto (da 60 prodotti a 100), mentre quella delle grandi resta immutata. Ne fanno le spese Roma Tor Vergata, e Siena rispettivamente prima e terza tra le medie nella VQR1 che scendono dal podio. Può così salire al terzo posto nella classifica delle medie l’Università della Calabria (coordinatore di sub-GEV) che risulta a pari merito con Salerno (coordinatore del GEV). Applicando le soglie della VQR1, nella classifica delle medie, dietro Perugia si sarebbero posizionate Milano Bicocca e Roma Tor Vergata.  E unica università del Sud in classifica si sarebbe confermata Catanzaro tra le piccole. Quindi anche in Area3, la convergenza, rappresentata dal terzo posto di Catanzaro e (dal quarto di Salerno), è frutto del ritocco alle soglie.

Area 04

In Area4 le soglie non sono nella sostanza cambiate. In quest’area, usando la logica di Benedetto, dovremmo registrare una divergenza del Sud, poiché Salerno scende dal podio, perdendo il primo posto tra le piccole che occupava nella VQR1. Napoli II vede invece confermato il terzo posto tra le piccole.

Area 05

In Area5 le soglie vengono ritoccate, ma questo cambiamento non ha effetti rilevanti sulle classifiche. Si conferma l’assenza delle università del Sud sul podio nella VQR2. Quindi nessuna convergenza.

Area 06

In Area6 le soglie restano le stesse, ma c’è da notare qualche passaggio di classe degli atenei dovuto alla modifica delle dimensioni. In particolare è da notare l’exploit di Milano Bicocca che da un modesto risultato nella VQR1, quando era la più grande a competere con le piccole, si ritrova adesso come migliore tra le medie, perché è diventata la seconda più piccola tra le medie: un caso esemplare di “effetto imbuto“. Sul fronte della convergenza, anche in questo caso l’evidenza è contraria: perde il suo posto l’unica università del Sud, Napoli Parthenope, ad avere un posto sul podio (tra i piccoli atenei) nella VQR1.

Area 07

In Area7 le soglie vengono ritoccate, ma non comportano modifiche di rilievo per i podi. Anche qui si riduce il numero dei podi appannaggio delle università del sud: Teramo scende infatti dal podio e resta solo Foggia, seconda tra le medie università, a rappresentare il Sud. Anche qui, per usare il ragionamento anvuriano, si dovrebbe parlare di divergenza.

Area 08a

In Area8a (architettura, che era Area8b nella VQR1) le soglie non sono sostanzialmente modificate e non ci sono effetti sulle classifiche. Vengono confermati i due podi per le università del sud, anche se Cagliari prende il posto di Sassari nel gradino più basso delle piccole università. Quindi nessuna convergenza.

Area 08b

In Area8b (ingegneria civile e mineraria, che corrisponde all’Area8a nella VQR1), Trento e Salerno, rispettivamente prima e seconda tra le medie nella VQR1, vengono spostate nelle piccole a causa dell’innalzamento della soglia tra piccole e medie. In conseguenza di ciò sono entrambe scese dal podio, lasciando il posto a Padova e Palermo. In particolare Palermo conquista in questo modo l’unico podio di cui può fregiarsi nella VQR2. Con le soglie della VQR1, Trento e Salerno avrebbero visto confermato il risultato della scorsa VQR. Unico risultato non indotto dalla modificazione delle soglie è l’exploit Napoli Federico II che supera tutte le grandi. Convergenza?

Area 10

In Area10 il cambio di soglie è stato radicale: da 180 a 300 la soglia per essere classificati tra le grandi, da 64 a 150 per le medie. E le conseguenze sulle classifiche non sono certo da poco. Tra le grandi, Venezia Ca’ Foscari continua ad occupare il gradino più alto solo grazie al cambio di soglia, mentre Milano e Bologna salgono sul podio solo grazie al cambio di soglia. Trento, Bergamo e Modena/Reggio Emilia che occupavano in quest’ordine il podio delle medie nella VQR1 vengono spostate tra le piccole dove scompaiono dal podio per il solito “effetto imbuto” che favorisce atenei dimensionalmente più piccoli di loro. I risultati con le vecchie soglie sarebbero stati radicalmente diversi.

Area 11a

In Area11a la soglia delle grandi è restata la stessa mentre quella delle piccole è stata aumentata a 100 (da 66). Il cambiamento di classifica tra le due VQR qui è dovuto alla riduzione delle dimensioni di Firenze, che scende sotto la soglia e si scontra con atenei più piccoli, scendendo dal podio. Destino opposto per Milano Cattolica, che riesce a salire sul podio solo perché cambia di categoria, passando tra le grandi.

Area 11b

In Area11b (Scienze psicologiche)  non solo vengono modificate le soglie in modo radicale rispetto alla VQR1, ma le classifiche del rapporto di area non corrispondono a quelle distribuite ai giornalisti. E’ utile ricordare che in questa area, il GEV è composto da soli 6 membri (in media i GEV sono composti da 31 membri, con un minimo di 6 per l’Area11b e un massimo di 62 per l’Area6), e non è organizzato in sub-gev. Ma andiamo con ordine. Le soglie passano da 44 a 100 per le grandi, e da 20 a 40 per le medie. Nel rapporto di area viene introdotta una quarta classifica per gli atenei piccolissimi (<10 prodotti); per la stampa le classifiche vengono ridotte a tre, fondendo le classifiche di piccole e piccolissime. Il cambiamento di soglia sposta Trento, che era stata prima tra le grandi nella VQR1, tra le medie dove si attesta sul gradino più alto del podio. Verona, terza tra le grandi nella VQR1, viene ora classificata addirittura tra le piccole, dove non riesce ad entrare in zona medaglie. Padova può così conquistare il gradino più alto tra le grandi, seguita da Milano Bicocca e Bologna che era fuori dal podio nella VQR1. Tutto il podio delle medie è occupato da atenei che nella VQR1 erano considerati grandi: oltre a Trento, ci sono infatti Chieti e Pescara e Firenze, la volta scorsa rispettivamente nona e undicesima tra le grandi. Tra le piccole (i dati ANVUR distribuiti ai giornalisti sono errati) svettano due università che il GEV ha considerato tra le piccolissime, e Pavia, al terzo posto: la volta scorsa argento tra le medie. Non è inutile notare che se il GEV avesse adottato la suddivisione dimensionale della VQR1, con la sola eccezione di Trento, nessuna delle università di affiliazione dei membri del GEV sarebbe comparsa in classifica. Le università dei membri GEV che hanno beneficiato delle nuove soglie sono:

• Milano Bicocca (seconda tra le grandi)
• Bologna (terza tra le grandi)
• Firenze (terza tra le medie)

Area 12

In Area12 vengono modificate le soglie. L’innalzamento a 250 della soglia delle grandi sposta Firenze e Padova (rispettivamente prima e terza nella VQR1) tra le medie, dove si fermano al 2° e al 12° posto. Questo permette a Milano di salire sul gradino più alto della grandi, lasciato libero da Firenze, e permette a Bologna e Torino, che altrimenti sarebbero rimaste fuori, di occupare gli altri due posti. L’innalzamento della soglia delle medie, permette di mantenere Bocconi tra le piccole, dove si piazza al secondo posto, e Ferrara può così guadagnare il gradino più alto tra le medie.

Area 13

In Area13 ci sono ben tre posti in più da assegnare: è stata infatti abbandonata la bipartizione in piccole/grandi della VQR1 (con soglia a 100). I tre posti vanno a Ca’ Foscari (coordinatore sub-GEV), Bologna (coordinatore sub-GEV) e Milano Bicocca. Nella competizione, tra le grandi si aggiudica il gradino più elevato Milano Bocconi che con la vecchia classificazione avrebbe dovuto cedere il passo a Padova. E la statale di Milano avrebbe soffiato il podio a Bologna, che insieme a Ca’ Foscari e Bicocca non avrebbe avuto nessun posto nella top3.

Area 14

Infine, Area14. Anche qui vengono modificate le soglie.   Milano Bicocca e Trento sono spostate tra le medie, dove si aggiudicano rispettivamente primo e secondo posto. Anche il terzo posto tra le medie è riservata ad una new-entry (Firenze) che nella VQR1 era classificata tra le grandi e galleggiava a metà classifica. Milano sale al primo posto tra le grandi e salgono sul podio Bologna e Torino. Spostate tra le piccole, scompaiono dal podio Pavia, Venezia Ca’ Foscari e Piemonte orientale.

5. Conclusioni

Il suggerimento del coordinatore della VQR Benedetto, di confrontare le classifiche tra le due VQR per convincersi del “miglioramento della qualità della ricerca degli atenei più deboli” non sembra funzionare.

I cambiamenti nelle classifiche tra le due VQR sono dovuti in larga parte alla modificazione delle soglie dimensionali. Quando le soglie non sono cambiate, come nelle aree 2,6,7,8a, i risultati non sono stati poi così diversi tra le due VQR.

Per quanto riguarda le università del Sud: abbiamo già detto che hanno guadagnato un podio in più tra le due VQR solo grazie al cambiamento di soglie. Se le soglie fossero restate quelle della VQR1, le università del Sud avrebbero addirittura perso un podio, passando dai 16 della VQR1 ai 15 della VQR2. Nella logica anvuriana, dovremmo parlare di divergenza? Ed a favore della “divergenza”, sempre nell’ottica anvuriana, dovrebbe andare l’assenza completa di università del Sud nelle Aree da 10 a 14. In quelle aree, infatti, le università del Sud riescono addirittura a perdere i due podi che detenevano nella VQR1. Il fenomeno della convergenza del Sud alla fine si concretizza nel primato dei tre ricercatori di Enna Kore e Catanzaro nelle scienze fisiche. E in ciò che accade nelle aree dell’ingegneria civile (Area8b), dove Napoli Federico II si posiziona in vetta alla classifica. Davvero molto poco per contrastare le evidenze del declino portate dalla già citata ricerca di Viesti.

Prima di chiudere questo lungo post è opportuno sottolineare quanto NON vi si è sostenuto. In questo post NON si è sostenuto che la classificazione in soglie dimensionali della VQR1 è migliore di quella della VQR2. Abbiamo solo detto che le soglie sono cambiate. I criteri di classificazione in soglie dimensionali non erano spiegati e noti nella VQR1 e non lo sono nella VQR2. E non è noto perché le soglie sono state cambiate tra le due VQR.

Quello che colpisce di più in tutta questa vicenda è però il metodo. Le regole per le classifiche sono state evidentemente disegnate dai GEV dopo che i risultati della VQR erano già noti. Questo ha permesso aggiustamenti, ingressi ed uscite ad hoc. Un metodo che dobbiamo prepararci a vedere applicato anche ai ludi dipartimentali (il torneo che premierà 180 dipartimenti sui più di 800 totali). Dove le regole saranno scritte conoscendo già i dati a cui saranno applicate. Nella migliore tradizione delle politiche della ricerca di questo paese.