VQR, la classifica dei baroni. Unicusano e Messina travolgono i Politecnici. E se osi fiatare …

Dove mandereste a studiare ingegneria vostro figlio? Per fortuna c’è una classifica certificata dal MIUR, «basata su dati attendibili e affidabili» come ha detto la Ministra Fedeli. Se scorriamo questa classifica, nell’Ingegneria Industriale e dell’Informazione (che comprende ingegneria meccanica, elettronica, informatica e così via) l’Ateneo telematico Unicusano di Roma  (in sesta posizione) e l’Università di Messina (18-ma) sono da preferire ai due Politecnici del Nord, quello di Milano (24-mo) e di Torino (30-mo). Lo scorso 21 febbraio sono stati pubblicati i risultati della VQR 2011-2014 la valutazione della qualità della ricerca scientifica delle università e degli enti di ricerca, condotta dall’ANVUR, l’Agenzia Nazionale per la Valutazione del Sistema Universitario e della Ricerca. Una sacrosanta operazione di trasparenza? Le famiglie potranno finalmente scegliere in modo consapevole dove mandare a studiare i propri figli? Non al Politecnico di Milano e di Torino, a quanto pare. State aggrottando la fronte in segno di perplessità? Beh, non siete i soli. Questo articolo funge da introduzione ad un vero e proprio “Dossier VQR” che, dopo aver ricordato le credenziali  tecnico-etiche dell’Anvur, vi guiderà attraverso le sue improbabili classifiche, evidenziandone le falle tecniche, i trucchi per cambiare gli atenei sul podio e anche il trattamento che è toccato a chi ha provato a criticare. Buona lettura.

Questo post è il prologo del nostro Dossier VQR 2011-2014. Questi i link alle altre parti:

• Antefatto: La VQR? Uno spreco. Il premio vale 58 MLN, la gara ne costa almeno 30.
• Parte 1: Messina, miracolo nella VQR. Travolto il Politecnico di Milano (e quello di Torino)
• Parte 2: VQR: classifiche prêt à porter.
• Parte 3: Storie di ordinaria baronia nella VQR di area 13.

1. Dove studiare ingegneria? Chiediamolo ad ANVUR

Lo scorso 21 febbraio sono stati pubblicati i risultati della VQR 2011-2014 la valutazione della qualità della ricerca scientifica delle università e degli enti di ricerca. Una valanga di numeri e di classifiche che in apparenza appagano ogni curiosità su chi eccelle e chi lascia a desiderare a livello di atenei, dipartimenti e settori scientifici. Cosa ne pensa l’uomo della strada? Una sacrosanta operazione di trasparenza che permette a tutti di sapere come sono spesi i soldi delle tasse dei cittadini e alle famiglie di scegliere dove mandare a studiare i propri figli.

Prendiamo ad esempio un diciannovennne che vuole diventare ingegnere informatico o ingegnere meccanico. Meglio il Politecnico di Milano o quello di Torino? Immaginiamo che vada a leggere la classifica VQR dell’Ingegneria Industriale e dell’Informazione (Tabella 3.1 del Rapporto di Area 09 della VQR). Ecco che cosa troverà dopo aver ordinato gli atenei in base alla loro posizione nella graduatoria complessiva.

Con una certa sorpresa, il nostro aspirante ingegnere scoprirà che il Politecnico di Milano è solo 24-esimo e che il Politecnico di Torino è appena sopra la metà classifica: 30-esimo su 63 atenei, finisce alla pari con il CEPU (Novedrate e-Campus). Decine di atenei superano i due Politecnici del nord, tra cui anche l’Università Telematica Roma Unicusano (sesta) e l’Università di Messina (18-ma), proprio quella che nel 2013 Francesco Giavazzi voleva chiudere, in nome delle infallibili classifiche VQR. Peccato che non le avesse lette, perché già nel 2013 Messina  precedeva il Politecnico di Milano nelle classifiche ANVUR dell’Ingegneria Industriale e dell’Informazione e anche in quella dell’Architettura.

Tra gli atenei che precedono i politecnici del nord c’è anche Roma Foro Italico, che non ospita nessun corso di laurea in Ingegneria. Basta una veloce visita al suo sito, per scoprire che l’offerta formativa è concentrata nel campo delle scienze motorie e sportive. Nel suo organico erano presenti quattro docenti di materie ingegneristiche la cui produzione scientifica è stata ben valutata dall’ANVUR e tanto è bastato per proiettare l’ateneo al 14-mo posto nazionale, subito prima di Padova.

L’università telematica Roma Unicusano e l’Università di Messina, invece, i corsi di laurea, anche magistrale, in Ingegneria Meccanica, Ingegneria Elettronica e Ingegneria e Scienze Informatiche li offrono davvero. Davvero l’ANVUR ci dice che sono preferibili a quelli del Politecnico di Milano? Ecco la risposta di Sergio Benedetto, il coordinatore e responsabile della VQR 2011-2014, il quale, nel corso della presentazione ufficiale dei risultati di fronte alla stampa e alla Ministra Fedeli, ha dichiarato (minuto  46′ 25″):

Perché la VQR? Per presentare al paese una valutazione accurata, rigorosa e imparziale della ricerca svolta nelle università, ma anche per offrire una valutazione delle istituzioni nelle diverse aree scientifiche. Per chi la VQR? Gli organi di governo delle istituzioni per intraprendere azioni volte a migliorare la qualità della ricerca nelle aree che appaiono deboli rispetto al panorama nazionale. I giovani ricercatori per approfondire la propria formazione e svolgere attività di ricerca negli atenei ed enti di ricerca più qualificati nell’area scientifica di interesse. Le famiglie e gli studenti per orientarsi nelle difficili scelte collegate ai corsi di studio e alle università (soprattutto corsi di laurea magistrale e dottorato)

2. Consigliere ANVUR: un incarico a tempo pieno … ma non troppo

Sergio Benedetto   è colui che, di fronte alle perplessità suscitate dalla prima edizione della VQR, aveva scritto un articolo che ne difendeva l’affidabilità e che terminava con queste parole:

Il caso non ha dunque nulla a che fare con i risultati della Vqr.

Benedetto doveva essere talmente sicuro del rigore e dell’accuratezza dei metodi di valutazione della VQR (divenuti nel frattempo oggetto di dure stroncature nella letteraura scientifica internazionale) che nel biennio 2014-2015 ha cumulato al ruolo di consigliere ANVUR anche quello di Presidente della IEEE ComSoc, la principale società scientifica internazionale di tecnologia delle telecomunicazioni. Eppure, l’art. 8 del DPR 76/2010 sembrava chiaro: «L’incarico di componente il Consiglio direttivo [dell’ANVUR] è a tempo pieno». Inoltre, Benedetto si è trovato a coordinare la determinazione dei criteri con cui sono state classificate, ai fini dei punteggi VQR, le riviste e gli atti dei congressi della società scientifica che presiedeva (la IEEE ComSoc cura la pubblicazione di tredici riviste scientifiche  e ne co-sponsorizza undici, mentre promuove o co-sponsorizza decine di conferenze – quelle attualmente in programma sono più di ottanta).

Secondo gli articoli 5 e 7 del Codice Etico dell’ANVUR:

Art. 5 […] 3. […] i membri del Consiglio Direttivo possono assumere incarichi esterni, purché non abbiano un impatto negativo sull’assolvimento dei loro doveri istituzionali, non comportino un danno all’immagine dell’Agenzia e abbiano carattere integrativo o marginale rispetto alla attività svolta in seno alla stessa Agenzia per la quale i membri sono impegnati a tempo pieno.

4. Per lo svolgimento di incarichi esterni i componenti del Consiglio Direttivo devono essere autorizzati secondo le procedure definite nel Regolamento di funzionamento dell’Agenzia.

Art. 7 I membri dell’Agenzia e, per quanto attiene le attività ad essa connesse, gli studiosi collaboratori esterni evitano qualsiasi situazione che possa dar luogo a conflitti di interesse, anche solo apparenti.

Relativamente alla Presidenza della IEEE ComSoc, sul sito dell’agenzia non sembra reperibile un’autorizzazione e nel Regolamento di funzionamento dell’Agenzia non sono definite le relative procedure.

3. Un’agenzia nel mirino di G.A. Stella e delle Iene

Torniamo al ragazzo e alla sua famiglia, assai perplessi.

Ed ecco che uno zio del nostro diciannovenne si ricorda di aver letto tre o quattro, articoli di Gian Antonio Stella che parlavano proprio dell’ANVUR, l’agenzia di valutazione nazionale della ricerca che cura la compilazione di queste bizzarre classifiche. Anche se lo zio non ne ricorda molto bene il contenuto, suo nipote fa una ricerca su Google e rintraccia velocemente gli articoli in questione. Tra articoli e repliche si contano ben cinque interventi. Eccoli:

Il diciannovenne e la sua famiglia leggono increduli.

Era stata l’ANVUR  che nel 2012 aveva prodotto una lista di riviste scientifiche che aveva destato ilarità  nazionale e  internazionale. Ne aveva scritto persino Times Higher Education, dopo l’uscita dell’articolo di G.A. Stella sul Corriere:

tra le pubblicazioni «scientifiche» c’erano infatti non solo Il Sole 24 Ore ma anche Etruria oggi, Fare Futuro Web Magazine, la Rivista del clero italiano, il Mattino di Padova, Yacht Capital, il settimanale diocesano La vita cattolica di Udine e poi Airone, Barche, Nautica, «Leadership medica» e via così. Fino al periodico che più sollevò qualche ironia fra gli scienziati: Suinicoltura. Un giornale che, riccamente illustrato con maiali, scrofe, porcelli e porcellini, si propone quale «punto di riferimento imprescindibile per gli allevatori di suini, per i tecnici e per le imprese impegnate nell’indotto della filiera suinicola».

Il secondo articolo di Stella, non meno caustico, descrive un’agenzia scarsamente trasparente e dai costi esorbitanti: nel 2014, le 92 delibere sono costate 100.000 Euro ciascuna e solo tre di esse erano pubbliche. Il 16% del bilancio dell’ANVUR è destinato a remunerare i sette consiglieri: un Presidente che riceve un compenso (210.000 Euro annui), di poco inferiore a quello del Presidente della Repubblica (239.000 Euro), e altri sei consiglieri ben remunerati (178.500 Euro annui). Il tutto per farci sapere che scrivere su Suinicoltura fa titolo per diventare professore nelle discipline economico-statistiche e che l’ingegneria meccanica e informatica di Unicusano e Messina sono meglio di quelle del Politecnico di Milano e Torino.

Ma sono i due articoli apparsi su Sette (qui e qui) quelli che impressionano di più il ragazzo e i suoi parenti.

L’ultimo caso è quello denunciato dal sito roars.it sulla nomina nel consiglio direttivo di Anvur, l’«Agenzia nazionale di valutazione del sistema universitario e della ricerca» del chirurgo Paolo Miccoli. Beccato a usare il «Copia-incolla» proprio nell’elaborato con cui gli aspiranti consiglieri dovevano illustrare «sinteticamente le principali linee di intervento». Una storia ripresa dalle Iene col titolo: «Il professore che copiando si è guadagnato una poltrona da 178.ooo Euro» […] al posto di Stefania Giannini ha risposto in una intervista a OggiScienza il neopresidente di Anvurr Andrea Graziosi: «Stimo molto il professor Miccoli. […] I plagi si fanno negli articoli scientifici pubblicati. Il documento in questione è privato, non è una pubblicazione scientifica». Testuale. Stupefacente ma testuale. Non bastasse, […] ha aggiunto che secondo lui si tratta di un complotto: «Credo che il caso sia stato montato per colpire non tanto l’Anvur, ma la politica della valutazione e la ricerca». «Ma ci faccia il piacere!», direbbe Totò. In altri Paesi, più seri, casi come questi vengono risolti in un solo modo: una lettera istantanea di dimissioni.

4. Mediocri premiati? ANVUR: «è assurdo ma è così»

Il ragazzo ci ha preso gusto e continua la sua ricerca su Google. Ecco che trova un recente articolo di Orsola Riva, una specie di “intervista doppia” che vede protagonista Daniele Checchi, consigliere dell’Anvur e Giuseppe Mingione, matematico di fama mondiale, professore a Parma.

A quanto pare, non è solo l’ingegneria a lasciare perplessi, ma ci sono problemi anche con la classifica degli atenei nelle discipline matematiche:

Il suo [di Mingione] dipartimento a Parma è considerato come il migliore d’Europa e il sesto a livello mondiale per pubblicazioni di assoluta eccellenza – quelle che compaiono nell’1 per cento dei lavori più citati nel ranking di Leiden, la bibbia della bibliometria. Eppure nella classifica dell’Anvur, l’ente governativo incaricato della valutazione della qualità della ricerca, Parma non entra neanche nelle prime venti della sua categoria

Ma anche nella Fisica c’è qualcosa che non torna: in testa alla classifica nazionale della Fisica c’è l’Università Kore di Enna mentre la Normale di Pisa è solo sesta. Come risponde Checchi?

Ma, tanti o pochi, i fisici di Kore sono o no i più bravi d’Italia? «Assolutamente no. […] Con questo sistema uno scienziato realmente eccellente, i cui lavori sono tutti di alta gamma, è indistinguibile da uno che ha una produzione mediamente scarsa ma magari ha partecipato in team con altri a due ricerche di altissimo livello. E’ assurdo ma è così».

Una nuova razza di baroni geneticamente modificati?

La famiglia che cercava lumi per le scelte del figlio, cosa deve concludere sulle classifiche VQR dell’ANVUR? Che sono strane, molto strane. Sarà una coincidenza, ma l’ANVUR non brilla per trasparenza, a partire dalle procedure di nomina che selezionano candidati un po’ troppo disinvolti con il copia-incolla, una pratica che trova un’inaspettata legittimazione da parte dello stesso presidente dell’Agenzia. Quella di consigliere è una carica che fa gola, fosse solo per il compenso e che, nonostante i DPR, non impedisce di presiedere importanti società scientifiche internazionali. La selezione è stata davvero meritocratica, o sono entrati in gioco altri criteri, di fronte ai quali nemmeno un infortunio come quello di Miccoli riesce a modificare scelte altrimenti motivate?

Come nel caso di CONSIP, nata con le migliori intenzioni di rendere più efficiente la spesa delle amministrazioni pubbliche, ma generatrice di appalti monstre, capaci di attirare appetiti di ogni genere, sarà il caso di porsi qualche domanda anche sull’ANVUR. L’avvento dell’agenzia di valutazione avrebbe dovuto tagliare le unghie ai “baroni” e inaugurare una nuova era di trasparenza e meritocrazia, il cui fulcro avrebbero dovuto essere la VQR, l’esercizio di valutazione della ricerca nazionale, condotto in modo rigoroso e imparziale.

È andata proprio così oppure qualcosa è andato nel verso storto? E i famigerati baroni? Sono scomparsi oppure hanno subito una mutazione genetica e sono più forti e temibili che mai?

5. Dossier VQR: un viaggio tra sprechi, errori, furbizie e punizioni

È bene che ognuno sia posto nelle condizioni di giudicare da sé. A tale scopo, mettiamo a disposizione dei nostri lettori un vero e proprio Dossier VQR, articolato in tre capitoli inediti, che gettano luce su diversi aspetti dell’ultima tornata di valutazione. Come nostra abitudine, abbiamo usato un approccio scientifico, basato sui dati e sui numeri. L’articolo sui costi della VQR, pubblicato un mese fa può essere considerato il “Capitolo zero” del dossier, mentre gli altri tre sono inediti.

Capitolo 0. La VQR? Uno spreco. Il premio vale 58 MLN, la gara ne costa almeno 30. Lo scopo della VQR sarebbe di distribuire in modo “meritocratico” i finanziamenti agli atenei. Ma quanti soldi sposta la VQR rispetto ad un finanziamento “a pioggia”? Un facile conto mostra che solo 16 atenei su 60 ricevono premi o punizioni superiori al milione di euro. La metà degli atenei (30) si discosta in alto o in basso rispetto alla distribuzione a pioggia per meno di 500mila Euro. Per gran parte degli atenei i costi amministrativi superano addirittura il premio ricevuto. Visto che la VQR è quadriennale, i conti sono presto fatti: per spostare 58 milioni all’anno (240 MLN in 4 anni), la traballante procedura di valutazione costa una cifra compresa tra i 30 e 56 milioni all’anno (tra i 120 e i 240 MLN in 4 anni), tutte risorse sottratte alla ricerca e all’insegnamento.

Capitolo 1. Messina, miracolo nella VQR. Travolto il Politecnico di Milano (e quello di Torino). Come abbiamo anticipato, nella classifica VQR dell’Ingegneria Industriale e dell’Informazione, l’Università di Messina precede di sei posizioni il Politecnico di Milano, un exploit che ha un precedente nella VQR 2004-2010. La spiegazione? Sta nella metodologia usata dall’ANVUR, che è priva di basi scientifiche. Era difficile capirlo? No, bastava studiare cosa fanno nel Regno Unito, dove l’agenzia di valutazione che gestisce una valutazione, il REF, per molti versi simile alla VQR italiana, si rifiuta categoricamente di produrre classifiche pseudoscientifiche: «The REF team and UK funding bodies do not produce league tables from the REF results» (REF frequently asked questions).

Capitolo 2. VQR: classifiche prêt à porter. Scegliere una classifica come si sceglie l’abito da indossare: quella giusta è quella che si adatta alla taglia del cliente, Large, Medium o Small. Oltre alla classifica globale, per ogni disciplina l’ANVUR ha pubblicato tre classifiche, relative ai tre gironi delle università piccole, medie e grandi. Rispetto alla VQR 2004-2010, nella nuova VQR 2011-2014 c’è chi è sceso dal podio e chi ci è  salito. Una dimostrazione che chi stava indietro, soprattutto gli atenei meridionali, può rimontare la china? Non proprio. Rispetto alla vecchia VQR, le linee di confine tra atenei piccoli, medi e grandi sono state aggiornate in modo chirurgico, con una conseguente modifica della composizione dei gironi. Chi ci ha guadagnato? Sarà una coincidenza, ma più di una volta, a guadagnarci sono state le università di chi dirigeva i comitati  e i sottocomitati di valutazione.

Capitolo 3.  Storie di ordinaria baronia nella VQR di area 13. In teoria la VQR  non valuta i singoli, ma le strutture. Nella pratica, chi ottiene una cattiva valutazione viene additato come un reprobo: non può far parte di collegi di dottorato che aspirino all’accreditamento ANVUR e potrebbe non essere conteggiabile tra i docenti di riferimento necessari per tenere aperta una laurea magistrale. Osi criticare l’ANVUR? Ebbene potresti ritrovarti nel girone dei dannati anche se gli articoli che avevi presentato alla VQR erano apparsi su ottime riviste scientifiche internazionali ed erano pure stati citati nella letteratura internazionale. Raccontiamo punto per punto come è stato valutato un redattore di Roars, noto per le sue prese di posizione pubbliche sull’ANVUR e la VQR.