ROARS ha già segnalato che l’ANVUR ha diffuso alla stampa classifiche degli atenei diverse da quelle desumibili dal Rapporto Finale della VQR.  La duplicazione delle classifiche sembra essere un tratto distintivo della VQR: infatti, anche le classifiche dei dipartimenti diffuse alla stampa non trovano riscontro nelle relazioni finali degli Esperti della Valutazione. Di nuovo, sono state introdotte o modificate le soglie dimensionali che definiscono le linee di demarcazione tra dipartimenti piccoli-medi-grandi. Cosa comporta tutto ciò? Spieghiamolo con un apologo che ha come protagonisti un professore di filologia e i suoi figli in procinto di iscriversi all’università. In coda al post, un’appendice tecnica che analizza area per area tutti i dettagli delle classifiche strabiche dei dipartimenti.

______________________

Da mesi il prof. E si arrovellava su quale fosse il migliore ateneo al quale fare iscrivere i propri figli. Fra l’altro, E. era Professore ordinario di filologia egeo-anatolica, e dunque esponente di una disciplina ormai in via di estinzione nel nostro Paese; come tale, egli era fermamente convinto che il nuovo sistema di valutazione, costruito da ANVUR, avrebbe portato un vero beneficio all’università e alla ricerca. Finalmente si sarebbero potuti tagliare i fondi a certi colleghi che, per quanto titolari di materie più popolari della sua, erano in realtà scarsamente produttivi e poco internazionalizzati.

E. pubblicava da decenni in lingua inglese su riviste di levatura internazionale: di metriche citazionali ci capiva poco, i nomi di ISI, WOS, WOK, Scopus, gli erano noti ma non del tutto familiari: anche per questo invidiava sotterraneamente i suoi colleghi scienziati che già da tempo erano entrati nella modernità.

Ormai non ci sono alternative, pensava: la valutazione promossa da ANVUR consentirà finalmente di distinguere le persone serie dai parassiti che infestano gli atenei, succhiando preziose risorse a scapito dei loro colleghi più volenterosi. Quei giuristi, ad esempio, che ad ogni occasione il baffuto prorettore della più antica università d’Italia additava al pubblico ludibrio perché non praticavano neppure la peer review. Gentaccia. Così pensando, osservava con soddisfazione l’email che gli comunicava di aver conquistato una nuova citazione su Google Scholar.

E’ ora di cambiare, si disse fra sé e sé, e la VQR sarà certamente d’aiuto ristabilendo finalmente la giustizia nella palude accademica. Non solo: egli pensò con piacere al fatto che le classifiche prodotte da ANVUR l’avrebbero anche aiutato a decidere dove iscrivere i suoi due figli gemelli, G. ed L., un maschio e una femmina: gli erano carissimi e immaginava per loro un grande futuro.

 L. era intenzionata ad iscriversi a psicologia, G. a ingegneria. Grazie ad ANVUR egli non avrebbe dovuto chiedere in giro a colleghi del cui giudizio non era certo, né affidarsi alla presunta “tradizione” degli atenei. Finalmente le classifiche dei dipartimenti avrebbero consentito di individuare a colpo sicuro i dipartimenti migliori, assicurando una formazione eccellente ai suoi due tesori.

E. non aveva voglia di aspettare l’uscita della VQR, il 16 luglio 2013. Conosceva da tanti anni un collega, nominato Alto Esperto di valutazione di un’area diversa dalla sua. Sapeva che oramai i GEV, i gruppi di esperti di valutazione, avevano compiuto il loro lavoro e per questo si rivolse a lui, pregandolo di dirgli quali fossero i dipartimenti top per ingegneria (area 9) e psicologia (area 11/B). Fu accontentato.

Ecco ingegneria:

Ed ecco psicologia:

Il dilemma di G. ed L. era presto risolto. E. pensava che sarebbe stato bene iscrivere i figli ad atenei di una certa dimensione, gli davano maggiori certezze in termini di strutture e risorse; d’altra parte, G. non voleva indirizzarsi verso l’ingegneria chimica, quindi la sede migliore era indubbiamente Trento. Per L. la scelta migliore era probabilmente Padova, con ben due dipartimenti in posizione di assoluta eccellenza e a differenza de La Sapienza, non troppo lontana da casa.

E. ringraziò l’amico e la sera annunciò trionfante ai figli i risultati della sua inchiesta: G. approvò entusiasta (l’idea di andar via di casa lo attraeva molto, qualsiasi fosse la destinazione), ed L., che aveva un carattere naturalmente scettico, fece un sorriso dei suoi, come a dire: vedremo.

Finalmente arrivò un torrido 16 luglio: i risultati della VQR, un esercizio di valutazione unico al mondo per dimensioni, si disse, furono presentati a un pubblico selezionato e alla stampa.

Una valutazione capace di restituire una fotografia dettagliatissima e soprattutto certificata della qualità della ricerca italiana disse, giustamente fiero, il Presidente dell’ANVUR.

E. era molto soddisfatto che l’esercizio si fosse compiuto con ogni successo, nonostante tanti guastafeste che per mesi e mesi avevano messo in dubbio l’operato dei componenti il direttivo ANVUR e di molti GEV. Perfezionisti, in realtà amici dei nullafacenti, pensava con rabbia, ricordando fra sé e sé cosa gli diceva suo nonno, un pastore dell’Altopiano di Asiago: “il meglio è nemico del bene”.

Pochi giorni dopo che i dati furono rilasciati, il Corriere della Sera mise in vendita in edicola un libricino contenente i risultati della valutazione e le classifiche: il prof. E. non poté resistere alla propria vanità, e ne comprò a modico prezzo una copia. Voleva far vedere alla figlia che era stato ben informato e che il suo suggerimento era proprio quello giusto: il prof. E. non era certo uno sprovveduto e aveva amicizie di rilievo nel mondo della valutazione!

La sera, dopo cena, convocò in salotto L. e G. Porse a L. l’opuscolo del Corriere, non senza tradire un sorriso soddisfatto, invitandola a controllare: “ecco, vedrai che è proprio come ti ho detto”.

L. aprì l’opuscolo, lo sfogliò con aria concentrata, poi disse al padre: “Papà, ti ho sempre detto che devi stare attento. Sei troppo distratto. Io non devo andare a Padova. E G. non deve andare a Trento. Sono io che devo andare a Trento. G. al Sannio. Ma dov’è il Sannio?”.

Il prof. E. rimase interdetto, mentre i figli si allontanavano, li attendeva una bella sera d’estate, avevano altro e di meglio da fare.

Aprì il libretto del Corriere e rimase stupito. Per l’area 9 vide questo:

E questo per l’area 11/B:

Il prof. E., mentre sfogliava le pagine di tabelle e numeri dell’opuscolo cominciò a chiedersi se aveva visto male quanto gli aveva mostrato il collega. Pensava proprio di no, si era anche appuntato i risultati.

Allora cominciò a chiedersi quante fossero le classifiche possibili, e soprattutto, quale fra di esse fosse quella giusta. Non aveva digerito bene e non si sentiva a suo agio, anche perché ricordava di aver sentito che certi tizi, che scrivevano per un sito con un acronimo strano, andavano ripetendo da mesi che compilare classifiche era rischioso e antiscientifico. Aveva sempre pensato che fossero solo dei nemici della valutazione. E se invece..? Meglio scacciare i pensieri molesti.

Chiuse di scatto il libretto del Corriere, si versò un dito di whiskey e accese la TV.

***

L’apologo di cui sopra, al quale segue una dettagliata appendice tecnica, intende descrivere in modo semplice e comprensibile quanto accaduto.

I GEV (gruppi di esperti della valutazione), ciascuno coordinato da un Alto Esperto, per ciascuna area disciplinare (aree CUN), hanno prodotto dei “rapporti d’area” consultabili sul sito ANVUR. All’interno dei rapporti di area sono contenute classifiche dei dipartimenti. In alcuni casi tali classifiche sono rilasciate senza procedere a segmentare le strutture per classi dimensionali (grandi, medie, piccole). In molti casi, invece, le classifiche sono organizzate per classi dimensionali.

Per motivi non chiari, le classifiche dei GEV, anche quelle già segmentate, sono state riviste dopo essere state trasmesse al Direttivo Anvur, evidentemente per cura del direttivo stesso: le soglie dimensionali sono state alterate, mutando le classifiche medesime. Queste sono poi state inserite nel Rapporto Finale e trasmesse alla stampa.

Ciò è avvenuto anche nei casi in cui i GEV avevano esplicitamente dichiarato di aver scelto segmentazioni dimensionali calibrate ad hoc per minimizzare le distorsioni statistiche.

Chi scrive ha sempre deprecato dal punto di vista scientifico l’uso di redigere classifiche come strumento di valutazione. Di fatto esse non sono uno strumento di valutazione ma uno strumento indiretto di policy, tanto più quando esse sono fatte filtrare alla stampa con il risultato di orientare le scelte delle matricole e delle famiglie.

Ciò premesso resta da capire su quali basi e perché le classifiche costruite dai valutatori siano state modificate.

Il Ministro Carrozza, nel suo discorso in occasione della presentazione della VQR ha fatto più volte riferimento a principi che ci sono cari: trasparenza e rendicontabilità.

Sono dunque doverose alcune domande:

1. su quali basi scientifiche sono state riviste le soglie dimensionali previste dai GEV?
2. gli Alti Esperti e i componenti dei GEV sono stati consultati o messi al corrente della revisione?
3. non ritiene l’Agenzia di voler chiarire una volta per tutte quali siano le classificazioni da considerarsi come corrette?
4. non teme l’Agenzia che, per l’ennesima volta, tale modo di procedere possa innescare contenzioso?

 ___________________________________________________________

***

Appendice tecnica

ANVUR ha utilizzato soglie dimensionali delle strutture (Università ed enti di ricerca) diverse nel rapporto finale e nelle tabelle diffuse alla stampa. Questi cambiamenti di soglia cambiano anche radicalmente le classifiche delle università al top. In questo post mostriamo che nel rapporto finale dell’ANVUR le segmentazioni per dimensioni dei dipartimenti sono diverse da quelle predisposte dai GEV nei rapporti rispettivi rapporti di area. Questo significa che le classifiche pubblicate nel rapporto finale ANVUR (tab. 6.7) e confluite nella cosiddetta “sezione pagelle” del libricino I voti all’università pubblicato dal Corriere della Sera, sono in quasi tutti i casi radicalmente diverse da quelle messe a punto dai GEV nei rapporti di area.

1. Come ormai sappiamo la questione delle soglie dimensionali è delicatissima. Modificando le soglie si modificano le classifiche di strutture e dipartimenti. A parità di “pagella” – ANVUR ha rispolverato l’idea di Sergio Benedetto di dare le pagelle all’università, nel libretto I voti all’università pubblicato dal Corriere della Sera- a seconda delle soglie dimensionali scelte si può scalare ai primi posti di una classifica, o finire nel gruppo centrale. La scelta delle soglie è quindi delicatissima e sarebbe stato saggio da parte del consiglio direttivo definirle univocamente (indicando direttamente le soglie o una metodologia statistica per il loro calcolo). Invece i 14 GEV hanno prodotto soglie molto diversificate per classificare le strutture come piccole, medie o grandi. Quando dalle strutture si passa ai dipartimenti la confusione si moltiplica: infatti alcuni GEV hanno pensato bene di definire le loro soglie per dire che un dipartimento di area è piccolo, medio o grande; altri invece non l’hanno fatto ed hanno presentato delle classifiche di dipartimento che non tengono conto della dimensione.

ANVUR nel rapporto finale (Tabelle 6.7), nei materiali diffusi ai giornalisti e pubblicati come “pagelle” sul libriccino del CDS, non ha minimamente considerato quanto scritto dai GEV, ha introdotto nuove soglie secondo un metodo di calcolo che dovrebbe essere unico, ma che, come vedremo, unico non è. Nel rapporto finale la metodologia di calcolo delle soglie dipartimentali è scritta in due righe (p. 49) ed è ripresa laconicamente nei files predisposti per la stampa: http://www.anvur.org/rapporto/files/stampa/TABELLA%203.pdf

E che occupa una mezza pagina dello scritto di Sergio Benedetto dal titolo “Metodo, finalità e risultati della prima valutazione della ricerca” sul libricino del Corriere:

“Le sezioni Dipartimenti e Sottostrutture Enti nelle Pagelle presentano per ogni Area, i dipartimenti delle università determinati sulla base della Legge 240 di riforma universitaria suddivisi in tre segmenti dimensionali: grandi medi e piccoli. Il calcolo delle soglie che discriminano i segmenti è stato fatto dividendo per ogni Area le soglie delle strutture per il numero medio di dipartimenti per struttura nell’Area” (p. 105, corsivo aggiunto)

Che vuol dire: per ogni area si considerano le soglie dimensionali individuate dal GEV per le strutture. Si dividono per il numero medio di dipartimenti per struttura nell’area e si ottengono soglie dipartimentali. Si tratta di soglie che non solo non hanno teoricamente alcun significato, ma sono anche in contrasto con le modalità di individuazione statistica delle soglie usate per le strutture nelle classifiche per la stampa (33% grandi; 33% medie; 33% piccole) o in altre parti del rapporto finale 25% Grandi; 50% medie; 25% piccole). Ma diamole per buone. Il problema è che il numero medio di dipartimenti per struttura non è stato reso noto e questo rende difficile ogni controllo diretto della congruità delle soglie. Non è banale calcolare il numero medio di dipartimenti leggendo i rapporti finali di Area dei GEV. Cominciamo dal denominatore: per ciascuna area devono essere conteggiate tutte le strutture, o soltanto quelle con più di 9 prodotti che compaiono nelle classifiche? Nel primo caso non tutti i GEV dichiarano e se ce ne sono e quante di strutture con meno di 9 prodotti. Stesso problema con i dipartimenti: vanno considerati tutti o solo quelli che entrano in classifica? Quasi nessun GEV indica il numero complessivo dei dipartimenti. E’ verosimile che ANVUR abbia adottato la soluzione: numero complessivo dei dipartimenti comprensivo di quelli con meno di 10 prodotti diviso il numero delle strutture complessive.

Nella tabella in calce a questo post sono riassunti tutti i dati ed è messo a punto un metodo di verifica inversa della congruità della regola. Per 9 aree non è possibile verificare se la regola è stata effettivamente applicata; per 6 aree il controllo inverso sembra suggerire che ANVUR non abbia applicato la regola; solo in un area la regola sembra applicata correttamente.

AREA 1

Il GEV di Area 1 ha svolto le analisi più raffinate in termini di segmentazione dimensionale. Infatti non ha solo suddiviso gli atenei in tre segmenti dimensionali (P<80; G>240), ma ha ritenuto di dover introdurre per la analisi delle strutture per macrosettore/gruppi di settori/settori segmentazioni dimensionali specifiche. In relazione al livello di analisi (macrosettore/gruppi/settore) infatti

“sono state considerate piccole le università con un numero di prodotti attesi nel terzo inferiore della distribuzione dei prodotti attesi a quel livello; medie quelle con un numero di prodotti attesi nel terzo centrale; e grandi quelle con un numero di prodotti attesi nel terzo superiore.” (p. 54)

 Coerentemente con questa impostazione quando il GEV ha dovuto predisporre le Graduatorie dei Dipartimenti li ha suddivisi per dimensione:

“Dipartimenti di dimensioni profondamente diverse hanno dinamiche e funzionamento completamente diversi; per assicurarsi di confrontare oggetti confrontabili è stato pertanto necessario classificare i dipartimenti in funzione delle loro dimensioni.” (p. 62)

Dopo aver eliminato i dipartimenti con un numero di prodotti inferiori a 10, il GEV ha suddiviso i restanti dipartimenti in grandi medi e piccoli usando la stessa metodologia di segmentazione degli Atenei.

“In altre parole, sono stati considerati piccoli i dipartimenti con un numero di prodotti attesi nel terzo inferiore della distribuzione dei prodotti attesi a quel livello; medi quelli con un numero di prodotti attesi nel terzo centrale; e grandi quelli con un numero di prodotti attesi nel terzo superiore.” (p. 62)

Anche per i Dipartimenti le analisi a livello di area/macrosettore/gruppo di SSD/SSD sono state adattate le soglie con la stessa metodologia.

Ci limitiamo a riportare le prime tre posizioni in classifica dei dipartimenti operate dal GEV 1  suddivisi in grandi medi e piccoli (Tab 4.3, 4.8, 4.13).

ANVUR ha deciso di non considerare quanto scritto dal GEV ed questa ampia discussione ed ha ritenuto di rifare classifiche dipartimentali sulla base di soglie diverse (P<25; G>68). Ed ecco la classifica rivoluzionata:

 Scompare il Dipartimento di informatica dell’Università di Milano che il GEV classificava primo tra i grandi, scompaiono anche i dipartimenti di matematica di Padova e Roma Tor Vergata. Tra i grandi dipartimenti subentrano Salerno (Informatica), Roma La Sapienza (Informatica) e Pavia (Matematica), questo due ultime occupavano il secondo e terzo posto tra i medi secondo il GEV.

ANVUR promuove la SISSA di Trieste dal secondo posto tra le piccole -secondo il GEV- al primo tra le medie, seguita da Bolzano e Insubria che non compaiono nella classifica del GEV.  Solo Bologna (Ing. Dell’Energia Elettrica) si conferma prima tra i piccoli seguita da Brescia (Economia e management) e Bergamo (Ingegneria), quest’ultima non presente nelle classifiche del GEV.

AREA 2

Il GEV di Area 2 suddivide gli Atenei in tre segmenti dimensionali (P<70; G>200). IL GEV non introduce una segmentazione dimensionale dei dipartimenti e ritiene di non presentare una classifica dei dipartimenti per indicatore R.

“Per le Strutture universitarie sono state anche presentate tabelle con la valutazione dei singoli Dipartimenti (Tabb. 4.1, 4.2, 4.3), ordinati alfabeticamente per nome della Struttura universitaria: bisogna notare che in alcuni casi ci sono piccoli Dipartimenti in grandi Strutture e quindi in questi casi la significatività del dato statistico è inferiore.” (p. 49)

Introduce quindi esplicitamente un caveat di significatività statistica per tale classifica e si limita a elencare i dipartimenti dentro le università. D’altra parte presenta una classifica dei dipartimenti per IRD1 (Tab. 4.4).

ANVUR non ritiene evidentemente che i dubbi statistici del GEV siano da prendere sul serio e anche per l’Area 2 introduce soglie dimensionali per i dipartimenti pubblicando la relativa classifica.

AREA 3

Il GEV di Area3 suddivide gli Atenei in tre segmenti dimensionali (P<100; G>300); tale segmentazione è utilizzata anche in relazione alle graduatorie dei Dipartimenti. Il GEV ritiene evidentemente che non abbia senso usare soglie diversi per Atenei e Dipartimenti: “[per i dipartimenti universitari] ci troviamo di fronte solo a strutture medie e piccole (secondo i criteri discussi in precedenza)” .  

Presenta quindi una classifica (Tab 4.2) in due segmenti che riproduciamo qua sotto limitatamente alle prime tre posizioni tra i grandi e tra i piccoli:

ANVUR ha ritenuto di intervenire sulle soglie dimensionali scelte dal GEV modificandole in modo radicale (P<30 contro P<100 del GEV; G>100 contro G>300 del GEV). E come conseguenza anche la classifica dei dipartimenti si modifica radicalmente nel passaggio da GEV ad ANVUR:

Rivoluzionata l’Università di Parma: quello che secondo il GEV sarebbe il miglior dipartimento parmense (Dipartimento di Chimica generale ed inorganica collocato in seconda posizione tra i medi) scompare dalle prime posizione secondo ANVUR, superato dai dipartimenti di Chimica (primo tra i grandi) e di Farmacia (primo tra i medi); entrano due dipartimenti di Siena e uno di Milano Bicocca. Ci sono poi avvicendamenti anche a Genova (ANVUR fa entrare il dipartimento di Ingegneria civile e scomparire quello di Ingegneria chimica) ed, infine, esce il Dipartimento di Chimica strutturale dell’Università di Milano.

Le soglie ANVUR sono in contraddizione con quanto affermato dal GEV a pagina 10 del rapporto dove è scritto

“L’Area 03 è suddivisa in 12 SSD ed è presente in 51 Università, nelle quali è rappresentata in 113 Dipartimenti”

Poiché le classifiche del GEV elencano 51 strutture e 113 dipartimenti, all’apparenza non dovrebbero esserci università e dipartimenti con meno di 10 prodotti attesi. Se questo è vero le soglie scelte dall’ANVUR per i dipartimenti non sono giustificate. D’altra parte nelle tabelle contenenti le classifiche il GEV scrive che non vi sono comprese strutture/dipartimenti con meno di 10 prodotti. In assenza di un chiarimento non è possibile verificare la congruità delle soglie in modo definitivo.

 AREA 4

Il GEV di Area 4 è forse il più laconico in fatto di informazioni contenute nel rapporto. Per le strutture individua tre segmenti dimensionali (P<30; G>99) che adotta nelle classifiche. Per i dipartimenti riporta le frasi di rito e sottolinea (p.23):

“La VQR ha, tra i suoi compiti, quello di fornire alle strutture un ranking dei dipartimenti che possa essere utilizzato come informazione dagli organi decisionali delle strutture nella distribuzione interna delle risorse.”

Quindi non propone una classifica dei dipartimenti complessiva, ma presenta classifiche interne agli Atenei che sono elencati in ordine alfabetico.

ANVUR presenta comunque una graduatoria di dipartimenti per segmenti dimensionali (P<21; G>61) con le posizioni indicate sotto:

E’ da notare che le soglie scelte da ANVUR per questa classifica sono identiche a quelle scelte dal GEV per gli Atenei. Questo significa che non dovrebbero esserci né Atenei con un numero di prodotti inferiore a 10, e perciò non riportati nelle classifiche e neanche dipartimenti con numero di prodotti inferiori a 10 e quindi non presenti nelle relative classifiche. Il GEV non indica quante sono le strutture ed i dipartimenti non valutati per cui non è possibile fare un controllo. Si può però notare che nelle Tabelle 3.1 e 4.1 del rapporto GEV si dice esplicitamente che “Strutture con meno di 10 prodotti sono escluse”. Ne segue che o quanto scritto nelle tabelle 3.1 e 4.1 è ridondante perché di strutture e dipartimenti con meno di 10 prodotti (unico caso!) non ce ne sono; oppure le soglie adottate dall’ANVUR non rispettano le regole che ANVUR dichiara di adottare.

AREA 5

Il GEV di Area 5 individua tre segmenti dimensionali nel testo del rapporto, ma non li rispetta nella classificazione. Infatti a p. 9 le strutture sono classificate in “quelle che hanno meno di 100 prodotti”, quelle tra “100 e 299” e quelle con “oltre 300” (l’estensore si è dimenticato di classificare il caso di 300 prodotti n.d.r.). Poi nella tabella seguente si scopre che l’Università di Genova con 306 prodotti e quella di Perugia con 305 sono classificate tra le medie anziché tra le grandi. E non si tratta di un refuso perché nella restante parte del rapporto le due università continuano ad essere considerate medie. L’università di Genova passa così dal sesto posto tra le medie al quinto posto tra le grandi strutture.

Per quanto riguarda i Dipartimenti, il GEV di Area 5 ritiene di non presentare una graduatoria autonoma dei dipartimenti, ma le graduatorie dei dipartimenti all’interno di ciascuna università. Le università sono presentate per segmento dimensionale (tabelle 4.1, 4.2 e 4.3). Se ne può ricavare che secondo il GEV ciò che è rilevante è la dimensione dell’Ateneo non dei dipartimenti.

In ogni caso ANVUR presenta una graduatoria di dipartimenti per segmenti dimensionali (P<21; G>61) con le posizioni indicate sotto:

AREA 6

Il GEV di Area 6 mostra qualche incertezza nella classificazione dimensionale delle strutture. Scrive infatti a p. 14 come se volesse adottare una quadripartizione delle strutture, introducendo una categoria di strutture “piccolissime”:

“In termini di dimensioni in 23 Università la presenza dell’Area 06 è numericamente limitata (meno di 40 lavori conferiti) a causa dell’assenza di un corso di Laurea in Medicina e Chirurgia. Delle rimanenti 40 strutture universitarie, 10 hanno conferito tra 71 e 299 prodotti, 16 tra 300 e 699 prodotti, 14 tra 700 e oltre 3000 prodotti.” (p. 14)

Più avanti nel rapporto si precisa però che (p. 19)

“Inoltre, per motivi di affidabilità statistica, le tabelle distinguono tra strutture universitarie di piccole dimensioni (quelle che hanno conferito tra 10 e 299 prodotti), medie dimensioni (quelle che hanno conferito tra 300 e 699 prodotti) e grandi dimensioni (quelle che hanno conferito 700 e oltre 3000 prodotti).”

Nel caso dei dipartimenti dopo aver riportato la formulazione che abbiamo già incontrato In questa sezione (“introdurremo 2 indicatori di qualità di Area dei dipartimenti indipendenti dalla numerosità dei soggetti valutati (p.22)”) si rimanda alla classifica di tab 4.1 di cui presentiamo al solito le prime tre posizioni:

Gli estensori del Rapporto finale VQR modificano questa classifica introducendo soglie dimensionali (P<63 e G>143), e producendo la classifica che potete leggere sotto:

AREA 7

Il GEV di Area 7 non ha affrontato in modo sistematico il tema della segmentazione dimensionale. Ha però presentato la classifica dei dipartimenti ricordando che 

“[gli] indicatori di qualità di area dei dipartimenti [sono] indipendenti dalla numerosità dei soggetti valutati dell’area nei dipartimenti.” (p. 70)

Le prime tre posizioni in classifica sono le seguenti:

Gli estensori del Rapporto finale VQR modificano questa classifica introducendo soglie dimensionali (P<33 e G>98), e producendo la classifica che potete leggere sotto:

Il Dipartimento di Agronomia, animali, alimenti, risorse naturali e ambiente dell’Università di Padova entra al primo posto tra i grandi; il dipartimento di Biotecnologie di Verona passa in testa tra i medi e l’Istituto di Scienze della vita di Pisa Sant’Anna va al comando tra le piccole.

AREA 8

Il GEV di Area 8 è suddiviso in due sottoaree (8a e 8b) per le quali valgono le stesse soglie dimensionali di struttura:

“gli atenei e gli enti di ricerca sono stati suddivisi in tre fasce: grandi (oltre 200 prodotti attesi), medi (tra 200 e 100), piccoli (tra 100 e 10).” (p. 44)

Il GEV introduce con molte cautele anche una classificazione dimensionale dei dipartimenti

La divisione tra dipartimenti grandi medi e piccoli è stata introdotta per facilitare la lettura delle tabelle, ma ha un significato meno forte che l’analoga suddivisione degli Atenei. Per dipartimenti grandi si intendono quelli al di sopra dei 100 prodotti attesi. Si tratta di dipartimenti in cui la quasi totalità, o almeno la maggioranza degli afferenti, appartengono al subGEV Ingegneria o Architettura. Per dipartimenti medi si intendono quelli con prodotti attesi tra 100 e 50. Quest’ultima soglia, relativamente arbitraria, consente una ripartizione in segmenti proporzionati dell’elenco, ed equivale a un nucleo di docenti tra 15 e 20. Infine i dipartimenti piccoli sono quelli con prodotti attesi tra 50 e 10. (p. 45)

Il GEV ha così prodotto classifiche distinte di dipartimenti per ciascuna delle due sottoaree (8a “bibliometrica” e 8b “non bibliometrica”) in cui è diviso segmentate per dimensione.

Quindi la graduatoria riportata nelle tabelle è solo quella dei nuclei interni ai dipartimenti facenti capo all’ingegneria civile o all’architettura . Analogamente agli Atenei, le graduatorie dei dipartimenti nella loro interezza saranno presentate nella relazione generale della VQR. (p. 46)

Nel rapporto finale ANVUR della classifica unificata dei dipartimenti per l’area 08 nella sua interezza non c’è traccia. Ci sono però classifiche di dipartimenti per ciascuna delle due sottoaree 8a e 8b; le soglie utilizzate per entrambe sono diverse (P<46; G>87) da quelle adottate dal GEV.

Vediamo come cambiano le prime posizioni in classifica nel passaggio dal GEV ad ANVUR. Nella prima tabella le prime tre classificate per il subgev ingegneria secondo il GEV.

 Di seguito ecco la classifica ANVUR con Trento (Ingegneria civile, ambientale e meccanica) che passa dal primo posto tra i medi dipartimenti al primo tra i grandi, scalzando Genova che scende al secondo posto e soprattutto facendo scomparire dai comunicati stampa il Politecnico di Torino (Ingegneria civile e ambientale). Tra i medi entra al terzo posto Roma Tor Vergata (Ingegneria civile) che non compariva nelle classifiche del GEV. Si confermano le prime tre posizioni tra le piccole.

Nel subgev 8b-architettura la classifica GEV per i primi tre posti per segmento dimensionale è la seguente:

 Secondo ANVUR la classifica va invece riscritta così:

Il Politecnico di Torino scalza Venezia IUAV dal primo posto facendo scomparire dal comunicato stampa Roma La Sapienza. Sassari conquista la prima posizione tra i medi seguito dal Politecnico di Bari –che non compare nella classifica GEV- che scavalca un dipartimento dell’Iuav di Venezia. Si confermano le prime tre posizioni per i piccoli dipartimenti.

AREA 9.

Il GEV di AREA pubblica una classifica dei dipartimenti che li suddivide in due gruppi dimensionali: dipartimenti grandi (più di 50 prodotti) e piccoli (meno di 51 prodotti) (Tab. 4.10a del Rapporto finale del GEV). Ecco le posizioni di testa.

Scrive il GEV di AREA 09: “Per motivi di affidabilità statistica, le tabelle distinguono tra dipartimenti piccoli, con numero di lavori attesi compreso tra 10 e 50 e dipartimenti grandi, con oltre 50 lavori attesi.” (p. 29).

Evidentemente gli estensori del Rapporto finale VQR hanno ritenuto che non si dovesse tenere conto dell’affidabilità statistica delle soglie sostenuta dal GEV09 ed hanno ripartito in modo diverso i dipartimenti. Le soglie scelte sono molto diverse.  Dipartimenti piccoli sono quelli inferiori a 30 prodotti, medie tra 30 e 104 prodotti grandi dipartimenti sono quelli con più di 105 prodotti.

Qua sotto potete leggere i primi tre dipartimenti classificati per area dimensionale nella classifica diffusa ai giornalisti, pubblicata sul corriere della sera e presente nel rapporto finale ANVUR.

Nella classifica ANVUR compare il Politecnico di Torino e l’Università del Sannio, sale al primo posto tra le medie l’Istituto di Tecnologie della Comunicazione del Sant’Anna di Pisa, mentre l’Istituto di Biorobotica del Sant’Anna scende di un posto nella classifica dei piccoli dipartimenti.

AREA 10

Ciò che accade in relazione alla classifica di Area 10 è davvero sorprendente. Il GEV di area adotta il criterio di segmentazione dei dipartimenti che anche ANVUR usa nel suo rapporto finale. Ma le soglie dimensionali calcolate da GEV e ANVUR con lo stesso metodo risultano diverse. Come conseguenza i primi tre posti nelle classifiche dimensionali sono gli stessi, ma cambiano molte posizioni successive alla terza.

Facciamo ordine. Il GEV di Area 10 ha deciso di presentare le graduatorie di dipartimento per classi dimensionali presentata a p. 37 del Rapporto:

Per ottenere una suddivisione per segmenti dimensionali analoga a quella delle strutture – e quindi una migliore visibilità dei risultati – le soglie utilizzate per le strutture sono state rapportate al numero medio di dipartimenti per ateneo. In ciascuna università sono presenti in media tre dipartimenti, e per tal motivo le soglie dimensionali utilizzate sono:

– Fino a 32 prodotti attesi: piccoli dipartimenti

– Fra 33 e 99 prodotti attesi: medi dipartimenti

– Da 100 prodotti attesi: grandi dipartimenti

Si tratta del criterio che ANVUR sostiene di utilizzare nel suo rapporto finale. Infatti se si dividono le soglie delle strutture (G: >299; P<100) per il numero medio di dipartimenti per struttura dichiarato dal GEV si ottengono le soglie dipartimentali contenute nella citazione.

Come accennato, pur usando lo stesso metodo, nel rapporto finale ANVUR le soglie cambiano (G>78; P<26). Non cambiano le posizioni di testa della classifica nei tre segmenti dimensionali come si vede nella tabella seguente:

Cambiano le classifiche nel loro complesso. Riportiamo a titolo di esempio le prime dieci posizioni delle grandi nella classifica pubblicata dal Corriere della Sera e nel Rapporto finale:

AREA 11

Il GEV di AREA 11 ha una organizzazione piuttosto complessa ed è suddiviso in due aree 11a (storia, filosofia, pedagogia) e 11b (psicologia e scienze motorie). Il GEV adotta soglie dimensionali per le strutture diverse per le due sub aree  (11a: P<100; G>299; 11b: P<30, G>99). Adotta altresì una segmentazione dimensionale unica per i dipartimenti sulla base della quale sono presentate le graduatorie:

“Le graduatorie sono suddivise sulla base delle dimensioni dei dipartimenti: a livello di sub-area tra grandi (con almeno 100 prodotti), medi (da 30 a 99 prodotti) e piccoli (non più di 29 prodotti)” (p. 55)

In apertura della presentazione dei risultati di strutture e dipartimenti si legge:

“Nel presentare i risultati più significativi del proprio lavoro, il GEV 11 ritiene di dover attirare l’attenzione del lettore sul fatto che le classifiche di strutture e dipartimenti, della cui solidità il GEV è convinto vanno però lette e interpretate ricordando il modo in cui la VQR stessa è stata concepita, e in particolare il peso assegnato alla valutazione dei prodotti presentati (p. 46).

ANVUR evidentemente non è altrettanto convinta della classifica dipartimentale messa a punto dal GEV. Ed infatti pubblica nel suo rapporto finale classifiche completamente riviste sulla base di soglie dimensionali diverse (11a: P<26; G>75; 11b: P<19; G>18). E’ da notare che nella sub-area 11b adotta in autonomia una classificazione dei dipartimenti in due sole classi: Grandi e Medi

Ed ecco allora le prime posizioni nelle classifica dei dipartimenti per segmenti dimensionali dell’area 11 di cui il GEV è convinto (Tab. 4.1 del Rapporto finale del GEV):

ANVUR modifica la classifica come segue: Milano Cattolica (Lettere e Filosofia) prende il posto di Milano Bicocca tra le grandi; tra le medie Parma sopravanza Firenze e Roma Tor Vergata, a danno di Macerata;

entrano Milano Cattolica e soprattutto ben due dipartimenti di Venezia Ca’ Foscari a spese di Milano Bicocca, Siena e Milano San Raffaele. Infine tra le piccole entrano due dipartimenti di Ca’ Foscari (Studi linguistici ed economia) e Pavia spodestando Milano San Raffaele, Siena e Parma.

Nella sub-area 11b il GEV è convinto che i primi tre posti per segmento dimensionale siano da attribuire come segue: (Tab. 4.2 del Rapporto finale del GEV)

ANVUR invece ritiene di dover bipartire i dipartimenti di sub-area  e presenta la seguente classifica.

Come si può notare due dipartimenti di Trento guadagnano le prime due posizioni tra le grandi, Roma La Sapienza scivola al terzo posto e si perdono le tracce dei due dipartimenti di Padova che secondo il GEV dovevano stare al secondo e terzo posto tra le grandi. Verona passa dal primo posto tra i dipartimenti piccoli al primo posto tra i medi, seguito da Chieti e Pescara e Modena e Reggio Emilio. Scompaiono dalla classifica diffusa alla stampa e scompare il Dipartimenti di studi umanistici di Pavia.

Come si può notare nella tabella in calce a questo post, per le due sub-aree 11a e 11b le soglie adottate dall’ANVUR per i dipartimenti non rispettano la regola di calcolo adottata dalla stessa ANVUR.

AREA 12

Il GEV fornisce una larga ed accurata discussione sulla questione delle soglie e delle graduatorie, e sui limiti di quella dei dipartimenti. SI legge a p. 43 del Rapporto finale del GEV:

“Oltre a valutare le strutture […] la VQR è funzionale alla valutazione dei dipartimenti. […] [inoltre] si tratta di un esercizio non privo di complessità e il cui grado di significatività non è privo di incertezze (una fra tutte, quella relativa al fattore temporale e al possibile disallineamento della qualità della produzione scientifica dei dipartimenti di nuova costituzione rispetto alla loro vecchia configurazione). Pertanto, ogni confronto tra strutture di natura e dimensioni differente deve essere condotto con il massimo della cautela possibile.”

E’ quindi evidente che IL GEV non adotta soglie dimensionali per i dipartimenti fornendo una classifica unica. Eccola (p. 46 e seguenti rapporto finale area).

Ed ecco la classifica modificata dall’ANVUR adottando le seguenti soglie: PICCOLO con numero di prodotti attesi inferiori a 31; MEDIO con numero di prodotti attesi inferiore a 93; GRANDE con numero di prodotti attesi pari o superiore a 93. Guadagnano un primo posto Milano Bocconi Dipartimento di Studi Giuridici (con un numero di prodotti attesi 93 pari al minimo di soglia) e Napoli Benincasa, ed entrano in classifica 5 altri dipartimenti.

AREA 13

Il GEV di Area 13 ha adottato una strategia di segmentazione diversa dagli altri GEV dividendo le strutture in due soli gruppi, grandi e piccole. A proposito dei dipartimenti il GEV propone una possibile classificazione a pagina 8 del rapporto finale:

Complessivamente, dopo la riorganizzazione dipartimentale della Legge 240, ricercatori dell’area 13 sono presenti in 354 dipartimenti; 74 di questi dipartimenti hanno conferito tra 10 e 30 lavori, 56 tra 30 e 100 lavori e 51 oltre 100 lavori. In media, in ciascun ateneo i docenti dell’Area 13 sono quindi presenti in quattro dipartimenti distinti, anche se spesso si tratta di presenze di uno o due docenti.

Nella parte del rapporto in cui si presentano i risultati dipartimentali il GEV non adotta una segmentazione dimensionale ed aggiunge una nota di cautela (p. 27):

“[…] le tabelle prendono in considerazioni solo dipartimenti con almeno 10 lavori attesi (e quindi conferiti da almeno 3 soggetti valutati). […] Per motivi di affidabilità statistica, gli indicatori di dipartimenti con numero di lavori attesi compreso tra 10 e 30 vanno considerati con cautela.”

La prime tre posizioni nella classifica presentata nella tabella 4.10a sono le seguenti:

Ed ecco la classifica modificata dall’ANVUR dividendo per 4 (numero medio di dipartimenti per struttura) le due soglie dimensionali indicate dal GEV. Alle tre piccole indicate dal GEV si affiancano tra le grandi due dipartimenti di Milano Bocconi ed il dipartimento di Scienze Statistiche di Padova.

AREA 14

Il GEV di area 14 fornisce informazioni di dettaglio sul numero di dipartimenti e strutture che permettono di controllare i dati di soglia indicati da anvur.

Il GEV ha fornito una classifica dei dipartimenti senza classificazione dimensionale (Tab. D.5.1) che riproduciamo qua sotto in riferimento alle prime dieci posizioni.

Il GEV è ben convinto del risultato tanto che commenta (p. 57 del rapporto):

Considerando i dipartimenti universitari attualmente esistenti (Tab. D.5.1: Graduatorie e valori degli indicatori dei dipartimenti post L. 240 ordinati per voto medio (I=v/n) e distribuzione dei prodotti nelle classi di merito (Eccellente “E”, Buono “B”, Accettabile “A”, Limitato “L”)) il primo dato da sottolineare è che la top ten riferita al voto medio e all’indicatore R è costituita da Dipartimenti di 10 diverse università del Centro-Nord, due delle quali con sede a Pisa e due con sede a Milano.

ANVUR interviene al solito introducendo soglie dimensionali  e creando una classifica molto diversa che potete leggere qua sotto:

E’ da notare che le soglie scelte da ANVUR per area 14 non sono coerenti con la tecnica di calcolo indicata da ANVUR stessa.

Conclusioni

Possiamo sintetizzare quanto scritto finora come segue:

1. ANVUR predispone per il Rapporto finale e per il Corriere della Sera classifiche dipartimentali che usano una varietà di soglie dimensionali non riconducibili al metodo unico enunciato da Sergio Benedetto;

2. le soglie dipartimentali adottate da ANVUR per il Rapporto finale e per il Corriere della Sera sono per 8 aree (Area 1; 3; 8°; 8b; 9; 10; 11°; 11b; 12) in aperto contrasto con le soglie dipartimentali adottate dai GEV nei loro rapporti finali;

3.  le soglie dipartimentali adottate da ANVUR per il Rapporto finale e per il Corriere della Sera sono per 6 aree in contrasto con l’adozione da parte dei GEV di classifiche dipartimentali non segmentate per dimensione (Area 2; 4, 5, 6, 7, 12, 13, 14);

4. come conseguenza tutte le classifiche dipartimentali predisposte dai GEV sono diverse dalle classifiche predisposte da ANVUR per la tabella 6.7 del Rapporto finale VQR.

5. ANVUR ha diffuso alla stampa classifiche dipartimentali di sintesi contenenti le prime tre posizioni per segmento dimensionale che in 15 casi su 16 sono diverse dalle analoghe classifhe pubblicate nei rapporti dei GEV.

Altre domande si impongono:

1. quali sono le classifiche giuste, quelle dei GEV o quelle delle Pagelle del libricino del Corriere della Sera?

2. chi ha predisposto e deciso le soglie adottate nel Rapporto finale e nelle Pagelle del libricino del Corriere della Sera?

3. i presidenti dei GEV erano al corrente che le classifiche dipartimentali del Rapporto finale e delle  Pagelle del libricino del Corriere della Sera  sono diverse da quelle da loro pubblicate nei loro rapporti?

4. se erano al corrente, non ritengono di dover modificare i loro rapporti di area ritrattando le soglie dimensionali che vi sono adottate?

5.  possibile che nessun presidente GEV e nessuno dei 450 membri dei GEV si sia accorto che le classifiche dipartimentali dei loro rapporti erano nella quasi totalità dei casi radicalmente diverse da quelle presentate alla stampa, pubblicate nel rapporto finale VQR e diffuse dal Corriere della Sera?

6. se qualcuno si è accorto, come si concilia il silenzio con l’etica dello scienziato?