Gli esperti di valutazione all’italiana

L’ANVUR (Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca) ha dato il via al processo di valutazione della ricerca VQR (Valutazione della Qualità della Ricerca) che coinvolgerà tutte le istituzioni di ricerca italiane nei prossimi due anni. Ritorno, dopo un articolo precedente, sul tema della trasparenza. Il ruolo chiave nelle procedure di valutazione è assegnato ai Gruppi di Esperti della Valutazione (GEV). Ne sono previsti 14, uno per ciascun grande raggruppamento di discipline, le cosiddette aree CUN.

Sono delicatissimi i compiti che i GEV dovranno svolgere: definire i criteri di valutazione e gestire direttamente la valutazione dei singoli prodotti di ricerca, applicando indicatori bibliometrici o scegliendo revisori anonimi.

E’ il consiglio direttivo dell’ANVUR a nominare i GEV. Dalla loro corretta composizione dipende in gran parte la credibilità del risultato finale dell’esercizio di valutazione. L’ANVUR ha da tempo resi noti i nominativi dei presidenti dei GEV; ed ha reso noti contestualmente i criteri di selezione e la composizione dei GEV questa mattina. I criteri di selezione dei GEV prevedono due fasi successive, e del tutto condivisibili in linea di principio.

Nella prima fase l’ANVUR ha selezionato un insieme di ricercatori sulla base della qualificazione e della continuità della produzione scientifica, oltreché dell’esperienza di valutazione. Tra questi l’ANVUR ha poi scelto i membri dei GEV con l’obiettivo di coprire le linee culturali e di ricerca interne alle aree; di avere complessivamente un 20% di docenti stranieri; di avere una equa distribuzione di sede e geografica; di mostrare attenzione alla distribuzione di genere.

I membri dei panel sono stati scelti in gran parte da una lista prediposta dal CIVR per la mai realizzata VQR 2004-2008. Per accedere a quella lista fu emanato un bando pubblico. “In un numero limitato di casi”, ma i dati non sono stati ancora resi noti,  l’ANVUR ha scelto al di fuori della lista. In particolare è ricorsa a nominativi fuori lista per i membri di università estere.

Questo modo di procedere presenta alcune zone non completamente trasparenti. Per esempio: chi sono coloro che sono stati scelti fuori dalle liste? Come è possibile controllare che in alcune aree nelle liste non vi fossero candidati con qualificata e continua produzione scientifica, per cui si è dovuto ricorrere a “chiamate dirette”? Soprattutto non offre sufficienti garanzie sul fatto che i GEV non siano preda di gruppi accademici in grado di controllare i risultati della valutazione. Purtroppo, nell’accademia italiana non è remoto il pericolo che gruppi di accademici si coalizzino per pilotare concorsi, chiamate, e l’esito delle procedure per l’attribuzione di fondi di ricerca.

Possiamo provare ad analizzare da questo punto di vista l’elenco dei membri del GEV di Scienze economiche e statistiche (Area 13). Si tratta di un’area disciplinare composita e particolarmente delicata, perché, specialmente in Italia, la tensione tra approcci diversi alla ricerca è molto forte. Nel precedente esercizio di valutazione CIVR (Comitato di Indirizzo per la Valutazione della Ricerca) si verificarono proprio in quest’area i maggiori problemi.

Il GEV è composto da membri scientificamente qualificati. Le provenienze dei membri sono varie (anche se c’è una presenza robusta di affiliati ad IGIER Bocconi); c’è un 15% di donne; si potrebbe sostenere che alcune aree disciplinari non sono adeguatamente rappresentate, anche se almeno un membro del GEV può essere classificato come economista eterodosso.

Per trovare indizi della presenza di un gruppo accademico di controllo, abbiamo provato ad applicare al sottoinsieme dei 20 economisti membri del GEV (settori disciplinari compresi tra SECS-P01 e P06) una tecnica di analisi di rete usata spesso in bibliometria. In particolare abbiamo verificato la vicinanza/distanza tra i membri del GEV analizzando la rete di coautoraggi (coauthorship network).(*)

I risultati sono sintetizzati nella tabella seguente.

Tre membri del GEV sono a distanza 1 dal presidente sono cioè suoi coautori in almeno un articolo; altri quattro si trovano a distanza 2 dal presidente, sono cioè coautori di studiosi esterni al GEV a loro volta coautori del presidente. Il 35% dei membri sono perciò a distanza 2 o inferiore dal presidente. Nel GEV sono presenti complessivamente 9 membri (45%) che hanno firmato insieme uno o più articoli; e 12 membri (60%) hanno lavorato con almeno un coautore comune esterno al GEV. Quindi il 75% dei membri è a distanza 2 o inferiore da un altro membro del GEV. Sono solo 5 (25%) i membri che non hanno coautori nel gruppo.

Nei GEV ci sono anche 8 membri affiliati a università estere; 5 di loro, cioè il 63%, hanno almeno un coautore all’interno del GEV. Dei tre membri esteri del GEV che non hanno coautori, uno è affiliato IGIER; ed uno insegna regolarmente in un master nel cui collegio docenti compare il presidente del GEV, attivato presso l’università di affiliazione del presidente.

Per avere un termine di paragone abbiamo considerato ciò che accade nel Regno Unito. Abbiamo fatto le stesso esercizio per i membri del panel di valutatori di economia ed econometria nominati in vista del prossimo esercizio di valutazione REF (Research Excellence Framework) . Come si può vedere nella tabella, il presidente del panel britannico non ha coautori diretti all’interno del panel ed un solo membro del panel è a distanza due dal presidente. Sono appena 3 i membri del panel che hanno scritto almeno un articolo insieme (18% contro 45% italiano); i membri del panel che non hanno coautori interni sono il 35% contro il 22% del GEV. Questi ultimi hanno affiliazioni diverse tra loro e dagli altri membri. E, si badi bene, il panel britannico non prevede membri esteri.

Il GEV italiano appare, per così dire, strutturalmente diverso rispetto al modello britannico. E’ auspicabile che il consiglio direttivo dell’ANVUR intervenga opportunamente.

(*) I dati bibliografici su cui è basato l’esercizio sono tratti da EconLit (interrogazioni avvenute il 4/12/2011, e sono disponibili qui e qui. Ai legami generati dalle pubblicazioni su EconLit sono stati aggiunti manualmente alcuni questo link e quest’altro.

L’estrazione dei dati sugli autori è avvenuta usando il software KDVis DB.  Per l’analisi di rete è stato usato Pajek.

Una versione breve dell’articolo è stata pubblicata su Il Riformista del 16/12/2011.