VQR, la composizione dei GEV ed una questione di fairness

L’ANVUR ha replicato ad un precedente post dove si documentavano le strette relazioni di coautoraggio per 3/4 degli economisti che compongono il GEV di area 13 (Scienze economiche e statistiche). La risposta dell’ANVUR, che il coordinatore è coautore di molti studiosi italiani che stanno nelle prime posizioni di una classifica di economisti è significativa della totale incomprensione di una questione assai delicata, quella della fairness nella composizione dei gruppi di valutatori, che è al centro delle preoccupazioni di qualunque nazione che abbia deciso di svolgere un esercizio serio di valutazione della ricerca.

In un post precedente uno dei due autori di questo post ha rilevato una fitta rete di coautoraggi tra i membri del GEV di area 13 (Scienze economiche e statistiche): il gruppo di area economica è per 3/4 composto da studiosi che sono coautori o hanno coautori comuni esterni al panel; anche 5 degli 8 studiosi con affiliazione estera che ne fanno parte hanno almeno un coautore nel GEV.

L’ANVUR in un recente documento ha risposto a queste osservazioni concentrando l’attenzione esclusivamente sul tema della distanza dei membri del GEV dal presidente. La sostanza della risposta è la seguente: l’ANVUR ha costituito un panel di economisti che stanno nei primi posti della classifica Repec (non è qui rilevante discutere l’affidabilità[1] della classifica). Il coordinatore è coautore di molti economisti italiani che stanno nei primi posti della classifica; ed infatti “la percentuale di coautori del presidente (distanza 1 o 2) all’interno del GEV rilevata da Roars (35%) […] è in linea con quella presente nella distribuzione dei primi 20 o 50 economisti italiani censiti Repec”.

1. Giudizio equo e composizione dei GEV

Ritorniamo sui numeri alla fine di questo post perché voglio prima rendere esplicito il punto che intendevo sollevare. Una valutazione ben fatta richiede, tra le altre cose, un esame accurato (thorough) e fair dei prodotti di ricerca. La selezione dei valutatori, in questo caso i membri dei GEV, deve tener conto non solo della loro competenza, ma deve anche essere disegnata in modo tale da ottenere un collegio che sia, per quanto possibile, fair.

Non è facile rendere in italiano “fair” e “fairness”. Nella letteratura scientifica che si occupa di teoria della giustizia si è affermato l’uso di tradurre quelle espressioni inglesi con le parole “equo” e “equità”. Un uso che seguiremo anche noi, ma segnalando al lettore che “fair” e “fairness” in inglese alludono a situazioni in cui un gruppo di persone svolge in comune un’attività governata da regole, come avviene quando si partecipa a un gioco. L’esempio del gioco è utile perché ci consente di illuminare un’altra sfumatura di significato dei termini di cui stiamo parlando: le situazioni in cui si pongono problemi di fairness sono caratterizzate da potenziale conflitto di interessi tra le persone coinvolte. Nel caso di un giudizio, come quello dei valutatori, l’uso di “fair” suggerisce l’idea di imparzialità[2]. Nei paesi in cui la cultura della valutazione è consolidata, il tema dell’equità del giudizio è centrale nel disegno delle procedure di valutazione. Ecco un esempio:

In order to fund the most excellent research of today and tomorrow, research needs to be evaluated on the basis of a process that is fair, impartial and conducted in a manner free of bias.

Il ruolo dei panelists somiglia molto a quello dei membri di una giuria popolare in un processo. Come si può favorire l’emergere di un giudizio equo da parte di un collegio giudicante? Attraverso la designazione di una giuria, per così dire, bilanciata e quindi presumibilmente meno incline alla parzialità. Le regole del Jury selection Service Act degli Stati Uniti, ad esempio, stabiliscono che la giuria deve essere nominata selezionando “at random from a fair cross-section of the community [corsivo aggiunto]”[3]. La composizione equa della giuria popolare mira a garantire l’equità del giudizio. Gli esempi più noti e documentati riguardano la necessità di bilanciare dal punto di vista dei gruppi etnici le giurie popolari perché si ritiene che una giuria composta in prevalenza da membri di uno stesso gruppo etnico tenda ad essere favorevole nei confronti di un imputato dello stesso gruppo, e sfavorevole rispetto a un imputato di un gruppo etnico diverso.

In modo analogo l’equità della valutazione in un esercizio di valutazione è generalmente considerata strettamente legata alla composizione dei panel dei valutatori. Come si può favorire l’emergere di un giudizio equo da parte dei valutatori? Attraverso la designazione di un panel di valutatori bilanciato. In questo caso la comunità di riferimento da cui scegliere i valutatori è quella dei pari competenti[4]  perché solo loro hanno la capacità di esprimere un giudizio informato. Scegliere pari competenti non garantisce però l’equità nella composizione della giuria. Il fatto che l’ANVUR abbia scelto il GEV di Area13 pescando dai primi posti di una classifica di economisti non ha nessuna rilevanza ai fini del tema della equità.

Nei paesi in cui la cultura della valutazione è più avanzata che in Italia, molta attenzione è riservata al tema della “diversità” o “bilanciamento” nella composizione dei panel. L’esempio più chiaro è il REF britannico dove:

The diversity of the research community in the relevant fields should be reflected in the subpanel membership.

In deciding the sub-panel membership the funding bodies will have regard to the desirability of ensuring that the overall body of members reflects the diversity of the research community, including in terms of age, gender, ethnic origin, scope and focus of their home institution, and geographical location. The REF Equalities and Diversity Advisory Group will monitor the diversity of the panel membership.

Nelle Guidelines canadesi per la selezione dei progetti di ricerca si raccomanda che i comitati siano “well balanced in terms of region, language, gender, international representation and multi-disciplinarity” e per questa ragione si dice che la “committee creation [is] a very complex task and very fine balancing act that requires a great deal of preparation and very fine tuned judgment on the part of the program officer”

In un contesto leggermente diverso, la European Peer Review Guide della European Science Foundation suggerisce che

The goal should be to ensure availability of diverse viewpoints, scientific perspectives and scholarly thinking.

Nella stessa guida, sono elencati (p. 25) i criteri da adottare per la selezione degli esperti. Oltre alla competenza scientifica si fa riferimento alla “diversità” che è  declinata in termini di “gender balance, scholarly thinking, background, geography, turnover”.

2. Perché i panel dovrebbero avere una composizione bilanciata?

Perché è così seria la questione del bilanciamento nella composizione dei panel? Sono tre le ragioni principali.

La prima ragione è che si vuole evitare il rischio che un panel sbilanciato fornisca risultati della valutazione che sono “scholarly biased” (Langfeldt 2004): con questa espressione ci si riferisce al fatto che la valutazione rifletta una idea preconcetta di “buona ricerca” che, come scrivono qui, coincide con il punto di vista scientifico condiviso dai membri del gruppo dei valutatori:

the evaluating scientist might be biased towards a specific view on the basic research questions in that particular field, having a preconception of what is the appropriate way or view.

Qui non è in gioco solo la salvaguardia del pluralismo all’interno di una area disciplinare, che è un tema rilevantissimo; ma anche la possibilità per le comunità nazionale di rispondere prontamente a cambi di direzione nell’orientamento prevalente all’interno di una disciplina. Infatti, la valutazione condotta con una varietà di punti di vista può aiutare ad evitare che l’orientamento prevalente  all’interno di una comunità – per quanto maggioritario in un certo momento del tempo – ostacoli gli sviluppi futuri della ricerca, nel caso in cui quell’orientamento si scopra ad un certo punto errato. Dato che i giudizi dei valutatori tendono ad influenzare gli orientamenti della ricerca, è molto concreto il pericolo che un panel sbilanciato spinga la comunità dei ricercatori ad adottare l’orientamento momentaneamente maggioritario, sfavorendo lo sviluppo di punti di vista e programmi di ricerca alternativi.

La seconda ragione è che si vuole evitare il rischio del nepotismo accademico. Con questa espressione si intende la pratica di valutare meglio i colleghi e gli “allievi” dei colleghi che condividono il punto di vista del gruppo e che lavorano su temi simili a quelli dei membri del panel.

Fonte: Langfeldt

Una terza ragione è che si vuole evitare che all’interno dei panel dei valutatori si inneschino fenomeni che gli psicologi chiamano groupthink, cioè “a deterioration of mental efficiency, reality testing, and moral judgement that results from in-group pressure” (Janis 1982). In particolare la lealtà verso il gruppo può richiedere a ciascun membro di evitare di sollevare questioni controverse o mettere in dubbio argomenti deboli [5].

3. Perché la questione non è stata affrontata nella VQR?

Scholarly bias, nepotismo accademico e grouthink sono fenomeni difficilmente osservabili ex post. Questa è la ragione per cui negli esercizi di valutazione condotti a livello internazionale si ritiene che garantire il bilanciamento nella composizione dei panel di valutatori sia l’unico modo per mitigarne gli effetti sui risultati della valutazione.

Per quanto riguarda la VQR né l’ex Ministro-Gelmini nel DM di indizione, né l’ANVUR hanno ritenuto di definire regole esplicite per garantire una qualche forma di bilanciamento nella composizione dei panel [6]. In realtà il DM prevedeva che l’ANVUR nominasse i membri dei GEV e scegliesse tra questi i coordinatori dei GEV medesimi. E’ difficile pensare che i 7 membri del consiglio direttivo avessero le informazioni per nominare 450 studiosi in ogni campo dello scibile umano. L’ANVUR ha così nominato (alcune settimane) prima degli altri i 14 coordinatori dei GEV, ed ha verosimilmente permesso loro di partecipare attivamente alla scelta degli altri membri. Questa procedura si presta alla cooptazione all’interno dei GEV di membri graditi al coordinatore, e quindi alla costituzione di GEV sbilanciati.

Il caso dell’Area13 è quindi solo un sintomo eclatante e osservabile di una procedura di formazione dei GEV che non ha tenuto nel dovuto conto il tema dell’equità della loro composizione. Non è detto che ciò che l’analisi della rete di coautoraggi rende osservabile nel GEV di Area 13 (dove si verificano condizioni ideali: articoli scritti da un numero esiguo di coautori) non si sia verificato in forme non osservabili negli altri GEV (dove condizioni non favorevoli non permettono l’osservazione del fenomeno: assenza di coautoraggi;  o articoli scritti da decine o centinaio di coautori).

La risposta dell’ANVUR ai rilievi del post di Roars è significativa della totale incomprensione di una questione assai delicata che è al centro delle preoccupazioni di qualunque nazione che abbia deciso di svolgere un esercizio serio di valutazione della ricerca.

Mostra inoltre che sarebbe stato assai semplice costituire un GEV di Area13 con indici di coautoraggio simili a quelli del panel degli economisti costituito per il REF britannico. Sarebbe bastato prendere dalla classifica Repec coloro che non sono coautori del coordinatore e non hanno con lui coautori in comune. Nei primi 50 economisti italiani della classifica ce ne sono 28 con queste caratteristiche.

Aggiungiamo che sarebbe stato preferibile avere un GEV con studiosi in posizioni più basse di quella classifica, pur di salvaguardare l’equità della valutazione, perché

If research evaluation is not supposed to be impartial and thorough, it becomes somewhat meaningless. […] The conclusions of an evaluation lose a crucial function (credibility/authority) if it is clear to everybody (and everybody knows this) that the evaluation  cannot be said to be impartial and thorough – or at least as impartial and thorough as expected/possible for the specific purpose.