The UK Research Assessment Exercise and the narrowing of UK economics

Che rapporto corre fra sistemi di valutazione della ricerca e pluralismo metodologico e di approcci all’interno delle discipline che vengono valutate? L’analisi di Lee, Pham e Gu cerca di dare una risposta empiricamente fondata a questa domanda per la scienza economica nel contesto Britannico dal 1992 ad oggi. Tre i fenomeni principali osservati dagli autori, ovvero: 1)  quello che si puo definire come ostracismo professionale nei confronti degli approcci eterodossi alla teoria economica; 2) la concentrazione ed omogeneizzazione dellla ricerca economica in aree considerate mainstream; 3) la disseminazione sistematica della prospettiva teorica dei cosiddetti dipartimenti di elite.

The UK Research Assessment Exercise and the narrowing of UK economic By Frederic S. Lee, Xuan Pham, and Gyun Gu. Cambridge Journal of Economics 2013, (37): 693–717. [doi:10.1093/cje/bet031]

Che rapporto corre fra sistemi di valutazione della ricerca e pluralismo metodologico e di approcci all’interno delle discipline che vengono valutate? L’analisi di Lee, Pham e Gu cerca di dare una risposta empiricamente fondata a questa domanda per la scienza economica nel contesto Britannico dal 1992 ad oggi. Il paper offer numerosi spunti di riflessione.

Il primo contributo interessante dell’articolo è di natura ricostruttiva. Ovvero, la storia del sistema pubblico di finanziamento della ricerca e della sua valutazione vengono descritti in maniera relativamente dettagliata (per quanto possibile in un articolo su rivista). Questa ricostruzione consente al lettore di comprendere qualcosa che ha grande importanza: i processi di valutazione della ricerca nel Regno Unito hanno una storia lunga e complessa che comincia negli anni settanta quando la quantità dei fondi della ricerca comincia a non essere più sufficiente a coprire il fabbisogno delle università e continua ad evolvere negli anni ottanta in un quadro politico ed economico piu ampio caratterizzato dal taglio dei fondi pubblici per l’istruzione superiore.

Il secondo contributo di rilievo sta nel tentativo di fornire una lettura sistematica dell’impatto del sistema di valutazione della ricerca su quello che gli autori definiscono come ‘Heterodox Economics’. La lettura sistematica si avvale sia di un framework concettuale ed investigativo preciso che cerca di spiegare i tre fenomeni principali osservati dagli autori, ovvero:

1. quello che si puo definire come ostracismo professionale nei confronti degli approcci eterodossi alla teoria economica;
2. la concentrazione ed omogeneizzazione dellla ricerca economica in aree considerate mainstream;
3. la disseminazione sistematica della prospettiva teorica dei cosiddetti dipartimenti di elite.

Questi fenomeni, a detta degli autori, hanno cause differenti e si esprimono in maniera differente all’interno delle diverse strutture istituzionali di riferimento (per esempio, le pratiche di selezione e promozione del personale nel caso dei dipartimenti, lo strapotere del mainstream economico nella selezione dei membri delle commissioni di valutazione, e l’origine stessa dei criteri valutativi adottati dai vari gruppi di valutazione).

Il terzo contributo interessante è quello di tentare un approccio empirico alla questione cercando di esprimere in maniera quantitativa il dominio mainstream tramite indicatori che possano essere considerati come proxies di questo fenomeno. Gli indicatori utlizzati tracciano il numero di dipartimenti che si sottopongono alla valutazione (in netto calo, 30%, dal primo RAE del 92 all’ultimo REF del 2014), la proporzione dei fondi che vanno alle strutture valutate come eccellenti (in aumento), il tipo di argomenti ricercati, la ripartizione del numero di ‘research students’ nei vari dipartimenti considerati come elite e non elite, il tipo di prodotti presentati dalle strutture (che documenta l’ascesa dei ‘paper’ su riviste con revisione fra pari), la composizione dei panel di valutazione a seconda dell’orientamento scientifico-disciplinare, la correlazione fra esito della valutazione e liste di riviste che circolano, per lo più in maniera informale, all’interno dell’ambiente mainstream.

Discutere in maniera critica questi risultati sarebbe impossibile nello spazio a disposizione. Ciò detto, la lettura dell’articolo di Lee, Pham e Gu, porta chi vi scrive a fare alcune considerazioni di natura piu generale sul tema iniziale della connessione tra valutazione della ricerca e pluralismo e, sulla valutazione pubblica della ricerca nel suo complesso.

La prima di queste considerazioni è che l’articolo non consente di per sé, e d’altronde non intende farlo, di comprendere in che misura il pluralismo di approcci all’interno di una disciplina sia un valore in quanto tale. Chi vi scrive è convinto che, adottando un linguaggio piu consono alla filosofia politica, vi sia senza dubbio da attendersi quello che si potrebbe chiamare un pluralismo disciplinare ragionevole. All’interno delle scienze sociali ci si dovrebbe attendere che le prospettive metodologiche siano sempre maggiori di una distopica unità artificiale ma che ciò nonostante possano esistere standard comuni condivisi, che, seppur assai deboli, debbano consentire il dialogo fra approcci diversi. La valutazione della ricerca economica nel Regno Unito, almeno a detta degli autori del paper, non sembra mettersi sulla buona strada da questo punto di vista.

La seconda considerazione a carattere generale che si può fare a seguito della lettura del paper è che bisogna per quanto possibile distinguere tre piani concettuali diversi. In primo luogo gli scopi che un sistema di valutazione della ricerca si propone: come si definisce il concetto di ‘eccellenza’ in un sistema che produce conoscenza e che fa parte di un contesto sociale, politico e culturale complesso? In secondo luogo vi è una questione di carattere tecnico e metodologico che riguarda i mezzi della valutazione: quali tecniche di valutazione (peer review? Indici quantitativi? Sistemi misti?) sono efficaci nello stabilire il raggiungimento degli scopi adottati come metro per il sistema della ricerca valutato? In terzo luogo, vi è un problema legato alla scelta degli attori che debbono condurre la valutazione: quali procedure ed istituzioni sono le piu adequate (società accademiche disciplinari? Organi espressione del ministero? Le strutture stesse usando revisori esterni?) per cercare di fare in modo di implementare e monitorare nel tempo il raggiungimento degli scopi prefissi ed il corretto uso dei metodi di valutazione scelti? Inoltre bisogna notare che rispondere ad ognuna di queste domande è condizione individualmente necessaria per un esercizio di valutazione che abbia per lo meno una qualche speranza di essere plausibile.

In sintesi, la lettura dell’articolo, e le considerazioni che da esse si possono trarre restituiscono la giusta complessità sia storica che concettuale degli esercizi valutativi. Recuperare questa complessità, al di là dei giudizi di merito sugli esiti della valutazione stessa, è buona cosa.