Perché gli economisti non sono riusciti a prevedere la crisi economica? Perché negli anni della crisi economica non sono emersi suggerimenti di policy alternativi all’austerità espansiva? Perché i cittadini sono sempre più diffidenti rispetto alle ricette di politica economica o ai provvedimenti basati sulla conoscenza scientifica presi dai governi, come nel caso dei vaccini? Le riposte a queste domande vanno cercate nelle disfunzioni dei sistemi di valutazione della ricerca. Il sistema del publish or perish, che in economia vede il prevalere dei ranking delle riviste, e i complessi sistemi di valutazione istituzionale, hanno modificato i modi in cui la ricerca viene svolta, in direzioni che non appaiono sempre desiderabili. I sistemi di valutazione impoveriscono la ricerca, riducendo il pluralismo, scacciando le idee più rischiose, e facendo emergere ortodossie autoreferenziali. Una cattiva ricerca genera cattive ricette di policy. Il circolo vizioso sistemi di valutazione-cattiva ricerca-cattive policy è adesso all’attenzione dei paesi del G20: una intera sessione del G20-GlobalSolutions di Berlino è stata dedicata al tema (e roars si trovava da quelle parti).
Perché gli economisti non sono riusciti a prevedere la crisi economica? Perché negli anni della crisi economica non sono emersi suggerimenti di policy alternativi all’austerità espansiva? Perché i cittadini sono sempre più diffidenti rispetto alle ricette di politica economica o ai provvedimenti basati sulla conoscenza scientifica presi dai governi, come nel caso dei vaccini? Le riposte a queste domande vanno cercate nelle disfunzioni dei sistemi di valutazione della ricerca. Il sistema del publish or perish, che in economia ha assunto la forma ipersemplificata del ranking delle riviste, e i complessi sistemi di valutazione istituzionale, hanno modificato i modi in cui la ricerca viene svolta in direzioni che non appaiono sempre desiderabili. I sistemi di valutazione impoveriscono la ricerca, riducendo il pluralismo, scacciando le idee più rischiose, e facendo emergere ortodossie autoreferenziali. Una cattiva ricerca genera cattive ricette di policy.
Il circolo vizioso sistemi di valutazione-cattiva ricerca-cattive policy è stato oggetto di una intera sessione nel corso del summit G20-Global Solutions intitolata: “Research evaluation in economic theory and policy: identyfiying and overcoming institutional dysfunctions” con la presenza di due premi nobel per l’economia, George Akerlof e James J. Heckman, da tempo su posizioni molto critiche rispetto agli standard attuali di valutazione (si veda la sessione dedicata alla maledizione delle top5 nel convegno 2017 dell’American Economic Association; qui il link alla presentazione di Heckman).
La logica della sessione e l’interesse per i paesi del G20 del tema della valutazione è sintetizzata in un Memo firmato da Robert Johnson e Thomas Ferguson (INET):
“Increasingly, however, skeptics wondered if the real problems with economics did not run deeper than that. They began to ask if something was not radically wrong with the structure of the discipline itself that conduced to the maintenance of a narrow belief system by imposing orthodoxies and throwing up barriers to better arguments and dissenting evidence. The empirical evidence now seems conclusive: Yes.”
A Berlino Akerlof e Heckman hanno centrato la loro attenzione sull’attuale sistema del Publish or perish in economia. Carlo D’Ippoliti e chi scrive si sono invece concentrati sul tema delle distorsioni indotte dai sistemi istituzionali di valutazione, con particolare riferimento al caso italiano. D’Ippoliti ha illustrato le distorsioni sui temi di ricerca e la discriminazione di genere collegata al sistema di valutazione italiano.
Chi scrive si è invece concentrato sugli incentivi all’adozione di cattive condotte di ricerca creati dai sistemi istituzionali di valutazione: di seguito potete vedere le slide dell’intervento; questo è un estratto e questo il testo completo dell’intervento.
Grazie e complimenti. Del publish or perish all’americana avevo sentito parlare per la prima volta qualche decennio addietro, e fino ad un certo punto mi sembrava ‘normale’, nel senso che si deve per forza pubblicare, ovviamente non qualsiasi stupidaggine oppure dati truccati, se si vuole essere dei ricercatori seri e coerenti. Però il “P or P” dovrebbe essere riformulato o esplicitato così: publish more and more, more and more and more, finché ti schianti (perish). E per evitare o prevenire la tua autodistruzione, devi obbligatoriamente ricorrere a certi trucchi, alcuni trasparenti e sciocchi, altri complessi, difficili da smontare. Mi chiedo cosa faranno i posteri di tutta questa cosiddetta ricerca, inutile, perversa, invadente, costosa e addirittura dannosa per il presente e per il futuro.
“Mi chiedo cosa faranno i posteri di tutta questa cosiddetta ricerca, …”
Grazie, non avrei saputo dirlo meglio.
Non sono un matematico (e si capisce …). Ma. E’ da tanto tempo che rifletto su (più modestamente, penso a) come la immensa quantità di ricerche, di pubblicazioni, di scambi di opinioni (a conferenze, congressi, incontri in corridoio, ecc.), che avvengono e si diffondono in tante lingue (per fortuna) e non solo in inglese, ‘impattino’ sull’avanzamento o sul rimescolamento (che è più interessante) delle idee. Già molto tempo addietro, diciamo dagli anni ’80, era abbastanza evidente (in Italia) che esistevano delle modalità non visibili, non dimostrabili, semiocculte, di orientamento verso ciò che accademicamente era ritenuto che potesse o dovesse valere (per la carriera, per la visibilità). Era del resto abbastanza normale, dai tempi dei tempi: l’allievo impara dal maestro, con cui ha scambi di opinioni, certe cose, non solo metodologiche ma anche tematiche, e continua, almeno agli inizi, su una strada identica o simile. Poi magari le strade si separano, e i due bisticciano e succede anche di peggio. Il maestro (o il commissario), da canto suo, può valutare meglio e in tutta consapevolezza ciò che conosce. E’ anche meno faticoso che stare a scervellarsi su un argomento completamente nuovo, o su ragionamenti eterodossi, per poi anche valutarli in assenza di possibilità (sue) di confronto. Poi ci sono anche le ‘mode’, le ‘tendenze’ di gruppo che facilitano appunto anche il confronto e le gerarchie di valore, all’interno del gruppo. Perché tutti parlano la stessa ‘lingua’. Che poi parlino di cose irrilevanti o semplicemente idiote, può capitare, forse anche spesso. Da queste comunità possono però nascere anche delle vere e proprie lobbies (o, in italiano, gruppi di pressione) potenti. Che spopolano (nel senso di allontanano, eliminano gli ‘altri’, i ‘diversi’) e fanno spopolare nei concorsi. Dove i posti sono limitati. Fino a un certo punto o limite (quale? questa è la vera domanda, senza risposta) questa procedura è da ritenersi fisiologica. E la soggettività del valutatore conta, molto o moltissimo. E allora (per far finta di evitare i nepotismi o comunque le filiazioni) si ricorre anche ai revisori anonimi (anonimi, si fa per dire) che a loro volta non dovrebbero sapere chi stanno revisionando (si fa per dire, perché poi si sa, come mi è successo). E che alle volte sono anche remunerati. O che fanno finta di rivedere. E quindi, non essendo sufficiente nemmeno questo e tenuto conto della grande quantità di lavori e di partecipanti alle valutazioni, si inventano gli algoritmi valutatori, soi-disant scientifici (numeri, incognite, operazioni, formule, chi più ne sa più ne metta) e oggettivi (per poi scoprire che sono pilotati perché si sono scelti i parametri o valori che convengano a qualche lobby, e perciò predeterminano gli esiti). Poi si scoprono gli altarini, e allora si sfornano altri algoritmi, sempre più astrusi, che pretendono di mettere definitivamente ordine nel caos. Questa è solo supponenza, pseudoscienza e follia, costosa su tutti i piani. E, in fondo, è ideologia. Scusate l’ingenuità della mia parafrasi.