Minority report: la “positive action” del GEV13

Il 2 aprile scorso, il Gruppo di esperti valutatori dell’area 13 (GEV13) ha pubblicato un comunicato chiarificatore dei criteri che verranno utilizzati nell’imminente tornata di valutazione della qualità della ricerca (VQR). Più che chiarire, il GEV13 ha in verità ribadito che si atterrà ai criteri delineati nel precedente documento del 29 febbraio, nel quale veniva esposta un’inedita bibliometria di cui già si sono sottolineati gli ampi margini di incertezza e indeterminazione, soprattutto per quanto concerne le discipline storico-economiche dell’area 13. L’incertezza ha ora lasciato il posto all’aleatorietà e alla peggior discrezionalità, dovuti agli effetti di un uso distorto degli strumenti bibliometrici.

La recente pubblicazione degli elenchi di riviste rivela infatti quanto aleatoria potrà essere la valutazione per i cultori di discipline storico-economiche, per i quali mancano indicazioni sufficientemente chiare in grado di orientarli nella scelta dei prodotti da sottoporre alla valutazione. Come cercheremo di argomentare, gli studiosi di queste minoranze disciplinari potrebbero essere costretti a scelte strategiche in virtù delle quali sacrificare alcuni dei loro migliori contributi.

Gli elenchi di riviste appena pubblicate confermano l’intenzione del GEV13 di utilizzare la bibliometria fai-da-te delineata nel documento del 29 marzo per ordinare le riviste nelle quattro classi di merito, classi di merito che tuttavia saranno note solo dopo la scadenza dei termini per la presentazione dei prodotti all’Anvur. In un procedente intervento si era timidamente parlato di grande incertezza cui avrebbe condotto quell’inedita bibliometria. Gli elenchi pubblicati hanno fugato tutti i dubbi: sarà la legge imperscrutabile del caso, nella migliore delle ipotesi, a stabilire i ranking delle riviste storico-economiche; nella peggiore, i capricci e la discrezionalità di singoli, o di gruppi di potere. Per i cultori di discipline storico-economiche, la difficile scelta tra il sottoporre monografie o saggi in volumi – prodotti come noto soggetti alla peer-review – piuttosto che articoli di rivista – soggetti all’aleatoria bibliometria del GEV13 – tanto vale demandarla al lancio dei dadi.

Al di la del sarcasmo, cui però è difficile sottrarsi in questa situazione, cercheremo nel seguito di argomentare questa affermazione, presentando un esempio circostanziato di quello che potrebbe accadere nel SUB-GEV di Economia dell’area 13. Nel mettere a fuoco problemi specifici di questo SUB-GEV, contiamo di riuscire a dare al nostro ragionamento una valenza generale, finalizzato a mettere in evidenza, da una parte, i paradossi e le storture della bibiometria fai-da-te del GEV13, dall’altro le incongruenze dei percentili imposti dall’Anvur per l’identificazione delle classi di merito.

L’elenco delle riviste pubblicato il 30 aprile scorso è ripartito in tre sotto-insiemi, che riflettono la suddivisione nelle tre macro-aree Aziendale, Economica e Statistica del GEV13. Questa distinzione verrà mantenuta anche in seguito, quando verranno stilate le classifiche e le articolazioni in classi di merito. Le classifiche saranno distinte, scrivono gli esperti dell’area 13, per evitare che i ranking “siano influenzati da indicatori bibliometrici non omogenei”. Ma nonostante questa precisazione continua a rimanere nel vago il trattamento che verrà riservato alle discipline storico-economiche. Alberto Baccini ha qui documentato l’incomparabilità di queste discipline con gli standard citazionali della teoria economica. E il GEV13 stesso, anche nell’ultimo documento, ribadisce che si riserva “di adottare una classificazione più ‘fine’ per evitare” confronti tra “riviste di settori con abitudini alla citazione o caratteristiche editoriali diverse”. Ma giunti ormai al terzo documento di indirizzo pubblicato dal GEV13 ancora non è stato sciolto il quesito se l’ordinamento del SUB-GEV di economia sarà unico o articolato in sotto classificazioni “per aree di ricerca scientifiche più ristrette”.

Allo stato attuale, per l’area economica esiste di fatto un unico elenco, formato da 753 riviste, 351 ISI e 352 non ISI. Cominciamo col dire che il GEV13 ha sconfessato i criteri del 29 febbraio, dove si diceva che l’iniziale universo delle riviste ISI sarebbe stato integrato aggiungendo al massimo un 20-30% di riviste non ISI. In verità l’universo di partenza delle riviste ISI è stato raddoppiato. Questo dato non è secondario, visto che dall’ampiezza dell’universo di riviste dipendono i valori dei percentili destinati a individuare le classi di merito A, B, C e D. L’avere allargato l’universo delle riviste ha due effetti contrastanti, uno positivo l’altro negativo. Quello positivo è dovuto alla diminuzione delle soglie bibliometriche che permettono il passaggio da un classe di merito all’altra (la stessa mediana, ad esempio, cioè la linea che separa i prodotti valutati 0 da quelli valutati 0,5, risulterà più bassa in virtù dell’ampliamento dell’universo). L’effetto negativo è invece dovuto al fatto che ogni rivista non-ISI aggiunta all’universo delle riviste ISI avrà un’elevatissima probabilità di essere collocata in classe D, quindi con un peso pari a 0. Da ciò un primo aspetto paradossale, oltre a quello di cui diremo più avanti: uno studioso di discipline storico-economiche che voglia sottoporre un articolo pubblicato su una rivista non-ISI deve sperare che quella rivista non sia compresa nell’elenco pubblicato dal GEV13, perché altrimenti molto difficilmente potrà ambire a una valutazione superiore allo 0. Se la rivista non è compresa nell’elenco, potrà invece almeno giocarsi la speranza della peer review.

Vediamo ora nello specifico cosa potrà accadere alle riviste storico-economiche comprese nell’elenco pubblicato dal GEV13. Come detto, per la sub area di economia si tratta complessivamente di 753 riviste, articolate in tre tipologie:

1. riviste ISI provviste di impact factor (IF) a due anni, di IF a cinque anni e h-index (ricavato da Google scholar);
2. riviste ISI con IF a due anni e h-index;
3. riviste non-ISI senza IF ma con h-index.

Partendo dall’h-index, il GEV13 cercherà si simulare l’IF a due anni e l’IF a cinque anni per tutte le riviste che ne sono prive. Gli esperti assicurano che quest’operazione di simulazione abbia un fondamento sufficientemente robusto e conduca ad imputazioni affidabili. Il GEV13 non ha però dato informazioni sugli algoritmi utilizzati per ricavare gli IF. E questo impedisce di conoscere con sufficiente approssimazione i valori bibliometrici su cui si baserà la classifica, tenuto conto che per molte riviste “la concordanza tra indicatori bibliometrici disponibili in Google Scholar e WoS” non è così “elevata” come sostiene il GEV13.

Il GEV13 avrà dunque a disposizione almeno tre indicatori dai quali ricavare la classificazione delle riviste nelle quattro fasce di merito previste dall’Anvur. Tutto lascia supporre che sarà l’IF a cinque anni (reale e simulato) l’indicatore su cui gli esperti faranno maggiore affidamento. Ma non è esclusa l’ipotesi di indicatori compositi, costruiti magari attraverso la media dei tre indicatori sopra ricordati, oltre alla possibilità di utilizzo di ulteriori indicatori bibliometrici, come ad esempio le citazioni complessive di una rivista su Google scholar nel periodo 2004-2010. Allo stato attuale, viste le discrepanze tra molti indicatori bibliometrici, rimane comunque molto difficile immaginare, per moltissime riviste, quale sarà la loro effettiva classe di merito finale. Gli unici ragionamenti possibili sono quelli basati sull’h-index, unico indicatore disponibile per tutte le riviste. E se l’articolazione in classi di merito fosse fatta sulla base dell’h-index, i valori di soglia per accedere alle diverse classi di merito risulterebbero più o meno nell’intorno di 33 per la classe A, di 20 per la classe B e di 15 per la classe C. Per motivi che abbiamo già discusso in altra occasione, queste soglie riflettono gli irragionevoli percentili indicati dal ministero, tali da permettere differenze bibliometriche irrisorie tra prodotti valutati 0 (quelli della classe D al di sotto della mediana, nel nostro caso 15) e prodotti valutati 0,8 (quelli della classe B con h-index superiore a 20). Al di la di questo problema, di cui il GEV13 non è responsabile, sulla base della distribuzione degli h-index si possono fare solo supposizioni sui possibili esiti della valutazione per discipline minoritarie come appunto quelle storico-economiche.

Il ragionamento di seguito proposto riguarda le riviste di Storia economica (SE) e Storia del pensiero economico (SPE), di cui proporremo una simulazione, astratta e semplificata, a partire da una ipotetica classifica che ancora non conosciamo. Per quanto stilizzata e priva di riferimenti a riviste reali, riteniamo possa essere sufficientemente descrittiva dei possibili arbitrii cui potrebbe condurre l’inedita bibliometria del GEV13. Questo ragionamento è stato pensato prima della pubblicazione degli elenchi di riviste, ma riteniamo possa rimanere nella sostanza ancora valido.

Abbiamo ipotizzato un campione fittizio di  40 riviste immaginarie, comprensivo di 7 riviste di storia economica e 3 di storia del pensiero economico (indicate rispettivamente con il suffisso SE e SPE; le riviste senza suffisso si suppone siano in senso lato di “economia”). Abbiamo poi ordinato le riviste in base a valori ipotetici degli indici bibliometrici (che ai fini del nostro ragionamento non è necessario quantificare) per poi individuare, applicando i percentili stabiliti dell’Anvur, le quattro classi di merito A, B, C e D (classi di merito riconoscibili dal prefisso di ciascuna rivista). Si tratta come detto di un campione immaginario, privo di riferimenti a riviste reali, che ci permetterà di svolgere alcune considerazioni.

In base al criterio bibliometrico stabilito dal GEV13, pochissime riviste di SE o SPE potranno ambire a classi superiori alla D. Immaginiamo, nel nostro esempio, che una sola rivista di SE abbia un IF sufficiente per collocarla in classe C, mentre le rimanenti riviste di SE e tutte quelle di SPE siano collocate in classe D. Si tratta naturalmente di una nostra supposizione, che tuttavia riteniamo riproduca almeno in parte i differenti standard bibliometrici delle due tipologie di riviste (cioè quelle in senso lato economiche e quelle storico-economiche). In forma del tutto stilizzata, l’ordinamento su cui proveremo a svolgere il nostro ragionamento è il seguente:

Di fronte a questo ordinamento, una prima precisazione è necessaria. Il discorso potrebbe finire qui se questa classificazione risultasse quella che effettivamente verrà utilizzata dal GEV13. Per quanto possa essere discutibile, il criterio bibliometrico ha portato ad un ordinamento oggettivo e non arbitrario. E se l’oggettività bibliometrica stabilisce che le ricerche di storia economica o di storia delle idee economiche non diano apporto alcuno all’avanzamento del sapere, tanto vale prenderne atto. In tempi di scarsità di risorse, a livello istituzionale, ci si potrebbe comportare di conseguenza.

Ma c’è un problema a monte, fonte di grave imbarazzo. Alla luce di questa classificazione, tra gli esperti valutatori dell’Area 13, con molta probabilità, qualcuno potrebbe essere valutato con tre 0 (cioè tre classi D), o nella migliore delle ipotesi con due 0 e uno 0,5 (classe C). Qualcosa non va allora nella classifica, se è vero che gli esperti valutatori sono stati scelti tra i maggiori studiosi, anche per rilevanza internazionale, delle diverse discipline. Forse la classifica sconta la debolezza di alcune aree di ricerca non dovuta alla loro minore rilevanza culturale, quanto al fatto di essere minoritarie, di avere diversi standard citazionali e di avere un imprescindibile orizzonte di carattere “nazionale”.

Per superare l’imbarazzo di un ordinamento che assegni tre 0 a qualcuno degli esperti individuati dall’Anvur, si aprono due strade.

• La prima è quello di una classificazione specifica per SE e SPE, cioè quella classificazione più “fine” e “per aree di ricerca scientifiche più ristrette” a cui fanno riferimento gli stessi documenti del GEV13. Riteniamo sia la soluzione più sensata, anche se temiamo sia ormai altamente improbabile. Una classificazione più fine di riviste SPE, infatti, avrebbe dovuto prendere atto non solo dei diversi standard citazionali sottolineati da Alberto Baccini ma anche dei diversi canali di diffusione della SPE. Come noto, contributi di storia e metodologia del pensiero economico vengono pubblicati su tipologie di riviste alquanto diverse: riviste specialistiche di storia o metodologia dell’economia, riviste generaliste di teoria economica, riviste interdisciplinari, riviste economiche eterodosse; inoltre, significativi contributi vengono pubblicati su riviste storiche tout-court, o anche di storia politica, storia sociale, storia delle idee, storia della scienza, ecc.; infine, una classificazione più fine delle riviste SPE avrebbe forse evitato la miopia culturale di considerare a priori il canale di diffusione nazionale come un canale di serie D. Ma tutto questo è ormai improbabile si possa fare, perché richiederebbe un’indagine conoscitiva piuttosto approfondita che non sembra il GEV13 abbia intenzione di realizzare.
• L’unico modo per tutelare le minoranze disciplinari storico-economiche potrebbe consistere allora nel promuovere qualcosa di simile alla cosiddetta “positive action”. A fronte dello svantaggio di particolari gruppi (per genere, etnia, ecc.) si attuano misure compensative (azioni positive, appunto) per ristabilire almeno parzialmente uguali opportunità di accesso, alle istituzione educative, ad esempio, o ad altre posizioni di qualsiasi natura. Sono noti i gravi dilemmi morali che possono scaturire in queste situazioni, soprattutto nei casi in cui le azioni positive si traducano in “svantaggi” immotivati di chi era “avvantaggiato”, fermo restando la nobiltà d’intenti delle motivazioni alla base della “positive action”. Gli esperti valutatori dell’area 13 si trovano in una situazione simile. Ma occorre subito dire che la manipolazione delle regole del gioco che forse verrà attuata per tutelare le minoranze disciplinari non ha alcuna delle nobiltà d’intenti che solitamente accompagna qualsiasi “positive action”. Questo perché verrà messa in opera una “positive action”, fautrice come detto di gravi dilemmi morali, in un contesto in cui non ce n’è alcun bisogno, dove le cose si potrebbero tranquillamente risolvere stabilendo che quando si ordinano per statura maschi e femmine è sufficiente fare due diversi ordinamenti.

A un recente convegno organizzato dalla Sise (Società italiana storici dell’economia), Vera Zamagni, rappresentante nel GEV13 per l’area storico-economica, ha espressamente dichiarato inammissibile non vi siano riviste di Storia economica (e di Storia del pensiero) in classe A. Ma in virtù dei loro indicatori bibliometrici, nessuna rivista SPE e probabilmente anche nessuna rivista SE potrà ambire alla classe A. Vera Zamagni ha dunque prefigurato quella che potrebbe essere la sostanza della “positive action”: far sopravanzare “qualche” rivista SE e “qualche” riviste SPE rispetto alla propria posizione bibliometrica. Ma mettendo in pratica correttivi ispirati al principio della “positive action”, potrebbero generarsi conseguenze inattese che qui proveremo a descrivere.

Nel nostro esempio fittizio, potremmo immaginare che l’azione positiva del GEV13 a favore delle minoranze disciplinari si traduca nella decisione di collocare almeno due riviste storiche in classe A, due in classe B e una in classe C, vista la percentuale più esigua prevista per questa classe (questi numeri sono naturalmente immaginari ma ininfluenti sulla sostanza del ragionamento).

Poiché abbiamo immaginato una rivista di SE in classe C, questa non può che essere la prima candidata per l’avanzamento; ma poiché tutte le altre sono in classe D, con irrisorie distinzioni dal punto di vista bibliometrico, la scelta non è facile. Allora il criterio di salvare il prestigio delle istituzioni può tornare utile: poiché non tutte si possono sopravanzare, alcune potrebbe avere un occhio di riguardo, a danno di altre. Può darsi invece si operi nel più ferreo rigore bibliometrico, facendo sopravanzare quelle che, per quanto per differenze irrisorie, hanno migliori indicatori bibliometrici. Per quanto riguarda invece il problema della suddivisione dei posti tra SE e SPE, questo potrebbe essere risolto con cavalleria, lasciando una rivista ciascuno nelle classi A e B, e facendo risalire in classe C quella meglio posizionata. Ecco allora l’ipotetica nuova classifica alla luce dell’azione positiva messa in atto dal GEV13.

Pochi commenti su questa nuova classifica. Le riviste DF-SPE e DH-SPE di Storia del pensiero sono quasi indistinguibili dal punto di vista bibliometrico. Ma abbiamo immaginato che solo una potrà ambire alla classe A. Ci sarà allora chi avrà interesse a far sopravanzare l’una e chi l’altra. L’esito è imprevedibile, e su di esso giocherà, nella migliore delle ipotesi, il puro effetto del caso (come insegna Taleb), nella peggiore esclusivi interessi particolaristici e di bottega (anch’essi tuttavia non predeterminabili a priori). L’ipotesi inziale di almeno una rivista in fascia C di SE, facilita invece la scelta dell’altra rivista da sopravanzare in classe A, fermo restando che la stessa alternativa tra il puro caso o la lotta d’interessi si farebbe avanti nell’ipotesi anche SE abbia tutte le proprie riviste in classe D (dove, ripetiamo, gli scarti bibliometrici finiscono con l’essere di poco rilievo).

E proprio alla luce di queste marginalissime differenze bibliometriche, un’altra considerazione. Nella classa D sono rimaste 5 riviste SE/SPE, destinate a essere valutate 0, nonostante i loro indicatori bibliometrici non differiscano in modo eclatante rispetto a quelle fatte sopravanzare. Ma solo quest’ultime avranno valutazione positiva (1, 0.8 o 0.5), con uno scarto rispetto a quelle rimaste in classe D senza alcuna giustificazione di carattere scientifico.

Ancora, vi sono contributi di storia economica o di storia del pensiero che potrebbero essere pubblicati su riviste generaliste di economia. Poniamo si tratti di riviste collocate in fascia C. Alla luce della “positive action” nei confronti di alcune riviste tematiche di SE o SPE di fascia D, questi contributi sarebbero fortemente penalizzati, in quanto valutati meno pur avendo migliori indicatori bibliometrici.

Infine, un’ultima considerazione su un paradossale e simpatico effetto della “positive action” del GEV13. Appartiene in verità al genere dei dilemmi morali tipici di ogni “positive action”, anche se i problemi etici nel nostro caso sono insignificanti (ed è peraltro probabile che questi effetti verranno scongiurati con accorgimenti ad hoc). Nella nostra simulazione abbiamo fatto un’ipotesi estrema, ossia che la classifica venga rimodulata ogni qual volta venga fatta sopravanzare una rivista SE o SPE. Abbiamo cioè  immaginato – come in verità potrebbe anche accadere – che venga presa alla lettera l’articolazione in percentili stabilita dall’Anvur, che come noto indica classi di merito del 20% per la classe A, del 20% per la classe B, del 10% per la classe C e del 50% per la classe D. L’effetto combinato dell’elevatissima soglia (la mediana) individuata per separare la classe dei prodotti limitati da quelli accettabili, e l’irragionevole limitatezza della classe C (solo il 10%), ha come conseguenza un immotivato declassamento della rivista BI, che dall’iniziale classe B con peso 0.8 passa alla classe D con peso pari a 0. È naturalmente un’ipotesi per assurdo, che mai il GEV13 metterà in opera, che tuttavia dovrebbe far riflettere sui paradossi e della distribuzione dei percentili imposta dall’Anvur e della bibliometria fai-da-te su cui si sta avventurando l’area 13.

Al di la della verosimiglianza della simulazione che abbiamo proposto, rimane un dato di fatto inoppugnabile: l’ordinamento puramente bibliometrico del SUB-GEV economico non porterà alcuna rivista di storia del pensiero economico in classe A; quasi sicuramente non ne ve ne sarà alcuna nemmeno in classe B; e noi pensiamo siano molto basse le probabilità che ve ne siano anche in classe C. Vera Zamagni, componente del GEV13, ha dichiarato essere inammissibile questa situazione, da sanarsi con il posizionamento di almeno qualche rivista di SE e SPE in classe A. Ma quante e quali riviste avranno i benefici della “positive action”? Con quali criteri verranno scelte? Nessuno lo sa. E la situazione, ad oggi, è che riviste di SE o SPE di classe D in virtù dei loro indicatori bibliometrici potrebbero salire di rango sulla base di decisioni puramente arbitrarie o casuali.

Proverò a concludere a questo punto con un esempio concreto. Supponiamo uno storico del pensiero economico che abbia articoli sull’European Journal of the History of Economic Thought. La rassegna di Baccini mostra come l’European possa essere considerata una rivista top nell’ambito SPE. Ma se noi simulassimo la classifica sulla base dell’elenco pubblicato dal GEV13, l’European risulterebbe quasi certamente in classe D, sia per IF sia per H-index. Essendo inoltre altamente improbabile che un articolo sull’European possa avere più di cinque citazioni all’anno, condizione per potere scalare classi di merito, l’articolo dovrà essere valutato con un peso pari a 0. Date queste premesse, perché mai uno studioso di storia del pensiero economico dovrebbe sottoporre un saggio pubblicato sull’European? Di fronte alla possibilità molto concreta di essere collocato in classe D, avrebbe tutto l’interesse a sottoporre altro prodotto editoriale, ad esempio un saggio in volume o un articolo su rivista non compresa nell’elenco, proprio perché in quel caso sarà sottoposto alla peer review, che almeno lascierà un margine di probabilità di non avere valutazione pari a 0.

Tutto questo ragionamento vale naturalmente se l’European Journal of the History of Economic Thought rimarrà in classe D e non avrà il benefico della “positive action”. Ma appunto, uno studioso che debba scegliere i propri prodotti, come fa a sapere se l’European verrà o meno fatto sopravanzare rispetto ai propri indicatori bibliometrici? Di fatto, a tutt’oggi, l’European potrebbe essere una rivista da classe D, come potrebbe benissimo trasformarsi in una rivista da classe A, se verranno attuati meccanismi di “positive action”. Uno spettro così ampio di possibilità significa solo una cosa: il GEV13 ha formulato dei criteri e soprattutto una procedura del tutto sbagliati, almeno per quanto riguarda le discipline storico-economiche.

Nonostante sia ormai imminente la scadenza per sottoporre i prodotti all’Anvur, uno storico dell’economia non sa dunque, e temo non saprà prima della scadenza, se gli conviene o meno sottoporre un articolo pubblicato sull’European. E di fronte alla possibilità che l’European sia collocata in classe D, deve considerare l’alternativa di mandare altri prodotti, magari di qualità inferiore, che almeno potrebbero giocarsi qualche chance alla peer; d’altra parte, potrebbe rimanere con la speranza che per l’European si facciano delle eccezioni tramite la “positive action”. Insomma, tenendo conto delle distribuzioni di probabilità e dei valori attesi, allo studioso di storia dell’economia che voglia comportarsi da agente razionale caro agli esperti valutatori del Gev13 rimane un’unica strategia nella scelta dei propri prodotti da sottoporre all’Anvur: tirare ai dadi per decidere se mandare o meno il proprio articolo sull’European Journal of the History of Economic Thought (e il discorso penso non sarebbe molto diverso anche per molte riviste SE).

Vera Zamagni ha infaustamente dichiarato che l’indicazione di una scrematura iniziale da parte del GEV stesso dei prodotti da mandare alla peer aveva una sola finalità: incoraggiare a sottoporre articoli di rivista, piuttosto che saggi in volume. Ma l’eterogenesi dei fini è sempre in agguato, vista l’aleatorietà che ancora circonda l’ordinamento delle riviste di SE e SPE.

In conclusione, gli esperti dell’area 13 hanno certamente individuato procedure rigorosissime per la formazione della classifica delle riviste economiche, basate sull’oggettività bibliometrica. Ma abbiamo visto che quelle regole conducono a una situazione insostenibile, fonte di imbarazzo per alcuni componenti dello stesso GEV. La possibilità di utilizzare una classifica unica di riviste per il SUB-GEV di economia, basata sullo stesso metro bibliometrico tanto per le discipline economiche quanto per quelle storico-economiche, si rivelerà di fatto insostenibile, per ragioni che sono state inconsapevolmente esposte dalla stessa Vera Zamagni durante il convegno Sise di Roma. Ed è molto probabile allora che l’ordinamento bibliometrico subirà successivi aggiustamenti, per forza di cose arbitrari. Qualsiasi sequenza di regole ben congegnate, dice G. Orwell, dovrebbe essere immediatamente disfatta qualora conduca a risultati “tremendi”. A noi pare che gli aggiustamenti discrezionali e arbitrari che verranno fatti alla classifica appartengano al genere dei risultati “tremendi”.