A proposito di valutazione della ricerca: lo strano caso dello Scorpione Nero

Avevo scritto la lettera che segue alla fine di febbraio 2020. Poi è successo quello che sappiamo e la lettera è rimasta in una directory dimenticata del mio computer. E’ proprio vero che a volte la mente umana gioca strani scherzi. Il 28 maggio 2021 ho letto un articolo del presidente dell’Anvur, il quale, sul Sole 24 ore, parla della valutazione della ricerca nell’Università. All’improvviso mi sono ricordato della mia vecchia lettera, che ho deciso di spedirvi.

Nello scritto che segue segnalo il caso di una rivista “internazionale” collocata in fascia B dal Gev di area 13, in relazione al precedente esercizio di valutazione (2011-2014). A mio parere si è trattato di una valutazione decisamente spropositata. Sarebbe stato sufficiente visionare e navigare sul sito della rivista per accorgersi di alcune “anomalie”. Probabilmente invece il ranking è stato deciso con semplici automatismi, sulla base di indicatori bibliometrici poco accurati. La “nostra” rivista dichiara, sul proprio sito internet, di essere censita da una pluralità di soggetti diversi. Esistono diversi soggetti che forniscono indicatori bibliometrici: alcuni selezionano preliminarmente e con criteri rigorosi le riviste da censire, altri censiscono tutto ciò che circola sul Web, altri ancora sono in realtà semplici data repository. In ogni caso ritengo non si possa prescindere da un minimo di analisi della rivista (Board, Publisher, trasparenza del sito internet etc.).

Preciso che i diversi colleghi che hanno pubblicato su quella rivista, denominata European Journal of Economics, Finance and Administrative Sciences, hanno la mia piena comprensione.

Anvur dispone di un potere molto rilevante: le sue valutazioni spostano soldi tra Atenei, tra Dipartimenti e anche tra aree disciplinari. Chi fa ricerca è costretto a tenere conto delle valutazioni di Anvur quando deve decidere su quale rivista pubblicare. In caso contrario si rischia di penalizzare il proprio Ateneo, il proprio Dipartimento, la propria area e così via.

Non posso fare a meno di notare che tutte le riviste in lingua italiana del macrosettore 13B avevano (e hanno tuttora) un ranking inferiore a B. Potrei citare anche numerose altre riviste internazionali, classificate in fascia B o peggio, che a livello internazionale godono di considerazione molto superiore a European Journal of Economics, Finance and Administrative Sciences .

Il nuovo GEV ha escluso European Journal of Economics, Finance and Administrative Sciences dall’elenco delle riviste di riferimento. Gli effetti della precedente classificazione però si sono fatti sentire per diversi anni e il caso che segnalo non è isolato. La rivista rimane comunque all’interno dell’elenco delle riviste scientifiche di area 13 valide per l’ASN (anche in quello pubblicato in data 6 aprile 2021).

Pur ritenendo opportuna l’esclusione della rivista in questione dalla lista relativa al nuovo esercizio di valutazione (VQR 2015-19), segnalo che anche l’instabilità della classificazione delle riviste è fonte di gravi distorsioni. I ricercatori scoprono il ranking delle riviste soltanto a posteriori, a conclusione del periodo preso in considerazione per l’esercizio di valutazione. Nel frattempo però le scelte di pubblicazione si sono basate sulle vecchie liste. Il ricercatore deve quindi sviluppare anche doti di preveggenza per indovinare la futura classificazione della singola rivista.

Se avrete la pazienza di leggere potrete farvi un’idea, dopodiché giudicherete voi.

Lo strano caso dello Scorpione Nero

e della (vecchia) classificazione delle riviste di Area 13

Spettabile redazione,

vorrei segnalare alla vostra attenzione una rivista presente nella classificazione per classi di merito fornita dal GEV di area 13. La rivista in questione è denominata “European Journal of Economics, Finance and Administrative Sciences” (d’ora in avanti: EJoEFaAS) ed è classificata in fascia B secondo 2 dei 4 indicatori elaborati dal GEV. Dunque, secondo i criteri adottati dal GEV di area 13, la rivista è a tutti gli effetti classificabile in fascia B ai fini della VQR (NB: mi riferivo all’esercizio di valutazione 2011-2014).

Non mi pare che la rivista sia molto conosciuta all’interno del mio settore disciplinare (13/B4), tuttavia uno studioso italiano che intendesse inviare un proprio lavoro a EJoEFaAS dovrebbe sentirsi del tutto rassicurato: la rivista è stata valutata e classificata dall’ANVUR, la quale ha rilasciato un esplicito certificato di qualità. Non sono sicuro però che la fiducia di chi ha inviato, o intendesse inviare, i propri lavori a EJoEFaAS sia ben riposta.

Prima di entrare nel merito sono opportune un’avvertenza e una precisazione.

Avvertenza: ammetto con rammarico che nel mio curriculum non sono presenti pubblicazioni in materia di classificazione delle riviste. Di conseguenza sarò molto cauto nell’esprimere giudizi e, anzi, mi permetterò di rivolgervi alcune domande per conoscere la vostra opinione.

Precisazione: i miei dubbi riguardano esclusivamente il ranking attribuito alla rivista. Non intendo esprimere alcun giudizio sugli articoli pubblicati dalla rivista, anche perché non ho letto la quasi totalità di quegli articoli. Farò una sola eccezione a questo mio proponimento, ma se avrete la pazienza di terminare la lettura della mia lettera spero mi comprenderete.

Passiamo ora ai fatti. Tutte le informazioni seguenti sono state ricavate dal sito web di EJoEFaAS, visitato per l’ultima volta il 24 febbraio 2020.

La rivista è pubblicata da “FRDN incorporated” (a proposito, qualcuno conosce questo “publisher”?) e l’editorial office ha sede a Victoria, capitale delle Seychelles.

La rivista esiste solo in formato elettronico, non è disponibile in forma cartacea. Il primo numero risale a giugno 2007, l’ultimo a novembre 2019. Non è possibile acquistare la rivista in abbonamento, poiché si tratta di un “open access”. Va benissimo l’open access (anche editori del calibro di Springer, Wiley, etc. ricorrono in misura sempre maggiore all’open access), ma sono costretto a porvi una domanda imbarazzante. Gli articoli di una rivista open access devono essere liberamente accessibili al pubblico? Purtroppo nel caso di EJoEFaAS possono essere letti soltanto gli articoli pubblicati dal numero di maggio 2016 in avanti (con qualche “buco”). La situazione è comunque fluida: fino a gennaio 2019 era consultabile solo il numero di dicembre 2018, ma non i numeri precedenti. Recentemente mi sono accorto che è stato abilitato l’accesso alle annate complete del 2017 e del 2018 e di parte dell’annata 2016.

Infine, quando seleziono il link al cosiddetto “sample article” ottengo il seguente messaggio: “The requested URL /sample_article[1].pdf was not found on this server”.

Riassumendo: la rivista non esiste in forma cartacea, non può essere acquistata e non è generalmente consultabile (tranne i numeri pubblicati a partire da maggio 2016) in modalità open access. Avete capito bene. Eccezion fatta per gli Autori e, forse, l’Editorial Board, nessuno può accedere alla maggior parte degli articoli della rivista. Ecco allora i miei primi dubbi. Possiamo ritenere che EJoEFaAS sia, ai fini della classificazione ANVUR, una rivista scientifica? Possiamo considerare “pubblicazioni” gli articoli ospitati su EJoEFaAS?

Temo che una risposta negativa alle mie domande sia sufficiente per escludere EJoEFaAS da qualsiasi ranking.

A onor del vero in passato un cospicuo numero di fascicoli era liberamente consultabile. Mi sono imbattuto per la prima volta in questa rivista nel 2014, quando era classificata in fascia D. Già allora avevo rilevato una serie di anomalie.

Successivamente, nel mese di febbraio del 2016, mi sono accorto che la rivista non forniva notizie in merito alla composizione dell’Editorial Board. Esisteva un link per l’Editorial Board, ma la pagina era sempre “under construction”. Questa situazione si è protratta, più o meno, fino a novembre 2018 (non ho controllato con continuità).

Sono stato assalito da altri dubbi. Una rivista che non rende nota la composizione dell’Editorial Board può essere inclusa nel novero delle riviste “scientifiche”?

Per cercare una risposta ai miei dubbi ho inviato due segnalazioni al GEV di area 13, la prima il 16 marzo 2014 e la seconda il 31 marzo 2016.

Nel primo caso mi hanno risposto che “… in generale gli esercizi di valutazione sono sempre migliorabili, ma un esercizio di valutazione è sempre preferibile all’assenza di valutazione”.

Nel secondo caso mi hanno fatto notare che la mia segnalazione era arrivata fuori tempo massimo e che, comunque, nessuno aveva rilevato “anomalie” nel lasso di tempo in cui le segnalazioni erano consentite.

Nel frattempo la rivista è stata promossa dalla fascia D alla B.

A dicembre 2018 è finalmente comparsa la composizione del Board sul sito di EJoEFaAS. Mi sono accorto che, tra gli editors, compare anche il professor Jean Dermine, stimato docente di Banking and Finance all’INSEAD, con un lungo elenco di pubblicazioni all’attivo.

Ho scritto a Dermine per sapere se fosse a conoscenza del fatto di essere presente nel Board di EJoEFaAS. Trascrivo di seguito la risposta ricevuta (conservo ancora la mail):

“Let me answer. To the best of my memory, I have never heard of this journal and therefore didn’t know that my name was included on the editorial board. 

Kind regards,  Jean”

I dubbi si moltiplicano. Come valutate una rivista scientifica che include una persona nel proprio Board senza averla nemmeno contattata? Ritengo che anche una rivista dedicata al bricolage, oppure all’aeromodellismo, o a quello che volete voi, dovrebbe astenersi da un simile comportamento. Nel Board ho contato complessivamente 35 persone e non credo che siano state inserite tutte a loro insaputa. Sospetto che questo trattamento sia stato riservato a quegli studiosi che possono vantare un buon curriculum internazionale. Naturalmente è solo una mia illazione, che non ho tempo di sottoporre a verifica.

Vorrei ora dare un rapido sguardo, a campione, ai contenuti della rivista (gli indici dei fascicoli sono sempre consultabili).

Richiamo la vostra attenzione sull’issue n. 71, del gennaio 2015.  Accanto a un articolo dedicato alle banche di credito cooperativo italiane compare un articolo che narra le gesta del generale Benjamin Adekunle, detto “the Black Scorpion”, eroe della guerra civile nigeriana[1]. Non metto in dubbio le qualità di combattente dello Scorpione Nero[2], ma ho qualche difficoltà a comprendere il nesso tra le gesta del generale Adekunle e gli studi in materia di “economics, finance and administrative sciences”, studi che dovrebbero costituire l’oggetto della “nostra” rivista.

Ho trovato il testo dell’articolo dedicato allo Scorpione Nero sul sito www.researchgate.net  e ho pensato di spedirvelo in allegato.

A questo punto vorrei sbilanciarmi un po’. Io ritengo che l’articolo in questione non possa essere considerato un “prodotto di ricerca scientifica”, indipendentemente dal settore disciplinare a cui lo vogliamo riferire. Però mi interessa conoscere la vostra opinione.

I contenuti dell’issue n. 71 non rappresentano un’eccezione, perché su EJoEFaAS si possono trovare articoli dedicati agli argomenti più disparati. Non voglio privarvi del piacere di esplorare direttamente, per quanto possibile, il sito della rivista e mi limito a segnalare un pungente contributo dedicato alla satira nei talk show Pakistani[3].

Condivido sempre le iniziative che incoraggiano la ricerca interdisciplinare, però non sono sicuro che la policy della “nostra” rivista sia funzionale alla causa della interdisciplinarità.

Il dato certo, al momento, è che ANVUR ha un’opinione diversa dalla mia: l’articolo sullo Scorpione Nero è un prodotto di ricerca scientifica di fascia B, al pari di tutti gli altri articoli pubblicati (?) su EJoEFaAS. Così come è certo che, ai fini della valutazione delle riviste e di tutto quello che ne consegue, prevale l’opinione di ANVUR.

Non posso fare a meno di notare che tutte le riviste italiane di riferimento del mio macrosettore (13B) hanno un rating inferiore a B e dunque, per ANVUR, valgono meno di EJoEFaAS.

Per consolarci potremmo pensare: ANVUR ha dovuto valutare quasi tremila riviste soltanto nell’area 13. Un errore può capitare, ammesso che sia ANVUR ad avere sbagliato e non io. Purtroppo mi sono imbattuto in altre riviste “strane” nei ranking di area 13[4].

Per concludere, sono consapevole che tutti gli elementi da me segnalati si prestano a una lettura alternativa e che le conclusioni da me velatamente adombrate possono essere agevolmente confutate. Nell’ordine:

1. La “nostra” rivista sarebbe il frutto di una lodevole iniziativa editoriale tesa a contrastare i perniciosi effetti dell’eccesso di specializzazione e a stimolare preziosi processi di cross-fertilization.
2. Tutti gli articoli sarebbero liberamente fruibili in modalità open access. Supponiamo che il sito web della rivista sia sincronizzato con il fuso orario di Wellington, in Nuova Zelanda e che sia programmato per funzionare durante la giornata lavorativa, dalle 9 alle 17, ora locale[5]. Considerato che la differenza di fuso orario rispetto all’Italia è di 12 ore, ciò significa che, per i miei controlli, avrei dovuto accedere al sito tra le 21 e le 5 del mattino successivo. Ora che ci penso non ho mai controllato il sito in quella fascia oraria.
3. Il professor Dermine sarebbe entrato volontariamente nel Board della rivista. Successivamente ha litigato con l’editor in chief e adesso si vuole vendicare, negando persino di conoscere la rivista.
4. Il mio giudizio sull’articolo dello Scorpione Nero è un mero parere personale. Inoltre l’invito a consultare fonti alternative (contenuto nella precedente nota 2) relative alla storia del generale Adekunle tradisce una mia posizione ideologica precostituita. Tale posizione si riverbera inevitabilmente sugli Autori dell’articolo, per cui il mio giudizio non sarebbe obiettivo.

A questo punto, dilaniato dai dubbi, ho deciso di chiedere il vostro parere.

[1] Omonijo D. A. et al. (2015), “Patriotism in Nation-Building: A Study of Brigadier-General Benjamin Adekunle, also Known as the Black Scorpion”, EJoEFaAS , Issue 71, January.

[2] Incidentalmente, qualora foste interessati alla figura del generale Adekunle, vi consiglierei di consultare anche fonti alternative a quella citata nella nota 1.

[3] Subhani M.I. et al. (2012), “Satire in Talk Shows: Pakistan’s Media Pungent Approach”, EJoEFaAS, Issue 51, August. Purtroppo l’articolo non è accessibile, potrebbe essere una lettura interessante.

[4] Inutile chiedermi l’elenco dei casi anomali, non spetta a me procedere a una revisione sistematica dei ranking ANVUR.

[5] Beh cosa c’è di strano? Una rivista che si chiama European Journal etc, con sede alle Seychelles e che dedica buona parte dei suoi articoli alla Nigeria, ai Paesi Arabi, all’India, al Bangladesh e a tanti altri Paesi, persino europei (!), non può forse avere un sito web sincronizzato con la Nuova Zelanda? Non spetta a noi sindacare la policy editoriale della rivista.