ASN 2.0: ANVUR fa scattare le “perquisizioni” delle redazioni delle riviste di fascia A

«O i referee report o la retrocessione dalla classe A!» grida la polizia bibliometrica mentre punta la pistola alla tempia del direttore della rivista. Un’esagerazione? Mica tanto. Le pistole sono immaginarie, ma – per quanto incredibile – ANVUR sta veramente chiedendo di rovistare (virtualmente) nei cassetti delle redazioni. Alla fine di settembre il Presidente dell’Agenzia di valutazione ha inviato lettere ai direttori di riviste (italiane) in classe A, chiedendo di consegnare i referee report di un fascicolo della rivista del 2015, al fine di valutarne il mantenimento in classe A. Si tratta di una richiesta che a nostra conoscenza non ha eguali nel mondo occidentale. Che va in netto contrasto con le linee guida che,  nella comunità scientifica internazionale, regolano i delicatissimi rapporti tra autori, editor delle riviste e referee. Sul tema abbiamo ricevuto una lettera di un direttore di rivista di classe A. Solo l’insistenza della redazione ha convinto  il direttore a permetterci di pubblicarla dopo aver rimosso i dettagli che avrebbero permesso l’identificazione dell’estensore. Alla lettera, che illustra i nodi principali della questione, abbiamo aggiunto una appendice a cura della redazione che spiega in dettaglio cosa sta succedendo.

Gentile Redazione,

non avrei mai pensato di scrivere una lettera a Roars. Ho sempre pensato che la valutazione sia una necessità, che l’accademia italiana abbia sacche di nepotismo e un gran numero di fannulloni, specialmente nelle aree non bibliometriche, quelle che conosco meglio. E che una cattiva valutazione è meglio di nessuna valutazione. Per questo ho sempre pensato che le posizioni di Roars siano di retroguardia, di difensori del vecchio sistema, mentre c’è bisogno di cambiare. In particolare ho sempre considerato le vostre prese di posizione contro le classifiche di riviste come la difesa estrema di un sistema corporativo. Certo gli estensori delle classifiche sono stati cooptati dal direttivo ANVUR e non scelti dalle comunità accademiche, ma ho sempre pensato che qualche forzatura è necessaria se funzionale al processo di modernizzazione.

Devo dire che sono stato particolarmente contento di vedere che ANVUR ha selezionato nel gruppo di lavoro libri e riviste scientifiche  per la area disciplinare [XXX] colleghi autorevoli.  Per il mio settore disciplinare il prof. [XXX] è probabilmente il più importante studioso italiano.

Mi aspettavo che la rivista [omissis] di cui sono direttore sarebbe stata classificata in classe A. Ed in effetti lo è stata, anche se so che alcuni altri autorevoli colleghi hanno dovuto spendersi per facilitarne la classificazione. All’epoca ho pensato che, giustamente, il gruppo di lavoro dovesse adottare criteri rigorosi e restrittivi; e sono stato orgoglioso dell’esito finale.

Ho sempre pensato che ricevere quel riconoscimento fosse importante, anche perché senza quel riconoscimento le proposte di articoli sarebbero andate riducendosi, e già si sa che una rivista italiana, ancorché scritta in gran parte in inglese, tende a non ricevere la migliore produzione degli studiosi del nostro settore. D’altra parte ormai nelle procedure di abilitazione e anche nella VQR l’avere pubblicato su riviste estere e indicizzate rappresenta un elemento di cui non si può proprio fare a meno.

Senza quel riconoscimento, ci aveva fatto notare il nostro editore “…”, come sapete il maggiore editore italiano di riviste scientifiche per numero di riviste, sicuramente il più prestigioso, è difficile convincere le biblioteche a rinnovare l’abbonamento. In verità neanche esoso come quelli degli editori internazionali. Non mi aveva perciò meravigliato che nella brochure di presentazione delle riviste e sul sito web della casa editrice l’editore avesse messo in bella evidenza “Classe A”. Credo di aver pensato qualche volta che a forza di scambiare il contenitore per il contenuto, andrà a finire che conterà solo il bollino.

Alla fine di settembre ho ricevuto una mail da ANVUR. Indirizzata sia a me che al mio editore. Vi si dice che ANVUR, in accordo con quanto previsto dal DM [ndr: per i dettagli si rimanda all’appendice tecnica, curata dalla redazione di Roars] per l’Abilitazione Scientifica Nazionale, avrebbe rivisto le liste di riviste di classe A. Ho letto con attenzione la lettera più e più volte, perché, confesso, non sempre il linguaggio burocratico adottato dall’agenzia mi riesce di facile comprensione.

Dalla lettera ho capito che all’ANVUR qualcuno ha verificato che nel corso della VQR 2004-2010 sono stati sottomessi alla peer review un numero invero assai esiguo di articoli pubblicati sulla rivista che dirigo. Quegli articoli hanno ricevuto una valutazione media inferiore alla valutazione media ottenuta dalle riviste della medesima area scientifica (ndr cfr. Regolamento per la classificazione delle riviste nelle aree non bibliometriche art 5 comma 3b). Per questa ragione la permanenza in classe A della rivista è in forse. Dipenderà da come andranno le cose nella prossima VQR.

La mia prima reazione è stata: ma come fanno a giudicare la qualità di una rivista che pubblica ormai da decenni, sulla base dei pochi articoli che qualcuno ha sottomesso alla scorsa VQR? Chissà quali articoli saranno stati inviati: articoli di giovani collaboratori al loro esordio, o che non avevano ancora una monografia da presentare; perché nel nostro settore le monografie sono più importanti degli articoli. E si sapeva più o meno tutti, nel nostro settore, che c’era da aspettarsi un premio sistematico per articoli su riviste non italiane.

La seconda riflessione è stata più rassicurante: gli esiti della VQR attuale saranno sicuramente favorevoli. Infatti è ben noto che la [nome rivista] è in classe A. Poiché i GEV ed i revisori sanno che la rivista è in classe A, avranno sicuramente un pregiudizio favorevole nei confronti degli articoli pubblicati sulla rivista. E gli autori stessi, sapendo che GEV e revisori sanno che la rivista è in classe A, avranno scelto più facilmente articoli pubblicati sulla nostra rivista.

Anche se mi viene un dubbio. Il componente del GEV del nostro settore concorsuale appartiene a una scuola scientifica da sempre in concorrenza con quella che ha fondato la nostra rivista. Il GEV potrebbe scegliere come revisori studiosi che sono vicini (vuoi come membri del comitato scientifico vuoi come autori) a [nome rivista] che è il punto di riferimento della sua scuola scientifica. Ma ho subito allontanato da me questo pensiero. Non è pensabile che dei colleghi con un ruolo così importante nelle procedure di valutazione si comportino in modo meno che leale e imparziale.

Ho quindi parlato con la segretaria di redazione, chiedendo di predisporre il dossier da inviare ad ANVUR.

La mattina dopo, la segretaria di redazione mi ha telefonato preoccupata, dicendomi che era in estrema difficoltà nel rispondere ad ANVUR, perché malgrado le procedure di peer review della rivista siano ormai consolidate da anni, non è sicura di riuscire a recuperare in tempo utile  i referee report  richiesti. Ci siamo messi a discutere per un po’ ed abbiamo trovato una soluzione tecnica.

Dopo aver riattaccato il telefono ho ripreso la lettera di ANVUR. Vi si legge:

Mi sono chiesto, ma che senso ha la richiesta di ANVUR? Evidentemente non si fida di quanto dichiariamo sulla rivista e di quanto pubblicato sul sito web. Adottiamo ormai da anni un sistema di double blind peer review. Di gestione anche complessa.

Cosa dobbiamo spedire ad ANVUR? Un insieme di referee report anonimizzati. Ma se sono anonimi come possono controllare che siano veri? Siamo alle solite: una procedura burocratica che richiede produzione di carta? Che senso ha chiedere un adempimento se non c’è modo di verificarne la veridicità? Ho pensato: somiglia molto alla procedure che ho dovuto fare per la ASN: una collazione di fotocopie per provare che avevo pubblicato su riviste con codici ISSN.

Mi sono poi ricordato di quanto mi diceva il mio collega [XXX] che la questione della trasparenza e della confidenzialità è una questione assai dibattuta a livello internazionale.

Mi sono posto le seguenti domande:

1. Nel momento in cui ho chiesto ad un collega di fare un referee report per la rivista, mi sono implicitamente impegnato ad un dovere di riservatezza. Anzi ci siamo mutuamente impegnati alla riservatezza e alla confidenzialità. Posso adesso prendere il suo referee report, cancellare il suo nome e trasmetterlo a terzi?
2. Chi è il proprietario del referee report? Ovviamente il referee è il titolare del diritto d’autore su quel report, a meno che non abbia ceduto i diritti alla rivista. Posso trasmetterlo a terzi senza il suo consenso? Alcuni colleghi dei settori bibliometrici mi hanno detto che che molte riviste chiedono ai referee di firmare una liberatoria per trasmettere il referee report ad una altra rivista dello stesso editore, nel caso in cui l’articolo rifiutato venisse sottomesso ad un’altra rivista dello stesso editore. Posso inviare ad ANVUR i referee report senza il permesso dei referee? Non rischiamo, io e l’editore, una azione giudiziaria?
3. E poi che fare per gli articoli rifiutati? Perché dovrei far sapere ad ANVUR che l’articolo sottomesso da un autore è stato rifiutato dalla rivista con giudizi drasticamente negativi? Quando l’autore mi ha inviato il suo articolo si aspettava anche lui la riservatezza. Perché adesso dovrei far sapere ad ANVUR che l’articolo di tizio era stato bocciato da due referee così duramente? E se lo facessi sapere ad ANVUR, non potrei essere oggetto di una azione giudiziaria da parte dell’autore che si ritiene danneggiato dalla divulgazione di informazioni riservate? D’altra parte è ANVUR che controlla mediane e soglie varie.

Ho tentato di rispondere a queste domande in rete. Ho letto che nel mondo anglosassone in molti casi le corti non hanno autorizzato l’accesso ai referee report neanche in processi penali su frodi. Ho trovato anche linee guida con le risposte già pronte. Eccone un paio:

• Who “owns” peer reviews?
• 96 Things Publishers Do (2016 Edition) – item 69

Se questo è il panorama internazionale, perché ANVUR si discosta così fortemente dalle prassi correnti? Mi è venuto in mente che forse avete ragione voi di ROARS, quando scrivete che

ANVUR sta tentando di blindare le classi A …

Eccomi quindi a scrivervi. Sono sicuro che sarete sensibili a questa questione. E spero che la disseminiate nel mondo accademico. E’ importante che nessuno rivista risponda alle richieste di ANVUR. Nel frattempo, sto prendendo contatti con altri direttori di riviste per mettere in piedi una risposta coordinata. Ho anche interessato il mio editore che si è detto molto preoccupato delle questioni legali. Ho scritto anche al collega del gruppo di lavoro, ma non ho ancora ricevuto risposta.

Mi trovo a pensare che questa mossa di ANVUR sia l’equivalente di una perquisizione alla redazione di una rivista. La minaccia è il declassamento. Ma il declassamento della mia rivista è niente al confronto della questione che c’è ormai in gioco: quella della libertà di ricerca.

Cordiali saluti, e, a questo punto, buon lavoro.

lettera firmata

APPENDICE: Una classe A non è per sempre

Effettivamente una rivista la sua classe A se la deve guadagnare, e poi deve essere anche in grado di mantenersela.

Non è infatti detto che lo status possa essere conservato, dipende dal mantenimento dei requisiti minimi che però …. cambiano. Ad esempio in occasione della  pubblicazione del DM 7 giugno 2016 n. 120 che ha richiesto una riscrittura del regolamento per la revisione delle liste di riviste scientifiche e di classe A.

Per ciascun settore concorsuale […] l’Anvur, anche avvalendosi di esperti e revisori anonimi determina e aggiorna regolarmente pubblicandoli sul proprio sito istituzionale:

1. L’elenco di tutte le riviste di carattere scientifico dotate di ISSN
2. Il sottoinsieme delle riviste di carattere scientifico definite di Classe A.

Ci si chiedeva quando e come Anvur avrebbe iniziato il proprio lavoro di aggiornamento di liste che si sono formate adottando modalità diverse nel corso degli anni, partendo da una revisione e selezione da parte di un gruppo di lavoro che ha tenuto anche conto dei suggerimenti delle società scientifiche e che ha commesso parecchi errori (ad esempio qui) per poi passare alla analisi di proposte fatte dalle stesse redazioni che hanno compilato un form online molto ricco di domande e quasi in linea con le richieste che vengono fatte ad esempio per l’inclusione nella directory of open access journal o in LATINDEX.

Troviamo la risposta alle nostre domande in una lettera mandata a firma del presidente dell’ANVUR – Andrea Graziosi – ad editori ed editor delle riviste di classe A in cui si spiega che

L’anvur è dunque chiamata a rivedere all’interno della procedura di revisione generale attualmente in corso – la classificazione delle riviste di fascia A sulla base dei risultati ottenuti dai prodotti scientifici della rivista eventualmente presentati nella passata VQR 2004-2010

Anvur quindi secondo i meccanismi quantitativi che ormai sono diventati linea guida per la agenzia sta verificando titolo per titolo

Per le riviste di fascia A già esistenti nel 2003

L’eventuale presenza di articoli pubblicati sulla rivista tra i prodotti sottoposti a valutazione in occasione della VQR 2004-2010

La valutazione media riportata da tali articoli confrontata con quella riportata dagli articoli pubblicati nelle riviste scientifiche delle relative macro-aree

L’eventuale presenza di articoli pubblicati sulla rivista tra i prodotti sottoposti a valutazione in occasione della VQR 2011-2014

La valutazione media riportata da questi ultimi articoli confrontata con quella degli articoli pubblicati nelle riviste scientifiche delle relative macro-aree in occasione della VQR 2011-2014. Quest’ultima analisi sarà condotta appena possibile.

Per le riviste di fascia A non ancora esistenti nel 2003 le analisi di cui sopra verranno invece condotte sulla sola VQR 2011-2014, non appena ciò sarà possibile

Questo è ciò che più o meno avevamo dedotto dal regolamento per la classificazione delle riviste per le aree non bibliometriche

A cui è stato aggiunto un supplemento di spiegazione:

La scelta di due VQR successive (il che vuol dire oggi il periodo che va dal 2004 al 2014, per un totale di 11 anni, visto che secondo il Regolamento basta essere presenti in una delle due, e non in ciascuna di esse) per verificare la presenza di contributi apparsi su una rivista in una VQR è infatti più che sufficiente a garantire ampi margini di tranquillità.

Facciamo l’esempio di due aree da cui sono venute preoccupazioni in tale senso (storia moderna e storia contemporanea, vale a dire i settori concorsuali denominati, rispettivamente, 11/A2 e 11/A3). Ebbene per quanto riguarda la prima sono stati presentati nelle due VQR quasi 300 articoli su rivista, che salgono a più di 400 nella seconda, e in entrambi i casi la percentuale degli articoli sul totale dei lavori presentati è in crescita da una VQR all’altra.

Una rivista che pubblica di regola in 11 anni più (e spesso ben più) di 100 articoli può quindi tranquillamente continuare a pubblicare contributi di giovani studiosi, colleghi che insegnano all’estero, docenti fuori ruolo e ricercatori indipendenti, ed essere comunque certa che—se i contributi che pubblica sono di qualità—qualcuno degli studiosi strutturati che ha pubblicato sceglieranno uno di questi articoli tra i loro prodotti migliori (ricordiamo che nelle due VQR ogni docente e ricercatore ha presentato complessivamente 5 lavori).

E’ del resto ragionevole chiedersi se è opportuno che figuri tra le riviste di fascia A di una (o più) discipline una rivista che, in un decennio e più, non ha pubblicato nemmeno un lavoro ritenuto sufficientemente valido da essere presentato alla VQR da uno dei docenti e ricercatori che lavorano nelle Università e negli Enti di ricerca del nostro paese.

Perché mai, quando risulta evidente che nelle scienze umane si preferisce il canale del saggio o eventualmente della monografia, dovendo scegliere fra due (o tre) dei propri migliori lavori uno studioso dovrebbe proporre proprio un articolo?

Ma ANVUR procede con il suo ragionamento logico (la cui logica ci pare sfugga i più)

Altrettanto indiscutibile appare la ragionevolezza del criterio secondo cui, una volta accertata la presenza in almeno una di due VQR successive, si proceda a confrontare la qualità media dei lavori presentati da riviste di classe A con quella media delle riviste scientifiche della medesima area. Una rivista di classe A dovrebbe infatti caratterizzarsi per una più alta qualità media (ferma restando l’inevitabile variabilità nella qualità dei singoli contributi effettivamente pubblicati). Ora, il fatto che le valutazioni riportate dai contributi di una rivista ad essa appartenente siano in media non superiori a quelle delle riviste scientifiche è indubbiamente una indicazione importante in senso contrario – una prova che, in quel particolare caso, potrebbe essere inappropriato ritenere la rivista meritevole di appartenenza alla classe A.

Ma cosa potrebbe succedere a quelle riviste la cui qualità media (cosa vorrà mai dire) è inferiore a quella degli articoli delle riviste scientifiche della medesima area? E cosa succede alle riviste di classe A che sono tali in più aree?

Anvur ci ha preparato una sorpresona

Infatti l’adozione della revisione tra pari è precondizione indispensabile alla classificazione in fascia A

E l’anvur ritiene inoltre suo dovere controllare il possesso di tale requisito.

E così verificato che alcune riviste di fascia A non superavano il requisito della qualità media di cui sopra agli editori è stata recapitata una richiesta [fare clic per vederne una copia] molto particolare in cui si avvisa l’editor che il declassamento avrà luogo solo dopo aver verificato che la qualità media degli articoli è inferiore a quella degli articoli delle riviste scientifiche anche nella VQR 2011-2014.

Tuttavia e per non perdere tempo e sulla scorta di quanto proposto dal CUN (???)

Le chiediamo di inviarci, resi anonimi, i referaggi dei saggi di ricerca in almeno un numero del 2015 della Sua Rivista, al fine di poter mantenere la rivista stessa  in fascia A se dalla VQR 2011-2014 si evincesse che i contributi in essa pubblicati sono stati sottoposti a valutazione ed hanno ottenuto buoni risultati