Nuovo documento ANVUR: “Chiarimenti sulla lista di riviste di classe A”

Facendo seguito agli oramai famosi

“Chiarimenti sul calcolo delle mediane”

ANVUR pubblica il 18 settembre altri chiarimenti, relativi questa volta alle liste di eccellenza:

Chiarimenti sulla lista di riviste di classe A

Come già fatto per il precedente documento, procediamo con l’esegesi e il commento di questo nuovo testo esplicativo.

1. AI sensi del DM 76, l’ANVUR è tenuta a produrre una classificazione delle riviste su cui hanno pubblicato gli studiosi italiani. La delibera n. 50 dell’ANVUR precisa che questa disposizione viene intesa a partire dalla lista, fornita dal Cineca e basata sul loginmiur, delle riviste su cui hanno pubblicato ricercatori, associati e ordinari di tutti i settori concorsuali non bibliometrici alla data del 15 luglio 2012. Lo stesso DM precisa che la classificazione deve avvenire per settore concorsuale.

Traduzione: il DM che abbiamo ispirato e contribuito a redigere non prevede una classifica di riviste completa, un compito enorme, ma solo una classifica di quelle su cui hanno scritto studiosi italiani ossia – diciamo noi – strutturati negli atenei italiani e dotati di pagina loginmiur, da costruire per settori concorsuali. La delibera 50, che ci siamo scritti, precisa che la lista si crea sulla base dei dati CINECA alla data del 15 luglio scorso.

 

2. Ciò ha due conseguenze: a. Non tutte le riviste di alto livello sono incluse nella lista pubblicata dall’ANVUR, in quanto potrebbero essere assenti dalla lista iniziale perché nessuno studioso vi ha pubblicato, oppure perché, pur avendovi pubblicato, non ha registrato l’informazione sul sito docente entro il 15 luglio. b. È sufficiente che una rivista compaia nella lista del 15 luglio in un certo settore concorsuale perché l’ANVUR sia obbligata a fornire una classificazione, anche se questa rivista è “fuori settore” rispetto alle riviste strettamente afferenti alle discipline del settore concorsuale stesso. Questo spiega la apparente eterogeneità delle liste, che possono includere anche titoli molto distanti dalle discipline di base.

Traduzione: per effetto della Delibera 50 che noi stessi ci siamo scritti, le liste sono incomplete, perché la base dati Cineca non è affidabile. Inoltre, era lecito attribuire valore di eccellenza a riviste che erano del tutto estranee al settore concorsuale perché eravamo obbligati a classificare tutte le riviste presenti sui siti docente alla data del 15 luglio.

Commento: l’Anvur è stata avvertita da mesi dell’inutilizzabilità della base dati Cineca e solo Anvur è responsabile di averla scelta per la costruzione dei rankings di riviste. In secondo luogo, Anvur non era affatto “obbligata” a fornire una classificazione in fascia A di riviste palesemente “fuori settore” (si veda ad esempio Studi di italianistica nell’Africa Australe – area 14).

Anche ammesso che Anvur dovesse tener conto e classificare tutte le pubblicazioni con ISSN presenti nel sito Cineca dei singoli docenti, l’attribuzione di un livello di eccellenza a riviste estranee al settore concorsuale (quale quella sopra citata) rimane non spiegata.

Inoltre, l’ANVUR spiega che la lista di fascia A potrebbe escludere riviste eccellenti che non erano presenti alla data del 15 luglio ma su cui hanno pubblicato gli aspiranti commissari. L’inclusione o meno di tali riviste nella lista di fascia A ha introdotto una discrezionalità capace di  modificare l’ammissibilità delle candidature degli aspiranti commissari. A meno che ANVUR non dimostri che le liste si limitavano esclusivamente alle riviste desumibili da loginmiur alla data del 15 luglio.

3. Il Gruppo di lavoro Libri e riviste scientifiche ha operato a partire dal mese di luglio 2012 e ha prodotto le liste in tempo utile per l’utilizzo al fine della pubblicazione delle mediane dei settori non bibliometrici, avvenuta a fine agosto. Le liste prodotte sono state preventivamente sottoposte al parere dei Gruppi di Esperti della Valutazione (GEV) della VQR.

Traduzione: avevamo poco tempo ma siamo riusciti a completare le liste prima della pubblicazione delle mediane. Abbiamo coinvolto i GEV.

Commento: operazioni del genere non possono essere svolte adeguatamente in tempi così brevi. Un’agenzia come l’ANVUR non può ignorare le esperienze internazionali in materia, che testimoniano la complessità e la difficoltà delle operazioni di classificazione. Anvur conferma inoltre che alla redazione delle liste hanno partecipato i GEV, massicciamente presentatisi come candidati commissari. Sarebbe stato opportuno prevedere misure per sterilizzare i potenziali conflitti di interessi, evitando che presidenti e membri GEV si esprimessero su riviste decisive per la loro ammissibilità come commissari o su riviste del cui comitato scientifico erano membri.

4. Il Gruppo di lavoro, nella identificazione delle riviste scientifiche e nella classificazione delle riviste di classe A , ha tenuto conto almeno delle seguenti fonti di informazione: (a) pareri di società scientifiche; (b) classificazione VQR; (c) indici bibliometrici laddove disponibili (es. h‐index della rivista o indicatori relativi a riviste indicizzate).

Traduzione: ci siamo dati da fare mettendo insieme informazioni di varia natura. Poi, abbiamo deciso un po’ come ci pareva meglio, senza tenere traccia delle procedure mediante verbali o altra documentazione. Abbiamo usato inoltre indicatori non meglio specificati, che pertanto non sono verificabili ex post.

Commento: Anvur, sempre attenta a non conformarsi alle prassi internazionali e al proprio codice etico, dichiara esplicitamente di avere utilizzato fonti di informazione non meglio precisate per la redazione delle liste (“…almeno…”). Inoltre non spiega per quali ragioni, in contrasto con la Delibera ANVUR n. 50, sono state classificate in fascia A riviste senza ISSN, senza periodicità regolare o con periodicità pluriennale, riviste a scarsissima diffusione, riviste con h pari zero (su Publish or Perish, che Anvur stessa ha dichiarato di utilizzare), mentre sono escluse riviste censite nel database ISI.

5. In riferimento alle rivista fuori settore, all’interno del Gruppo di lavoro sono state prese decisioni relative al riconoscimento dei giudizi forniti sia da altri esperti al proprio interno (se di altri settori concorsuali), sia di discipline diverse. In quest’ultimo caso sono state innanzitutto identificate le aree di riconoscimento, ed in seguito sono stati adottati dei criteri generali.

Traduzione: siamo bravi e abbiamo fatto le cose per bene. Ma la trasparenza ci dà il prurito, quindi i criteri ci sono ma non ve li diciamo. E neppure chi sono gli esperti. Quanto alle aree di riconoscimento, proprio non se ne parla, tanto le abbiamo identificate.

6. [OMISSIS]

Traduzione: si è perso per strada

Commento: ci piacerebbe tanto sapere cosa c’era scritto.

7. Il gruppo di lavoro Riviste scientifiche produrrà una lista di riviste di classe A aggiornata ad uso delle commissioni per la valutazione dei candidati alla abilitazione, prima della scadenza del bando abilitazione. Rispetto alla lista già pubblicata, che resta invariata ai fini del calcolo delle mediane, verranno introdotte esclusivamente le seguenti integrazioni: (a) riviste non presenti nella lista Cineca al 15 luglio (e quindi non valutate dal Gruppo di lavoro entro la data necessaria al fine del calcolo delle mediane); (b) riviste inserite dagli aspiranti commissari nella domanda entro il 28 agosto e, ove tecnicamente possibile, da candidati alla abilitazione, che risultino dal sito docente; (c) riviste sulle quali sono necessari approfondimenti, all’interno dei criteri già definiti da parte del Gruppo di lavoro e approvati dall’ANVUR, circa il riconoscimento di riviste di classe A tra i diversi settori concorsuali.

Traduzione: abbiamo fatto un lavoro largamente inadeguato e lo dobbiamo ammettere. Le liste sono incomplete e le aggiorneremo, anche sulla base di criteri ignoti. Poi le daremo alle commissioni perché le usino come meglio credono. Le mediane per i commissari sono già state calcolate, quindi loro si arrangiano.

Commento: cosa succederebbe se qualche aspirante commissario, che si era ritirato  avendo ricevuto semaforo rosso, dovesse scoprire di aver pubblicato su riviste collocate in fascia A nella “lista di rappezzo”? Dopo la retraction delle mediane avremo anche la “lista aggiornata”: è una palese dichiarazione dell’inattendibilità delle liste sulle quali sono state calcolate le “terze mediane”, determinanti per il colore dei semafori e capaci di influenzare i ritiri dei commissari.

8. L’integrazione di tipo (a) si rende necessaria al fine di tenere conto della possibilità che tra i candidati alla abilitazione vi siano studiosi non strutturati o provenienti dall’estero, le cui riviste, non essendo transitate attraverso il sito docente, non sono state oggetto di classificazione. Ciò è anche importante al fine di offrire indicazioni di riviste di alto valore ai giovani studiosi. L’integrazione di tipo (b) verrà svolta entro la scadenza dei giudizi di ammissibilità degli aspiranti commissari, per le riviste presenti nella loro domanda. Infine, l’integrazione di tipo (c) si rende necessaria per recepire l’ulteriore approfondimento svolto dal Gruppo di lavoro, per il riconoscimento della classificazione di classe A tra settori concorsuali.

Traduzione: ci siamo accorti che stavamo tagliando fuori tutti coloro che non hanno una pagina Cineca. Il mondo è grande, ma noi avevamo poco tempo per allargare i nostri orizzonti. Ci siamo anche ricordati che le liste di riviste hanno un intento pedagogico, cosa che avevamo perso di vista nella fretta.

Commento conclusivo: per la seconda volta in pochi giorni Anvur riconosce di aver proceduto a tentoni, senza rispettare le best practices internazionali e nemmeno il proprio codice etico. In generale, risulta confermato il ricorso a procedure opache, non trasparenti, non verificabili ed esposte a possibili conflitti di interessi. Il rimedio annunciato è un rappezzo che fornisce nuove munizioni agli estensori di eventuali ricorsi.

Infine, non è stata fornita alcuna risposta relativamente alla seconda mediana, il cui calcolo non è possibile in assenza di una lista completa di riviste scientifiche (A+B+C). Se tale lista esiste, perché non viene pubblicata? Se non esiste, come è stata calcolata la seconda mediana?

 

 

Print Friendly, PDF & Email

24 Commenti

  3. In particolare sul punto 4:
    Il Gruppo di lavoro, nella identificazione delle riviste scientifiche e nella classificazione delle riviste
    di classe A , ha tenuto conto almeno delle seguenti fonti di informazione: (a) pareri di società scientifiche; (b) classificazione VQR; (c) indici bibliometrici laddove disponibili (es. h‐index della rivista o indicatori relativi a riviste indicizzate).

    Nel caso delle riviste per i SSD degli economisti (area 13, da A1 a A5), il peso attribuito alla lettera a) è stato ZERO, come si rileva dalla lettera inviata EX ANTE all’ANVUR dalla Società italiana degli economisti:http://www.siecon.org/online/anvur-cepr-cun-documenti/lettera-della-sie-allanvur-sulla-classificazione-delle-riviste-economiche-ai-fini-della-procedura-di-abilitazione-nazionale/
    Il contrasto con il GEV13 era totale, ma l’ANVUR ha preferito riprendere quasi fedelmente tale lista, contentente delle valutazioni “inaccettabili”, per riprendere un termine usato nel precedente commento

    • caro brinus,
      è chiaro che c’è una differenza di fondo fra SIE e GEV13, ma la difesa dell’eterodossia operata da SIE si presta ad arbitrarietà e genera anche lei casi “inaccettabili” (se si segue il criterio di mettere A-B-C in fascia A, come suggerito da SIE, entrano in fascia A riviste italiane che tutti noi sappiamo non essere tali)
      comunque riguardando la lista ho notato che GEV13 e SIE sono d’accordo almeno su una questione a noi tutti cara: Inžinerine ekonomika (engineering economics) in fascia A !!!

    • in realtà no: la SIE ha 5 fascie e propone ad ANVUR nella lettera di mettere in A le prime tre fascie, quindi la reputazione di Inžinerine ekonomika è salva

    • ok, mi era sfuggito questo passaggio… comunque la cosa importante per la ricerca in Italia è sicuramente che Inžinerine ekonomika sia in fascia A…

    • Per chi non conoscesse il caso dell’area 13, la storia è (credo) interessante e si può (spero) raccontare così: il GEV ha fatto ai fini della VQR un lavoro di classificazione (puntualmente reso pubblico qui: http://www.anvur.org/sites/anvur-miur/files/imputation_and_ranking_of_journals_04_9_2012.pdf) delle riviste in 4 fasce: A, B, C e D, corrispondenti al top 20%, 20-40%, 40-%50 e al 50% inferiore (come richiesto dal bando VQR). Il prodotto finale sono state 4 liste distinte per area (Economica, Aziendale, Statistica e Storica), senza sovrapposizioni, ma con l’esplicita dichiarazione che indipendentemente dall’area dell’autore, ogni prodotto/articolo si sarebbe vista assegnata la classe della rivista. Da notare che l’insieme delle riviste (1906) aveva un’ampia copertura (per dire, includeva Environmental Studies, Social Work e Transportation), NON era (a mio avviso correttamente) limitato alle riviste su cui avevano pubblicato i docenti italiani dell’area e NON includeva tutte tali riviste (per esempio, escludeva le riviste chiaramente appartenenti ad altre aree CUN, ma con l’indicazioni che i lavori pubblicati su tali riviste sarebbero stati giudicati d’accordo con gli altri GEV rilevanti). Si precisava infine che per tutti i lavori pubblicati su rivise d’area non classificate la valutazione si sarebbe fatta con la peer review.
      La classificazione era basata (qui spero di non semplificare troppo) sull’IF, esteso attraverso l’utilizzo dell’h-index della rivista in Google-Scholar alle riviste che non l’avevano (se l’h-index non risultava troppo basso).
      Come mai Inžinerine ekonomika era in classe A? ma perché ha un IF elevato per l’area economica in senso stretto (2,168: per dire, l’American Economic Review ha IF 3,150, l’Economic Journal ha 2,271), benché modesto per i settori ingegneristici. Tale sorprendente classificazione può persino considerarsi la prova provata che il GEV dell’area 13 si è scrupolosamente attenuto alla metodologia che ha scelto di adottare. Siccome però la necessità di classificare in A solo il 20% delle riviste impone un vincolo di numerosità, la presenza di Inžinerine ekonomika (e di altre riviste similmente “esotiche”) fà sì che non siano in classe A riviste più strettamente attinenti all’area economica.
      Ora, il punto è che la lista di classe A per le abilitazioni nei settori economici corrisponde sostanzialmente a quella messa a punto dal GEV per la VQR. Da un lato ciò appare rassicurante (non intravedo alcun mercanteggiamento che abbia portato alla costruzione della seconda lista, per dire, o almeno non me ne sono accorto). D’altro contraddice i criteri di costruzione più volte dichiarati dall’ANVUR delle liste di classe A per le abilitazioni e soprattutto, mentre appare poco adatto a riconoscere il lavoro fatto dagli economisti che abbia trovato una sede di pubblicazione prestigiosa fuori dall’area 13, rischia di essere eccessivamente generoso coi colleghi che abbiano pubblicato su riviste non economiche che, pur classificate in classe A per la VQR, non sono certo al top delle rispettive aree (è il caso, mi pare, di alcune riviste di fisica e matematica applicata).
      E’ possibile che non si potesse fare di meglio, soprattutto in così poco tempo, ma questa è un’altra storia.

    • Nota per i (soli) cultori dell’Artefice: ieri ho scritto qui sopra che l’IF di Inžinerine ekonomika (2,168) era modesto per i settori ingegneristici perché lo pensavo tale. Oggi vedo che non è così, e per di più che sia Inžinerine ekonomika che Engineering economics sono sconosciuti al JCR….

    • Per chiarire, il valore 2,168 per l’IF che riferivo è quello che si legge nel documento del GEV di area 13 (e nella lista predisposta dalla Società italiana degli economisti). Scriverò a Pierre Menard per chiarimenti.

    • è evidente che non ci sono aziendalisti “attivi” che seguono roars, altrimenti qualcuno avrebbe trovato modo di illuminarci su Inzin Eko.
      ho consultato un lungo e accurato documento di classificazione fatto dalla società italiana degli aziendalisti qualche anno fa: ci ho trovato 6-7 riviste di engineering economics o simile, ma non la nostra preferita

    • Caro Carlo,
      sulla proposta della SIE di mettere tutte le loro ABC in fascia A (nascondendo la mano che tira il sasso dell’introduzione in tale fascia delle riviste italiane) hai perfettamente ragione. Avevo oramai dimenticato questa “controperla”: ma forse con un pò di dialogo in più il buonsenso sarebbe potuto emergere. Non è stato così, e ora in queste settimane sono troppo amareggiato dal vedere come l’inserimento di tanti titoli “inaccettabili” stia già distorcendo le scelte di colleghi abituati a lavorare seriamente e magari puniti dall’avere puntato a riviste generaliste anziché spedire lavori poco solidi a riviste di settore di n-sima categoria. Questo è uno dei drammi dell’autoreferenzialità dell’ANVUR.

  4. Grazie a questo documento Anvur e ai puntuali commenti di Roars, sappiamo con con quali criteri folli sono state stabilite le liste di eccellenza delle riviste scientifiche. E che Gev e componenti dei Gruppi di lavoro hanno avuto un ruolo decisivo per la formazione di queste liste (punti 3 e 4). Non vorrei insistere,è urgente che questi collegi rinuncino a presentare le loro candidature a commissari. La loro presenza tra i sorteggiabili potrebbe “inquinare” il meccanismo del sorteggio, ancora prima di eventuali ricorsi settoriali.

  6. Ho potuto constatare che ci sono colleghi sorteggiabili che fanno parte dei GEV, del gruppo di revisione delle riviste di fascia A e che sono anche direttori o condirettori di quelle stesse riviste. Un po’ di pudore…

    PS: Segnalo che ora sta per partire l’A.V.A. (alcuni Rettori invitano alla “collaborazione”) gestita dall’ANVUR. Se tanto mi dà tanto…

  8. Dice ANVUR:

    “Non tutte le riviste di alto livello sono incluse nella lista pubblicata dall’ANVUR, in quanto potrebbero essere assenti dalla lista iniziale perché nessuno studioso vi ha pubblicato, oppure perché, pur avendovi pubblicato, non ha registrato l’informazione sul sito docente entro il 15 luglio.”

    Ma la verità è che mancano anche riviste internazionali di alto livello sulle quali i docenti italiani hanno pubblicato e che risultavano diligentemente inserite nel database prima del 15 luglio (per il settore concorsuale 10/L1, anglistica e americanistica, non posso che rimandare alle già citate Textual Practice o English Language and Linguistics – sulle quali so per certo che hanno pubblicato docenti che conosco e che avevano inserito i loro titoli nella banca dati; ma si potrebbero menzionare altre riviste importanti: per esempio, American Literary History, su cui so per certo che ha pubblicato in anni recenti almeno un noto studioso italiano). Poiché non disponiamo dell’elenco completo delle riviste prese in esame, non sappiamo se si tratti di dimenticanze assolute, o se siano state escluse dalla classe A per il meccanismo descritto dal collega Paolo Bertoletti (“Siccome però la necessità di classificare in A solo il 20% delle riviste impone un vincolo di numerosità, la presenza di Inžinerine ekonomika… fa sì che non siano in classe A riviste più strettamente attinenti all’area economica”). Quel che è certo è che queste riviste di assoluto rilievo internazionale (valutate INT 1 dalla European Science Foundation) non ci sono e ci sono decine di riviste italiane di cui un numero significativo non di anglistica-americanistica.

    In generale, la lettera ANVUR mi pare sconcertante perché gli estensori ci illustrano (in termini generici) i principi che hanno seguito, e ci assicurano di aver fatto del loro meglio e di aver agito secondo la lettera del loro mandato ‘istituzionale’, ma non mostrano nessuna consapevolezza di aver prodotto delle mostruosità. Invece di ammettere francamente: “abbiamo verificato che questo modo di procedere non funziona”, ci dicono che proveranno, con la stessa logica fin qui seguita, ad aggiungere altre riviste. Errare humanum est, perseverare autem DIABOLICUM.

    • Chiedo scusa, ma da dove viene il vincolo per cui non più del 20% delle riviste scientifiche può essere in classe A? Se questo vincolo esiste, allora la situazione diviene ben più grave di quanto finora preventivato, giacché a questo punto tutte le riviste, prevalentemente italiane, che sono state ammesse con una certa ‘benevolenza’ nella classe A semplicemente impediscono che riviste internazionali affermate trovino posto: la situazione diviene un ‘mors tua vita mea’ che chiede vendetta. In particolare nella classificazione dell’area 11/3, dove la sproporzione tra riviste italiche ammesse e riviste internazionali escluse è clamorosa, ciò comporterebbe un vero casus belli.

    • Il vincolo valeva a norma di bando (paragrafo 2.4) per la classificazione dei prodotti VQR: ma siccome per l’area 13 si è scelta la bibliometria la lista delle riviste costruita dal GEV ha incorporato tale vincolo. Per l’area 13 la lista di classe A della VQR è poi diventata la lista delle riviste di classe A per l’abilitazione, e perciò in tal caso si è di fatto applicato anche a quest’ultima lista il suddetto limite del 20%.
      Mi risulta che in altre aree non bibliometriche le liste VQR siano state costruite (quando lo sono state) con criteri differenti, e le cose credo siano andate diversamente (non necessariamente meglio, però).

  9. Dell’esistenza di questo vincolo (20%) mi aveva parlato un membro del GEV-10. Non ho idea se sia stato riproposto anche per la lista licenziata recentemente dal Gruppo di Lavoro. La mia impressione (guardando l’irricevibile lista di classe A per anglistica e americanistica) è che un vincolo del genere (non necessariamente 20%; magari 30%?) sia stato adottato, e che sia la causa dell’esclusione di varie riviste straniere importanti su cui per certo hanno pubblicato docenti italiani negli ultimi 10 anni; il tutto per far spazio a quelle italiane reputate di classe A da settori concorsuali diversi (estetica, arti e spettacolo, letteratura italiana, francesistica, germanistica, studi rumeni, ecc.) su cui possono aver occasionalmente pubblicato docenti anglisti e americanisti. Comunque, il fatto che siamo qui a porci tra noi queste domande (cioè: il fatto che queste questioni non siano state chiarite a monte della procedura di ranking) è parte centrale del problema in cui ci dibattiamo. Che vergogna!

    • Ringrazio chi ha ricordato che si include in fascia A il miglior 20%: credo di essere stato il primo nei commenti su ROARS (https://www.roars.it/?p=11458) ad aver segnalato l’inclusione in fascia A (area 13) di Inžinerine ekonomika. Molti avevano risposto scrivendo che l’inclusione di questa rivista e simili in realtà non danneggiava nessuno dato che un eventuale danno si sarebbe avuto solo dall’esclusione di riviste. Ora dovrebbe essere chiaro a tutti, anche alla luce della relazione finale del GDL area 13

      http://www.anvur.org/sites/anvur-miur/files/riviste/relazionefinale_gdlarea13.pdf

      che l’aver incluso quelle riviste ha fatto escludere altre buone (cfr. il compianto J of Mathematical economics)

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.