Non potrò far parte di collegi di dottorato che aspirino all’accreditamento ANVUR, forse non potrò neanche essere conteggiato tra i docenti di riferimento per le lauree magistrali.  Ed il mio dipartimento perderà un po’ di risorse a causa della “cattiva qualità” della mia ricerca.  Come risultato della VQR mi trovo infatti classificato dai “super esperti” del GEV di AREA13 tra i professori reprobi. Se avrete la bontà di leggere il post per intero scoprirete perché sono stato valutato così. E troverete una storia di ordinaria baronia ai tempi dell’ANVUR. Una storia che illustra in modo esemplare come si siano evoluti alcuni ben noti comportamenti accademici che, così ci hanno raccontato per anni, proprio la valutazione e l’ANVUR avrebbero permesso di sconfiggere. In realtà quei comportamenti, con le nuove regole, sono solo più facili da nascondere che in passato.

Questo post è la terza parte del nostro Dossier VQR 2011-2014. Questi i link alle altre parti:

1. Antefatto

Avevo deciso di non partecipare alla VQR, ma il mio dipartimento ha scelto per me due articoli; e complessivamente mi ritrovo (su loginmiur) tre valutazioni VQR, perché evidentemente qualcuno ha deciso di presentare un articolo in cui figuro tra gli autori.

Tutti e tre gli articoli sono stati valutati dal GEV (Gruppo Esperti di Valutazione) di Area13 (Scienze economiche e statistiche), organizzato in tre sub-GEV (Scienze economiche, Management, Statistica). Il GEV 13 continua a godere anche in questa VQR di una sorta di extraterritorialità valutativa, perché non adotta né la bibliometria delle aree bibliometriche, né la revisione dei pari delle aree non biblometriche. Il GEV13 valuta gli articoli sulla base delle riviste in cui sono pubblicati. E’ il GEV stesso ad avere classificato le riviste in classi da A ad E, cui corrispondono i punteggi VQR. Gli articoli pubblicati su riviste non valutate dal GEV e tutti gli altri prodotti della ricerca sono valutati tramite peer review.

Più precisamente, stando a  quanto si legge nel rapporto finale di Area (p. 19; non inserisco i link ai documenti ANVUR perché non sono stabili, vedi gli articoli di Roars dedicati ai documenti a cucù dell’agenzia), gli autori hanno avuto la possibilità di scegliere quale tra quattro indicatori bibliometrici associare alla rivista, e di conseguenza quale valutazione tra le possibili associare all’articolo sottoposto a valutazione.

La tabella seguente propone un esempio di classificazione bibliometrica di alcune riviste.

In Area13 il GEV ha classificato le riviste sulla base di 4 indicatori bibliometrici, associando a ciascun indicatore il punteggio VQR. L’autore di un articolo su Economic Modelling (seconda riga) dovrebbe avere avuto la possibilità di scegliere sulla base di quale indicatore valutare il suo lavoro. Scegliendo IF5, l’articolo andrebbe in classe B (punteggio = 0,7), mentre scegliendo AIS l’articolo andrebbe in classe C (punteggio = 0,4). Tra le due scelte, la prima è quella ottimale perché  garantisce il miglior punteggio.

2. Ecco come sono stato valutato

Qua sotto potete leggere le valutazioni attribuite ai miei articoli:

  • SCANDINAVIAN JOURNAL OF STATISTICS – Elevato – 0,7 punti
  • JOURNAL OF INFORMETRICS – Discreto – 0,4 punti
  • SCIENTOMETRICS – Limitato – 0,0 punti

Il primo articolo è comparso su una rivista classificata dal GEV13, ed ha ricevuto un voto 0,7.

Gli altri due, quelli con il punteggio più basso (0,4 e 0,0), sono andati in peer review, perché, dato che le riviste su cui sono pubblicati non rientrano nelle liste stilate dal GEV, non potevano essere valutati secondo regole automatiche.

 

Quindi -mi si dirà- di che ti lamenti. Se hai preso 0,4 e zero presentando articoli su rivista, vuol dire che pubblichi su riviste di pessima qualità, talmente fetenti da non essere neanche incluse nella lista delle riviste scientifiche predisposta dal GEV. Sei andato in peer review, dove i referee hanno dato il loro giudizio.

 

Proviamo a seguire il ragionamento, e valutiamo i due contenitori che non hanno nemmeno meritato l’inclusione nella lista del GEV.

3. Una rivista fetente per la VQR, ma eccellente per l’ASN

Partiamo dal Journal of Informetrics (JOI). Sarà così fetente? Pubblicato da Elsevier. Presenta indicatori bibliometrici di tutto rispetto (nella figura ne sono riportati alcuni).

Difficile sostenere che sia così fetente.

Dai – mi si dirà – è una rivista fuori settore; come può un GEV di economia e statistica sapere dell’esistenza di una rivista di information science.

Se si leggono gli aims and scope della rivista si scopre che “the main focus of the journal is on topics in bibliometrics and scientometrics … Contributions … using methods from other quantitative fields, such as mathematics, statistics, computer science, economics and econometrics … are especially encouraged.

Ma c’è di più. Scopus classifica il Journal of Informetrics (JOI) tra le riviste di Statistics and Probability e di Management science, settori che coincidono con due sub-GEV di Area13. Scimago (la versione ad accesso libero dei dati Scopus) classifica il JOI stabilmente dal 2008 nel primo quartile sia delle 171 riviste di statistica e probabilità (27° posto) che delle 150 riviste di Management science (17° posto).

Quindi non è una rivista fetente. E non è neanche fuori settore, stando proprio ai dati di uno dei database usati dal GEV13.

Proviamo allora a vedere come avrebbe dovuto essere classificata dal GEV13.

Sulla base dei dati Scopus e WoS per il 2014, confrontati con gli analoghi dati pubblicati dal GEV per le altre riviste, non è difficile verificare che il Journal of Informetrics avrebbe collezionato A in qualsiasi dei tre Sub-GEV fosse stato classificato.

E mi avrebbe quindi permesso di ricevere una valutazione 1 (eccellente) anziché 0,4 (discreto).

Dai –immagino già l’obiezione- si tratta una dimenticanza. Con tutte quelle riviste da classificare …

Beh, se è davvero dimenticanza, si tratta di una dimenticanza selettiva che scatta solo per la VQR. Ai fini dell’Abilitazione scientifica, l’ANVUR non si era distratta, tanto è vero che – come potete vedere qui sotto – il Journal of Informetrics è classificato tra le riviste ASN di Classe A per l’Area13.



Che sia un segnale della mancanza di accuratezza del lavoro svolto dai “super-esperti del GEV 13”? Sarebbe brutto pensare che si tratti di una eliminazione selettiva (non così difficile da attuare, perché di autori con affiliazione italiana di area 13 che scrivono sul Journal of Informetrics ce ne saranno al massimo un altro paio, oltre a chi scrive ed ai suoi coautori).

Ma di che ti lamenti: hai preso 0,4, mica zero. Proprio tu che con quelli di Roars difendete la peer review contro la bibliometria. Si vede che i referee hanno giudicato così.

Ovvio che hanno deciso così. Ho già perso molto tempo a mostrare che bibliometria e peer review danno risultati molto diversi [qui (postprint) e qui (postprint)]; e che essere giudicati dai referee nel processo VQR determina un netto svantaggio rispetto alla valutazione automatica [si veda qui e qui].

Ho anche presentato istanza di accesso agli atti: dalla risposta risulta che uno dei due referee (giudizio scritto in inglese) ha giudicato il lavoro come “accettabile” (10 punti su 30; voto 0,1), l’altro (giudizio in italiano) come “elevato” (23/30; voto 0,7).

4. “Zeru tituli”

Valutazione zero: veniamo adesso allo zero.

Beh, zero è zero. Vedrai che il tuo dipartimento ha sbagliato a scegliere l’articolo da IRIS, o che il tuo coautore, se l’ha scelto lui, non aveva di meglio. Qui c’è da scommetterci, la rivista deve essere davvero pessima. Guarda infatti cosa significa zero in area 13.

Ecco allora la pessima rivista: Scientometrics. Pubblicata da Springer. E ha anche indicatori bibliometrici di tutto rispetto, come vedremo tra breve.



Di nuovo, si tratta della prima rivista che si è occupata di scientometria, ed anche in questo caso, se si guardano gli aims and scope, emphasis is placed on investigations in which the development and mechanism of science are studied by means of (statistical) mathematical methods“.

E’ davvero difficile sostenere che si tratta di una rivista “fuori settore”. E’ classificata tra le riviste di social science sia in Scopus che in Web of Science. Ma per dare un’idea più precisa si può vedere la top ten per IF5Y (Impact Factor a 5 anni) delle riviste appartenenti alla stessa categoria di Scientometrics nel Journal of Citation Reports. Le riviste indicate con il segno di spunta nella colonna di sinistra sono incluse nella lista del GEV 13.

 

Ma cosa sarebbe successo se il GEV avesse avuto la bontà di includere Scientometrics nella sua lista di riviste? Basta guardare gli indicatori riportati qui sotto per verificare che Scientometrics  avrebbe ricevuto un A qualsiasi fosse il sub-GEV.

E io avrei a mia volta ricevuto un 1 (eccellente) anziché zero (limitato).

Beh, anche in questo caso la mancata classificazione potrebbe essere una dimenticanza.

Per una singolare coincidenza, si tratterebbe nuovamente di una dimenticanza selettiva. Controllate voi stessi qui sotto: proprio come nel caso del Journal of Informetrics, l’ANVUR annovera Scientometrics tra le riviste di classe A per l’ASN nei settori di statistica e Management.



Come avranno valutato i referee? In seguito al’istanza di accesso agli atti, per questo articolo mi è stato comunicato che ANVUR ha in corso una “verifica interna riguardante la valutazione del prodotto” e che tutti gli atti mi saranno trasmessi entro un mese circa.

5. Vabbè dai, non lamentarti.

Vabbè dai, non lamentarti. Sul terzo articolo hai preso un bello 0,7. Ma anche quello è andato in peer review?

No questa volta l’articolo è stato valutato automaticamente: infatti, è su una rivista valutabile in  classe B (punteggio = 0.7.) I suoi indicatori sono nettamente peggiori di quelle delle due riviste precedenti, ma questa volta è stata inclusa nella lista. Ecco i dati pubblicati dal GEV13, da cui si vede che la categoria è B, cioè 0,7.

Tutto bene?

In realtà, anche qui c’è qualcosa che non quadra. Si legge nelle regole del GEV13:

Come visto sopra, per lo Scandinavian Journal of Statistics IF5 = 1,154. Pertanto, bastano più di 1,15 citazioni per anno, cioè più di 3,46 citazioni totali, affinché un articolo pubblicato nel 2012 su Scandinavian Journal of Statistics meriti la promozione ad una classe superiore (punteggio = 1) .

Quante citazioni aveva al 2014 l’articolo di cui sono coautore? Su Scopus ne risultano 5 (ovviamente nessuno è in grado di conoscere il numero di citazioni su cui il GEV ha fatto i suoi conti, perché la trasparenza e la riproducibilità sono concetti del tutto estranei alle pratiche di valutazione di questo paese).



Certo con 5 citazioni non è certo un top-cited paper, ma non sono io che ho scritto le regole del GEV. Regole in base alle quali, se non capisco male, l’articolo avrebbe dovuto essere assegnato alla classe immediatamente superiore (voto 1) .

6. Baroni come prima, più di prima

Amara conclusione della storia. Come risultato della VQR mi trovo classificato dai “super esperti” (li chiama così Andrea Graziosi) del GEV di AREA13 tra i professori reprobi. Quindi non potrò far parte di collegi di dottorato che aspirino all’accreditamento ANVUR.  Ed il mio dipartimento perderà un po’ di risorse a causa della “cattiva qualità” della mia ricerca.

Sopravviverò. Mi interessava solo raccontare una piccola storia di ordinaria baronia ai tempi dell’ANVUR. Una storia che illustra in modo esemplare come si siano evoluti alcuni ben noti comportamenti accademici che, così ci hanno raccontato per anni, proprio la valutazione e l’ANVUR avrebbero permesso di sconfiggere. In realtà quei comportamenti, con le nuove regole, sono solo più facili da nascondere.

Send to Kindle

14 Commenti

  1. Caro Baccini, anch’io ho demandato al Direttore la scelta dei miei lavori VQR, diffidandolo a sceglierli ‘bene’, altrimenti avrei anche potuto far ricorso. Per stanchezza non sono neanche andato a vedere quanto ho preso. Quindi, magari, tra un po’ sarò invitato ad uscire dal Collegio di Dottorato e quant’altro. Ormai siamo schiavizzati e ristretti in questo meccanismo infernale, la cui utilità, si dice, sia da privilegiare rispetto anche ad una pur auspicabile ‘libertà di ricerca’ (vedi Morcellini in queste pagine).
    Il problema è che Morcellini ha ragione, perché quando abbiamo accettato l’ANVUR ed i suoi criteri abbiamo volontariamente rinunciato alla libertà di ricerca e ci siamo volontariamente piegati al concetto che si è professori solo se si aderisce a format precostituiti, anche retroattivi per altro. Quindi, per carità, contestare puntualmente i criteri può avere un effetto, ma è la natura stessa del criterio che non può essere accettata. Nel frattempo, molti di noi hanno smesso o quasi di lavorare. Nel frattempo è anche intervenuta la pazza burocrazia che ha a sua volta tolto ulteriore spazio al lavoro. Forse anche l’inasprimento burocratico è funzionale agli scopi Anvuriani, perché ti impedisce di lavorare, ma agevola chi di mestiere scrive lavori e basta. Tutto congiura per espellere chi non risponde al ‘normotipo’ Anvuriano. L’Università normalizzata è quello che si vuole, quando per definizione questa dovrebbe essere plurale e dinamica. Cosa possiamo fare se non sfogarci su ROARS?

    • Le ha risposto sotto Aldo Nemesio.

      Non è più il tempo di lamentarsi.

      Agire in modo coordinato alle altre realtà universitarie i primis quella che prende la fregatura più grande: gli studenti.

    • Sono d’accordo. Nel frattempo, però, si continua ad accettare di tutto e si cerca di punire chi ha osato sottrarsi alla VQR.
      La mia università, ad es., sta uscendo con un bando per finanziare progetti di ricerca con soldi di una fondazione bancaria, integrati da fondi regionali, e prevede che possano concorrere solo coloro che abbiano partecipato alla VQR 2011-14.

  2. Alberto, chiunque in questo mondo si sia minimamente interessato alla valutazione dell’impatto della ricerca scientifica (in senso lato, e quindi anche l’impatto economico-sociale) è al corrente dell’esistenza nonché dell’ottima reputazione di Scientometrics. Che il GEV13 (una struttura dell’agenzia nazionale preposta alla valutazione della ricerca) non lo sia mi pare francamente impossibile. Infatti, la stessa coordinatrice del GEV13 è tra gli autori di un commento pubblicato da Scientomterics all’articolo tuo e di De Nicolao del 2016 (non è quello valutato per la VQR 2011-14). Per gli articoli di Baccini su Scientometrics vedi http://link.springer.com/search?query=Baccini&search-within=Journal&facet-journal-id=11192. Quindi, escludendo il dolo, l’unica spiegazione è che ci sia stata una svista/dimenticanza. Il che dimostra che la compilazione di una lista di riviste di (supposta) qualità elevata che sia esaustiva e priva di errori è una missione impossibile. Che poi il tuo contributo su Scientometrics sia stato valutato ZERO dagli esperti revisori … beh, lasciamo perdere. L’unico appunto che volevo farti è sulla faccenda del salto di classe legato alle citazioni individuali. Dopo la frase che hai riportato tu, il GEV13 aggiunge: “La regola sarà applicata sotto il vincolo che i passaggi di classe non rappresentino approssimativamente più dell’1% degli articoli su rivista sottoposto a valutazione”. Quindi, il tuo articolo sullo Scandinavian Journal of Statistics non rientra in quella (ridicola e ingiustificata) percentuale. Chiaro no? D’altronde con 5 citazioni cosa volevi fare? Scalare l’Everest? Un caro saluto.

    • Sul salto di classe: hai perfettamente ragione. Non potevo andare per le lunghe: ma se quella è la regola, qualcuno dovrebbe motivare perché un articolo NON rientra nell’1% (ridicolo e ingiustificato, concordo) dei premiati. E, aggiungo, questo significa che il GEV ha svolta una analisi comparativa tra paper per scegliere quell’1%. Cosa che non sta scritta nel bando VQR. Il termine di riferimento per la valutazione non sono gli altri paper della VQR, ma la distribuzione mondiale della produzione scientifica (non sto dicendo che questo abbia senso, perché non lo ha, solo il bando questo dice (male anche questa volta)). Ad avere soldi da buttare credo che non sarebbe difficile spuntarla di fronte al TAR …
      [Piccola precisazione: il link a scientometrics non trova solo articoli di cui sono co-autore, ma anche quelli dove sono citato…]

  3. Tra le mail ricevute oggi, trovo questa segna di nota. La pubblico con il consenso dell’autrice.
    “Caro Alberto, ho letto i tuoi articoli fra ilarità e preoccupazione. … A me colpisce in particolare la discrepanza fra i giudizi vqr e quelli della asn. Nella VQR1 avevo 3 lavori giudicati 0,8; ASN2012 bocciata con 4 pareri negativi su 5 e quei tre lavori giudicati male. VQR2: 2 lavori presentati, tutti e due giudicati 0,4; ASN2016 abilitata in I^ fascia 5 voti favorevoli su 5 e bellissimi giudizi.
    Ormai rinuncio a capirci qualcosa”

    • Questi sono i giudizi contraddittori della comunità scientifica che ricordavo altrove. Perché, a prescindere dalle astrusità (inutili complessità, incomprensibilità, confusioni volute e non) valutative, la cosiddetta comunità scientifica non è omogenea ma compartimentalizzata e comprende gruppi che non hanno lo stesso potere accademico, che possono essere contrapposti, rivali ecc.

    • Sì, è tutto incomprensibile, e dietro quei numeri e giudizi c’è la vita degli studiosi, magari invisi a certi gruppi, o, semplicemente, hanno lavorato con invisi a certi gruppi.

  4. In realtà il mio appunto era una scusa per segnalare ai lettori di ROARS la soglia (tra l’altro “approssimativa” come dice il testo) dell’1%. Sarebbe interessante conoscere quanti “prodotti” hanno poi fatto il salto di classe e, soprattutto, in base a quale algoritmo. Grazie per la precisazione (sono andato di fretta).

    • Alessandro Sterlacchini: “Sarebbe interessante conoscere quanti “prodotti” hanno poi fatto il salto di classe e, soprattutto, in base a quale algoritmo.” LOL

  5. Alcune considerazioni.
    In merito al salto di classe degli articoli su 5.000 solo 50 (1%) hanno fatto il salto di classe anche se 500 (10%) erano in condizioni di poterlo fare; lo so perchè anche io avevo presentato un articolo in fascia B che aveva nro citazioni superiore a quello della rivista ed ho chiesto chiarimenti al Gruppo GEV che mi ha risposto che la soglia (rapporto cit individuali/IPP) per articoli indicizzati Scopus (che ha consentito upgrade) varia tra 6.3 e 23.8.
    In merito assenza riviste a suo tempo mi era stato riferito, quando avevo perché non fosse inserita una detrerminata rivista su cui avevo pubblicato nelle liste VQR, che era così perchè nessun italiano ci aveva pubblicato nel periodo di riferimento pertanto per la VQR successiva i SSD hanno chiesto agli afferenti di segnalare riviste che loro avrebnbero a loro volta segnalato per l’eseercizio di valutazione successiva.
    Segnalo inoltre che l’ASN per alcune riviste ha inserito solo uno dei due codici ISSN (online o print) per cui se un ricercatore inseriva in CINECA il codice online (e ASN aveva inserito solo il codice print) la rivista non era più di fascia A. Questo discorso io però l’ho segnalato, per una rivista che mi riguardava, ed è stato rettificato.
    In merito al Journal of Informetrics, segnalo che anche commissione ASN purtroppo ha considerato non di qualità due articoli (fascia A per ASN) pubblicati da un candidato su Journal of informetrics, per cui anche con riconoscimento ASN non è detto che…….
    Infine il racconto del prof. Baccini non mi sorprende; il SSD dell’Università cui afferisco era andato male nella VQR 2004-2010 in cui tutti i prodotti erano stati presentati in peer review, si è qualificato nella VQR 2011-2014 ad 1/3 classifica atenei perché 2/3 dei prodotti sono stati consegnati in bibliometria con una fortissima diffeenza di voto medio per pubblicazione tra prodotti in bibliometria e prodotti in peer review (considerati tutti tra 0 e 0.1 con un solo 0.4), segno che in teoria la peer review è la migliore delle valutazioni possibili ma nella pratica una serie di considerazioni tra cui il palese conflitto di interessi di chi valuta (valutatore ed anche valutato), l’anonimato e il fatto che si possa assegnare il voto senza giustificarlo fa sì che chi può, per la VQR, si blinda, con buona pace dei fautori della peer review.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.