Il tribunale d’appello della valutazione

Anvur chiarisce il funzionamento del proprio tribunale d’appello per la valutazione delle riviste. L’equo giudizio è assicurato?

L’utilizzo di classifiche di riviste nel corso di esercizi di valutazione è già stato discusso più volte su queste pagine. Vi sono infatti ragioni di carattere generale che dovrebbero indurre a prudenza nell’uso di strumenti di questa natura, per gli effetti distorsivi che essi possono produrre, sia nel panorama scientifico che nel mondo dell’editoria.

Al di là di queste riserve sullo strumento in sé, va detto che l’esperienza italiana in materia presenta alcune anomalie significative, in particolare (ma non solo) per quanto riguarda le aree per le quali non possono essere utilizzati strumenti di valutazione bibliometrica (aree CUN 10, 11, 12, 14, parte dell’area 13).

Le liste sono state costruite in tempi brevi, a cura dei singoli Gruppi di Esperti della Valutazione (GEV), con un coinvolgimento delle comunità scientifiche di riferimento che non si può che ritenere largamente insufficiente. Mentre per le aree “bibliometriche” si è fatto ricorso a un mix di indicatori – non senza produrre esiti discutibili – per le cosiddette scienze umane e sociali è stato reso noto unicamente il processo[1] che ha portato alla stesura delle classifiche, ma non i criteri che sono stati utilizzati.

La mancata pubblicazione dei criteri desta più di una perplessità e lascia supporre che essi non siano neppure stati definiti. Va anche osservato che la distribuzione per fasce di qualità, stabilita dal bando VQR, non è stata rispettata nelle aree delle scienze umane e sociali. E’ verosimile dunque che in più di un caso l’attribuzione del giudizio di qualità alle riviste sia stata frutto di concertazioni non trasparenti fra soggetti in alcuni casi neppure chiaramente identificabili.[2]

In ogni caso, non stupisce che su queste liste si stia sviluppando un’accesa polemica, tanto più significativa in quanto voci insistenti fanno ritenere che tali rankings o ratings avranno un qualche ruolo nel processo delle abilitazioni nazionali. In ogni caso, mi limito qui a segnalare solo alcune anomalie relative a tali classifiche:

1. le liste per le scienze umane e sociali sono incomplete: non coprono che una parte limitata delle sedi di pubblicazione, trascurando larga parte delle sedi internazionali, anche di grandissimo rilievo, il che è in contraddizione con la volontà programmatica di ANVUR di favorire l’internazionalizzazione e di indirizzare gli studiosi verso le sedi migliori, per favorirne, fra l’altro, la competizione;

2. l’attribuzione del rating non pare connessa ad alcun criterio oggettivo, e in alcuni casi vengono violate alcune regole basilari non solo dei processi di valutazione, ma anche di carattere biblioteconomico. Infatti, dal punto di vista biblioteconomico, non essendo stata data una definizione di rivista, sono entrati nei rating titoli che non ne hanno affatto le caratteristiche (titoli con solo ISBN) o che hanno una natura mista essendo in realtà collane;

3. sono classificate nelle fasce più elevate riviste prive di peer review double blind. Il che se non significa automaticamente che si tratti di “contenitori” di scarsa qualità, getta comunque un ombra pesante su tutto il procedimento di classificazione, che appare, nel suo complesso, arbitrario;

4. la disciplina del conflitto di interessi relativamente alla costruzione dei rankings è stata del tutto carente, con l’effetto di minare alla base l’attendibilità dei rankings stessi.

In questo quadro, l’ANVUR ha più volte difeso il proprio operato in maniera infelice, richiamandosi al carattere sperimentale dell’operazione. Il che è sbagliato, poiché la VQR non è una sperimentazione – contribuirà infatti a definire l’allocazione di una quantità consistente di risorse – e poiché è evidente che molti revisori ai quali saranno fornite tali classifiche saranno tentati di farne uso, trasferendo il “rating” dal contenitore al contenuto, specie se sarà loro sottoposta una mole ingente di prodotti da valutare. Inoltre, è ben chiaro dai documenti di alcuni GEV delle aree in questione, che le classifiche non hanno una funzione meramente sperimentale, ma potranno essere utilizzate per concorrere alla determinazione della qualità dei prodotti valutati.

Più in generale, sfugge a chi scrive quale sia il pro di una sperimentazione frettolosa e poco trasparente di uno strumento già discusso a livello internazionale e la cui efficacia è da molti esperti di valutazione messa in dubbio.

Tutto ciò premesso, l’Agenzia ha recentemente informato la comunità accademica della possibilità di provvedere a una revisione del rating assegnato a una singola rivista, con una comunicazione dello scorso 8 maggio. Senza entrare nei dettagli della procedura, merita di essere segnalato come unicamente il direttore della rivista o il suo editore siano legittimati a chiedere la revisione del rating.

Se questa scelta può apparire per certi versi comprensibile, va però osservato che essa avrà la conseguenza di rimettere in discussione unicamente il rating di riviste designate come non eccellenti: l’attribuzione della classe A si configura pertanto come un giudizio inappellabile. Infatti nessun direttore o editore ne chiederà mai la revisione, né questa possibilità è concessa a eventuali controinteressati. Il che, ancora una volta, suscita dubbi sulla fairness della procedura: si ammette la possibilità di sottovalutazioni, ma non quella di sopravvalutazioni. Il che non pare ragionevole.

In realtà, è l’idea della procedura di revisione che è sbagliata: una toppa, come si usa dire, peggiore del buco. Infatti se si fosse ottenuto un largo consenso sui rankings, sulla base di criteri chiari e verificabili e di una consultazione ampia, approfondita e trasparente delle comunità scientifiche, prevedendo al contempo una revisione delle liste con cadenza annuale, si sarebbe potuto evitare di escogitare meccanismi di revisione che finiscono per confermare l’inattendibilità dell’intero sistema di rankings.

In effetti, l’impressione è che la procedura di revisione sia un tentativo di prevenire possibili contenziosi giudiziari, piuttosto che uno strumento per assicurare la correttezza dell’intera procedura.