L’ANVUR pubblica una bozza del bando per la prossima valutazione della ricerca, la VQR 2020-2024. Ma gli unici a essere consultati sono i rettori e i presidenti di enti di ricerca, nonché i ricercatori che alcuni di essi, per il loro buon cuore, vanno raccogliendo fra i ricercatori. Ancora una volta, la VQR non è valutazione scientifica, ma valutazione di stato, da parte di un’agenzia nominata dal governo. A dispetto del sorteggio, il controllo gerarchico sui GEV (Gruppi di Esperti della Valutazione) del consiglio direttivo dell’ANVUR è confermato dalle nomine strategiche e dalla possibilità di rimuovere i valutatori a suo arbitrio. L’ANVUR ha aderito alla riforma europea della valutazione della ricerca che fa capo alla coalizione COARA  e  siede nella sua commissione direttiva. Ebbene, il terzo impegno dell’accordo europeo richiede di “abbandonare l’uso inappropriato, nella valutazione della ricerca, di misure basate su riviste e pubblicazioni, e in particolare del fattore d’impatto (JIF) e dell’indice H”. Eppure l’ANVUR valuta i valutatori, nei settori cosiddetti bibliometrici, sulla base delle citazioni e dell’indice H. Anche per l’accesso aperto,  si tratta di un open access alle calende greche e a discrezioni degli editori. Perché mai i funzionari dell’agenzia si sono  proposti alla guida di un processo i cui impegni non sono in grado di mantenere?

L’ANVUR rende disponibile, qui, una bozza del bando per il prossimo esercizio di valutazione della ricerca, burocraticamente noto come VQR 2020-2024. È un documento coerente nel metodo e nel merito.

Nel metodo, il fine della pubblicazione della bozza è la “consultazione con la comunità scientifica allo scopo di raccogliere osservazioni e commenti da parte delle istituzioni interessate e dei principali portatori di interesse”. Ma gli unici a essere consultati sono i rettori e i presidenti di enti di ricerca, e i loro pareri, nonché quelli eventuali che alcuni di essi, per il loro buon cuore, vanno raccogliendo fra i ricercatori. Questi commenti, inoltre, non sono pubblici. Non si tratta, dunque, di una discussione scientifica, bensì di una consultazione amministrativa riservata1 a chi vuole farsi, nelle stanze segrete, consigliere del principe per un giorno.

Nel merito, chi valuterà la ricerca? L’articolo 3 del bando spiega che il 75% dei membri dei gruppi di esperti valutatori, burocraticamente noti come GEV, saranno sorteggiati. I candidati al sorteggio, che già si autoselezionano fra quanti, per motivi teorici o pragmatici, sono favorevoli alla valutazione di stato, sono anche oggetto di selezione bibliometrica:  devono infatti godere, per quanto concerne le loro pubblicazioni, dei valori-soglia necessari per far parte di un collegio di dottorato (art. 3.1).

Chi è tentato di vedere nel sorteggio un omaggio alla diffidenza della democrazia antica per i rischi aristocratici dell’elezione deve  considerare che il restante 25% dei componenti dei GEV verrà designato dall’ANVUR, sempre entro una base determinata bibliometricamente (art. 3.4). L’ANVUR inoltre interverrà  a integrare i GEV qualora la procedura non riesca a produrre gruppi con i requisiti dell’articolo 3 comma 4 menzionato sopra, e a nominare i loro coordinatori (art. 3.16). Infine (art. 3.22), il consiglio direttivo dell’ANVUR può sostituire i membri di un GEV in caso di non specificate  “criticità emerse in sede di verifica in itinere sull’andamento del processo di valutazione, sentito il coordinatore”,  che è di sua nomina. A dispetto del sorteggio, il controllo gerarchico del consiglio direttivo dell’ANVUR è confermato dalle nomine strategiche e dalla possibilità di rimuovere i valutatori a suo arbitrio: non si tratta, del resto, di valutazione scientifica, ma di valutazione di stato, da parte di un’agenzia nominata dal governo.

L’ANVUR ha aderito alla riforma europea della valutazione della ricerca che fa capo alla coalizione COARA  e  siede nella sua commissione direttiva. Ma a quale scopo e con quale coerenza?2 Mentre il terzo impegno (p. 3) dell’accordo europeo richiede di “abbandonare l’uso inappropriato, nella valutazione della ricerca, di misure basate su riviste e pubblicazioni, e in particolare del fattore d’impatto (JIF) e dell’indice H”, l’ANVUR valuta i valutatori, nei settori cosiddetti bibliometrici, sulla base delle citazioni e dell’indice H, e nei settori detti impropriamente3 non bibliometrici sulla base di soglie quantitative calcolate su liste di riviste di compilazione amministrativa. Anche ai valutati sarà difficile sfuggire a questo destino: il primo comma dell’articolo 7 consente l’uso di indicatori citazionali, anche se (art. 7.2) “tali indici non possono comunque sostituirsi a un’accurata valutazione di merito del prodotto della ricerca, né tantomeno tradursi in una automatica assegnazione del prodotto” alle categorie elencate dal successivo comma 9 – formulazione, questa, che consentirà di continuare a praticare la valutazione bibliometrica con l’accorgimento di corredarla con qualche frasetta qualitativa.

Anche per quanto concerne l’accesso aperto, il documento toglie con una mano il poco che sembra dare con l’altra. L’articolo 8 (primo comma, punto a) richiede l’accesso aperto “in caso di pubblicazioni relative a risultati di ricerche finanziate per una quota pari o superiore al 50% con fondi pubblici, e in generale per tutte le pubblicazioni per le quali l’editore lo consente.” L’accesso però può essere differito secondo le scadenze straordinariamente lunghe della legge 112 del 2013, di un anno e mezzo per i testi di scienze, tecnologia, ingegneria e matematica e di due anni per quelli di scienze sociali e umane. E il punto b dello stesso comma si accontenta dell’accesso al metadato di riferimento “per i prodotti relativi a risultati di ricerche finanziate per una quota inferiore al 50% con fondi pubblici, ovvero con periodi di embargo superiori a quelli indicati alla lettera a) o in tutti i casi in cui la diffusione non sia autorizzata dall’editore” – suggerendo dunque che si tratta di un open access alle calende greche e a discrezioni degli editori. Invece il parere degli autori, detentori originari di un copyright che non necessariamente è ceduto agli editori, non conta nulla.

Sui criteri e i processi di valutazione, il primo principio di COARA (p. 3) connette la qualità della ricerca all’apertura, intesa come “condivisione precoce di conoscenze e dati e collaborazione aperta – impegno sociale compreso qualora appropriato”. L’accesso aperto del bando, ridotto ai minimi termini, è ben lontano dall’applicarlo, anche qui coerentemente con il metodo di discussione scelto dall’ANVUR.4

I funzionari dell’agenzia si possono difendere, certo, riconoscendo di non essere indipendenti, bensì subordinati alla legislazione e al diritto amministrativo vigente. Se così fosse, però, perché mai hanno sottoscritto e si sono  proposti alla guida di un processo i cui impegni non sono in grado di mantenere?

_____
Articolo originalmente pubblicato sul sito di AISA: https://aisa.sp.unipi.it/un-commento-non-richiesto-sul-bando-per-la-valutazione-di-stato-vqr-2020-2024/
  1. In contrasto con le pratiche di consultazione pubblica allargata delle regole e procedure della better regulation europea.
  2. Se l’agenzia avesse pensato il bando come un’approssimazione alla riforma che ha formalmente sottoscritto, la stessa consultazione riservata al vertice sarebbe in contrasto con l’impegno di sostegno 6.1 (pp. 7-8) il quale richiede che i criteri di valutazione siano rivisti e adottati in stretta collaborazione con valutatori e valutati, ricercatori compresi.
  3. In questi settori la possibilità di partecipare a concorsi, commissioni e collegi di dottorato è determinata in base al numero di monografie e di articoli pubblicati su due liste di riviste, e cioè da una forma, ancorché rudimentale, di bibliometria. Da queste liste, per l’area sociologica,  l’ANVUR ha recentemente escluso il sito della commissione europea Open Research Europe che pratica la revisione paritaria aperta, in quanto non eccellente né scientifico.
  4. E in contrasto con l’impegno di sostegno 7 (pp. 8-9) di COARA il quale prevede che la valutazione e i suoi indicatori siano essi stessi oggetto di ricerca scientifica, e quindi per quanto possibile aperti.
Print Friendly, PDF & Email

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.