La nuova VQR 2015-2019 (da ora in poi VQR3) presenta diversi elementi di novità rispetto alle precedenti. Sono cambiamenti che risultano comprensibili ricorrendo a due chiavi di lettura.  In primo luogo, una forte tensione tra il tentativo di innovare le procedure firmato dal ministro Fioramonti e la difesa del vecchio metodo da parte di ANVUR. In diversi punti del Bando emerge chiaramente il tentativo di ribaltare lo spirito delle Linee guida, talvolta tramite espedienti (le farraginose regole di selezione dei GEV progettate per fallire e lasciare mano libera ad ANVUR), talvolta tramite interventi arroganti (l’invenzione di un quarto profilo di qualità) o persino che violano la logica (le “percentuali di stato” del numero di prodotti che dovrebbero cadere nelle diverse classi). La seconda chiave di lettura ha a che fare con il ricorso a regole sempre più complesse nel disperato tentativo di tenere sotto controllo i comportamenti opportunistici (gaming) dei soggetti valutati. Il prossimo esercizio di valutazione si configura ancora una volta come una macchina burocratica elefantiaca, costosa e inaffidabile. Che la VQR riesca ad individuare punti di forza e di debolezza della ricerca italiana, fanno finta di crederlo solo i ministri ed i rettori. Un gruppo di professori universitari selezionati dalla politica svolgerà una valutazione di stato che servirà a riempire per qualche giorno le pagine dei giornali e i siti web degli atenei. Con buona pace dell’interesse principale dei cittadini di una paese civile: avere un sistema della ricerca trasparente ed affidabile che promuova ricerca libera, solida e aperta.

La nuova VQR 2015-2019 (da ora in poi VQR3) presenta diversi elementi di novità rispetto alle precedenti. Sono cambiamenti che risultano comprensibili ricorrendo a due chiavi di lettura.  In primo luogo, la lettura congiunta del Decreto Ministeriale contenente le Linee Guida (da ora in poi, DM) e del Bando pubblicato da ANVUR (da ora in poi, Bando) mostra una forte tensione tra il tentativo di innovare le procedure firmato dal ministro Fioramonti e la difesa del vecchio metodo da parte di ANVUR. La seconda chiave di lettura ha a che fare con il disperato tentativo di tenere sotto controllo i comportamenti opportunistici (gaming) da parte dei valutati ricorrendo a regole sempre più complesse. La nostra analisi sarà pertanto organizzata come segue.

1. Le mosse del MIUR

1.1 Allargamento dell’accesso ai GEV
1.2 Rimozione degli automatismi bibliometrici
1.3 Profili di qualità basati su voti assoluti
1.4 Valutazione delle istituzioni e non dei singoli
1.5 Promozione dell’Open Access

2. Le contromosse di ANVUR

2.1 Il GEV è mio e me lo gestisco io
2.2 La bibliometria rientra dalla finestra
2.3 I percentili di stato
2.4 La tracciabilità dei VQR-inabili
2.5 L’Open Access ridotto a burletta

3. I mostri del contro-gaming
4. Misteri ancora insoluti

4.1 Esenzioni a doppio taglio?
4.2 Il profilo fantasma

1. Le mosse del MIUR

Il DM ha tentato di introdurre diverse novità nella procedura di valutazione.

1.1 Allargamento dell’accesso ai GEV

Per favorire il coinvolgimento della comunità scientifica nelle procedure di valutazione, il DM prevede infatti che a) tutti i ricercatori con una soglia di produttività scientifica minima possano candidarsi a far parte dei GEV, e che b) la composizione dei GEV sia affidata ad un sorteggio.

1.2 Rimozione degli automatismi bibliometrici

La rimozione di ogni automatismo bibliometrico. Nel DM si prevedono due tipologie di valutazione. La prima è la “peer review” “informata … da indici citazionali internazionali, depurati dalle autocitazioni. Tali indici non possono comunque sostituirsi a un’accurata valutazione di merito del prodotto della ricerca, né tantomeno tradursi nell’automatica assegnazione del prodotto ad una delle categorie [di valutazione].” (il grassetto è nostro). Nei casi in cui la peer review informata non sia applicabile, “il GEV può fare ricorso ad almeno due valutatori esterni”. Il DM sembra indicare confusamente che siano le “caratteristiche dell’Area” a determinare quale delle due tecniche di valutazione debba essere adottata. Il DM stabilisce infine che “I casi in cui non risulti applicabile l’uso della peer review informata sono indicati nel bando ANVUR”.

1.3 Profili di qualità basati su voti assoluti

Un’altra novità è lo sganciamento della valutazione dei prodotti da (presunti) percentili internazionali. A titolo di esempio, nel bando della precedente VQR 2011-2014, in relazione a una pubblicazione “eccellente”, si scriveva al punto 2.6.1 che “Idealmente, essa si colloca nel primo 10% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.” Nella pratica, questi percentili erano stati agganciati a percentili di indicatori bibliometrici consentendo di valutare in modo automatico gli articoli nelle aree cosiddette bibliometriche. Nella VQR3 la definizione dei cinque livelli di valutazione (A,B,C,D,E) è di fatto la traduzione della classificazione adottata nel REF inglese, dove tutte le valutazioni sono svolte mediante peer review e si traducono in questi cinque livelli assoluti.

Il DM prevede che le pagelle alla ricerca di aree, atenei e  dipartimenti verrà sostituita da profili di qualità come nel REF britannico: vale a dire dalle distribuzioni statistiche nei livelli di valutazione dei prodotti sottoposti a valutazione. Per gli atenei e i dipartimenti non sono previste classifiche, ma solo l’indicazione delle percentuali di prodotti nei livelli A, B, C, D, E.

Il DM determina di fatto l’eliminazione di ogni automatismo tra risultati della VQR3 e distribuzione del FFO. Il DM non prevede infatti nessun indicatore numerico di sintesi della qualità della ricerca delle strutture (i vecchi IRAS). Sarà il ministero a decidere se e come usare i risultati della VQR3 per la  parte premiale del FFO. Nelle precedenti VQR, già nelle Linee guida, venivano associati, dei punteggi ai diversi livelli (1 punto a “eccellente”, 0.7 a “elevato”, e così via). In tal modo il profilo di qualità veniva automaticamente tradotto in un voto, vincolante ai fini della distribuzione dei fondi e utilizzabile per stilare classifiche la cui dipendenza da calibrazioni arbitrarie rimaneva del tutto oscura all’opinione pubblica.  L’eliminazione di punteggi e pesi separa la fase di valutazione, che esprime profili di qualità, da quella di finanziamento, che dipende da una decisione politica (su quanto differenziare il finanziamento in funzione dei livelli da A ad E).

1.4 Valutazione delle istituzioni e non dei singoli

Il DM prevede che ogni struttura debba presentare per la valutazione un numero di “prodotti” triplo rispetto al numero di afferenti. I prodotti devono essere selezionati dalla struttura ed è perciò rimosso il vincolo delle precedenti VQR dove ogni ricercatore era tenuto a presentare un numero fisso di prodotti della ricerca. Contribuisce a prevenire l’uso improprio della VQR anche la pubblicazione dei profili in relazione alle sole aree scientifiche, mentre nelle precedenti VQR venivano pubblicati anche i profili e i voti per i singoli SSD, avvicinandosi quindi di più alle valutazioni individuali o comunque di piccoli gruppi di ricercatori.

1.5 Promozione dell’Open Access

Il DM introduce in modo abbastanza confuso e problematico alcune indicazioni che puntano a sfruttare la VQR3 per promuovere la diffusione dell’accesso aperto (open access). Il DM prvede infatti che i prodotti della ricerca sottoposti a valutazione debbano essere liberamente e gratuitamente accessibili a tutti (DM, art. 1 comma 3):

Art. 1.3 Linee guida per la valutazione della qualità della ricerca (VQR) 2015-2019

Salvo quanto previsto dall’art. 4, comma 2, lettera b), del decreto-legge 8 agosto 2013, n. 91, convertito, con modificazioni, dalla legge 7 ottobre 2013, n. 112, i prodotti della ricerca di cui al comma 2 sono liberamente e gratuitamente accessibili a tutti in almeno uno dei seguenti repertori:

a) Repository di ateneo;

b) Open subject repository (ad es. PubMed, ArXiv);

c) Discussion papers series;

d) Siti web personali dei ricercatori.

Per le monografie, l’ANVUR potrà definire accordi specifici con gli editori.

2. Le contromosse di ANVUR

Molte delle novità presenti nel DM sono in netto contrasto con le pratiche anvuriane consolidatesi nella VQR1 e VQR2. Ma ecco che ANVUR nel Bando VQR3 ha fatto rientrare dalla finestra molte delle cose che il DM aveva fatto uscire dalla porta. In particolare nel Bando, ANVUR ha perseguito i seguenti obiettivi:

1. Tenere sotto lo stretto controllo del direttivo la nomina dei GEV, di fatto rendendo la procedura di sorteggio del tutto ininfluente per la composizione dei GEV stessi. Alcune parti del Bando potrebbero essere considerate illegittime perché in contrasto con il DM.
2. Reintrodurre sotto mentite spoglie valutazioni bibliometriche semiautomatiche.
3. Pilotare i profili di qualità imponendo “percentili di stato” nei diversi livelli. Anche in questo caso la previsione del bando potrebbe presentare profili di illegittimità.
4. Rendere tracciabili i docenti VQR-inabili.
5. Ridurre la promozione dell’open access ad una barzelletta.

Andiamo con ordine.

2.1. Il GEV è mio e me lo gestisco io

La formazione dei GEV è sempre stata una questione delicata. ANVUR ne ha sempre controllato in modo ferreo la composizione,  selezionando accuratamente studiosi “fedeli alla linea”. Il MIUR nel DM delle linee guida ha spinto per una apertura dei GEV alla comunità scientifica. ANVUR nel Bando ha invece introdotto una serie di contromisure per riappropriarsi del controllo ferreo dei GEV.

Il MIUR nel DM ha previsto che i membri dei GEV siano estratti a sorte tra coloro che rispondono ad un avviso pubblico; l’unica condizione per rispondere all’avviso è “essere in possesso di almeno 3 pubblicazioni scientifiche dotate di ISBN/ISSN/ISMN o indicizzate su WOS o Scopus negli ultimi 5 anni”.

L’idea di non controllare fino in fondo le nomine dei GEV ha terrorizzato il direttivo ANVUR così tanto che il Bando ha introdotto criteri molto più restrittivi di quelli del MIUR e un marchingegno così farraginoso che di fatto permetterà ad ANVUR di disegnare i GEV a proprio piacimento.

Restrizione dei criteri. Il primo passaggio consiste nell’introduzione nel bando VQR di criteri molto più restrittivi di quelli previsti dal DM. L’introduzione di questi criteri restrittivi è basata su una lettura da azzeccagarbugli dell’art. 3 comma 2 delle Linee guida MIUR (“studiosi italiani ed esteri di elevata qualificazione, scelti sulla base dell’esperienza internazionale nel campo della ricerca e della sua valutazione.”). ANVUR indica come necessario il possesso di almeno due tra 12 requisiti. In questo modo la platea dei possibili GEV si restringe in modo drastico.

Un professore ordinario, ad esempio, oltre a possedere le 3 pubblicazioni previste dal MIUR, potrà rispondere al bando soltanto se è in possesso di almeno uno dei seguenti titoli:

1. vincitore di un programma Rita Levi Montalcini o SIR;
2. incluso nelle liste per i commissari ASN;
3. coordinatore di dottorato per almeno un ciclo a partire dal XXXI;
4. PI o coordinatore locale di un PRIN nel periodo 2009-2019;
5. PI o coordinatore locale di un ERC/FP7/Horizon 2020 nel periodo 2009-2019;
6. componente di comitati di valutazione per progetti ERC;
7. componente di comitati di valutazione internazionali di esercizi con finalità analoghe alla VQR (es. REF, ERA, ANECA, HCERES).

Ovviamente, alcuni di questi “titoli”, non sono nemmeno titoli. In particolare, colpisce il requisito di “Appartenenza alle liste per il ruolo di Commissario dell’Abilitazione Scientifica Nazionale”. ANVUR non poteva smentire pubblicamente il MIUR sul requisito delle pubblicazioni inserendo esplicitamente limiti più restrittivi di quelli stabiliti dal ministro. ANVUR ha così inventato l’appartenenza alle liste ASN che introduce surrettiziamente vincoli più stringenti sulle pubblicazioni di quelli ministeriali. Non solo: elimina tutti coloro che pur in possesso di requisiti abbiano ritenuto per qualsiasi ragione di non fare domanda per le commissioni ASN. Si tratta verosimilmente di una previsione che potrebbe essere impugnata di fronte al TAR, visto che al momento di decidere se fare domanda come commissario ASN, non era affatto noto che non fare domanda avrebbe precluso la possibilità di candidarsi a far parte dei GEV. A maggior ragione, se si considera che chi aveva fatto parte delle commissioni ASN 2016, non poteva ricandidarsi per l’ASN successiva.

Non mancano i paradossi: un professore associato abilitato alla I fascia che è stato componente per almeno quattro cicli di Collegio di Dottorato di ricerca è candidabile, ma non appena vince un concorso da Professore ordinario, non può più candidarsi, perché, per i professori ordinari, aver fatto parte di un Collegio di dottorato non fa titolo.

È da sottolineare che nelle due precedenti VQR, ANVUR non prevedeva nessuna restrizione per la partecipazione al bando, ma aveva la possibilità di scegliere liberamente tra i candidati al ruolo di GEV. Nella VQR3 ha introdotto restrizioni così stringenti con l’obiettivo, verosimilmente, di ridurre al massimo la platea dei sorteggiabili.

Marchingegni burocratici. L’art. 3 comma 4 del bando è un capolavoro: in nome del politically correct (chi mai potrebbe opporsi ad una composizione che tenga dentro tutte le componenti del mondo accademico e anche con una congrua presenza femminile) si stabilisce che i GEV debbano essere composti in modo così complesso che sarà impossibile che il risultato di una estrazione casuale rispetti tutti i criteri. Vale la pena davvero di leggerlo per intero:

“Ogni GEV, ove possibile, è formato nel rispetto di quanto di seguito indicato:

a) almeno il 25% deve essere costituito da professori di I fascia;

b) almeno il 20%, rispettivamente, deve essere costituito da professori di II fascia e da ricercatori delle Università italiane;

c) fino ad un massimo del 30% può essere costituito da ricercatori strutturati presso gli EPR, in relazione alla stima dei prodotti attesi per i ricercatori dell’area rispetto ai ricercatori delle Università;

d) almeno il 5% deve essere costituito da ricercatori strutturati presso Università o Enti di ricerca stranieri;

e) almeno un componente:

i) per ogni Settore Concorsuale (SC);

ii) per ogni SSD con almeno 50 afferenti;

f) fatta salva la presenza di almeno un componente per ogni SC e per ogni SSD con almeno 50 afferenti, la parte restante è composta, ove possibile, da un numero di componenti proporzionale alla dimensione dei settori concorsuali;

g) ciascun genere deve essere rappresentato per almeno un terzo;

h) non più del 20% dei componenti può aver fatto parte dei GEV relativi alla VQR 2011-14.”

Ed ecco all’art. 3 comma 6 la previsione che ripristina il controllo di ANVUR sulla composizione dei GEV:  nel caso in cui il sorteggio non rispetti i criteri appena visti,

l’ANVUR può provvedere a integrarli [i GEV] individuando ricercatori non candidati, comunque in possesso dei requisiti e dei titoli richiesti.

Con questo comma, il direttivo ANVUR fa carta straccia di quanto previsto nel DM, confidando forse che il nuovo ministro ed i suoi collaboratori siano disposti a chiudere entrambi gli occhi sul punto. Il DM prevede infatti una procedura radicalmente diversa (art. 3 comma 3 lettera b):  “qualora si dovessero verificare carenze di specifica rappresentanza di genere e/o disciplinare, il Consiglio direttivo dell’ANVUR potrà provvedere ad integrare la composizione dei GEV, nominando comunque persone che siano in possesso dei requisiti richiesti alla lettera a) del presente articolo”, cioè “essere in possesso di almeno 3 pubblicazioni scientifiche … negli ultimi 5 anni”.

Il direttivo ANVUR non pago di aver fatto carta straccia del DM e di aver di fatto ripreso il controllo ferreo delle nomine dei membri GEV, introduce anche una inedita facoltà di destituzione e sostituzione di membri GEV non obbedienti (art. 3 comma 19): Il Consiglio direttivo dell’ANVUR si riserva la facoltà di:

1. sostituire i componenti dei GEV in relazione a:

… verifica in itinere sull’andamento del processo di valutazione, sentito il coordinatore del GEV.”

Per quanto riguarda il GEV interdisciplinare dedicato alla “valorizzazione dei risultati della ricerca”, nessun problema: ANVUR avrà il pieno controllo della composizione.

2.2 La bibliometria rientra dalla finestra

Nel Bando viene affidata ai GEV ampia libertà di riproporre cabale bibliometriche destinate a influenzare sia la scelta dei prodotti da conferire che la valutazioni che su di essi esprimeranno i componenti dei GEV

Laddove appropriato e richiesto dal GEV, ANVUR fornirà le informazioni relative agli indici citazionali internazionali rilevanti, estratte dai principali data-base bibliometrici internazionali. In base alle richieste dei GEV, tali informazioni saranno pubblicate sul sito Internet dell’ANVUR in due momenti:

a) prima del conferimento dei prodotti da parte delle Istituzioni;

b) al momento dell’avvio della valutazione da parte dei GEV.

Tali previsioni sono in contrasto con quanto scritto nel DM: “Tali indici non possono comunque sostituirsi a un’accurata valutazione di merito del prodotto della ricerca, né tantomeno tradursi nell’automatica assegnazione del prodotto ad una delle categorie”.

A fronte di indicatori disponibili sul sito dell’ANVUR, è facilmente prevedibile che ogni possibile giudizio di merito verrà scavalcato dai ranking o livelli “suggeriti” da ANVUR, soprattutto nella fase di conferimento ma, spesso e volentieri anche  in fase di valutazione.

In relazione alla peer review informata, l’art. 2, comma 5 del DM specificava che

Traspare il tentativo di lasciare la massima libertà ai GEV sia nell’assegnazione dei prodotti all’uno all’altro tipo di valutazione sia nella possibile estensione della bibliometria a settori scientifici che in precedenza erano soggetti a peer review.

2.3 I percentili di stato

Se i livelli di valutazione sono assoluti, può accadere che la percentuale di prodotti  di livello A (Eccellente ed estremamente rilevante) sia variabile da area ad area, come pure la percentuale di  quelli di livello E (Scarsa rilevanza o Non accettabile). A ben vedere, era già così nelle precedenti VQR, quando l’eccellenza era ancorata a presunti percentili internazionali: “Eccellente […] Idealmente, essa si colloca nel primo 10% della distribuzione della produzione scientifica internazionale dell’area cui appartiene.” Dato che le percentuali di eccellenza (qualunque cosa essa potesse significare) nazionali non erano necessariamente allineate alle percentuali mondiali, nessuno si era sorpreso che negli esiti delle precedenti VQR le percentuali di prodotti eccellenti variassero a seconda delle aree.

L’idea che i GEV siano liberi di assegnare i voti secondo coscienza e competenza deve aver terrorizzato il direttivo ANVUR che, nel tentativo di legar loro le mani ha partorito una clausola che fa a pugni non solo con le modalità di valutazione stabilite dal DM, ma anche e più semplicemente con la logica (Art. 7, comma 9):

Ciascun GEV è tenuto a suddividere la valutazione dei prodotti utilizzando tutte le categorie di cui al comma 7, attribuendo, indicativamente, a ciascuna categoria almeno il 5% e non più del 25% dei prodotti.

Immaginiamo per un attimo che, il 60% dei prodotti presentati dai Fisici italiani (GEV 02) siano di livello A, secondo gli standard della comunità scientifica di riferimento. Ebbene, il GEV 02 dovrebbe dichiarare il falso e declassarne più di metà per non eccedere la percentuale del 25%. Un’ipotesi del tutto accademica avere un 60% di prodotti in classe A, osserverà qualcuno. Ma si sbaglia: nell’ultima VQR, il GEV 02 ha classificato il 62,2% dei prodotti in classe A. Il che dimostra che il direttivo ANVUR ha scritto le regole senza nemmeno fare  lo sforzo di andare a controllare i rapporti finali delle precedenti VQR. Inoltre, nella precedente VQR, i prodotti di Fisica di livello E-F (corrispondenti all’attuale livello E) erano l’1%. Con le regole attuali, per collocare nel livello E almeno il 10% 5% dei prodotti, il GEV 02 dovrebbe declassare “d’ufficio” il 9% 4% di prodotti, prendendoli un po’ da quelli di “rilevanza sufficiente” (4,7%) e un po’ persino da quelli “standard” (4,3%), per marchiarli d’ufficio come di “Scarsa rilevanza o Non accettabili”. Queste percentuali così diverse da quelle “canoniche”, prescritte nel bando 2015-2019 riguardano solo la Fisica? Per controllare, basta esaminare la Tabella 6.3 del Rapporto finale della VQR 2015-2019, che riportiamo di seguito, colorando in verde le percentuali superiori a 25 e in rosso quelle inferiori a 5 10.

Nelle aree 8.a, 12 e 14, alcuni prodotti dovrebbero venir promosso all’eccellenza “d’ufficio”, affinché il livello A raggiunga il fatidico 10%. Nella maggioranza delle aree In tutte le aree tranne la 13, è necessario ricorrere ai declassamenti d’ufficio per garantire che almeno il 10% 5% dei prodotti rientri nella categoria “schifezza” (livello E). Complessivamente, su 80 classi, ce ne sono 28 che devono essere sfoltite e 22 12 che devono essere infoltite. Questi travasi, naturalmente, finirebbero per modificare anche le classi con percentuali comprese tra 10 5 e 25%. Insomma, per accontentare i burocrati anvuriani che esigono il rispetto dei “percentili di stato”, gli esiti della VQR3 dovranno essere stravolti.

Una curiosità: l’unica area che rientrerebbe nei canoni è l’area 13 (Scienze economiche e statistiche). Sorge il dubbio che i “percentili di stato” siano stati proposti da Daniele Checchi che è l’unico consigliere ANVUR che proviene da quell’area. D’altronde, una volta che un consigliere ANVUR ha verificato che i conti tornano nella propria area, non si vede perché debba sprecare tempo per vedere cosa succede in tutte le altre. (Viene anche da chiedersi se non sia sempre Checchi ad aver spinto per la separazione in due aree distinte dell’Area13, grazie alla quale gli economisti non dovranno più discutere con i disprezzati economisti-aziendali).

Di sicuro, avere introdotto una regola così insensata è il miglior favore che ANVUR poteva fare a chi è convinto che l’intero esercizio sia un costoso rito di dubbia utilità. Per zittire chi cerca di difendere la VQR basterà citare il comma 9 dell’art. 7 che sfida ogni razionalità. Aver ideato una procedura di valutazione i cui risultati sono imposti in partenza è forse il culmine del teatro dell’assurdo messo in scena da ANVUR dal 2011 a oggi.

2.4 La tracciabilità dei VQR-inabili

La possibilità di presentare fino a quattro prodotti per autore al fine di raggiungere il numero prescritto di prodotti da conferire, ovvero il triplo del numero dei ricercatori afferenti alla struttura da valutare, sembra mettere (finalmente) in secondo piano l’uso distorto della valutazione VQR ai fini della valutazione dei singoli ricercatori. Se quello che conta è la valutazione di struttura, ogni dipartimento cercherà di individuare i migliori prodotti senza preoccuparsi del fatto che alcuni dei suoi ricercatori si trovino a presentare meno di tre prodotti. Una scelta razionale, ma che potrebbe scontrarsi con l’opposizione degli interessati. Veder presentati meno di tre dei propri lavori, non per inattività, ma perché le cabale bibliometriche (che saranno note, vedi sopra) li classificano al di sotto di quelli di un collega, diventa una certificazione dipartimentale della propria inferiorità scientifica.

Un’opposizione forse superabile se venisse sottoscritto un patto che impegna dipartimento e ateneo a non fare mai uso per qualsivoglia valutazione interna del numero di prodotti conferiti individualmente. Se la VQR serve solo alla VQR, si può fare gioco di squadra e qualcuno potrebbe accettare di andare in panchina se questo aiuta dipartimento e ateneo a ottenere maggiori finanziamenti. Una eventualità, quella di una soluzione consensuale, che è però spazzata via dal bando VQR. Infatti, il comma 2 dell’art. 8 prevede che

Al termine della VQR e comunque entro il 31 dicembre 2021, l’ANVUR metterà a disposizione sul proprio sito l’elenco di tutti i prodotti valutati e per ciascuno di essi riporterà le seguenti informazioni (metadato): Titolo, Editore, Tipologia Prodotto, DOI, Titolo della Rivista, Numero, Volume, Numero prima e ultima pagina; Autori; Codice ISSN/ISBN/ISMN; Anno di Pubblicazione; Universal Resource Locator (URL) ove disponibile.

I docenti VQR-inabili saranno pertanto tracciabili. Quindi, anche a volersi fidare che i voti VQR non verranno usati per fini impropri come la formazione dei collegi di dottorato, rimarrà comunque uno stigma pubblico che permetterà a chiunque, secondo necessità e con una semplice ricerca testuale, di verificare se il tal ricercatore sia tra i VQR-inabili.

2.5 L’Open Access ridotto a burletta

Quanto previsto dal DM sull’accesso aperto ai prodotti sottoposti a valutazione si ispira al REF. Per il REF 2021 Research England e gli altri 3 enti finanziatori della ricerca hanno definito una policy specifica per l’open access, nella convinzione che i lavori di ricerca finanziati pubblicamente debbano essere accessibili nella maniera più ampia possibile.

The policy states that, to be eligible for submission to the next REF, authors’ final peer-reviewed manuscripts must have been deposited in an institutional or subject repository. Deposited material should be discoverable, and free to read and download, for anyone with an internet connection

La policy del Regno Unito non nasce dal nulla, ma è l’esito naturale di un sistema di politiche su open access e higher education ormai portato avanti da anni, supportato dal governo e strettamente connesso alle politiche della Commissione Europea.

Anche in Italia come già trattato qui le istituzioni hanno da tempo e massivamente (la CRUI ha sponsorizzato le due dichiarazioni di Messina nel 2004 e nel 2014) dato la loro adesione ai principi dell’accesso aperto, anche se non sembra che alle dichiarazioni di principio sia mai stato dato seguito effettivo. L’Italia ha anche una legge (L.112/2013) che definisce obbligatorio l’open access per quegli articoli finanziati almeno per il 50% da fondi pubblici. Ne abbiamo parlato a suo tempo qui e qui. La legge, per la mancanza di sanzioni, ma soprattutto per la mancanza di controlli sulla attuazione di quanto previsto, è rimasta di fatto lettera morta, tanto che fra il 2018 e il 2019 l’onorevole Gallo ha avanzato una proposta di legge che avrebbe dovuto correggere le inefficienze della legge 112.

E’ in questo contesto di grandi dichiarazioni e propositi di adesione, di leggi non osservate e di proposte di modifiche di leggi arenate, di strumenti a disposizione che però non vengono utilizzati, che si inserisce l’articolo 1.3 delle Linee guida per la VQR.

In qualsiasi altro paese europeo non sarebbe sembrata affatto strana questa disposizione, ma in Italia, prima ancora di capire di cosa si trattasse, cosa comportasse, quanti lavori per ciascun ricercatore riguardasse e quale fosse lo stato effettivo dell’open access green e gold nelle singole istituzioni, si è subito partiti a sottolineare la impossibilità di ciò che in qualsiasi altro paese research intensive del mondo è ritenuto normale. Non stupisce quindi la piega presa dalla indicazione sull’open access nel bando:

In ottemperanza a quanto stabilito all’art. 1 comma 3 delle Linee Guida MIUR e tenuto conto di quanto previsto dall’art. 4, comma 2, lettera b) del Decreto Legge 8 agosto 2013, n. 91, modificato dalla Legge 7 ottobre 2013, n. 112, i prodotti sottoposti a valutazione dovranno essere resi disponibili secondo quanto di seguito indicato:

a)nel caso di articoli scientifici relativi a risultati della ricerca finanziata per una quota pari o superiore al 50% con fondi pubblici e pubblicati su periodici a carattere scientifico che abbiano almeno due uscite annue, attraverso accesso aperto tramite la ripubblicazione senza fini di lucro in almeno una delle modalità e dei formati di cui al comma 4, entro 18 mesi dalla prima pubblicazione per le aree disciplinari scientifico-tecnico-mediche e entro 24 mesi per le aree disciplinari umanistiche e delle scienze sociali e, comunque, non oltre il 31 dicembre 2021; sono esclusi da tale previsione i prodotti relativi a risultati delle attività di ricerca, sviluppo e innovazione che godono di protezione ai sensi del codice di cui al decreto legislativo 10 febbraio 2005, n. 30;

B)nel caso di articoli scientifici relativi a risultati della ricerca finanziata per una quota inferiore al 50% con fondi pubblici, ovvero con periodi di embargo superiori a quelli indicati alla lettera a), almeno attraverso una delle seguenti modalità:

come previsto alla precedente lettera a) nel caso di accordo con la rivista che consenta la ripubblicazione senza fini di lucro in accesso aperto;

almeno con l’indicazione del metadato dell’articolo se non è possibile procedere come previsto al punto i);

nel caso di monografie e degli altri prodotti della ricerca, almeno attraverso l’indicazione del metadato del prodotto.

Qui Anvur ci dice che quello che in 7 anni non si è riuscito ad ottenere con una legge del tutto inapplicabile e inefficiente perché i termini previsti non sono controllabili (come si fa a definire e chi definisce quali pubblicazioni rientrano nel caso a)?) potrebbe attuarsi in occasione della VQR, a meno che non si riconosca che un articolo ricade nel caso b).

A questo punto possiamo dire con ragionevole certezza che TUTTE le pubblicazioni presentate rientreranno nel caso b. Che quindi sarà sufficiente esporre quello che viene definito come “metadato” dell’articolo. Con buona pace di quelle istituzioni che, con un occhio a quanto accade in Europa, da anni o di recente hanno iniziato un percorso virtuoso verso la apertura della ricerca che finanziano.

Il bando prosegue poi

Al termine della VQR e comunque entro il 31 dicembre 2021, l’ANVUR metterà a disposizione sul proprio sito l’elenco di tutti i prodotti valutati e per ciascuno di essi riporterà le seguenti informazioni (metadato): Titolo, Editore, Tipologia Prodotto, DOI, Titolo della Rivista, Numero, Volume, Numero prima e ultima pagina; Autori; Codice ISSN/ISBN/ISMN; Anno di Pubblicazione; Universal Resource Locator (URL) ove disponibile.

Al fine di riportare l’URL corretto sarà cura di ogni Istituzione procedere, entro il 3 novembre 2021, a inserire le informazioni necessarie per consentire il collegamento ai prodotti della ricerca consultabili in accesso aperto indicando il collegamento corretto a uno degli archivi di cui al comma 4.

Quindi a VQR conclusa e pacchetto pubblicazioni consegnato, a risultati pubblicati, ex post, Anvur chiede l’inserimento in una procedura non meglio identificata di una url dove reperire le pubblicazioni presentate nel caso siano ad accesso aperto (cioè ricadano nel caso a). Cosa succede se la URL non viene indicata? Cosa succede se la pubblicazione a quella url non è presente? Che tipo di controlli verranno fatti e con quale finalità?

La forma presa dalla indicazione sull’accesso aperto nel bando risulta quindi a dir poco ridicola.

3. I mostri del contro-gaming

L’uso della bibliometria promosso da ANVUR nei principali processi di valutazione (VQR e ASN, in particolare) ha incentivato comportamenti opportunistici che sono oramai divenuti oggetto di studio e discussione a livello internazionale. Invece di mettere in discussione l’intero impianto della valutazione di stato, la risposta istituzionale si muove lungo binari ben noti a chi studia le degenerazioni burocratiche:

Rule cascades. In an attempt to staunch the flow of faulty metrics through gaming, cheating and  goal diversion, organizations institute a cascade of rules. Complying with them further slows down the institution’s functioning and diminishes its efficiency.

Muller, Jerry Z. The Tyranny of Metrics. Princeton University Press, 2018. p. 171

Nel caso della VQR, due tecniche di gaming di facile attuazione e che minano la credibilità dell’intero processo sono il ricorso alle autocitazioni e le authorship di comodo. Il DM prevede alcune correzioni alle procedure di valutazione per tentare di sterilizzarne gli effetti. In particolare, prevede (art. 5 comma 1) che gli “indici citazionali internazionali” da usare per la peer review informata siano “depurati dalle autocitazioni”. Il DM prevede anche un (discutibile) meccanismo di attribuzione agli autori dei lavori con più di cinque autori, in modo da ridurre l’impatto sulla valutazione di fenomeni quali le gift authorship o più in generale authorship di comodo:

Mentre il DM si limitava a normare il conferimento degli articoli con più di cinque autori, nel bando la casistica copre tutti i prodotti con più di un autore, con esiti grotteschi. Come definire altrimenti la possibilità in tre SSD dell’Area 02 che tre dipartimenti dello stesso ateneo conferiscano lo stesso prodotto? Nelle precedente VQR questa possibilità era tassativamente esclusa:

Vale la pena di cercare qualche filo conduttore in questo delirio burocratico.

1. La possibilità che più dipartimenti di un ateneo presentino lo stesso prodotto è a suo modo rivelatrice del progetto di rendere utilizzabili i voti VQR per fare classifiche dei dipartimenti, forse in vista di una replica dei “dipartimenti di eccellenza”. Se infatti la valutazione dovesse servire solo al suo scopo primario, ovvero ripartire il Fondo di finanziamento ordinario tra gli atenei, la cessione di un articolo da un dipartimento all’altro non sarebbe causa di guerre fratricide. Se però aleggia lo spettro di una nuova gara nazionale tra i dipartimenti, cedere un prodotto pregiato diviene un dramma. La conflittualità interna agli atenei deve essere stata ritenuta talmente insanabile che per disinnescarla viene resa lecita una palese assurdità come i conferimenti tripli, che, ovviamente, distorcono la valutazione a livello istituzionale.

2. Allo stesso tempo, l’ANVUR appare ossessionata sia dal gaming attuato tramite le coauthorship di comodo sia da quegli articoli a centinaia o migliaia di autori tipici di alcune aree caratterizzate da mega-progetti, la Fisica in primis. Un ossessione forse causata sia dalla consapevolezza dei dilaganti comportamenti opportunistici innescati in Italia dai criteri bibliometrici anvuriani sia dalla consapevolezza che alcuni degli articoli associati ai mega-progetti sono dei veri blockbuster citazionali, al punto che alcune classifiche internazionali degli atenei, come quella di Times Higher Education adottano regole ad hoc per valutarne l’impatto citazionale. Nel caso della VQR, però, non hanno un effetto così dirompente, dato che il massimo che questi articoli possono ottenere è il voto A, che in generale è già piuttosto frequente. Quindi, la frenesia normativa appare del tutto sproporzionata, un po’ come se il direttivo avesse perso la testa e scrivesse norme antigaming a casaccio.

3. Uno dei capolavori è la richiesta di predisporre delle “liste di prodotti di riserva” a cui attingere nel caso in cui un prodotto sia presentato lecitamente da un numero di istituzioni superiore al massimo consentito. Un’inutile complicazione che rivela una volta in più il  completo disinteresse per i costi indotti dalla valutazione sui valutati.

4. Un altro capolavoro è l’eccezione che permette nelle aree 5, 6, 7 di presentare articoli in cui non si è primo, ultimo o corresponding author, purché almeno uno tra primo, ultimo o corresponding author  sia straniero e  “la maggioranza delle Istituzioni coinvolte sia straniera”. Il jolly dell’internazionalizzazione: se collabori con gli stranieri, vale tutto.

4. Misteri ancora insoluti

4.1 Esenzioni a doppio taglio?

Il comma 6 dell’art. 5 prevede tutta una serie di esenzioni e riduzioni del numero di prodotti da conferire per rettori, prorettori, direttori di dipartimento, congedi di maternità e così via. Esenzioni provvidenziali per chi vuole lucidare a specchio il proprio profilo di qualità, riducendo al minimo i prodotti di basso livello. Facile immaginare che ci si affretterà ad approfittarne, senza rendersi conto di un possibile tranello.

Nell’art. 10, viene specificato che nella pubblicazione dei risultati i profili di qualità saranno integrati da “dall’indicazione del numero massimo di prodotti attesi”. Cosa si intende per numero massimo? Per rispondere bisogna tornare all’art. 5 e precisamente al comma 7:

Il calcolo dei prodotti attesi per ciascuna Istituzione sarà effettuato dopo che sarà resa esplicita la scelta in relazione alla facoltà di fruire delle esenzioni o riduzioni di cui al comma 6.

Sembra pertanto di capire che se un ateneo approfitta di tutte le esenzioni e le riduzioni, il numero dei prodotti attesi che accompagneranno il suo profilo di qualità risulterà minore di quello che sarebbe stato in origine, ovvero il triplo dei ricercatori. Si tratta di un “restringimento” che potrebbe avere conseguenze sul finanziamento. Infatti, per tradurre il profilo di qualità in finanziamento è necessario un fattore di scala che tenga conto delle dimensioni della struttura valutata. Per esempio, se Roma Sapienza e l’Università per stranieri di Siena hanno lo stesso profilo di qualità non è certamente pensabile che ricevano gli stessi soldi.

Ebbene, quale sarà il fattore di scala? Abbastanza logico pensare che debba essere fornito insieme ai risultati della VQR e, in tal caso, esso coinciderebbe con il numero di prodotti attesi al netto di esenzioni e riduzioni.

Usufruisci delle esenzioni? Bene, il tuo ateneo diventa “più piccolo” ai fini del calcolo del finanziamento. Se lo scopo è ottenere più soldi, diventa conveniente rinunciare, per quanto possibile a riduzioni ed esenzioni. Se anche accadesse che il rettore non ha pubblicato nulla, si potranno rimpiazzare i suoi tre prodotti, facendo presentare quattro prodotti invece di tre a qualche altro collega.

4.2 Il profilo fantasma

Il bando prevede che i risultati siano articolati in tre profili di qualità, ma l’ANVUR ha inventato di sana pianta un quarto profilo. I tre profili legittimi sono:

1. Profilo del personale permanente
2. Profilo di qualità delle attività di valorizzazione della ricerca (cosiddetta “Terza Missione”)
3. Profilo delle politiche di reclutamento

Il profilo illegittimo riguarda i dottorati:

Profilo di formazione alla ricerca: profilo di qualità dei prodotti  dell’Istituzione, distinto per area, in cui coloro che risultano ricercatori in servizio presso un’Università o Enti di Ricerca al 1° novembre 2019 hanno acquisito il titolo di dottore di ricerca nel periodo 2012–2016. Il risultato della valutazione è reso pubblico solo nel caso in cui il numero di prodotti sia almeno pari a 10.

Perché misurare qualcosa senza un mandato da parte del MIUR? Evidentemente, ANVUR ha intenzione di mettere in circolazione altri indicatori, di dubbio valore statistico (quanto meno per ragioni di numerosità dei campioni), per poter effettuare valutazioni numerologiche dei dottorati che possano attenuare il lutto per la perdita degli indicatori aboliti dall’allora capo dipartimento Giuseppe Valditara.

5.   Conclusione

Il bando è l’ennesima conferma che l’ANVUR è diventato una sorta di ministero ombra, che porta avanti una sua linea politica, anche contro le linee guida del MIUR. In diversi punti del Bando emerge chiaramente il tentativo di ribaltare lo spirito del DM, talvolta tramite espedienti (le farraginose regole di selezione dei GEV progettate per fallire e lasciare mano libera ad ANVUR), talvolta tramite interventi arroganti (l’invenzione di un quarto profilo di qualità) o persino che violano la logica (i “percentili di stato” del numero di prodotti che dovrebbero cadere nelle diverse classi).

In conclusione, il prossimo esercizio di valutazione si configura ancora una volta come una macchina burocratica elefantiaca, costosa e inaffidabile. Che la VQR riesca ad individuare punti di forza e di debolezza della ricerca italiana, fanno finta di crederlo solo i ministri ed i rettori. Anche con la VQR3 un gruppo di professori universitari selezionati dalla politica svolgerà una valutazione di stato che servirà a riempire per qualche giorno le pagine dei giornali e i siti web degli atenei. I ricercatori italiani tenteranno di trarre opportunisticamente ciascuno il massimo vantaggio possibile dalla procedura. Questo significherà qualche modificazione negli equilibri di potere di qualche dipartimento. Con buona pace dell’interesse principale dei cittadini di una paese civile: avere un sistema della ricerca trasparente ed affidabile che promuova ricerca libera, solida e aperta.