Accreditamento dottorati: su richiesta, ANVUR “essamina le colpe ne l’intrata”

« … Stavvi Minòs orribilmente, e ringhia:

 essamina le colpe ne l’intrata;
    giudica e manda secondo ch’avvinghia.

Dico che quando l’anima mal nata
    li vien dinanzi, tutta si confessa;
    e quel conoscitor de le peccata

vede qual loco d’inferno è da essa;
    cignesi con la coda tante volte
    quantunque gradi vuol che giù sia messa.… »

Inferno, V,4-12

Come già osservato sia da Roars che da CUN e CRUI, una delle criticità dei criteri ANVUR per l’accreditamento dei dottorati di ricerca è costituita dal fatto che essi fanno riferimento ai voti VQR individuali dei membri del collegio. Si tratta di un’informazione che i singoli non sono tenuti a fornire e, di conseguenza, la proposta di un collegio dei docenti diventa una specie di scommessa al buio. Un avviso sul sito dell’ANVUR, comunica però la possibilità di chiedere una pre-valutazione degli indicatori VQR e I. L’ANVUR, da novello Minosse, riceverà la confessione, esaminerà le colpe e, pur senza cingersi la coda, segnalerà le soglie che non vengono superate.

Se da un lato, questa pre-valutazione aiuterà gli atenei a superare le forche caudine bibliometriche dell’accreditamento dei dottorati, non si può fare a meno di notare la messa in pericolo della riservatezza dei voti VQR. Per fare un esempio, immaginiamo che un dottorato chieda il calcolo degli indicatori per una data composizione del collegio dei docenti. L’ANVUR comunica il mancato superamento di una o più soglie bibliometriche per R e X. Per ovviare al problema, viene rimosso dal collegio uno dei membri, e viene chiesto un nuovo calcolo all’ANVUR. Se la nuova valutazione diventa positiva, vengono di fatto rilasciate informazioni sulla valutazione VQR di un singolo docente.

In effetti, da più parti era stato obiettato che l’utilizzo dei voti VQR era del tutto improprio. Come precisato dalla stessa agenzia,

l’ANVUR sottolinea che i risultati della VQR non possono e non devono essere utilizzati per valutare i singoli soggetti. I motivi sono molteplici, e qui ne citiamo alcuni rilevanti: la scelta dell’associazione prodotti-soggetti valutati, dettata dall’ottimizzazione del risultato di struttura e non del singolo soggetto, la richiesta di conferire solo tre prodotti di ricerca pubblicati in sette anni, che costituiscono in molti settori della scienza un’immagine della produzione complessiva dei singoli soggetti molto parziale, la non considerazione del contributo individuale al prodotto nel caso di presenza di coautori, e, infine, l’utilizzo di metodi di valutazione la cui validità dipende fortemente dalla dimensione del gruppo di ricerca cui sono applicati.
Tutti gli indicatori descritti nel rapporto sono ottenuti come medie di elementi appartenenti a popolazioni molto eterogenee: grandi atenei generalisti attivi in tutte o quasi le Aree con molti ricercatori, atenei medio-grandi specializzati (come i Politecnici), atenei piccoli attivi in poche Aree, grandi enti di ricerca come il CNR attivo in tutte le quattordici Aree accanto a enti di grande tradizione presenti in molte università ma attivi in una singola Area, come l’INFN e l’INAF. I valori medi degli indicatori, man mano che si scende dalla valutazione di area della struttura a quella di sub-GEV, di SSD e di dipartimento, sono caratterizzati da un margine di incertezza statistica crescente, perché l’affidabilità della media campionaria dipende dalla dimensione del campione.

La dimensione di un collegio può ridursi anche a soli 16 docenti: che margine di incertezza può avere l’uso dei voti VQR? Per non dire della sostanziale inaffidabilità dei voti stessi. Originariamente, essi avrebbero dovuto essere confrontabili entro la medesima area CUN, ma la stessa ANVUR si deve essere convinta dell’esistenza di scale di giudizio disomogenee, al punto di introdurre una normalizzazione diversa per ogni singolo SSD. Senza essere però nemmeno troppo convinta di questa soluzione dato che per l’accreditamento vengono usate due normalizzazioni alternative (per area CUN e per SSD) adottando infine il risultato più favorevole al collegio sottoposto a valutazione. Impossibile non ricordare che il Gruppo di lavoro della CRUI ha criticato entrambe le normalizzazioni ANVUR, proponendone una terza e, a distanza di una settimana, anche una quarta.

Un ulteriore problema che si riscontra rispetto all’uso dei voti della VQR riguarda l’attribuzione dei voti attribuiti alle pubblicazioni a tutti i coautori delle stesse.

Anvur dice:

Nella consapevolezza che l’attribuzione dei 3 (per gli atenei) e 6 (per i ricercatori degli enti di ricerca) prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, a scapito in taluni casi della attribuzione ai singoli dei loro prodotti “migliori”, verranno scelti per la valutazione del collegio i 3 (6 per i ricercatori degli enti) prodotti che hanno ottenuto la valutazione migliore, fra tutti quelli presentati alla VQR dalla struttura con un membro del collegio come coautore.
Ad esempio, se un(a) docente dell’ateneo x appare come coautore in 7 prodotti presentati dall’ateneo alla VQR (di cui solo 3 attribuiti personalmente a lui (lei)), verranno scelti per il calcolo dell’indicatore R e X del collegio soltanto i 3 prodotti che hanno avuto la valutazione migliore.

Ora, i dati sul loginmiur arrivano in due modi. O li inviano le anagrafi locali, attribuendo ogni pubblicazione ai siti di tutti i coautori dell’Ateneo che fa l’invio, o li caricano i docenti direttamente nel proprio sito. Visto che i singoli siti docente non comunicano fra di loro  e che la registrazione non indica le affiliazioni dei coautori ci si chiede in quale modo la valutazione del docente di cui sopra (coautore di 7 prodotti di cui solo tre attribuiti a lui) potrà essere attribuita anche ai coautori della stessa istituzione.

Una rapida  verifica ai voti assegnati a ciascuno dimostra che non è così.

Informazioni importanti sulla procedura di accreditamento dei Dottorati del XXX Ciclo

Come promesso, e nello spirito di collaborazione con gli atenei, l’ANVUR è disponibile , su richiesta, a calcolare il valore degli indicatori VQR e I  descritti nella sezione 5.4.2 del documento sui criteri di accreditamento. E’ inteso che valori positivi degli indicatori non prefigurano l’accreditamento del corso di dottorato, che sarà invece basato su tutti i criteri previsti. La richiesta va indirizzata a dottorato@anvur.org, e deve essere accompagnata dalla composizione del collegio inserita nel template di file excel scaricabile qui. Le richieste verranno esaudite secondo un algoritmo first in – first out, in tempi rapidi (2-3 giorni) compatibilmente con il numero delle richieste pervenute.

L’ANVUR ha ricevuto svariate richieste di chiarimenti sul documento contenente i criteri di accreditamento; poiché alcune di queste sono di interesse commune a tutti gli atenei, le risposte saranno inserite nelle FAQ “Accreditamento dottorati”, che suggeriamo di consultare periodicamente.

L’ANVUR sta esaminando con il CINECA le modifiche all’interfaccia utilizzata per le proposte dei corsi di dottorato del XXIX ciclo che si rendono necessarie l’esame dei corsi del XXX ciclo sulla base del documento sui criteri di accreditamento.  Prossimamente, pubblicheremo un file Word che anticipa la disponibilità dell’interfaccia on line, e che potrà essere usato (con parsimonia) per chiedere l’accreditamento di quei corsi di dottorato (tipicamente quelli internazionali) che presentano requisiti di urgenza imposti dagli accordi o convenzioni in essere.