A tentoni: coautori VQR, sito docente e accreditamento dei dottorati

Nella VQR, l’attribuzione dei  prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, anche a scapito dell’attribuzione ai singoli dei loro prodotti “migliori”. Per tale ragione, nelle regole per l’accreditamento dei dottorati, l’ANVUR ha promesso che, tra tutti i prodotti VQR coautorati dai membri del collegio, verranno utilizzati solo quelli hanno ottenuto la valutazione migliore. L’intenzione è corretta, ma l’Anvur dovrebbe rendersi conto che il sito docente non è e non può funzionare come se fosse una anagrafe della ricerca: i voti VQR non sono attribuibili ai coautori (o a tutti i coautori di un ateneo) e dunque l’indicatore  A4-1 non è calcolabile nel modo in cui è stato dichiarato. Il risultato è il peggiore possibile: un set di dati incompleto (i voti VQR che non sono agganciati a tutti i coautori dell’ateneo ma che presentano un aggancio casuale), utilizzato per valutare dimensioni molto piccole (i collegi) per cui qualche decimale può fare la differenza fra l’accreditamento e il non accreditamento. A quando l’anagrafe? Quella vera.

Da questo sito moltissime volte si è ricordata l’importanza dell’affidabilità e della completezza dei dati che vengono utilizzati per fare analisi e valutazioni.

Il sito docente del MIUR, nato per scopi e finalità diverse, è stato utilizzato in questi anni come se fosse una anagrafe della ricerca. Ma dell’anagrafe della ricerca a questo sito mancano i fondamentali.

Ad esempio il fatto che una registrazione sia presente una volta sola nel database  per tutti i coautori. Almeno una volta sola per ateneo, anche se  bisognerebbe tendere ad avere un’unica registrazione per tutti i coautori afferenti al sistema della ricerca nazionale. O ancora, manca la possibilità di ricondurre una pubblicazione a tutti i suoi coautori all’interno di un ateneo.

Non è colpa di nessuno. Il sito docente del Ministero è stato a suo tempo concepito per raccogliere la produzione individuale, non quella del sistema.

Una anagrafe della ricerca è in effetti qualcosa di molto diverso. Uno strumento molto più complesso e raffinato.

In questi ultimi anni da tutte le parti si è parlato della necessità di implementare l’anagrafe della ricerca (di cui per ora ancora non si vede traccia), ma si è intanto continuato ad utilizzare il sito docente come se fosse l’anagrafe.

Quando si fanno analisi fini e su piccole dimensioni, l’esattezza e la completezza del dato utilizzato sono fondamentali. L’Agenzia nazionale afferma (nel suo documento finale sull’accreditamento dei dottorati del 21 febbraio 2014, p. 8) che :

Nella consapevolezza che l’attribuzione dei 3 (per gli atenei) e 6 (per i ricercatori degli enti di ricerca) prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, a scapito in taluni casi della attribuzione ai singoli dei loro prodotti “migliori”, verranno scelti per la valutazione del collegio i 3 (6 per i ricercatori degli enti) prodotti che hanno ottenuto la valutazione migliore, fra tutti quelli presentati alla VQR dalla struttura con un membro del collegio come coautore.
Ad esempio, se un(a) docente dell’ateneo x appare come coautore in 7 prodotti presentati dall’ateneo alla VQR (di cui solo 3 attribuiti personalmente a lui (lei)), verranno scelti per il calcolo dell’indicatore R e X del collegio soltanto i 3 prodotti che hanno avuto la valutazione migliore.

L’intenzione è corretta e volta a tacitare chi obiettava che per la VQR molti ricercatori avevano “ceduto” le proprie pubblicazioni a colleghi con l’obiettivo di massimizzare il risultato della istituzione, non il proprio risultato individuale. Ma Anvur dovrebbe sapere con molta chiarezza che questo dato (l’attribuzione del voto dato ad una pubblicazione a tutti i coautori dell’Ateneo) non è in suo possesso. O meglio (anzi peggio) è in suo possesso in maniera random.

In presenza di valutazioni su pubblicazioni che hanno diversi coautori in un ateneo, alcune volte queste valutazioni sono distribuite su tutti i coautori, alcune volte su alcuni coautori, altre volte solo su uno dei coautori. Con quale criterio? Assolutamente casuale.

Chi conosce come funziona il sito docente sa benissimo che è così.  Che non esiste alcun meccanismo per cui una pubblicazione presente nel sito docente venga legata a tutti i suoi coautori presenti nell’ateneo, che in sede di VQR (dove ad essere valutate erano le strutture, non gli individui o loro casuali aggregazioni) le strutture potevano decidere se fondere diverse copie di una stessa registrazione presentate da più coautori o cancellare le copie lasciando un’unica registrazione (ottenendo nel primo  caso l’attribuzione ai coautori che avevano presentato la pubblicazione, anche se non necessariamente a tutti, nel secondo caso l’attribuzione ad uno solo degli X coautori dell’ateneo).  Chi conosce come funziona il sito docente sa, quindi, che non può funzionare come se fosse una anagrafe della ricerca, né gli si può chiedere di fare ciò per cui non è stato predisposto.

Il risultato è dunque esattamente l’insieme peggiore possibile: un set di dati incompleto (i voti VQR che non sono agganciati a tutti i coautori dell’ateneo ma che presentano un aggancio casuale)  utilizzato per valutare dimensioni molto piccole (i collegi) per cui qualche decimale può fare la differenza fra l’accreditamento e il non accreditamento.

Forse sarebbe meglio riconoscere che in questo momento non ci sono gli strumenti per lanciarsi in analisi che sarebbero molto semplici in presenza degli strumenti adeguati. Che non è possibile applicare un criterio ad alcuni atenei e non ad altri, ad alcuni dottorati e non ad altri, ad alcuni docenti all’interno del dottorato e non ad altri. I voti VQR non sono attribuibili ai coautori (o a tutti i coautori di un ateneo) e dunque l’indicatore  A4-1 non è calcolabile nel modo in cui è stato dichiarato.

A quando l’anagrafe? Quella vera.