Nella VQR, l’attribuzione dei  prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, anche a scapito dell’attribuzione ai singoli dei loro prodotti “migliori”. Per tale ragione, nelle regole per l’accreditamento dei dottorati, l’ANVUR ha promesso che, tra tutti i prodotti VQR coautorati dai membri del collegio, verranno utilizzati solo quelli hanno ottenuto la valutazione migliore. L’intenzione è corretta, ma l’Anvur dovrebbe rendersi conto che il sito docente non è e non può funzionare come se fosse una anagrafe della ricerca: i voti VQR non sono attribuibili ai coautori (o a tutti i coautori di un ateneo) e dunque l’indicatore  A4-1 non è calcolabile nel modo in cui è stato dichiarato. Il risultato è il peggiore possibile: un set di dati incompleto (i voti VQR che non sono agganciati a tutti i coautori dell’ateneo ma che presentano un aggancio casuale), utilizzato per valutare dimensioni molto piccole (i collegi) per cui qualche decimale può fare la differenza fra l’accreditamento e il non accreditamento. A quando l’anagrafe? Quella vera.

Da questo sito moltissime volte si è ricordata l’importanza dell’affidabilità e della completezza dei dati che vengono utilizzati per fare analisi e valutazioni.

Il sito docente del MIUR, nato per scopi e finalità diverse, è stato utilizzato in questi anni come se fosse una anagrafe della ricerca. Ma dell’anagrafe della ricerca a questo sito mancano i fondamentali.

Ad esempio il fatto che una registrazione sia presente una volta sola nel database  per tutti i coautori. Almeno una volta sola per ateneo, anche se  bisognerebbe tendere ad avere un’unica registrazione per tutti i coautori afferenti al sistema della ricerca nazionale. O ancora, manca la possibilità di ricondurre una pubblicazione a tutti i suoi coautori all’interno di un ateneo.

Non è colpa di nessuno. Il sito docente del Ministero è stato a suo tempo concepito per raccogliere la produzione individuale, non quella del sistema.

Una anagrafe della ricerca è in effetti qualcosa di molto diverso. Uno strumento molto più complesso e raffinato.

In questi ultimi anni da tutte le parti si è parlato della necessità di implementare l’anagrafe della ricerca (di cui per ora ancora non si vede traccia), ma si è intanto continuato ad utilizzare il sito docente come se fosse l’anagrafe.

Quando si fanno analisi fini e su piccole dimensioni, l’esattezza e la completezza del dato utilizzato sono fondamentali. L’Agenzia nazionale afferma (nel suo documento finale sull’accreditamento dei dottorati del 21 febbraio 2014, p. 8) che :

Nella consapevolezza che l’attribuzione dei 3 (per gli atenei) e 6 (per i ricercatori degli enti di ricerca) prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, a scapito in taluni casi della attribuzione ai singoli dei loro prodotti “migliori”, verranno scelti per la valutazione del collegio i 3 (6 per i ricercatori degli enti) prodotti che hanno ottenuto la valutazione migliore, fra tutti quelli presentati alla VQR dalla struttura con un membro del collegio come coautore.
Ad esempio, se un(a) docente dell’ateneo x appare come coautore in 7 prodotti presentati dall’ateneo alla VQR (di cui solo 3 attribuiti personalmente a lui (lei)), verranno scelti per il calcolo dell’indicatore R e X del collegio soltanto i 3 prodotti che hanno avuto la valutazione migliore.

L’intenzione è corretta e volta a tacitare chi obiettava che per la VQR molti ricercatori avevano “ceduto” le proprie pubblicazioni a colleghi con l’obiettivo di massimizzare il risultato della istituzione, non il proprio risultato individuale. Ma Anvur dovrebbe sapere con molta chiarezza che questo dato (l’attribuzione del voto dato ad una pubblicazione a tutti i coautori dell’Ateneo) non è in suo possesso. O meglio (anzi peggio) è in suo possesso in maniera random.

In presenza di valutazioni su pubblicazioni che hanno diversi coautori in un ateneo, alcune volte queste valutazioni sono distribuite su tutti i coautori, alcune volte su alcuni coautori, altre volte solo su uno dei coautori. Con quale criterio? Assolutamente casuale.

Chi conosce come funziona il sito docente sa benissimo che è così.  Che non esiste alcun meccanismo per cui una pubblicazione presente nel sito docente venga legata a tutti i suoi coautori presenti nell’ateneo, che in sede di VQR (dove ad essere valutate erano le strutture, non gli individui o loro casuali aggregazioni) le strutture potevano decidere se fondere diverse copie di una stessa registrazione presentate da più coautori o cancellare le copie lasciando un’unica registrazione (ottenendo nel primo  caso l’attribuzione ai coautori che avevano presentato la pubblicazione, anche se non necessariamente a tutti, nel secondo caso l’attribuzione ad uno solo degli X coautori dell’ateneo).  Chi conosce come funziona il sito docente sa, quindi, che non può funzionare come se fosse una anagrafe della ricerca, né gli si può chiedere di fare ciò per cui non è stato predisposto.

Il risultato è dunque esattamente l’insieme peggiore possibile: un set di dati incompleto (i voti VQR che non sono agganciati a tutti i coautori dell’ateneo ma che presentano un aggancio casuale)  utilizzato per valutare dimensioni molto piccole (i collegi) per cui qualche decimale può fare la differenza fra l’accreditamento e il non accreditamento.

Forse sarebbe meglio riconoscere che in questo momento non ci sono gli strumenti per lanciarsi in analisi che sarebbero molto semplici in presenza degli strumenti adeguati. Che non è possibile applicare un criterio ad alcuni atenei e non ad altri, ad alcuni dottorati e non ad altri, ad alcuni docenti all’interno del dottorato e non ad altri. I voti VQR non sono attribuibili ai coautori (o a tutti i coautori di un ateneo) e dunque l’indicatore  A4-1 non è calcolabile nel modo in cui è stato dichiarato.

A quando l’anagrafe? Quella vera.

Send to Kindle

5 Commenti

  1. Mentre ci sono rettori che chiedono agli interessati i voti VQR avuti, c’è l’ANVUR che utilizza dati sconosciuti agli interessati. Infatti io non conosco chi ha usato eventualmente lavori fatti insieme a me e che voto ha avuto. Non posso nemmeno sapere se l’ANVUR usa a mio nome dati attribuiti nella VQR ad altri. L’ANVUR sta già facendo le simulazioni sull’accreditamento dei dottorati e, se non sbaglio, entro un mesetto bisogna proporsi per il nuovo ciclo.

  2. Io non amo le metodiche VQR ma questa affermazione e’ tecnicamente errata. Infatti basta andare sul proprio sito docente CINECA e compariranno i punteggi di tutte le pubblicazioni di cui si e’ coautore, indipendentemente da chi le ha sottomesse.

    • Tecnicamente la verifica si fa in questo modo:
      dovrebbe prendere la certificazione che Cineca ha rilasciato quando è stata chiusa la procedura VQR, verificare quante pubblicazioni in cui Lei è coautore sono state presentate e solo allora verificare che il numero dei punteggi riportati nella Sua pagina corrisponda al numero di pubblicazioni presentate in cui Lei è coautore.
      Se fa la stessa verifica per una decina di colleghi del Suo ateneo e per una decina di colleghi di altri atenei Le assicuro che il quadro che ne esce è quello descritto. Il fatto che i due numeri corrispondano è del tutto casuale.

    • Il post spiega tecnicamente che non tutti quando vanno sul sito cineca vedranno comparire tutti i propri punteggi. Se lei vede i suoi non smentisce quanto sostenuto nel testo…

    • Io vedo solo le tre che ho presentato. Sono certo che ne è stata presentata un’altra che ho visto sul sito del collega ma che non vedo sul mio. Ricontrollerò per vedere se dopo questo post l’ANVUR avrà provveduto a ricontrollare a sua volta.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.