Possiamo dirci soddisfatti della qualità dei dati bibliografici su cui il MIUR ed ANVUR applicano i loro algoritmi? I dati bibliografici dovrebbero essere validati, cioè ne dovrebbe essere controllata la qualità. Invece gli atenei alimentano il sito LoginMIUR senza grandi attività di validazione, e senza senza standard di riferimento in merito alla loro completezza. Il MIUR ed ANVUR a loro volta non effettuano attività di validazione su questi dati. Le soglie per la ASN, le cravatte bibliometriche della VQR, il FFARB e chissà cosa altro sono calcolati su dati non certificati né localmente né centralmente. Adesso molti atenei hanno acquistato, su sollecitazione CRUI ed a caro prezzo, il software per la riproduzione degli algoritmi anvuriani prodotto dalla università della Basilicata. Quel software promette di automatizzare tutto, anche ciò che ANVUR non aveva pensato di automatizzare. Ci hanno riferito che la CRUI ha sollecitato gli atenei che hanno aderito alla iniziativa a “bonificare” i propri dati perché nei dati degli atenei sono presenti molte anomalie “tali da poter influenzare negativamente le valutazioni”. Ed anche ANVUR chiede ai ricercatori di segnalare eventuali duplicazioni. Qualcuno sembra essersi accorto che qualcosa non funziona. Ma si preferisce investire in fantasiosi algoritmi, anziché garantire che i dati siano utilizzabili.

 

Più volte abbiamo affrontato il tema della qualità dei dati sulle pubblicazioni dei ricercatori italiani. Essi sono presenti in un contenitore chiuso chiamato sito docente cineca (o loginMIUR) che viene alimentato direttamente dal ricercatore o, quando esistono, dalle anagrafi locali. Il tema della qualità dei dati si sposta quindi dal ministero alle realtà locali.

Fino a qualche tempo fa anche le realtà locali avevano contenitori chiusi (UGOV) il cui merito era quello di favorire il passaggio dei dati inseriti dai propri ricercatori al sito centrale (loginMIUR). Lo scopo era che i dati finissero sul sito del Ministero, non che rispondessero a criteri condivisi di qualità del dato. Il passaggio avveniva dunque quasi senza controlli formali né nel punto di partenza né nel punto di arrivo. Le uniche verifiche erano quelle di coerenza dell’ISBN e di esistenza della rivista (in caso di articolo) nell’authority file di LoginMIUR (ANCE).

La mancanza di una validazione interna, nelle fonti di loginMIUR, le anagrafi locali, ha diverse conseguenze: duplicazioni delle registrazioni, errori descrittivi, errori di tipologia, identificativi (ad esempio i DOI) errati, errori nella stringa autori, incompletezza dei dati forniti ecc.

Poi, a partire dal 2014,  la maggior parte degli atenei è passato ad un sistema aperto, IRIS, che ha reso pubblici i dati prima presenti nel sistema UGOV. Questo fatto non sembra aver turbato particolarmente gli atenei, perché le modalità di conferimento dei dati sono rimaste le stesse.

Quindi la situazione attuale è la seguente, gli atenei alimentano il sito LoginMIUR

  • senza grandi attività di validazione dei dati,
  • senza standard di riferimento in merito alla loro completezza,
  • il MIUR non effettua ulteriori attività di validazione su questi dati.

Ma chiunque faccia analisi sui dati sa che, per poterli utilizzare, è necessaria una validazione rispetto a criteri di qualità definiti. Sa che i dati devono essere completi. E sa che devono essere individuate le diverse responsabilità.

Facciamo un esempio, quando il CWTS prende i dati grezzi di WOS che servono come base per il ranking di Leiden, attua una intensa attività di deduplicazione, disambiguazione e pulizia dei dati, e solo dopoli utilizza per calcolare i valori utilizzati nel ranking. Vale a dire che il CWTS valida i dati che utilizza secondo un protocollo attraverso il quale certifica i risultati che produce.

La validazione dei dati è costosa e può essere fatta solo da personale esperto.

Cosa avviene invece in Italia?

Il MIUR accoglie i dati dalle anagrafi locali (per lo più non certificate) e sulla base di questi dati effettua le sue elaborazioni. Altrettanto fa ANVUR.

Attenzione, non si tratta di studi teorici sulla produzione scientifica italiana, ma di campagne di valutazione che hanno effetti sulle carriere delle persone, sui finanziamenti alle strutture. Ad esempio su questi dati che non sono certificati né localmente né centralmente sono state calcolate le soglie per la ASN. Su questi dati sono state anche calcolate le cravatte bibliometriche che posizionavano i lavori presentati per la VQR nelle diverse fasce di merito.

Qualcuno sembra però essersi accorto che qualcosa non funziona.

Molti atenei hanno acquistato dalla università della Basilicata (dietro forte sollecitazione della CRUI)  il software per la riproduzione degli algoritmi anvuriani (VQR, ASN e FFARB) a livello di valutazione locale, o meglio, hanno acquistato i servizi di questo software (estrazioni ad hoc una o più volte l’anno).

Se ricordate Anvur aveva posto alcuni paletti agli automatismi bibiometrici, che dipendevano dall’età dell’articolo o dalla necessità rilevata dagli autori di una revisione paritaria, o dalla particolare tipologia di lavoro prescelta.

Anvur aveva anche definito un workflow per cui il voto automatico potesse in qualche modo essere rivisto dal GEV in casi particolari e aveva anche stabilito un processo per definire la subject category delle riviste multidisciplinari (buono o cattivo non ci interessa)

Di tutti questi accorgimenti che impedivano la totale eliminazione del giudizio umano nel sistema venduto dalla Basilicata ovviamente non c’è traccia. E’ un sistema completamente automatico.

Nei casi e nelle limitazioni sopra descritte che renderebbero inapplicabile l’algoritmo primario, sono stati pensati algoritmi secondari che permettano all’algoritmo primario di lavorare comunque anche nella totale assenza del giudizio umano.

Il software ha un costo che si aggira fra i 10.000 e 22.000 euro l’anno per una estrazione, con un sovrapprezzo del 50% per ogni estrazione supplementare. Questi costi si vanno a sommare ai costi di IRIS e a quelli delle API di Scopus e WOS necessarie per poter fare funzionare l’algoritmo.

Il modello VQR è stato pensato per valutare le struttura su un numero limitato di lavori e per la distribuzione del FFO.

Le soglie ASN sono state pensate come livello minimo per potere accedere alla valutazione nel merito.

Il software della Basilicata uniforma tutto. Livelli e campagne di valutazione, appiattendo tutto su numeri che in mano a chi non sa come usarli (e sono tanti) o invece di chi sa quali risultati vorrebbe ottenere possono essere strumenti micidiali.

Ma ritorniamo al discorso sulla qualità dei dati e sulla scarsa sensibilità del MIUR rispetto a questo tema. Ci hanno riferito che la CRUI ha sollecitato gli atenei che hanno aderito alla iniziativa della Università della Basilicata a “bonificare” i propri dati perché nei dati degli atenei sono presenti molte anomalie “tali da poter influenzare negativamente le valutazioni”.

Quali anomalie avrà mai riscontrato la CRUI ora che si tratta di implementare il software della Basilicata?

Ma il set di dati non è lo stesso che è stato utilizzato per le soglie della ASN? E per le cravatte bibliometriche? E dove era la CRUI quando Anvur e il MIUR utilizzavano questi dati così pieni di anomalie?

E quali sarebbero le anomalie presenti? Dati mancanti? identificativi errati? Errori di tipologia? E come fa un ateneo a correggere massivamente i propri dati?

Ora, e solo ora, il sistema sembra aver colto la insensatezza di una base di dati gestita senza validazione alcuna. Quindi circa la metà degli atenei italiani ha acquistato un sistema (quello della Basilicata), ma per poterlo utilizzare deve fare quello che avrebbe dovuto fare fin dall’inizio, fino dalla adozione di UGOV: curarsi dei propri dati, validarli e certificarli. Una attività che non è affatto in capo agli autori. Ma è in capo alle istituzioni per la parte locale, e in capo al MIUR per la parte nazionale.

Anche ANVUR si rende conto della qualità scadente dei dati a sua disposizione, e infatti pubblica sul suo sito la seguente nota:

ANVUR avvisa che coloro che si rendessero conto di avere prodotti duplicati nella lista delle loro pubblicazioni devono comunicarlo all’indirizzo finanziamenti_ricerca@anvur.it entro il giorno 30/09/2017, riportando l’IPD associato alla pubblicazione duplicata (l’IPD è il codice identificativo della pubblicazione, indicato in basso a destra rispetto a ogni pubblicazione nelle visualizzazioni della domanda).

Ma a questo punto ci si chiede: perché invece di investire in algoritmi, le istituzioni non pensano a garantire che i dati che producono siano davvero utilizzabili? Perché non si investe in formazione di personale che sappia raccogliere, monitorare e analizzare questi dati? Perché non accordarsi su standard che permettano una certificazione dei dati che vengono forniti al Ministero? E come si può parlare di una anagrafe nazionale quando non si ha minimamente idea dei requisiti che dovrebbe avere e di come farli rispettare?

 

 

 

Send to Kindle

2 Commenti

  1. A questo punto mi chiedo: perché investire tempo e risorse in un’operazione che serve soltanto ad eliminare il principio di “peer review” sul *contenuto* dei lavori per lasciare solo automatismi sul numero e popolarità delle riviste (i contenitori) ?
    .
    Il tutto in un momento in cui né MIUR né atenei investono più in ricerca e stravolgendo il senso dell’ art. 33 della Costituzione?

    • Infatti oggi si investe di più e male nella valutazione che nella ricerca. Mi chiedo solo quanto ti spende e come si spende negli altri paesi per fare lo stesso anche perchè la nostra attività di ricerca non è isolata al resto del mondo. Ovviamente nessuno al MIUR si è mai preso la briga di andare a verificare.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.