Le abilitazioni (o i concorsi “locali”) partiranno davvero? Sulla base di quali dati?
Leggendo i criteri e parametri di valutazione dei candidati e dei commissari dell’abilitazione scientifica nazionale approvati dal Consiglio direttivo dell’ANVUR il 22 giugno 2011, un documento ancora attuale poiché è probabile che molte delle indicazioni in esso contenute saranno riprese dal prossimo DM “criteri e parametri”, mi trovo a constatare nuovamente come non si riesca a capire che il vero problema per poter effettuare una analisi seria e credibile sono, ancora una volta, i dati.
Il documento individua alcuni principi generali e una procedura da applicarsi sia a coloro che intendono accedere alle procedure di abilitazione nazionale che ai candidati commissari. In particolare fra i requisiti richiesti ci sono il possesso di parametri indicatori di qualità della produzione scientifica normalizzati per l’età accademica (solo per l’abilitazione, non per i commissari) superiori alla mediana dello specifico settore concorsuale e della fascia per cui si chiede l’abilitazione, e una ragionevole continuità nella produzione scientifica (5 o 10 anni a seconda della fascia).
Per le aree 1-9 e per alcuni specifici settori concorsuali si utilizzeranno i parametri (n. di lavori in ISI e scopus, n. di citazioni e h index) rilevati da basi di dati che riscuotano un generale consenso a livello internazionale come ISI Thomson, Scopus e Google Scholar. I dati sono validati dall’ANVUR.
Il punto che trovo interessante è quello della validazione. Sui limiti e sui problemi delle basi di dati sopra elencate sono stati scritti centinaia di articoli, e in altri paesi ci sono centri che hanno personale esperto (non gli autori) dedicato alla pulizia di questi dati, alla normalizzazione dei nomi delle affiliazioni e alla disambiguazione degli autori. Un lavoro serio e rigoroso che non viene fatto una tantum ma che si svolge in maniera continuativa. Questo nell’approccio top down.
Per le aree 10-14 invece si terrà conto in una prima fase del numero di pubblicazioni (esclusi gli atti di congressi) negli ultimi 10 anni in attesa di una revisione e qualificazione del parametro puramente numerico. Nell’attesa che si costituisca l’Anagrafe delle pubblicazioni scientifiche (ANPRePS) per quanto riguarda il numero di pubblicazioni si ricorrerà alla compilazione da parte di ogni soggetto del proprio sito docente CINECA sulla base di linee guida stringenti poste in essere dall’ANVUR. Questo nell’approccio bottom up.
In sede di prima applicazione l’ANVUR chiederà a tutti i docenti di provvedere sotto la propria responsabilità alla compilazione del sito docente CINECA seguendo le regole definite da apposite linee guida.
Lo strumento proposto da ANVUR allo stato attuale risulta inadeguato per una serie di motivi anch’essi più volte ricordati:
-la scarsa copertura legata ad inserimenti ad hoc per la richiesta di finanziamenti o la conferma dei collegi di dottorato
-la presenza di dati incompleti e inaccurati in quanto non validati (il docente non è un bibliotecario né uno specialista di metadati)
-la presenza di doppioni che non vengono identificati né segnalati
– errori di attribuzione (una pubblicazione inserita da un coautore attribuita anche ad un altro coautore ma sbagliato)
Questi sono i dati che ci sono, ma in prima battuta ANVUR pubblicherà (quando?) linee guida stringenti a cui i docenti sotto la loro responsabilità dovranno attenersi per reinserire (un’altra volta e ancora senza garanzia di controllo) 10 anni dei loro lavori. Nello stesso sito docente popolato di dati scadenti, zeppo di doppioni.
Nel messaggio del Presidente dell’Anvur al Presidente della CRUI https://www.roars.it/?p=8738 si parla in maniera molto vaga di una messa a disposizione dei docenti da parte di ANVUR di una serie di informazioni estratte dalle banche dati internazionali. Questa informazione (alquanto azzardata a dire il vero per chi conosce come funziona il sistema di import e il successivo lavoro di pulizia dei dati) viene contraddetta dal tutorial a cui si rinvia, in cui si dice chiaramente che per evitare di importare nel sito decine (centinaia) di pubblicazioni non pertinenti è opportuno fare prima una selezione. Stiamo parlando di 10 anni di lavoro di un medico o di un fisico!
Quando a Milano è partito l’archivio istituzionale è stato fatto un import massiccio da banche dati per cominciare a popolarlo. Abbiamo impiegato anni a bonificare i dati.
Ma questi dati, estratti in fretta e furia e completati da chi di mestiere fa giustamente altro, non deduplicati rispetto a ciò che è già presente sul sito docente, non ugualmente completi perché non completi in partenza serviranno per il calcolo degli indicatori bibliometrici e costituiranno un passo fondamentale per la realizzazione di ANPREPS (che stiamo tutti attendendo da molti anni).
Sarebbe bello che anche in Italia si cominciasse a capire che i dati sono importanti. Che da dati cattivi si traggono cattive valutazioni. Che sulla cura dei dati si devono incentrare in una prima fase gli sforzi. Che la cura dei dati richiede molto tempo, riflessioni accurate e personale dedicato; l’attività di validazione dei docenti dovrebbe limitarsi solo al riconoscimento delle proprie pubblicazioni, ma la cura e la certificazione dei dati deve essere di chi li gestisce. Per evitare di dovere fare e rifare le stesse cose decine di volte, per evitare di fare errori che potrebbero danneggiare le carriere delle persone.
Credevamo che ANPREPS sarebbe stata un passo avanti rispetto al sito docente. Invece sembra essere pure peggio.
p.s. il pezzo di Paola Galimberti fa riferimento alle abilitazioni, il cui svolgimento è ormai in forse. Pare tuttavia che anche nel caso di concorsi “locali” sarebbero utilizzati i criteri previsti dal DM “criteri e parametri” [NdR].
Ho letto con piacere il vostro articolo. Lo trovo bene fatto ed esauriente. Manca, però, di una prova “sperimentale”. Come direbbe Montalbano (quello di Cammileri), “vengo e mi spiego”. Per mio puro diletto, ho fatto la simulazione per l’abilitazioni nazionali di 3 SSD del settore 09. Non ho trovato (tranne in pochissimi casi; parliamo di 200 e passa strutturati contro 3 incertezze per omonimia) alcun problema a trovare i dati che la stesse legge ritiene utili ai fini della valutazione (n. di lavori in ISI e scopus, n. di citazioni e h index). Basta andare su Scopus, cercare il cognome, il nome e l’affiliazione. Per fare questo giochetto per 200 persone ci ho messo solo 3 ore (altre 5 mi sono servite in precedenza per impostare il foglio di calcolo che mi restituisse tutti i dati statistici). Comprendo e capisco che si potrebbe dire che i miei dati sono sicuramente affetti da errore. Verissimo…ma questo vale per tutte e 200 le persone considerate. Il problema, a mio parere, non sono i dati, quanto la volontà a non essere valutati (soprattutto da chi ha fatto poco o nulla). A riprova di ciò, proprio ieri, la presidenza di uno di questi 3 SSD (insieme ad altri 3 firmatari) faceva circolare un documento che proponeva (cito letteralmente) i seguenti punti:
• La misura dell’attività attestata dalle pubblicazioni non può essere meramente quantitativa. A tale scopo potrebbe essere posto un limite(per esempio non più dell’equivalente di tre lavori a nome singolo in un anno) ai lavori pubblicati oltre il quale sono introdotti coefficienti di penalizzazione.
• Dovrebbe essere penalizzata anche la ripetizione delle pubblicazioni in più sedi e con diversi autori, a meno che l’autore dichiari esplicitamente che un lavoro è la ripetizione di un altro con la dicitura bis, tris, etc.
• Il giudizio sul candidato va formulato solo con considerazioni che attengano al merito della produzione. La produttività misurata in forma quantitativa deve costituire solo un’attestazione di operosità nei termini specificati al punto precedente. Tale caratteristica deve costituire una condizione necessaria ma non sufficiente.
• Il candidato dovrà documentare che una parte significativa della sua attività sia attinente a tematiche tecnico-professionali proprie della disciplina che devono essere state affrontate con il dovuto rigore scientifico-metodologico.
Il problema, quindi, è dei dati oppure di chi i dati non li vuole proprio leggere e considerare?
Anche a me sembra che la validazione dei dati presenti su ISI e, in minor misura, su SCOPUS non sia un problema insormontabile in molti settori concorsuali. Su SCOPUS può capitare che un autore sia “spezzettato” su più ID, ma è interesse di ciascuno controllare che ciò non avvenga ed eventualmente chiedere la correzione unificando gli ID, che viene fatta nel giro di qualche settimana.
Piuttosto sembra che sia il meccanismo della Abilitazione Nazionale ad essersi inceppato…
Nome cognome e affiliazione non sono univocamente identificabili in nessuna delle banche dati a disposizione, spesso hanno forme diverse ed è quindi necessario, per un lavoro serio e credibile, mettere insieme tutte le forme dei nomi e una volta fatto ciò disambiguarle. In certi casi le affiliazioni sono proprio sbagliate, per quanto riguarda gli autori bisogna tenere conto della forma col nome doppio o singolo, con lo pseudonimo, con il cognome da nubile o da sposata per le donne ecc.
Questo per chi le banche dati a disposizione le ha, perché gli altri (ad esempio gli umanisti) dovranno procedere a mano.
Il commento però non mi pare aver colto qual è il punto centrale.
Si parla dell’anagrafe della ricerca come base per…. Anvur non vuole fare questo lavoro diciamo top down, perché sa benissimo che il rischio di commettere errori è grande. Giustamente chiede ai docenti un’assunzione di responsabilità rispetto al riconoscimento delle proprie pubblicazioni, nel far ciò però addossa loro anche la responsabilità dell’importazione dei dati e della loro qualificazione (all’interno della banca dati ministeriale). La qualificazione dei dati deve essere fatta da personale esperto, non certo dai ricercatori e richiede molto tempo e pazienza come chiunque stia in questi giorni lavorando sui dati per la VQR potrà documentare.
Le assicuro che il problema è dei dati, molti dei quali sono scadenti o molto incompleti.