«Eppur si muove!»: no, non è Galileo che si riferisce alla terra, ma potrebbe essere il Direttore Generale del MIUR che si riferisce agli indicatori dei candidati all’abilitazione scientifica nazionale. A quindici giorni dalla scadenza dell’ultima proroga per la conclusione dei lavori, diversi Presidenti di commissione avrebbero ricevuto una gentile lettera che chiede di riaprire i verbali e riverificare i giudizi, dato che gli indicatori bibliometrici di alcuni candidati sarebbero cambiati. Lettere di questo tipo sarebbero arrivate sia nei settori bibliometrici che in quelli non bibliometrici. Come mai? Mancati agganci con le banche dati ISI e SCOPUS, pubblicazioni non indicate nella sezione pertinente della domanda, nonché riesame dei periodi di congedo. Dato che è noto che occorrono circa due anni per l’assestamento dei database citazionali, è probabile che nei settori bibliometrici gli indicatori continueranno a variare anche dopo la pubblicazione dei risultati, se questa mai avverrà.
Era del 28 settembre il comunicato stampa in cui il MIUR ammetteva che, a seguito dei controlli effettuati durante l’estate, erano stati individuati moltissimi casi di mancato aggancio delle pubblicazioni di molti candidati che davano luogo a variazioni significative nelle posizioni dei candidati (sopra o sotto la mediana) in almeno 500 casi:
Nel corso della procedura si sono verificati via via non pochi problemi. Alcune criticità si stanno risolvendo solamente in questi giorni e il Ministero ne darà comunicazione alle singole commissioni a partire dalla prossima settimana. […] Queste criticità hanno richiesto al Ministero un lavoro supplementare e in larga misura manuale nel corso dei mesi estivi, lavoro giunto ormai quasi al termine.
Alla fine della settimana scorsa, ovvero un mese e mezzo dopo il Comunicato stampa MIUR cs280913, sulla pagina di alcuni presidenti di commissione dell’ASN sarebbe comparsa la seguente lettera:
Gentile Presidente
con riferimento alla procedura per il conseguimento dell’Abilitazione scientifica nazionale alle funzioni di professore universitario di I e II fascia (tornata 2012), si comunica che lo scrivente Ministero, a seguito del controllo delle informazioni contenute nelle domande presentate dai candidati, avviate anche sulla base di segnalazioni delle commissioni, ha provveduto alla verifica degli indicatori bibliometrici dei candidati riportati nella tabella allegata. Si precisa che tali informazioni aggiomate saranno disponibili dal 15 novembre nella piattaforma a disposizione della commissione e saranno evidenziate in mode da agevolare al massimo l’aggiornamento dei lavori richiesto.
Tale ulteriore verifica si é resa necessaria una volta riscontrato che in taluni casi gli indicatori potevano risentire di alcune anomalie riconducibili a diverse fattispecie: mancati agganci di pubblicazioni scientifiche pur presenti nelle banche dati ISI e SCOPUS, pubblicazioni non indicate nella sezione pertinente della domanda nonché verifica e riesame dei periodi di congedo.
Pur nella consapevolezza che la commissione ha già terminato i suoi lavori e tenuto conto che il complesso lavoro di verifica degli indicatori da parte del Ministero si è concluso ora, si è reso necessario precisare quanto sopra al fine di consentire la massima completezza delle informazioni a disposizione della Commissione funzionali alla valutazione delle domande presentate.
Nel ringraziare per la fattiva collaborazione, si invita pertanto la Commissione a verificare la congruenza dei giudizi rispetto agli indicatori come rideterminati e variati secondo quanto riportato nella tabella allegata, ribadendo altresi la rilevanza dei principi del giudizio analitico e della coerenza tra motivazione, criteri ed esito della valutazione, previsti dalla normativa vigente per l’abilitazione scientifica nazionale.
IL DIRETTORE GENERALE Daniele Livon
Nel sito, i candidati per cui sono variati gli indicatori sarebbero evidenziati in arancione o rosso:
In particolare i candidati evidenziati in rosso riportano una variazione degli indicatori rilevante rispetto alle mediane, per quelli evidenziati in arancione si è riscontrata una variazione degli indicatori non rilevante rispetto alle mediane, per tutti gli altri candidati gli indicatori non sono variati.
Alle commissioni verrebbe richiesto di confermare o modificare i giudizi dei candidati rossi e arancioni e di procedere alla redazione di un nuovo verbale di chiusura.
Ma quando finiranno di oscillare gli indicatori bibliometrici dei candidati?
Di fronte a questa ammissione di errori da parte del Ministero sorgono spontanee alcune domande:
- Su quali dati sono state calcolate le mediane? Se così tanti sono stati gli errori, come mai non sono state riviste neppure per la prossima tornata?
- Sono stati ricalcolati gli indicatori di tutti o solo quelli dei candidati con lavori col mancato aggancio?
- Come ci si è accorti del mancato aggancio? Su segnalazione individuale? Sono stati fatti tutti gli agganci o ci si aspetta una nuova tornata di correzioni?
- Se sono stati ricalcolati solo gli indicatori dei candidati con mancato aggancio, qual è lo stato del contenuto delle banche dati di riferimento? Vale a dire, le informazioni citazionali al 31.12.2012 sono state estratte dal ministero solo per le riviste “agganciate” o anche per quelle non agganciate? In sostanza, i dati a disposizione del ministero sono gli stessi per chi ha avuto gli indicatori calcolati a suo tempo e per chi li ha avuti ricalcolati ora?
Nel caso dei settori bibliometrici vanno infatti tenuti in conto non solo i “mancati agganci”, ma anche i tempi di aggiornamento dei database commerciali. Per tentare di dare una risposta, può essere utile leggere quanto scritto a pagina 5-30 del rapporto Science and Engineering Indicators 2010 del National Science Board relativamente all’uso dei dati Web-of-Science (ISI):
Previous editions reported data based on the year an article entered the database (tape year), not on the year it was published (publication year). NSF analysis has shown that, for the U.S. data, each new tape year file fails to capture from 10% to 11% of articles that will eventually be reported for the most current publication year; for some countries, the discrepancy is much larger. Here, data in the first section only (“S&E Article Output”) are reported by publication year through 2007, which contains virtually complete data for this and prior publication years.
Pertanto:
- C’è un ritardo di registrazione per cui l’ultimo anno disponibile nel database non comprende almeno il 10% degli articoli che a regime risulteranno pubblicati in quell’anno
- Il National Science Board nel suo report del 2010, non usa i dati 2008 e 2009 perché ritiene assestati solo i dati fino al 2007.
Seguendo le indicazioni del National Science Board, i dati sugli articoli pubblicati nel 2012 diventerebbero assestati – e perciò utilizzabili – solo nel 2015.
Ancor meno affidabili sono da ritenersi i dati relativi alle pubblicazioni 2013 dei candidati della seconda tornata. Per farsi un’idea delle possibili distorsioni basta esaminare il seguente grafico, tratto da un articolo scientifico pubblicato nel 2011.
Si vede immediatamente che per tutte le nazioni il numero di pubblicazioni per 1000 abitanti mostra un tracollo del dato 2009 rispetto a quello del 2008. Poiché non ci sono stati improvvisi incrementi della popolazione, il 2009 risulterebbe un vero e proprio annus horribilis per tutta la ricerca europea. In realtà, si tratta solo di un artefatto, dal momento che i dati relativi alle pubblicazioni 2009 erano stati estratti nel 2010, prima che potessero dirsi assestati. Il calo non è dovuto ad una minor produzione scientifica, ma – come spiegato qui – ai ritardi di registrazione ricordati dal National Science Board.
Per la seconda tornata dell’abilitazione, ci si troverà in una situazione analoga: i dati bibliometrici relativi alle pubblicazioni 2013 verranno estratti a cavallo tra il 2013 e il 2014, replicando tutti i problemi segnalati dal National Science Board e confermati dal grafico.
Una volta di più appare evidente come la mancanza di dati controllati e certificati porti a distorsioni gravi e renda poco credibile l’applicazione degli indici bibliometrici anche per una valutazione di minima degli individui (superamento di una soglia). Laddove le commissioni non hanno tenuto conto degli indicatori individuali ciò non influirà sui risultati finali, ma, laddove invece il superamento delle mediane è stato considerato come vincolante, l’intero processo perde completamente di credibilità.
ciao leo
dove hai letto della eliminazione del vincolo po/rtd?
grazie
ciao Chiaretta,
l’ho letto nella nota del Miur del 17 Ottobre 2013, protocollo N.21381 con cui si stabilisce che il vincolo un RTD-b per ogni nuovo Professore Ordinario non è da considerare obbligatorio ma facoltativo, il vincolo era stato introdotto con il Decreto Legislativo 49/2012 (Governo Monti). Comunque non so se una nota del genere può modificare la disposizione di un Decreto Legislativo, non sono un giurista..
ciao Leo
grazie mille! cercavo questo riferimento normativo ma non riuscivo a trovarlo!
grazie ancora
chiaretta
Si fa fatica, oltre l’informazione, a capire il punto di questi articoli. Sembra che le valutazioni siano estremamente critiche, quando ci sono candidati ben oltre le mediane e oltre anche i membri di Commissione. E allora? Si blocca tutto perche’ qualcuno che deve passare per forza non ha avuto un lavorino certificato? Tutto questo affannarsi dimostra solo che di una valutazione poco manipolabile c’era bisogno. Voglio vedere se riusciranno a cambiare la legge e tornare dietro. Tranquilli, tanto poi ci saranno i concorsi per le cattedre, dove quelli in difficolta’ per il lavorino non riconosciuto troveranno la comprensione che serve. Non basta che siamo in ritardo, bisogna cercare di rimanete a tutti i costi il paese delle banane.
Il paese delle banane è un paese dove succedono cose come quelle descritte in questo articolo, anche se procedessero spedite.
Caro Marcello, definire l’ASN “una valutazione poco manipolabile” è una affermazione così azzardata che si merita tutte le critiche che probabilmente riceverà.
L’ASN è obiettivamente una manipolazione in se, degna nemmeno di una repubblica delle banane, nata solo con il solo scopo di perdere tempo, cosa che è riuscita benissimo, e proseguita alla meno peggio, con grossolana approssimazione e poca conoscenza degli strumenti utilizzati fino a divenire di fatto un mega concorso nazionale, ma senza i posti a cui concorrere.
Certo il sistena e’ manipolabile e infatti le condizioni cambiano “in corsa”. Il sistema e’ anche migliorabile, ma la sensazione e’ che ci sia il desiderio di tornare ai vecchi e cari concorsi di cattedra a settori disciplinari ristretti.
Il riferimento a pubblicazioni ISI e’ un criterio oggettivo. Ci sono tanti con curricola scientifici solidissimi che ora vedono la possibilita’ di un riconoscimento con criteri trasparenti. Questi naturalmente sottovalutano poi i concorsi di ateneo.
Certo le posizioni disponibili sono meno di quelli che saranno abilitati, ma quelli che saranno – o potrebbero essere – abilitati saranno “tanti” perche le mediane sono quelle che sono.
Era assolutamente lecito attendersi una chiusura di questa tornata nei tempi previsti o poco oltre. Invece, si devono modificare… si devono manipolare.
“Si blocca tutto perche’ qualcuno che deve passare per forza non ha avuto un lavorino certificato?”
Lei non ha capito nulla.
Studi e ripassi daccapo quando ha capito come funziona l’ASN.
Peccato lei non specifichi e non contesti nel merito e il suo tono da solo fissa il valore della sua replica. Devo quindi reiterare.
Sono state pubblicate regole con cui si e’ aperta la valutazione, cui sono stati assegnati tempi precisi. La valutazione doveva essere conclusa nei tempi previsti – nel volere modificare i criteri si e’ arrivati alla farsa. Alcuni sono addirittura stati segnalati come soggetti non riceventi valutazione aggiornata, tra l’altro, come dice l’articolo, chissa’ se applica a tutti nelle stesse condizioni. Spiacevole, ma in vari settori disciplinari c’e’ un gruppo solidissimo di candidati ben oltre i requisiti d’ammissione. Dovrei “studiare”? Lo consiglio a chi ha avuto una produzione modesta tanto da far fatica a passare mediane che in qualche settore sono modeste rispetto ad un quadro internazionale.
ma cosa c’entra, si è parlato e riparlato di mancati agganci. Cosa c’entrano le manipolazioni? Inoltre non è stato cambiato alcun criterio. Se ha contezza di manipolazioni vada in Procura.
Quando io ho scritto che il sistema è “poco manipolabile” un intervento sopra dice esattamente il contrario, dicendo che “L’ASN è obiettivamente una manipolazione in se, degna nemmeno di una repubblica delle banane”. Di fatto le variazioni nel considerare i criteri, precisazioni uscite a domande sottoposte, hanno mutato il quadro di partenza.
Legga con maggiore attenzione.
“Invece, si devono modificare… si devono manipolare.”
Marcello Donatelli dixit.
Però, al di là di tutti i pregi ed i difetti che si vogliono trovare nelle mediane, qualcosa non torna coi mancati agganci. Sembra un time-out… (dal gergo della pallavolo)
Cari tutti l’evento è il seguente:
“il prof. Andrea Bonaccorsi, Componente del Consiglio Direttivo dell’ANVUR Giovedì 28/11/13, ore 15, Aula Bobbio, Scuola Politecnica e delle Scienze di Base, p.le Tecchio 80, Napoli. L’incontro durerà circa due ore e, dopo la presentazione del prof. Bonaccorsi sulle linee di tendenza dell’ANVUR, sarà possibile porre domande.
Tutti gli Interessati sono invitati ad intervenire.”
Vorrei sapere se c’è qualcuno di roars che copre questo incontro per porre alla fine qualche domanda come è previsto dalla locandina.
Scusate se ho usato lo spazio commenti
A proposito di processo che perde completamente di credibilità, se in un settore un commissario è coautore nel (circa) 92% delle pubblicazioni di un candidato (e in – circa – il 70% di esse è primo, ultimo o penultimo nome) pensate che potrà mai giudicare questo candidato con obiettività?
Sono state fatte analisi per verificare la numerosità di queste situazioni?
In teoria, in un mondo perfetto le mediane (ripeto: con tutti i limiti che hanno) dovrebbero servire proprio ad evitare situazioni del genere. In pratica, poiché l’abilitazione è diventata una sorta di “concorso per titoli” dove molte altre cose sono diventate importanti oltre le mediane, e cambiano di settore in settore… ai posteri l’ardua sentenza.
– 4 giorni e nn si sa niente. Nessuna nuova, buona nuova ?
E’ ormai una certezza (per quel che può valere la parola “certezza” in questo disgraziato paese): la sesta proroga non ci sarà, tutte la commissioni dovranno consegnare i verbali entro sabato (tranne forse 2-3 casi particolarmente penosi, in particolare quello della commissione che, arrivando 184esima e ultima, ha fatto la prima riunione il 26 settembre).
Questo ovviamente non significa che vedremo i risultati in rete lunedì: per quello, chissà che non ce la si faccia per S. Valentino
ringraziando il cielo, non c’è stata una nuova proroga. Quindi ora che accadrà ?
Accadrà che il MIUR ha 15 gg di tempo per controllare i verbali dei lavori delle commissioni e quindi per pubblicare i risultati. Questo è quello che dicono al Ministero — al quale si può anche telefonare o scrivere per ottenere informazioni dirette.
andate a vedere in giro per il sito i miei post sulle pubblicazioni inesistenti del ssd ICAR 21. cosa succede in questi casi? c’è una candidata che presenta un articolo su rivista e mette il codice ISSN, solo che l’articolo non esiste, ma il codice sì. l’aggancio avviene?