Lunedì 31 ottobre, sono state sorteggiate 184 commissioni per la nuova tornata dell’Abilitazione Scientifica Nazionale. Gli aspiranti commissari sono stati informati dell’esclusione o dell’inclusione nelle liste dei sorteggiabili a brevissima distanza dal sorteggio. Sono note a tutti le fragilità delle regole bibliometriche che regolano l’accesso alle commissioni: se qualcuno degli esclusi riuscisse a mostrare che è stato ingiustamente escluso, ne risulterebbe automaticamente invalidato il sorteggio della commissione del suo settore. Ancora peggio se qualcuno dei candidati bocciati scoprisse che qualcuno dei commissari non possedeva i requisiti bibliometrici per l’eleggibilità. Una possibilità remota, alla luce della robustezza delle procedure messe a disposizione dal CINECA? Non tanto remota, perché può accadere che alcune pubblicazioni non indicizzate su Scopus e Web of Science (e pertanto inutili al superamento delle soglie) vengano “agganciate” a pubblicazioni altrui che invece sono indicizzate (e quindi contribuiscono al superamento delle soglie). Vediamo, attraverso un esempio, come possa effettivamente verificarsi questo “furto bibliometrico”.
Lunedì 31 ottobre, sono state sorteggiate 184 commissioni per la nuova tornata dell’Abilitazione Scientifica Nazionale. Nel dare la notizia, Roars aveva aggiunto questo commento:
Questa volta, gli aspiranti commissari sono stati informati dell’esclusione o dell’inclusione nelle liste dei sorteggiabili a brevissima distanza dal sorteggio. Tuttavia, sono note a tutti le fragilità delle regole bibliometriche che regolano l’accesso alle commissioni, sia nei cosiddetti settori bibliometrici che in quelli non bibliometrici. In qualche senso, si può dire che il MIUR ha deciso di scherzare col fuoco. Se qualcuno degli esclusi riuscisse a mostrare (davanti al giudice amministrativo, questa volta) che è stato ingiustamente escluso, ne risulterebbe automaticamente invalidato il sorteggio della commissione del suo settore.
Ancora peggio se qualcuno dei candidati bocciati scoprisse che qualcuno dei commissari non possedeva i requisiti bibliometrici per l’eleggibilità. Anche in questo caso, verrebbe meno la legittimità della commissione, aprendo le porte a un ricorso demolitorio nei confronti degli interi lavori della commissione.
Una possibilità remota, alla luce della robustezza delle procedure messe a disposizione dal CINECA? Non tanto remota, a dire il vero, perché può accadere che alcune pubblicazioni non indicizzate su Scopus e Web of Science (e pertanto inutili al superamento delle soglie) vengano “agganciate” a pubblicazioni altrui che invece sono indicizzate (e quindi contribuiscono al superamento delle soglie). Vediamo, attraverso un esempio, come possa effettivamente verificarsi questo “furto bibliometrico“.
Nella pagina CINECA di uno dei redattori di Roars, tra le diverse pubblicazioni, c’è n’è una che appartiene alla categoria “abstract su rivista:
Niente di speciale. Giustamente, non è indicizzato in Scopus e nemmeno in Web of Science. Usiamolo però per fare un esperimento e proviamo a schiacciare il pulsante che fa partire la ricerca automatica di un “aggancio bibliometrico” con il database Scopus. Ci si aspetta che la ricerca vada a vuoto (come accade in altri casi simili), e, invece … sorpresa!
Il responso è : “codice verificato e associabile alla pubblicazione“. Forse ci eravamo sbagliati e, contrariamente a quello che pensavamo, il nostro abstract è stato indicizzato. Poi, però guardiamo meglio il titolo (vedi riquadro rosso) e ci rendiamo conto che è quello di un articolo del tutto diverso.
Kuharev, J., Navarro, P., Distler, U., Jahn, O., & Tenzer, S. (2015). In‐depth evaluation of software tools for data‐independent acquisition based label‐free quantification. Proteomics, 15(18), 3140-3151.
Ma non solo: nessuno degli autori di questo articolo spuntato dal nulla coincide con qualcuno degli autori del nostro abstract. Tutto molto strano. Andiamo avanti e proviamo fare clic sul bottone per l’aggancio. Ed ecco il risultato.
Come si può vedere, il nostro abstract ha ricevuto il “bollino verde” per Scopus, ovvero, come spiegato nella legenda in alto, è dotato di
Codice associato e convalidato dal candidato rispetto alla pubblicazione ai fini del calcolo degli indicatori
Cosa succederebbe se un commissario non sorteggiato o un candidato bocciato si accorgessero che uno dei commissari superava le soglie grazie a qualche bollino fasullo?
Noi speriamo che la fequenza degli errori sia piccola (anche se è bastato poco tempo per trovarne uno) e che gli eventuali errori non siano determinanti né per i commissari né per i candidati. Tuttavia, riteniamo che questo esempio aggiunga qualche utile spunto di riflessione sull’inadeguatezza tecnica e giuridica dell’uso della bibliometria a fini amministrativi.
Finalmente qualcuno che pone esplicitamente il problema! E nel caso qualcuno tentasse una frode esplicita, diciamo, convincendo qualche impiegato di Scopus ad agganciare o sganciare qualcosa? Come verremmo a saperlo, visto che ISI e Scopus dichiarano apertamente che le loro banche dati possono contenere errori? Visto pure che non hanno sede in Italia… Ci vuole una rogatoria internazionale?
Per fare un paragone, qualcuno accetterebbe mai che la mia dichiarazione dei redditi (con redditi esclusivamente percepiti in Italia) venisse certificata da un ente privato con sede all’estero?
Non sono un giurista, ma più ci penso, più credo che questo uso delle banche dati sia completamente al di fuori della legalità, a prescindere dalla presenza di errori o dalla possibilità di comportamenti scorretti. E poi, non c’è nemmeno un confine preciso tra correttezza e scorrettezza, chissà cosa hanno fatto o cosa potrebbero fare certi direttori di riviste per essere inclusi. E, ovviamente, le banche dati sono di proprietà di editori, alla faccia del conflitto di interessi…
Ho esplicitamente posto questo problema il 4 settembre:
https://www.roars.it/la-settimana-roars-8-agosto-4-settembre-2016/
Grazie a Pasquale, vox clamantis in deserto. Da parte mia, ho pensato che fosse utile dare una dimostrazione concreta e incontrovertibile di una delle possibili falle. A chi obietterà che stiamo cercando il pelo nell’uovo, suggerisco di rileggere il commento di Marinella Lorinczi (https://www.roars.it/le-soglie-di-asn-lupin-sono-possibili-i-furti-bibliometrici/comment-page-1/#comment-60591), facendo anche notare che non ci ho messo troppo tempo a trovare il “bug”. Può anche essere che i redattori di Roars siano particolarmente dotati o fortunati nel fiutare le magagne, ma di questo decideranno i posteri.
Finalmente si comincia a parlare di un problema reale. La cosa peggiore che poteva fare questo sistema è l’imbroglio legale oramai molto comune delle “mediane”. Già gli indici bibliometrici dicono poco e nascondono molto quando sono veri. Qui invece si vede di tutto: candidati (commissari o all’abilitazione) che hanno il 50-70% di autocitazioni, citation rings organizzati da gruppi accademici, riviste create per raccogliere citazioni, … . Ovviamente adesso si dirà che questo lo fanno solo una minoranza esigua che non rappresenta nulla a livello statistico. A me non sembra.
Avendo un difetto serio alla batteria, la Samsung ha ritirato dal mercato uno degli ultimi modelli, se non l’ultimissimo. Ovviamene non tutte le batterie di tutti i telefonini si sono incendiate o giù di lì, ne sono bastate 1-2. Una cosa del genere era successa a non so quale macchina, non molto tempo fa. Per analogia, una procedura, se mostra un serio difetto, va ritirata, verificata, aggiustata, ritestata in tutti i modi e soltanto allora attivata. Ma all’Anvur pensano che nessuno si accorga di nulla, tanto più che immagino che nemmeno capiscano bene (fino in fondo, fino alle possibili conseguenze) cosa stanno facendo. Sono come ragno (incompetente) impigliato nella propria tela, più ne tesse più s’ingarbuglia.
Sono stato bocciato all’ASN 2012 per valori soglia errati.
Avendo fatto domande in più settori, ho verificato anche che attribuivano valori diversi agli indicatori per le stesse pubblicazioni in dipendenza dell’ora della chiusura della domanda.
Scrissi al servizio consulenza del Cineca che mi pregò di verificare col ministero competente.
Risultato dopo quasi due mesi:
Your message
To: asn@cineca.it
Cc: Capo Segreteria Ministro
Subject: Re: Indicatori diversi per diverse commissioni
Sent: Thu, 30 Jan 2014 12:54:07 +0100
was deleted without being read on Mon, 10 Mar 2014 13:30:14 +0100
Gentile Pasquale, in quello che racconti (ed esprimo per primo il mio dispiacere sincero per la vicenda) ci sono due problemi generali seri (per come li posso valutare io, nel mio piccolo). Uno: l’efficientismo di facciata delle operazioni istituzionali digitalizzate, e-mail compresa, è un bluff totale. Se non c’è persona o volontà o capacità per rispondere o per fare è soltanto fumo negli occhi e intanto il cartaceo aumenta a dismisura. Due: un’autorità, se meschina, se mediocre, se sta lì soltanto perché altri gli hanno detto di stare lì, si comporta da coniglio (con tutta la considerazione per i conigli veri); quando non sa o non vuole rispondere, si nasconde, cioè tace o parla d’altro; è codarda, in altre parole, è vile, inoltre sprezzante e soprattutto incompetente.
Inoltre, in questi giorni sono scomparsi molti prodotti e citazioni sul database di Scopus. Il loro reinserimento, se richiesto esplicitamente, richiede anche più di due settimane. Quindi è possibile che qualche candidato a commissario sia stato “ingiustamente” escluso per un problema legato alle citazioni. Del resto la pubblicazione delle liste dei commissari idonei è avvenuta poche ore prima del sorteggio senza possibilità di ricorso… Una procedura troppo “strana”.