Il 14 febbraio viene pubblicata la nota MIUR 3209, in cui si dice che al fine di agevolare le commissioni per l’abilitazione scientifica 2012 sono stati reperiti ove possibile i codici identificativi di ciascuna pubblicazione. Tuttavia al fine di assicurare la verifica della correttezza dei codici si invitano i candidati all’abilitazione ad entrare nella procedura e a controllare i codici inseriti o, laddove mancanti a integrare:
I codici ISI e Scopus nelle aree bibliometriche
I codici ISBN ISMN e ISSN nelle aree non bibliometriche.
A seguito della nota a ciascun candidato alla tornata 2012 è stata inviata una mail in cui lo si invita ad andare sul sito Cineca (area abilitazione 2012) e a controllare/integrare i codici.
Il 15 febbraio sul sito di ciascun candidato appare la seguente nota
Ai fini della corretta associazione delle pubblicazioni presentate alle banche dati ufficiali, si chiede di verificare e, dove necessario, di completare i codici mancanti per ogni voce dell’elenco allegato.
Da qui il delirio.
Tanto più che nel Documento di accompagnamento: mediane dei settori bibliometrici a proposito delle mediane dei commissari ANVUR ci aveva tutti tranquillizzati illustrando una procedura con un ottimo tasso di successo:
[…]
Inizialmente si è predisposto l’archivio delle pubblicazioni indicizzate su Web of Science e su Scopus, costruito mediante interrogazioni delle basi dati che utilizzavano il cognome, l’iniziale del nome e l’affiliazione dei soggetti.
Successivamente, ogni prodotto inserito sul sito docente è stato utilizzato come dato di ingresso di una interrogazione lanciata sull’archivio costruito in precedenza. La procedura ha utilizzato un algoritmo di riconoscimento per l’identificazione del prodotto nell’archivio. L’obiettivo dell’algoritmo di riconoscimento era di ridurre al minimo gli errori di mancata corrispondenza dovuti a:
– errori nel sito docente (errori nel titolo della pubblicazione, nel nome dei coautori, nel nome della rivista, nel volume o anno, nelle pagine)
– errori nelle basi dati, in particolare in riferimento a errata imputazione del cognome dell’autore
– ambiguità nel riconoscimento degli autori, in particolare per il noto problema dei cognomi composti
– alcuni (limitati) casi di autori privi di qualunque riconoscimento nelle banche dati internazionali.
A procedura ultimata, si ritiene che la mancata corrispondenza tra sito docente e banche dati sia interamente imputabile a prodotti non indicizzati, in particolare capitoli di libro, riviste in italiano, atti di conferenze non indicizzati. Il tasso di copertura dei prodotti indicizzati rispetto al totale dei prodotti nei siti docente varia al variare del tipo di prodotto. Articoli su rivista sono stati identificati per una percentuale intorno al 96%. Tale percentuale scende, ovviamente, per le altre tipologie di prodotto: significativa, comunque, anche la percentuale di identificazioni sulla categoria Atti di conferenza, intorno al 32%, peraltro con punte decisamente più elevate per le aree CUN (01 e 09, con percentuali di identificazioni intorno al 52% e al 45%, rispettivamente) per cui tale tipologia di pubblicazione è particolarmente rilevante.[…]
Vediamo cosa è successo davvero nelle aree bibliometriche, dove il tasso di successo nel recupero degli ID degli articoli per la maggior parte dei commissari era stato del 96%. Il codice Scopus era in buona parte compilato in effetti, ma il codice ISI (lo chiamano ancora così al nostro Ministero) era nella maggior parte dei casi mancante. Pensate ad un docente che abbia nella sua carriera 300 pubblicazioni censite che deve recuperare 250 codici andandoli a ricercare uno a uno nella banca dati. (ci sono in effetti meccanismi di estrazione in formato excel , ma sono procedure avanzate che di norma i ricercatori non conoscono)
La cosa è tanto più assurda perché il codice identificativo è recuperabile tramite le API (gratuite) messe a disposizione da Elsevier e da TR, e se fosse stato chiaro che il meccanismo di recupero delle citazioni sarebbe stato così fallibile, a novembre gli uffici di supporto avrebbero potuto caricare i codici identificativi nei propri archivi, laddove presenti, e inviarli al sito docente, gestendo in tutta tranquillità i casi di mancato recupero. Ciò avrebbe risparmiato ai ricercatori un sacco di lavoro e agli uffici il solito lavoro di tutoraggio che ormai sono abituati a fare ogni volta che parte una procedura Cineca.
Qualcuno deve avere fatto presente il problema, perché sui siti docenti ,nella procedura, qualche giorno dopo è apparsa la seguente ulteriore nota
Se i codici ISI e Scopus sono già presenti nella sezione Pubblicazioni sul sito riservato loginmiur.cineca.it, a breve saranno visualizzati in automatico anche nel modulo di integrazione.
Laddove non si dice quando questi codici avrebbero dovuto essere già presenti.
Non si capisce ad esempio se questa nota derivi dal fatto che il Politecnico di Torino qualche tempo prima della nota del MIUR aveva fatto un invio massiccio di identificativi sul sito docente. Certo sarebbe stato utile che la notizia di una riapertura del sito docente per il caricamento degli ID fosse arrivata a tutti gli atenei… così avrebbero avuto tutti le stesse possibilità.
Nei settori non bibliometrici, infatti, dove era chiaro che i numeri standard erano necessari, questa problematica è stata risolta a monte già a livello di archivio di ateneo, e per gli atenei che hanno lavorato bene i ricercatori non hanno dovuto recuperare alcunché.
Un altro problema emerso è relativo al fatto che se una buona parte degli atenei ha l’abbonamento a WOS e Scopus (ma come farà ad esempio un non strutturato, o un candidato che proviene da una istituzione dove questi abbonamenti non ci sono?) l’abbonamento alla banca dati dei proceedings è stato sottoscritto in Italia da pochissimi atenei. TR aveva reso disponibile il trial molto opportunamente ad ottobre, per cui chi aveva fatto i calcoli rispetto ai propri indicatori aveva ricavato dal trial il numero di citazioni ma di certo non aveva pensato a registrare anche l’ID. Ora questo ID manca e non è recuperabile da nessuna parte.
Eppure l’ID serve. Quello che non traspare assolutamente dalle comunicazioni fatte da Ministero e Cineca è che gli indicatori dei candidati, ad oggi, non ci sono ancora. Che il completamento degli ID serve per l’aggancio alle citazioni secondo quel meccanismo già spiegato a suo tempo, laddove un lavoro è presente solo in Scopus o solo in WOS si prendono quelle citazioni, laddove il lavoro è presente in entrambe le banche dati si prende il valore più alto.
E così, dopo aver preso le distanze dalla banca dati nazionale (delibera 50 art. 5 Errori e omissioni nella compilazione del sito docente e completezza delle banche dati) Anvur lascia ai docenti il compito di eseguire l’aggancio con i dati bibliometrici per il calcolo degli indicatori, e quindi la responsabilità della costruzione degli indicatori individuali, senza fornire alcun supporto nel caso di mancanza di abbonamento alle basi di dati di riferimento, e costringendo ciascuno a fare con enorme perdita di tempo quello che una macchina avrebbe potuto fare in poche ore e per tutti.
Forse con un po’ più di umiltà e una gestione trasparente della comunicazione con (tutti) gli atenei si sarebbe potuto fare un lavoro migliore con un minor dispendio di energie.
La domanda sorge spontanea: con quali dati sono state calcolate le mediane? Mi sembra di capire che se un codice oggi non è presente vuole dire che quel dato non è stato considerato nel computo delle mediane se la pubblicazione era comunque presente alla data del 15/7/2012 sul loginmiur.
Ottima domanda. Se gli agganci sono problematici, che affidabilità avevano le mediane di agosto 2012?
“le mediane dei candidati”
“la responsabilità della costruzione della propria mediana”
Scusate, va bene che ci intendiamo tutti, ma sarebbe opportuno correggere nell’articolo l’uso del termine “mediana” con il termine “indicatori”.
Infatti occorre evitare di fare confusione. Io, per l’appunto, mi riferivo alle mediane di agosto, quelle da superare.
Thor, le uniche mediane che esistono sono quelle da superare. Non esistono mediane da non superare. I candidati hanno indicatori, non mediane.
Marc, che palle…
Thor, hai fatto tu reply al mio commento, mica il contrario.
Credo che molti sappiano che il calcolo delle mediane sia stato fatto senza passare dal Cineca!
Mi par di capire che, per una prima indicazione, sono stati utilizzati direttamente i dati di Scopus e non è da escludersi l’utilizzo del software Bib Analyzer.
Gli aggiustamenti a mano nessuno può escluderli, anzi…
Peccato che fare queste considerazioni non serva a nulla. La macchina sta andando comunque avanti e nessuno è in grado di fermarla, neppure il TAR.
No, Scopus in molti casi da mediane molto più basse.
Fantoni a suo tempo aveva parlato di approssimazioni. Effettivamente le mediane si possono approssimare senza dovere calcolare gli indicatori di tutti. Si scartano di volta in volta due docenti, uno che sta sopra con ragionevole certezza e uno che sta sotto con altrettanta ragionevole certezza. Alla fine si cerca di lavorare su un gruppo ristretto possibilmente alla larga da possibili omonimie e altre patologie su nomi e cognomi. Credo che alla fine le cose siano andate più o meno così. Naturalmente nei settori bibliometrici e con i dati inseriti al cineca. Secondo me l’ANVUR non ha ancora calcolato gli indicatori di tutti e non avrebbe potuto fornire i dati sulla distribuzione degli stessi. Ho visto o sentito di molte (troppe) caselle vuote nelle celle dove dovrebbero stare i codici ISI-Scopus.
2. Identificazione dei prodotti nelle banche dati
Il dato di partenza è rappresentato dallo stato del sito docente al 15 luglio 2012 (documento di accompagnamento. Mediane dei settori bibliometrici)
Grazie all’autrice per il contributo.
“laddove il lavoro è presente in entrambe le banche dati si prende il valore più alto”.
Mi era sembrato di capire che l’approccio seguito/da seguire fosse diverso: l’articolo XX è citato da A, B, C, D, E su SCOPUS, e da A, C, F su WoS. Il numero di citazioni totali per l’articolo XX dovrebbe essere 6 (unione di SCOPUS e WoS), e non 5, come l’articolo sembra riportare. E’ corretto?
Ha ragione l’autrice:
“per il calcolo delle citazioni dei prodotti scientifici presenti in più di una banca dati, si utilizza nella costruzione della distribuzione il numero maggiore” (Delibera ANVUR n. 50/2012, art. 7)
Grazie. Un po’, per così dire, asimmetrico, come criterio. Ma non c’è da stupirsi.
A parte il fatto che tutto è sempre più assurdo, ci sono alcune considerazioni che vorrei fare.
Innanzitutto, comunque siano andate le cose come fa notare Thor “le mediane si possono approssimare senza dovere calcolare gli indicatori di tutti. Si scartano di volta in volta due docenti, uno che sta sopra con ragionevole certezza e uno che sta sotto con altrettanta ragionevole certezza. Alla fine si cerca di lavorare su un gruppo ristretto possibilmente alla larga da possibili omonimie e altre patologie su nomi e cognomi. Credo che alla fine le cose siano andate più o meno così.” :-) … si poteva fare tutto al bar fra quattro amici. :-).
Eppure, su Roars c’erano quelli che sostenevano che coloro che non avevano caricato tutti i propri lavori erano da “lapidare” o quanto meno da mettere alla gogna”. Ora scopriamo che anche se i ricercatori avevano caricato tutto con cura, l’ANVUR “agganciava” poco più del 30% dei lavori di molti: “lapidiamo” l’ANVUR :-). Vi sono riviste su ISI che non hanno il codice WOS, ma i lavori sono citati e a volte anche tanto… anche queste citazioni non sono considerate: “mettiamo alla gonga” l’ANVUR :-).
Ho l’impressione che tutto questo ha fatto in modo che le mediane di Agosto siano tutte più basse del reale … quindi abilitare candidati che non superano le mediane comporterà la lapidazione e la messa alla gogna dei commisari oltre che dell’ANVUR :-).
No, non è esattamente così. Le critiche all’impianto delle mediane voluto da ANVUR sono molto razionali. Basta per esempio considerare il fatto che si mettono soglie determinate dalla mediana del ruolo a cui si aspira intendendo quindi che il 50% del personale (o giù di li) di quel ruolo si trova sotto la soglia richiesta ai candidati. Ma questa è solo una ragione, ci sono poi le possibili cordate che si possono innescare trainando persone, certamente collaboratori, che stando in gruppi numerosi hanno più facilità a pubblicare. E poi è doveroso parlare delle normalizzazioni che alterano in modo artificioso il modo di vedere le cose.
I dati assoluti, non normalizzati, si sono solo applicati ai candidati commissari. Come detto più volte da me, le mediane d’agosto un aiutino lo hanno dato ai candidati ai sorteggi (mediane assolute calcolate più basse di quelle reali sconosciute).
Non volevo riaprire la questione del calcolo delle mediane.
Mi sono limitata a sottolineare che il numero delle citazioni (che serve per il calcolo) si rileva attraverso l’aggancio con gli ID di WOS e di Scopus. Se mi si dice che l’aggancio fra registrazioni sul sito docente e banche dati di riferimento ha un tasso di successo variabile in alcuni casi del 96%, e nella realtà trovo schermate con centinaia di registrazioni in cui il campo (o i campi) sono vuoti, (o qualche volta riempiti con codici errati) secondo me c’è un problema. Anche il recupero manuale di centinaia di ID ha un costo per gli atenei. Questo problema era evitabile per molti atenei attraverso la diffusione delle informazioni.
Ora che abbiamo scoperto che l’ID è una informazione necessaria, per il mio ateneo abbiamo ad esempio già fatto in modo di caricare tutti gli identificativi reperibili attraverso DOI e proseguiremo per successivi raffinamenti. Non ci è costato molto fare una estrazione dalle banche dati
Forse non servirà per questa tornata, (da qui il riferimento alla cattiva informazione), ma la nuova tornata è alle porte
Resta invece il problema del recupero degli ID dei proceedings perché sono pochissime le istituzioni che hanno l’abbonamento a questo “pezzo” di WOS. Ma la mancanza dell’abbonamento per poter accedere al recupero degli ID deve essere davvero un problema dei singoli (e delle loro istituzioni)?
Sarebbe opportuno correggere nell’articolo l’uso del termine “mediana” con il termine “indicatori”. Ogni candidato (commissario o professore) ha i propri indicatori, con cui cercare di superare le mediane. Non ha una mediana personale, ma un set di tre indicatori, ciascuno dei quali da confrontare con la mediana relativa.
Ha ragione.
Salve a tutti. Riguardo a Completa i Riferimenti per le Pubblicazioni “TORNATA
2012”, settori NON blibliometrici, si parla solo di ISBN, quello dei
libri. E invece l’ISSN quello delle riviste? va inserito nella colonna dell’ISBN? manca la colonna dell’ISSN perchè non ci vuole o perchè è la stessa della colonna dell’ISBN? per le riviste basta solo il codice rivista?
Grazie per l’attenzione. Cordiali saluti
Aggiungo una domanda: per i contributi pubblicati in database online privi di qualunque codice numerico, che cosa scrivere nelle rispettive caselle del form “Completa i riferimenti”?
Nell’articolo si dice “buona parte degli atenei ha l’abbonamento a WOS e Scopus (ma come farà ad esempio un non strutturato, o un candidato che proviene da una istituzione dove questi abbonamenti non ci sono?)”. Io rientro parzialmente in questa categoria. Il mio istituto (un IRCCS) è abbonato a WOS ma non a Scopus, per cui le mie pubblicazioni hanno il codice WOS ma non quello di Scopus. Inoltre capitoli di libri ecc non hanno ovviamente nessuno dei due codici e quindi hanno campo vuoto per entrambi, avendo solo codici ISSN e ISBN. Chiesti lumi al Cineca, mi è stato risposto che:
1) i codici WOS e Scopus si possono non inserire entrambi, ne basta uno;
2) le pubblicazioni con codici ISSN/ISBN compaiono nel settore della valutazione non bibliometrica. Il mio settore concorsuale (11/E4) segue solo la valutazione bibliometrica quindi quella non bibliometrica non è compilabile.
Chiedo a chi è più addentro di me: quadra la risposta Cineca?
Rispondo alla 1).
Se ne inserisce uno solo, diciamo Wos, verranno calcolate solo le citazioni di articoli pubblicati su Wos. Quindi se il suo articolo ha più citazioni su Scopus che non su Wos, lei riceve un danno (che magari è irrilevante, ma non è detto).
Ovviamente a meno che lo staff cineca o altra parte non effettui l’agganciamento anche all’altro database.
A proposito degli indici ISI e Scopus, questo è il messaggio ricevuto dal collega Alessandro Pezzella rappresentante al CUN:
Cari colleghi,
nella seduta CUN di ieri il ministro uscente ha salutato i nuovi consiglieri – al di la di temi di discussione “ampi” (es. la possibilità
di rivedere la organizzazione dei ministeri, la necessità di reperire fondi pubblici e privati per l’univerità, l’assenza delle regioni nel sostegno agli atenei, etc etc …) per i quali data appunto
l’ampiezza e lo scenario politico attuale è prevedibile scarsa ricaduta, è stata l’occasione per porre la necessità di fare chiarezza sulla richiesta di complicazione dei codici Wos e scopus per le pubblicazioni presentate dai candidati alle ASN.
Le indicazioni avute a tale riguardo dal direttore Livon – anche lui presente all’incontro – hanno chiarito che la mancata compilazione dei
codici non costituisce una “penalizzazione” per i candidati. La richiesta con nota n.3209 del 14 febbraio non è vincolate ma facoltativa e non sono previste “ricadute negative” tipo esclusione dell’articolo
che non ha i codici – di fatto la responsabilità finale delle corretta determinazione dei parametri dei candidati resta a CINECA/ANVUR.”
Quindi nessun obbligo per i vari abilitandi nè per gli atenei di fare un lavoro mostruoso e, ancora meno, di spendere quattrini per abbonarsi alle banche dati.
Mi sembra un’ottima notizia!
Dalla circolare di Livon apprendiamo che è stato fatto un tentativo di recupero dei codici, che gli autori possono andare a correggerli qualora fossero sbagliati (e parecchi sono sbagliati) e che se vogliono possono completare i loro codici a mano.
E se non vogliono questi codici come verrebbero recuperati? Nello stesso modo in cui si è lavorato nel primo tentativo di recupero codici in cui in moltissimi casi non si è recuperato quasi nulla?
Come verrà fatto insomma questo aggancio con gli ID e poi le citazioni? Se c’è un sistema robusto alle spalle perché mai chiedere ai docenti di intervenire individualmente su ogni record?
Ma questo fa parte, appunto, della cattiva informazione.
Non riesco a capire questa storia del recupero. Recupero da dove? Erano stati usati e poi cancellati? Perchè? Mi sembra molto strana la cosa. Tra l’altro i codici non vengono caricati a mano ma in automatico. Per quello che ho potuto vedere la parte alfanumerica dei codici corrisponde sempre al lavoro inserito (settori bibliometrici). Non capisco invece la ragione delle cellette vuote quando i codici esistono.
Scusate la domanda ovvia: ma se il Cineca a candidati e aspiranti commissari indicasse ANCHE quante citazioni ha ciascun articolo?? Sarebbe così complesso da realizzare nell’anno del Signore 2013? E’ chiesto ai candidati di controllare stringhe di caratteri (i codici isi/scopus) ma non poi è possibile indicare per ogni articolo quante citazioni questo ha ricevuto (al massimo tre cifre direi)? Qualcuno è a conoscenza di un qualsiasi motivo per cui i candidati non possano semplicemente controllare ANCHE il numero delle citazioni? Non dico che i candidati dovrebbero indicare loro le citazioni come succede in tutto il resto del mondo, perche’ si sa che gli accademici italiani sarebbero capaci di qualsiasi nefandezza…
Rispetto alle citazioni, ora non siamo più in grado di controllare con esattezza, perché dovrebbero essere state congelate alla data di chiusura del bando, mentre coi nostri abbonamenti abbiamo una situazione attualizzata.
Rispetto alla domanda diThor, da dove vengono recuperate le citazioni
e’ stata fatta una operazione di matching fra cineca e le banche dati WOS e Scopus, coi risultati che ciascuno ha visto. Cioè questo è il massimo risultato raggiunto nel recupero degli ID (e quindi delle citazioni).
Non conosciamo le modalità del matching,, quelle dichiarate nel documento sulle mediane appaiono alquanto macchinose.
Quello che non si è riusciti a recuperare dalle banche dati in maniera automatica dà come risultato la casella vuota nella pagina dell’abilitazione.
Quindi dove si trova la casella vuota l’ID non c’è mai stato.
Perché non lo diciamo una volta per tutte: lavorare con i dati WoS o Scopus non è facile. E se un gruppo di apprendisti stregoni (ANVUR) decide di farlo con persone che non hanno mai lavorato su quei database, questo è il risultato. Non c’è da meravigliarsi, purtroppo.
Quello che non si è riusciti a recuperare dalle banche dati in maniera automatica dà come risultato la casella vuota nella pagina dell’abilitazione.
Quindi dove si trova la casella vuota l’ID non c’è mai stato.
———————————————–
Quindi il dato citrazionale relativo non è mai stato considerato se è così. Le tabelle di mediane bibliometriche sono quindi state ricavate su dati incompleti (il che non vuole dire che siano più basse per i candidati all’abilitazione considerando la normalizzazione per l’età accademica). Se un candidato non riempie la casella, avendo il dato a disposizione, chi lo farà al posto suo? E una volta riempita la casella, a che data si cercano le citazioni? Il cineca è evidente che non certifica un bel nulla e questo sembra un giochino per introdurre un passaggio che potrebbe tradursi in uno scarico di responsabilità.
Paola questa è la risposta appena ricevuta da Cineca ad esplicita richiesta sulle citazioni:
In banca dati è presente tutto ciò che era stato recepito da iSI e SCopus ai primi di febbraio
Quindi deduco che la situazione è stata congelata ai primi di febbraio!!
Notavo proprio ora che ISI Web of knowledge ha anche un accession number in all databases che può essere diverso da WOS: ma che per esempio è CCC:
Scopus individua lavori di questo tipo ma le indicazioni dell’ANVUR/CINECA non consentono di potere fare il confronto con ISI perchè viene preclusa, in modo del tutto arbitrario, l’immissione di tali coordinate di accesso. Il danno nel mio caso è irrilevante ma non è detto che sia così per chiunque.
Un quesito/consiglio:
nella mia scheda con i dati inseriti da Miur/Cineca ho rilevato 10 codici ISI esatti e 34 sbagliati. Quelli sbagliati risultano inesistenti, almeno da una mia ricerca su WOS tranite “Accession Number”, ovvero, le corrispontenti pubblicazioni non mi rusultano essere su WOS.
Devo lasciare tali codici che ritengo errati o è meglio torglierli e lasciare vuoto il campo?
Mi è stato segnalato che UniBO (la mia sede) non dispone dell’accesso a WoS per i proceedings, ma solo riviviste. I codici sono quindi presumibilmente esatti, ma non ho modo di verificarli, ne di integrarli… Saluti.