Mozione circa la disposizione dell’art 6 (indicatori di attività scientifica) del DM 76/2012
L’Assemblea GRIN dell’8 novembre 2012 all’unanimità auspica che la Commissione di abilitazione del settore concorsuale 01/B1-Informatica si avvalga della possibilità, esplicitamente
prevista dal comma 5 dell’art. 6 del DM 76/2012, di discostarsi, ai fini della valutazione dell’impatto della produzione scientifica complessiva dei candidati, dai princìpi elencati nei
commi dall’1 al 4 dello stesso articolo, dandone specifica motivazione secondo le modalità previste nello stesso comma 5.
Questo auspicio è motivato sia dalla convinzione dei membri del GRIN che nessuna valutazione possa mai utilizzare, neppure come condizione solo necessaria, una combinazione di indicatori bibliometrici in modo automatico, cioè senza una valutazione effettiva ed un’assunzione di responsabilità da parte dell’esperto che effettua la valutazione, sia dai problemi di scarsa validità delle banche dati usate in questo specifico concorso per il nostro specifico settore, come descritto nel Manifesto GRIN “Uso di indicatori nella valutazione della ricerca in Informatica: alcune linee-guida del GRIN” approvato all’unanimità dall’assemblea stessa, nonché nei documenti da esso citati.
Milano, 8 novembre 2012
Uso di indicatori nella valutazione della ricerca in Informatica: alcune linee-guida del GRIN
Il GRIN, che riunisce più di 800 docenti del settore scientifico disciplinare INF/01, ha ritenuto opportuno elaborare le seguenti linee-guida sull’uso di indicatori nell’attività di valutazione della ricerca in Informatica, approvate all’unanimità dall’Assemblea dell’8 novembre 2012, raccogliendo alcune considerazioni generali ed alcune proprie dello specifico settore, anche alla luce del fatto che a tale data risulta ancora insoluta la richiesta, spedita il 28 settembre 2012 dal Consiglio Universitario Nazionale al Ministro dell’Istruzione, Università e Ricerca Scientifica, di un “provvedimento ministeriale di chiarimento” per far luce su “l’incertezza tuttora perdurante all’interno della comunità accademica in merito alla corretta interpretazione del DM 7 giugno 2012, n. 76, quanto al margine di discrezionalità di cui potranno usufruire le Commissioni per le abilitazioni scientifiche nazionali”. Queste indicazioni si basano sull’osservazione fondamentale che l’uso corretto di indicatori sintetici può giocare un ruolo importante ed utile nella valutazione di ogni tipo di ricerca, mentre l’uso sbagliato di indicatori sintetici può portare a valutazioni sbagliate e a danni sistemici nelle pratiche dei ricercatori. In particolare, gli indicatori andrebbero usati soprattutto come elemento conoscitivo preliminare ed approssimativo dello “spessore” del profilo scientifico, ma sempre tenendo presente che ci sono caratteristiche qualitative che sfuggono a qualunque indicatore. La valutazione della ricerca del singolo scienziato è qualcosa la cui responsabilità deve poggiare in ultima analisi sull’assunzione di responsabilità personale di chi giudica. Nel seguito vengono presentate alcune linee guida generali ed alcune considerazioni specifiche per il settore, ampiamente condivise anche dalla comunità internazionale di riferimento [Académie des Sciences, 2011], [Adler et al, 2009], [Meyer et al, 2009], [Kermarrec et al, 2007].
Linee guida generali
• Interpretazione degli indicatori da parte di esperti della disciplina: la valutazione deve essere sempre espressa da esperti del settore scientifico sulla base di tutte le informazioni che sono a disposizione, senza mai considerare gli indicatori come unico fattore determinante.
• Qualità degli indicatori: Gli indicatori devono essere definiti in modo non ambiguo, essere adatti alla comunità scientifica di riferimento, essere considerati validi dalla stessa comunità.
• Trasparenza degli indicatori: gli indicatori devono essere calcolati a partire da dati noti, pubblicamente disponibili e ritenuti attendibili da parte della comunità scientifica di riferimento ed il calcolo deve essere ripetibile da parte di tutti i soggetti interessati.
• Uso di più indicatori: nel caso in cui il processo di valutazione includa l’uso di indicatori, si raccomanda l’uso di molteplici indicatori, soprattutto quando l’oggetto della valutazione siano individui o piccoli gruppi.
• Gli indicatori bibliometrici devono misurare la qualità della specifica pubblicazione piuttosto che la sola qualità della sede di pubblicazione: deviazioni da questo principio sono possibili solo in casi la cui eccezionalità è riconosciuta dalla comunità scientifica di riferimento.
• Periodo temporale di riferimento: il calcolo e l’uso degli indicatori devono tenere conto dei periodi di interruzione nell’attività di ricerca e delle relative motivazioni, con particolare attenzione ai periodi di congedo obbligatorio.
• Valutazione del contesto d’uso: per ogni indicatore la comunità scientifica di riferimento deve aver individuato i contesti nei quali i suoi valori sono maggiormente attendibili e i contesti nei quali l’uso è da sconsigliare.
Considerazioni specifiche per il settore
• Considerazione delle Conferenze: La disciplina informatica è caratterizzata da una peculiarità nelle pratiche di ricerca, ampiamente riconosciuta a livello internazionale fin dagli anni ’90 ([CSTB, 1994] [Patterson et al, 1999] [Meyer et al, 2009]), che consiste nel fatto che, a differenza di altri ambiti scientifici, gli articoli in atti di convegni internazionali sono spesso considerati dagli informatici la sede preferita dipubblicazione. Di conseguenza, in molte aree dell’informatica il prestigio dei principali convegni internazionali è pari a quello delle principali riviste. La presenza di pubblicazioni in tali conferenze nel curriculum del candidato deve essere tenuta in debito conto nella valutazione, che non deve quindi limitarsi alla considerazione delle pubblicazioni su rivista.
• Insufficienza delle banche dati ISI e Scopus. Nella comunità informatica internazionale è stato più volte evidenziato che i database ISI e Scopus coprono molto parzialmente sia la produzione esistente di articoli informatici, sia le citazioni ad essi, sia in conseguenza alla scarsa copertura delle conferenza, sia per la mancata copertura di alcune importanti riviste. In tal senso, l’uso di strumenti quali Google Scholar (che possiede una copertura decisamente superiore del settore informatico) può dare indicazioni più affidabili sull’impatto che singole pubblicazioni hanno avuto nel settore.
• Deviazioni sistematiche nelle banche dati ISI e Scopus. Nelle banche dati Scopus ed ISI, ed in particolare in quest’ultima, le citazioni provenienti da aree di ricerca molto più popolate rispetto all’area Informatica portano ad una sopravvalutazione degli indici bibliometrici delle sottoaree dell’Informatica più vicine a questi specifici settori, e quindi ad una sistematica sottovalutazione delle altre.
Riferimenti bibliografici
[Adler et al, 2009] “Citation Statistics” report from the International Mathematical Union (IMU)
[CSTB, 1994] Computer Science and Telecommunications Board, Academic Careers for Experimental Computer Scientists and Engineers, 1994
[Kermarrec et al, 2007] “What do bibliometric Indicators measure ?”, INRIA Evaluation Committee,
[Meyer et al, 2009] B. Meyer, C. Choppy, J. Staunstrup, J. van Leeuwen, Research Evaluation for Computer Science, Communications of the ACM, 52 (4), 31-34, 2009
Personalmente trovo che pensare di utilizzare Google Scholar per risolvere i problemi di ISI e Scopus sia una cura peggio del male.
Quoto in pieno!
A parte l’assurdità di giudicare un singolo ricercatore in base al numero di articoli che ha pubblicato, e a calcoli perversi sulle citazioni, nell’approccio ANVUR i punti critici sono, a mio modo di vedere:
1) il non considerare il numero di autori (né il loro ordine) di ogni articolo;
2) il non escludere le autocitazioni;
3) il non tenere conto delle citazioni in libri o tesi di dottorato;
4) l’affidarsi a banche dati commerciali private straniere.
Personalmente, ritengo i criteri elaborati dal CUN di gran lunga più ragionevoli di queste assurdità elaborate dall’ANVUR per implementare l’altrettanto assurda legge Gelmini.
Detto questo, vorrei segnalare che Scopus si sta dando una mossa, e sta integrando una gran mole di nuovi dati, tra cui molti atti di conferenze in informatica ad esempio.
Un commento ed una precisazione.
Il commento è sul punto 4: le banche dati da lei citate, seppur commerciali e straniere sono sicuramente più affidabili di un Google Scholar o della “auto” banca dati cineca.
La precisazione: non è Scopus (o ISI) che si è data una mossa, ma solo coloro che organizzano convegni, principalmente internazionali, che hanno capito l’andazzo e hanno chiesto, tramite una stretta procedura, un’indicizzazione dei propri atti.
Per il resto, convengo con lei su tutta la linea.
Un documento di tale buon senso che si fa fatica a credere che l’ANVUR abbia precipitato l’università e la ricerca italiane nell’incubo dei quadrati magici della VQR e delle mediane per l’ASN.
Sottoscrivo quasi tutto, ma mi associo a chi ha sottolineato che Google Scholar è un rimedio peggiore del male. Sono certo che l’evoluzione dei motori di ricerca e degli altri strumenti di indagine in rete permetterà nel giro di pochi anni di acquisire indicazioni sul reale impatto della produzione scientifica infinitamente più attendibili e significative di quelle attualmente fornite dai database commerciali, ma ancora non ci siamo proprio.
E comunque (sembra quasi inutile ripeterlo) per la valutazione individuale il giudizio degli esperti competenti resterà insostituibile almeno fin quando un computer non supererà il test di Turing.
La mia impressione è che Google Scholar non sia citato come rimedio. Ma per dire che la copertura dei database più affidabili al momento (WoS Scopus) non è buona per gli informatici. Tanto che GS contiene molta più informazione. Ricavo questa impressione dal fatto che il documento è così ben fatto regole per l’uso che non posso credere che gli estensori ritengano GS la soluzione! L’applicazione delle linee guida generali indicate nel documento, esclude che GS sia la soluzione.
GS include i riferimenti a conferenze (anche molto importanti in ambito ingegneristico) totalmente ignorate da Scopus (e a fortiori da ISI, che nel nostro campo è inutile).
Inoltre la copertura delle citazioni da conferenza in Scopus era estremamente carente: per questo devono aver ricevuto centinaia di migliaia di segnalazioni in occasione dell’ASN.
Ovviamente GS include anche citazioni da tesi di laurea e dottorato disponibili online, ed è qui che nasce la questione dell’affidabilità, per quanto mi riguarda (Area 09).
Va anche detto che GS non ricopre completamente Scopus.. nella penosa caccia alle citazioni cui sono stato costretto ho trovato anche casi simili (citazioni trovate da Scopus ma non da GS, invero pochissime).
@StefanoL (6 dicembre 2012 at 14:37)
GS include i riferimenti a conferenze (anche molto importanti in ambito ingegneristico) totalmente ignorate da Scopus (e a fortiori da ISI, che nel nostro campo è inutile).
Inoltre la copertura delle citazioni da conferenza in Scopus era estremamente carente: per questo devono aver ricevuto centinaia di migliaia di segnalazioni in occasione dell’ASN.
Ovviamente GS include anche citazioni da tesi di laurea e dottorato disponibili online, ed è qui che nasce la questione dell’affidabilità, per quanto mi riguarda (Area 09).
Vorrei fare notare che i database Scopus ed ISI non sono peggiori perchè hanno “meno articoli”, come se non riuscissero a “trovarli”. I database Scopus ed ISI sono provati e sottostanno a determinate regole di affidabilità. Una rivista (o gli atti dei convegni) per poter essere registrata all’interno del database Scopus o ISI deve avere requisivi molto alti: pubblicazioni in lingua inglese, periodicità fissa, buon editorial board, etc. Ritenere Google Scholar migliore perchè “trova anche articoli su convegni nazionali” vuol dire non aver compreso il problema dei database stessi.
Non capisco il problema di GS o Scopus o ISI. L’importante è che le mediane siano state calcolate tutte con lo stesso data base. Se un SSD non è rappresentato in un data base, le mediane di quel SSD saranno ovviamente basse. Se un SSD è ben rappresentato (nel senso che le pubblicazioni/convegni sono tutti indicizzati in quel data base) le mediane saranno piu’ alte. E solo una traslazione dell’asticella verso l’alto o il basso. L’importante, ripeto, è che per tutti venga utilizzato lo stesso data base
Non è così semplice.
L’assenza di alcune prestigiose conferenze a forte caratterizzazione tematica penalizza pesantemente chi vi pubblicava con regolarità.
@StefanoL 6 dicembre 2012 at 15:14
“Non è così semplice.
L’assenza di alcune prestigiose conferenze a forte caratterizzazione tematica penalizza pesantemente chi vi pubblicava con regolarità.”
Stefano hai perfettamente ragione; il caso degli articoli al convegno SAE è più che evidente, per esempio. In quel caso, però, la commissione, sapendo delle “mancanze del database” può decidere di considerare “anche” altri paper presentati su determinate riviste o convegni. Questa soluzione (sembra) sarà adottata in alcuni specifici SSD.
OK, questo è un caso che non conoscevo. grazie. certo che anche gli organizzatori pero’…
@Risitano
Ma siete una persona sola?
Quello che mi taccia di “non comprendere il database” e di lamentarmi per presunti “congressi nazionali” (leggi: fuffa) e quell’altro che, dieci righe sotto, mi dà ragione?
Rispondo al primo:
non ho mai detto che GS è migliore né parlato di congressi nazionali.
Invece, le conferenze *non indicizzate Scopus* cui mi riferisco:
1) sono in inglese
2) con svariati lustri se non decenni di esistenza
3) frequentate dai migliori esperti a livello mondiale e ospitate da prestigiosissime università
4) con blind peer-review.
Vedi un po’.
@StefanoL
Ti do ragione sul fatto che ci sono alcune conferenze di prevalenza mondiale (come ho detto sopra il caso del SAE è uno di questo) che non compaiono nel database ISI o Scopua e che per questo motivo (mi autocito il post precedente): la commissione, sapendo delle “mancanze del database” può decidere di considerare “anche” altri paper presentati su determinate riviste o convegni; questa soluzione (sembra) sarà adottata in alcuni specifici SSD.
Non ti posso, ovviamente, dare ragione quando dici che (questa volta sono io a citare te) “Inoltre la copertura delle citazioni da conferenza in Scopus era estremamente carente: per questo devono aver ricevuto centinaia di migliaia di segnalazioni in occasione dell’ASN” perchè le migliaia di sollecitazioni non servono a niente per “smuovere” Scopu o ISI. Come ho già detto, per far si che una rivista e/o gli atti dei convegni siano indicizzati secondo le librerie prima elencate è necessario un lungo processo molto restrittivo che dura almeno 3 anni. Lo dico per esperienza diretta, tutto li.
Per quel che riguarda la “fuffa”, sempre per esperienza diretta, tutti i congressi nazionali a cui ho partecipato o non hanno la peer review o la hanno molto blanda (e sono gentile) fatta su un abstract di una pagina; come detto prima, la peer review del SAE è tutta un’altra cosa ed è paragonabile a quella delle più prestigiose riviste. Il termine “fuffa”, quindi, non è riferito al fatto che non ci siano paper validi (anzi, in alcuni casi si rimane anche stupiti) quanto al fatto che ci sono “sicuramente” paper non validi. Spero di aver chiarito la mia “doppia personalita”. ;-P
PS
So che il posto giusto non è questo e che rischio di andar in off topic, ma come già fatto più volte notare da alcuni utenti, credo sia giusto che in ROARS l’ID utente sia il proprio nome e cognome in modo da rendere tutto più trasparente e sensato.
Per chiuderla qui (anche perché esco da una lezione fiume):
1) Ripeto, non ho mai parlato di conferenze nazionali, che nel mio SSD di fatto non esistono più (al più ci sono delle giornate di studio irrilevanti ai fini bibliometrici, e ovviamente prive di peer review). Le due conferenze non incluse di cui parlavo hanno invece la peer review (non su un abstract di una pagina!)
2) Le sollecitazioni cui mi riferivo riguardano la correzione dei record delle citazioni da *documenti indicizzati Scopus* a *conferenze indicizzate Scopus*, che erano ENORMEMENTE deficitari. Tant’è che solo con queste correzioni il numero delle mie citazioni Scopus è cresciuto del 283%, dati alla mano. La cosa vale per tutti i miei colleghi, che hanno sommerso Scopus con le suddette richieste di correzioni.
Le tue spiegazioni sono ben accette e, quindi, concordo con te. Buon fine di giornata.
Appartengo al settore 01/B1 e sono membro GRIN.
Trovo assurdo equiparare nel mio settore riviste internazionali e convegni; per pubblicare in una buona rivista internazionale di informaticaè necessario subire un lungo e serio processo di revisione, per pubblicare in atti di un convegno, il processo di revisione, se c’è è modesto. Inoltre nel mio settore la qualità della rivista, ovvero il suo inpact factor, è fondamentale, tannt’è che lo stesso GRIN procedeva ad effettuare fino al 2005 classificazioni delle riviste.
Assurda poi è la considerazione su Google Scholar; certo che offre un impatto maggiore, pur se non uniforme, ma a quel punto o Google Scholar veniva preso in considerazione da bando ministeriale o niente, perchè immagino ci siano colleghi che non si sono candidati perchè non raggiungevano i parametri necessari a superare almeno due mediane, e magari le avrebbero superato abbondantemente considerando Google Scholar. Costoro allora sarebbero penalizzati se i commissari considerassero Google Scholar.
Ho la sensazione che il GRIN miri solo alla tutela corporativa, come qualsiasi ordine professionale, e ciò non mi piace affatto; avrebbe dovuto alzare la voce prima.