Tempo fa segnalammo la scoperta, fatta da un gruppo di ricercatori serbi, di uno schema fraudolento per gonfiare gli indici bibliometrici di alcune riviste, arricchendone l’editore alle spese dei fondi di ricerca nazionali; prima ancora avevamo avuto modo di segnalare un caso dalla Nigeria. Nature segnala un caso per certi versi analogo, che prevedeva il ricorso a un sistema di citazioni incrociate tale da sfuggire all’identificazione. Lo scopo? Alzare l’impact factor di alcune riviste in modo fraudolento, con le ovvie conseguenze sui ricavi degli editori, sul potere accademico degli editors e sui destini accademici dei soggetti che vi pubblicano.
Casi di questo genere sembrano in crescita. Secondo quanto scrive Nature, è anche crescente lo sforzo per elaborare nuovi meccanismi di gonfiaggio artificiale degli indici che sfuggano all’individuazione:
Editors have tried before to artificially boost impact factors, usually by encouraging the citation of a journal’s own papers. Each year, Thomson Reuters detects and cracks down on excessive self-citation. This year alone, it red-flagged 23 more journals for the wearily familiar practice. But the revelation that journals have gained excessively from citations elsewhere suggests that some editors may be searching for less detectable ways to boost their journals’ profiles. In some cases, authors may be responsible for stacking, perhaps trying to boost citations of their own papers.
In modo del tutto trasparente, uno degli editors ritenuti responsabili dell’operazione, ha affermato che il gonfiaggio degli indici non è altro che il risultato della fissazione degli accademici brasiliani per l’impact factor: fissazione generata dalle scelte della locale agenzia di valutazione. Se pochi vogliono pubblicare su riviste con un impact factor non particolarmente elevato, tant’è gonfiarlo artificialmente:
The journals flagged by the new algorithm extend beyond Brazil — but only in that case has an explanation for the results emerged. Rocha-e-Silva says the agreement grew out of frustration with his country’s fixation on impact factor. In Brazil, an agency in the education ministry, called CAPES, evaluates graduate programmes in part by the impact factors of the journals in which students publish research. As emerging Brazilian journals are in the lowest ranks, few graduates want to publish in them. This vicious cycle, in his view, prevents local journals improving.
E’ significativo notare come questi fenomeni deprecabili siano ben noti all’agenzia di valutazione brasiliana, che però risulta non aver adottato nessuna contromisura, al di là di severe punizioni per coloro che adottano comportamenti fraudolenti, una volta identificati:
Brazilian editors have campaigned for years for CAPES to change its system. “But they have always adamantly refused to do this,” Rocha-e-Silva says.
Evidentemente sono molte le agenzie di valutazione a cui sfugge come le regole da loro elaborate finiscano per ridisegnare la scienza.
In ogni caso, l’attenzione delle comunità scientifiche su questi temi è bene che sia massima. Anche in Italia, dove l’introduzione di metriche quantitative per il reclutamento è verosimile che produrrà presto conseguenze di questo tipo. Sempre che non si siano già prodotte.
Queste sono cose ben note. Basti pensare allo scandalo di Mohamed El Naschie, editore capo di Chaos, Solitons and Fractals.
Però voi fate sempre lo stesso errore: i casi particolari non sono la regola. La soluzione non è buttare tutto il sistema, ma piuttosto vigilare perchè casi del genere non si verifichino (ad esempio: se una rivista gonfia gli indici, si mette in una lista nera e si ignorano le pubblicazioni su quella rivista).
Non si capisce quale sia l’errore qui: abbiamo segnalato un fatto vero. C’e’ altro?
Nessun errore, secondo me. Almeno in ambiente medico biologico, questa pratica, che a stretto rigore di termini non può definirsi fraudolenta, ma certamente di dubbia eticità, è prassi. Semmai, chi non la adotta è una singolarità, non il contrario.
Esistono pratiche scorrette per gonfiare impact factor, citazioni e indici vari di una rivista. E’ vero (questo è un fatto).
E’ un errore dedurre (come qualcuno potrebbe fare), dedurre che allora gli indici bibliometrici non danno alcuna indicazione sulla validità scientifica di una rivista/candidato/lavoro.
Una commissione ci si aspetta che usi gli indici bibliometrici “cum grano salis”. I casi di pratiche scorrette – ad esempio quello di Chaos, Solitons and Fractals – sono ben noti e la commissione si spera ne tenga conto.
In un settore, si sa bene quali sono le riviste internazionali con una buona reputazione e quali hanno invece una cattiva reputazione (indipendentemente dagli indici bibliometrici).
“E’ un errore dedurre (come qualcuno potrebbe fare), dedurre che allora gli indici bibliometrici non danno alcuna indicazione sulla validità scientifica di una rivista/candidato/lavoro.” Ma chi fa questa deduzione? Dove nell’articolo e’ fatta questa deduzione?
Ho usato apposta il condizionale (“come qualcuno potrebbe fare”). Si vede che sono un po’ paranoico, ma visti i commenti ad altri post, mi è sembrato di leggere fra le righe una velata critica agli indici bibliometrici.
Così come nel post su Higgs, mi è sembrato di leggere una velata critica al sistema di valutazione italiano (ASN e VQR).
Se mi sono sbagliato, chiedo umilmente scusa.
perspicace … :-)
A dire il vero la velata critica non riguarda gli indici come tali, ma il loro abuso
“Si spera ne tenga conto?” E se non ne tiene conto? Chi controlla i controllori?
Così però non se ne esce. O si toglie completamente discrezionalità alle commissioni (ma questo a molti non sta bene, per tutte le critiche mosse agli indici bibliometrici), oppure si lascia alla commissione un minimo di discrezionalità (tertium non datur).
E chi giudica l’operato dei commissari? Possiamo naturalmente proporre di valutare i valutatori. Poi qualcuno chiederà di valutare chi valuta i valutatori, quindi di valutare chi valuta chi valuta i valutatori, etc.
Il fenomeno si è già manifestato molto concretamente in certe aree disciplinari, per esempio la Medicina, anche in Italia. E’ un fenomeno legato soprattutto all’inflazione di “predatory open access journal”. Ci sono ricercatori (poco onesti) che evidentemente ritengono il conseguimento di alti IF prevalente sul fatto di dare contributi di conoscenza. I limiti dell’IF sono noti. Il fatto che si verifichino queste degenerazioni è però un’altra faccenda. Se no sarebbe come dire che la chimica non va bene perché ci fanno i pesticidi o i defolianti. Bisogna per intanto trovare contromisure contro i defolianti. Fuor di metafora: scoraggiare i cattivi comportamenti. Chi contesta i rating delle riviste non ammette nemmeno che si possano fare delle blacklist di riviste-fake ?
Un problema è che non esiste una linea di confine precisa tra comportamento corretto o scorretto in tema di inseguimento dello IF. E’ scorretto chiedere agli autori di includere certi articoli nella loro bibliografia? E’ scorretto ospitare un articolo finale che riassume e commenta gli articoli pubblicati nell’ultimo anno dallo stesso giornale? I comportamenti decisamente scorretti come quello dell’editore di chaos solitons and fractals sono i meno pericolosi perché facilmente identificabili. Infatti ormai non c’è quasi più bisogno di sollecitazioni da parte degli “editors” i giovani accorti sanno che le citazioni di articoli della stessa rivista nella quale si vuole pubblicare possono aiutare l’accettazione dell’articolo. Un rimedio potrebbe essere quello di stilare classifiche delle riviste indipendenti dallo IF, come quelle che in molte aree sono state stilate e utilizzate dai GEV. Ci sono però altre controindicazioni che dovrebbero essere valutate caso per caso. Certamente il luogo di pubblicazione è (dopo il nome dell’autore) il primo elemento utilizzato da chiunque per giudicare un lavoro prima di leggerlo. Tuttavia a me fa paura l’idea di una autorità centrale che decide quali riviste debbano chiudere o restare confinate tra le riviste di scarso valore. E’ un attentato al necessario pluralismo della scienza e della cultura. Il giudizio di una agenzia preposta alla valutazione è difficilmente reversibile perché solo chi non trova un altro luogo di pubblicazione si rivolgerà alla rivista classificata tra le ultime. Questo renderà molto difficile, e forse impossibile, risalire la china della classifica. Ammesso che la classifica delle riviste sia utile è così utile da indurci ad ignorarne i pericoli? Siamo così sicuri del maggior valore del “mainstream” da voler sopprimere tutte le espressioni di ricerche o punti di vista che non vi si conformano?
Il problema di base è che quando si devono valutare centinaia di migliaia di lavori (come per VQR o ASN), è impensabile leggere ogni articolo. E’ inpensabile, nel caso di ASN, leggere anche solo due o tre articoli per candidato (che in molti casi riguarderanno campi di cui i valutatori non sono esperti).
L’unico modo è utilizzare (in maniera automatica, o a discrezione della commissione) degli indicatori, come gli indici bibliometrici o la reputazione della rivista (come fatto nella VQR).
Poi si può discutere su quali indicatori utilizzare, e decidere quali libertà dare libertà alle commissioni. Ma l’uso di qualche indicatore sono indispensabili.
Se poi i ricercatori decidono di sacrificare la loro reputazione per seguire le “logiche di mercato”, su questo non possiamo fare nulla. L’etica è difficile imporla per legge.
Il problema di base è che queste stesse domande se le erano poste gli inglesi e gli australiani e che si sono anche date le risposte sulla base di studi pilota (Inghilterra) o dell’esperienza (Australia). In Italia il dibattito sulla valutazione sembra un chiacchiera da Bar Sport: ammirevole il candore con cui si osserva che la peer review di decine di migliaia di articoli è costosa, come se nessun altro al mondo si fosse posta la domanda e come se l’idea di usare le classifiche di riviste oppure gli indicatori bibliometrici fosse una geniale idea mai concepita da nessun altro. Sono idee già note, già discusse e già abbandonate (https://www.roars.it/i-numeri-tossici-che-minacciano-la-scienza/). Per chi avesse voglia di documentarsi, ricopio per la seconda o terza volta alcune citazioni relative al caso inglese e australiano (mi perdoni chi è lettore abituale, ma “repetita juvant” [forse]). È ovviamente possibile rimettere in discussione tutto, ma non ha senso intavolare una discussione essendo completamente vergini riguardo al dibattito e alle esperienze internazionali.
____________________________
Higher Education Funding Council for England (HEFCE), Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework , released: September 2009.
http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
“Key points. 8. Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review. 9. The robustness of the bibliometrics varies across the fields of research covered by the pilot, lower levels of coverage decreasing the representativeness of the citation information. In areas where publication in journals is the main method of scholarly communication, bibliometrics are more representative of the research undertaken.“
____________________________
House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
“David Sweeney [Director HEFCE]: With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.
Sir Mark Walport: I would agree with that. Impact factors are a rather lazy surrogate. We all know that papers are published in the “very best” journals that are never cited by anyone ever again. Equally, papers are published in journals that are viewed as less prestigious, which have a very large impact. We would always argue that there is no substitute for reading the publication and finding out what it says, rather than either reading the title of the paper or the title of the journal.
Professor Rylance: I would like to endorse both of those comments. I was the chair of an RAE panel in 2008. There is no absolute correlation between quality and place of publication in both directions. That is you cannot infer for a high-prestige journal that it is going to be good but, even worse, you cannot infer from a low-prestige one that it is going to be weak. Capturing that strength in hidden places is absolutely crucial.
Q256 Stephen Mosley: … a concern that the Research Excellence Framework panels in the next assessment in 2014 might not operate in the same way. Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
David Sweeney: I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used. I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way.”
____________________________
Kim Carr (Australian Minister for Innovation, Industry, Science and Research), Ministerial statement to the Senate Economics Legislation Committee – Improvements to Excellence in Research for Australia (ERA), May 30, 2011.
http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx
“There is clear and consistent evidence that the [journal] rankings were being deployed inappropriately within some quarters of the sector, in ways that could produce harmful outcomes, and based on a poor understanding of the actual role of the rankings. One common example was the setting of targets for publication in A and A* journals by institutional research managers.In light of these two factors – that ERA could work perfectly well without the rankings, and that their existence was focussing ill-informed, undesirable behaviour in the management of research – I have made the decision to remove the rankings, based on the ARC’s expert advice.”
Caspita quanti refusi. Diciamo che è colpa del tablet. :)
Caro Abbondanzio,
qui il problema non riguarda semplicemente l’etica individuale. Questi casi sono interessanti perché mostrano la relativa frequenza con cui accade che regole concepite (male) per risolvere certi problemi finiscono per dar luogo a comportamenti strategici che potrebbero avere effetti forse anche peggiori. La questione non è semplicemente che A o B potrebbero fare qualcosa di sbagliato, ma piuttosto che si sono introdotti degli incentivi che spingono larghi gruppi di persone a fare cose sbagliate. Tutto questo potrebbe avere, tra le altre cose, conseguenze gravi dal punto di vista della qualità della ricerca, come mostrato in modo persuasivo da Donald Gillies nel suo libro sulla valutazione della ricerca ben noto ai lettori di Roars.
Caro Guido, essendo io l’estensore del pezzo, ti segnalo la conclusione:
In ogni caso, l’attenzione delle comunità scientifiche su questi temi è bene che sia massima. Anche in Italia, dove l’introduzione di metriche quantitative per il reclutamento è verosimile che produrrà presto conseguenze di questo tipo. Sempre che non si siano già prodotte.
@ AB. Ho letto un tuo pezzo sul reclutamento di diversi mesi fa. E’ cambiato qualcosa da allora sulla procedura visto anche il decreto sulla programmazione triennale?
mmm…non ricordo esattamente, qualche dato in più? La materia è magmatica..
@AB: grazie anche per l’altro articolo che ho appena letto (su seconda tornata ASN). Quello sul reclutamento è questo https://www.roars.it/prima-che-la-nave-affondi-2/. Ora gli attori in giorco sono 3: ASN, decreto programmazione e ripartizione ffo 2013 con quota premiale. Sono legate tra di loro i 3 attori? e si in che modo? Grazie.
GC io direi che le variabili sono: piano straordinario associati e turnover. La quota premiale ovviamente conta in quanto per reclutare ci vogliono le disponibilità. Il dm programmazione non è detto che produca poi chissà che effetti.
AB: grazie.
per il momento in Italia rimaniamo fermi all’uso “creativo” degli IF e altri valori bibliometrici:
posso citarvi il presente concorso CNR per avanzamento di fascia dove il candidato deve recuperare a mano tutti i codici, citazioni e IF delle proprie pubblicazioni con alcuni interessanti dettagli:
– è possibile indicare come fonte delle citazioni ISI-WOS oppure Google Scholar (sì, proprio Google Scholar…)
– per quanto riguarda l’IF della rivista si è liberi di indicare quello dell’anno della pubblicazione oppure….quello del 2012 (magari è salito perchè ci ho pubblicato io…)
– se per caso non si trovasse l’IF da ISI, si può sempre indicare un IF ottenuto da “altra fonte” (??)
– l’H index deve essere relativo alle sole pubblicazioni fino al 2009 (il bando è riservato solo ai dipendenti CNR al 1/1/2010), ma si possono contare anche le pubblicazioni post-2010… diciamo un “h-index retrodatato”
ormai temo che l’onda bibliometrica sia inarrestabile – troppo comodo per valutatori e commissioni avere dei numeri, piuttosto che dover leggere pagine e pagine…..