ROARS ha più volte segnalato una serie di comportamenti scorretti da parte dei ricercatori  (vedi qui, qui e qui) ,  che sembrano tutti derivare dalla pressione a pubblicare indotta da meccanismi di valutazione prevalentemente quantitativi. Citation clubs, compravendita di authorship, richiesta di citazioni da parte dell’editor di una rivista, falsificazione dei dati, plagio.

Nel 2005 un gruppo di ricercatori del MIT ha creato un programma (SCIgen) in grado di generare articoli nell’ambito della Computer Science attraverso la combinazione di stringhe di parole. Lo scopo era quello di confezionare articoli da presentare a convegni nell’ambito di computer science per smascherare la scarsa attendibilità e la poca cura nella validazione dei contributi scientifici.

Lo scopo è riuscito, i ricercatori hanno dimostrato l’inattendibilità della certificazione fatta dai convegni della loro disciplina e SCIgen è ora  liberamente disponibile e scaricabile da chiunque a questo link.

In un’altra parte del mondo, la Francia, un ricercatore dello stesso ambito disciplinare ha elaborato un programma in grado di individuare i paper prodotti da Scigen. Nel 2012 questo ricercatore (Cyril Labbé) ha segnalato ad IEEE 85 paper generati da SCIgen, la maggior parte attribuiti ad autori cinesi e presentati a convegni che si sono tenuti in Cina. IEEE ha immediatamente rimosso gli articoli, dichiarando per il futuro  una peer review più attenta. A fine dicembre 2013 il prode ricercatore francese ha segnalato un’altra batteria di articoli farlocchi pubblicati da IEEE e Springer.

Science  ha cercato di contattare gli autori degli articoli confezionati con il programma  SCIgen non ottenendo risposta, tranne che da un autore il quale ha sostenuto di non aver mai scritto l’articolo che gli era stato attribuito.

Questo ennesimo episodio di scientific misconduct conferma  il fallimento dell’attuale sistema di validazione e certificazione della ricerca. La comunità scientifica non è più  in grado di sostenere la pressione di una sovrapproduzione di lavori funzionale alla valutazione quantitativa e il risultato è un cattivo servizio reso alla comunità scientifica e alla società in generale. Un richiamo all’etica anche attraverso sanzioni da parte degli atenei, enti di ricerca ed enti finanziatori appare quanto mai necessario ed urgente, così come una riflessione approfondita sul significato ultimo della valutazione che dovrebbe davvero rappresentare una possibilità di miglioramento, e non il fine ultimo della scienza.

Print Friendly, PDF & Email

30 Commenti

  1. […] Decine di articoli prodotti automaticamente da un programma pubblicati da IEEE e Springer Trita Web 13 marzo 2014Italia (adsbygoogle = window.adsbygoogle || []).push({}); ROARS ha più volte segnalato una serie di comportamenti scorretti da parte dei ricercatori (vedi qui, qui e qui) , che sembrano tutti derivare dalla pressione a pubblicare indotta da meccanismi di valutazione prevalentemente quantitativi. Citation clubs, compravendita di authorship, richiesta di citazioni da parte dell’editor di una Leggi Articolo Intero […]

  2. Ma gli articoli “farlocchi” li hanno costruiti i cinesi per congressi cinesi (“la maggior parte attribuiti ad autori cinesi e presentati a convegni che si sono tenuti in Cina” dal vostro articolo).
    Cosa centra questo con la valutazione italiana della ricerca scientifica e ai fini dell’ASN ?
    Io propendo sempre più per la tesi che alla redazione di ROARS stia più a cuore la “politica” che il “bene” del sistema universitario.
    Grazie

    • Gentile caliano, suggerisco di leggere prima di scrivere commenti fuori tema.
      Da nessuna parte dell’articolo si parla di ASN e regole italiane. Discutiamo di una tema generale, quello della crisi del sistema publish or perish che è l’obiettivo delle intelligenti provocazioni di Cyril Labbé.

  3. Cari colleghi, vi siete ingegnati con ammirevole pazienza ed inventiva a dimostrare i vizi di fondo dell’intera problematica valutativa di proporzioni enormi come la VQR e soprattutto la ASN, sia in termini scientifici sia in termini di sociologia della ricerca. Servirà per il futuro? Chi lo sa … Per il presente certamente no, perché le forze accademico-politico-opinionistiche non soltanto non hanno la minima intenzione di riconoscere gli errori strutturali (il calcestruzzo adulterato utilizzato per progetti sballati ed affrettati), ma anzi utilizzano i dati così ottenuti per i loro scopi (graduatorie di ogni tipo, fondi di finanziamento, punti organico, il tutto basato su calcoli complicatissimi e non verificabili, in barba al principio della trasparenza). Nessun ripensamento è avvenuto né avverrà a questo punto. Né potrebbe avvenire in presenza della folla di precari o di ricercatori ai limiti della pazienza.
    Per cui si può continuare con la aneddotica quotidiana, tanto per aggiungere un altro tassello a questo mosaico del caos (pardon: dei grandi numeri). Un/a collega, che ha partecipato alla ASN in un macrosettore dove c’erano lingue e culture marziana, venusiana, saturniana e nettuniana, i/le candidati/e delle due fasce erano cca 600. Tra i/le commissari(e) terrestri, uno/a, quello/a straniero/a, non conosceva l’italiano (mica era obbligato/a, dal momento che era specialista di saturniano). Calcolando al ribasso: 500 candidati x 15 pubblicazioni x 15 pagine = 112.500 pagine. Da esaminare su schermo. Più le altre incombenze. Se n’è già parlato, ma si stenta a crederci. Salvo ministri, ministero, anvur, crui, opinionisti ecc. Essi o tacciono o parlano a vanvera, ma anche questa è minestra riscaldata. Invano.

  4. “Questo ennesimo episodio di scientific misconduct conferma il fallimento dell’attuale sistema di validazione e certificazione della ricerca.”
    Ma per favore!! Sarebbe come dire che siccome c’è qualche giocatore che fa gol di mano dobbiamo cambiare le regole del calcio!!!

    Semmai bisogna fare regole (sulla stessa linea delle attuali) più stringenti e adottare procedure più severe… iniziamo a mettere da parte le pubblicazioni presentate a convegni (dove si paga per pubblicare…vedi IEEE), consideriamo solo le pubblicazioni delle riviste di rango alto, facciamo contare solo gli articoli a primo nome, non consideriamo le autocitazioni, mettiamo fuori gioco chi sgarra (presenta pubblicazioni false, fa domanda per l’ASN in 20 settori e viene bocciato in tutti perchè ovunque fuori settore), hai voglia tu a cose da fare per migliorare…certo non buttare via tutto: gli unici ad esultare sarebbero i parassiti e i nullafacenti!!!

    • “Convegni dove si paga per pubblicare”, ma cosa sta dicendo? Siccome in certi convegni si paga, nessun convegno vale? E cosa dire delle riviste altolocate dove si paga per pubblicare? per lo meno per la peer review? E poi perché, oltretutto, i revisori dovrebbero lavorare gratis? Però allora i fondi di ricerca servono anche a questo. E come si fa a farlo con fondi nulli o ridotti a poche centinaia o migliaia di euro (settori nonbiblio)? Del resto tutte le verifiche che sta prospettando si possono fare soltanto con numeri ridotti, per volta, di persone e di lavori. Del resto se un sistema di valutazione non filtra bene, bloccando anche meritevoli, non vale un’acca. Anche questa è misconduct. E se la misconduct non viene ricondotta all’equità perché altererebbe equilibri economico-gestionali, questo è politica.

    • Considerare solo gli articoli a primo nome ucciderebbe la ricerca scientifica, nessuno lavorerebbe piu’ in gruppo e la qualita’ della ricerca, inevitabilmente, diminuirebbe. Considerare uno sgarro il fare domanda in piu’ settori disciplinari e’ una valutazione a dir poco superficiale. Se il sistema prevede di poter fare domanda in piu’ settori e molti settori hanno linee di demarcazione sottili, non e’ certo colpa del candidato, che magari rischia anche di venire punito per i propri interessi multidisciplinari.

  5. Gentile Enrico A, suggerisco anche a lei come a caliano poco sopra, di leggere bene i contenuti dei post prima di commentare.
    In questo post non si parla di regole italiane, ma, ripeto, della crisi del sistema publish or perish che è l’obiettivo delle intelligenti provocazioni di Cyril Labbé.

  6. Gentile Baccini,
    nell’ultimo capoverso del suo (presumo) articolo, dove dice “il fallimento dell’attuale sistema di validazione e certificazione della ricerca” mi sembra che si riferisca al nostro sitema. Se poi non è così, chiedo venia per il “misunderstanding”. Al lettore che legge, devo ammettere frettolosamente, centinaia di pagine al giorno di informazioni le più varie, era sembrato un velato riferimento ….

  9. Il post riprende un articolo di Science che ormai da anni segue i casi di scientific misconduct. L’articolo è stato per altro ripreso anche dalla stampa inglese http://www.theguardian.com/technology/shortcuts/2014/feb/26/how-computer-generated-fake-papers-flooding-academia.
    Il sistema di certificazione e validazione della ricerca è quello che viene praticato ex ante dai reviewer dei diversi journal e che riceve il marchio dell’editore nel momento in cui un articolo viene pubblicato (in questo caso Springer e IEEE). Cito da The Guardian le parole dell’inventore di SCIgen: “Academics are under intense pressure to publish, conferences and journals want to turn their papers into profits, and universities want them published. “This ought to be a shock to people,” Krohn said. “There’s this whole academic underground where everyone seems to benefit, but they are wasting time and money and adding nothing to science. The institutions are being ripped off, because they pay publishers huge subscriptions for this stuff.”

  10. Caro Enrico A,
    non siamo 2/1200, ma siamo quelli che leggendo non ce la fanno proprio a trattenersi, poichè gli altri 1198, per la maggior parte, hanno pensato come noi, ma vuoi per pigrizia, vuoi per altro, non si sono presi la briga di rispondere. Anche perchè in questo blog se non sei d’accordo con la linea dettata dal “soviet supremo” vieni subito tacciato di essere un imbecille, un esempio di autoreferenzialità, un banale… C’è sempre qualcuno che pensa di avere la verità in tasca e di farcela conoscere con frasi tipo “poverino, non capisce nulla”: ecco, questo sì che è un esempio di autoreferenzialità del mondo accademico di questo paese.
    D’altra parte il post è stato scritto in “aramaico antico”, per cui nessuno lo capisce, se non l’Intelligencija (интеллигенция): noi parliamo il “volgare” e quindi non siamo all’altezza. I danni che ha causato questo modo di pensare sono stati infiniti e continuiamo a farci del male: “Cantami, o Diva, del Pelìde Achille l’ira funesta che infiniti addusse lutti agli Achei, molte anzi tempo all’Orco generose travolse alme d’eroi, e di cani e d’augelli orrido pasto lor salme abbandonò”.

  11. Leggo questi articoli con attenzione perché sono interessanti. Ma i problemi sollevati sono purtroppo irrisolvibili. Che ci sia un programma che “genera” articoli fasulli o lo facciano menti pensanti, come fa un referee a capirlo, se formalmente l’articolo è fatto bene? Allo stesso modo, come fa un qualsiasi tipo di valutazione a smascherare un articolo fasullo? Impossibile. D’altra parte, l’unico modo che ha lo scienziato di dare valore alla sua ricerca è pubblicare… E’ un gatto che si morde la coda, e di nuovo: uno scienziato valido si distinguerà da uno “costruito” solo col tempo, e dai tentativi di ripetere i risultati di altri scienziati. Anche per le citazioni: un articolo fasullo ha più probabilità di essere citato di uno che non lo è, perché portato come esempio negativo…
    Faccio poi notare come alcune grandi bufale siano pubblicate proprio su riviste importanti (es. legame tra autismo e vaccino nei bambini, pubblicato su LANCET), che devono poi ritrattare. Ecco perché queste riviste sono così “sensibili”…

  12. @Enrico A (ed @caliano): metto il mio dito, ma potrebbero mettercelo molti altri.

    Mi sembra che dovrebbe essere chiaro a tutti che ANVUR, ASN, VQR, ecc. non validano e non certificano nessun risultato di ricerca. Ne’ lo fa nessun altro organismo o agenzia di valutazione nel mondo.

    Semplicemente, essi valutano (in maniera che da alcuni e` considerata grossolana, da altri efficace) la produzione scientifica complessiva di un ricercatore o di una struttura. Ma la “valutazione” agisce solo a posteriori rispetto alla “validazione”.

    Come spiega benissimo Paola Galimberti nel suo commento del 14 marzo, la validazione e` invece un compito della comunita` scientifica, che lo svolge attraverso la peer review, e si basa sulla correttezza delle metodologie impiegate, la verificabilita` e la ripetibilita` dei risultati e degli esperimenti. L’articolo e` quindi chiaramente una riflessione critica rivolta a noi stessi, come comunita`, sui nostri meccanismi di verifica. Il dibattito su questi temi e` molto attuale a livello mondiale e ben piu` ampio dei casi eclatanti denunciati in questo articolo.

    Non mi e` invece chiaro cosa vi abbia portato a mal interpretare il post.

  13. “Che ci sia un programma che “genera” articoli fasulli o lo facciano menti pensanti, come fa un referee a capirlo, se formalmente l’articolo è fatto bene?”
    =========
    Se davvero un referee preparato non è in grado di distinguere un articolo con dei contenuti scientifici validi dal parto di un programma, possiamo chiudere bottega.
    Come riconosciuto da più parti, l'(ab)uso di indicatori quantitativi ai fini di valutazioni automatiche dei ricercatori (e di riviste e di progetti) favorisce lo sviluppo di una vera e propria bolla. La pressione sul filtro costituito dalla peer-review diventa tale da renderne inaffidabili gli esiti. Già adesso nella valutazione di un CV sarebbe incauto dare peso a tutti gli atti di congresso perché in molti casi il loro filtro di peer-review è poco affidabile. Le pubblicazioni IEEE sono generalmente considerate più affidabili della media e la notizia data Science è un sintomo preoccupante.
    Come opportunamente ricordato da Paola Galimberti, si tratta di argomenti dibattuti da tempo a livello internazionale nelle sedi più qualificate. A meno che non si creda che la “lobby di Roars” sia in grado di manovrare le redazioni di Nature e di Science, per dirne solo due.
    Anche se pochi lo sanno, la stessa San Francisco Declaration on Research Assessment (https://www.roars.it/dora/, sottoscritta da più di 400 organizzazioni, comprese riviste come Science, Plos e PNAS, e più di 9.000 individui) è stata promossa da Roars in pura funzione anti-ANVUR. Gli Illuminati di Baviera (http://it.wikipedia.org/wiki/Illuminati) sono dei dilettanti in confronto alla rete occulta di Roars …

    • Perché un programma faccia bene il suo compito è sufficiente che si basi su reti neurali e generi risultati esattamente in attesa con la letteratura scientifica. Se capita in mano ad un referee anche preparato, come può capire che i risultati sono fasulli? Può al massimo sospettarlo, se i risultati sono talmente belli da sembrare fasulli. Ma non può rifiutare un articolo perché sospetta che i risultati siano fasulli. Potrebbero non esserlo.
      E’ come cercare di capire se in un lettore di carte di credito c’è un chip truccato.
      C’è chi mette il suo genio a servizio della falsificazione. E’ un modo anche quello di campare.

  14. Ovviamente l’idea, gli scopi, la discussione e le conclusioni sono ad opera umana. Mica userebbe un programma siffatto uno che fa altro mestiere! Non conosco il programma cinese in questione, né ci tengo, ma secondo me tutto è truccabile a questo mondo, scienza compresa. Sa quanti articoli ho letto con risultati che mi hanno fatto sospettare?? A centinaia.
    Questo per concludere che ogni tipo di valutazione scientifica avrebbe dei bias, non facilmente controllabili perché connessi alle intrinseche caratteristiche umane.

  15. @Nightwish73: il programma non è cinese ma del MIT ed è usabile da chiunque, comunque l’esito in termini di testo è veramente difficile da confondere con un articolo vero, per esempio:

    “In this position paper, we argue the appropriate unification of web browsers and Internet QoS. Our focus in this paper is not on whether information retrieval systems can be made reliable, linear time, and Bayesian, but rather on describing new wireless archetypes (Bots). ”

    E comunque Cyril Labbé dice:
    “As for the authors, the pressure of ”publish or perish” may explain, but not excuse, some anomalies.”

    • Al di là di chi è padre del programma, ricordate sempre che non avete a che fare con sprovveduti che non hanno la minima idea delle loro azioni, e che buttano dentro tre idee prendendo quello che il programma rielabora senza revisione critica… vi ricordo sempre il caso Wakefield e l’articolo ritrattato su LANCET dopo 12 anni… gli studi scientifici successivi hanno dimostrato che era un falso…

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.