La pressione per pubblicare e le crepe dell’editoria scientifica

Un preprint pubblicato recentemente su Arxiv analizza una serie di tendenze dell’editoria scientifica sviluppatesi in anni recenti e conseguenza diretta di sistemi di valutazione quantitativi. In particolare documenta le attività dei maggiori editori internazionali, tra cui MDPI, anche in relazione all’uso di “special issue” e alle procedure di “peer review”. ROARS ha intervistato uno degli autori, Paolo Crosetto.

Roars: Recentemente avete pubblicato un preprint su Arxiv dal titolo “The strain on scientific publishing” ([2309.15884] The strain on scientific publishing (arxiv.org) Mark A. Hanson, Pablo Gómez Barreiro, Paolo Crosetto, Dan Brockington)

Potrebbe spiegarci cosa intendete con “strain” ?

“Strain” è la pressione crescente sul sistema dell’editoria scientifica nel suo complesso – da parte di tutti gli attori coinvolti, editori, autori e anche agenzie di ricerca. La quantifichiamo come la crescita esponenziale (~5% all’anno sugli ultimi 20 anni) degli articoli pubblicati, ma è solo un modo di catturare un fenomeno più esteso. Credo che chiunque faccia ricerca lo senta attorno a sé. È sempre più difficile per gli editor trovare colleghi disposti a referare gli articoli, ci sono dimissioni di massa o individuali dai comitati editoriali di diverse riviste a causa delle pratiche aggressive degli editori; ci sono autori iper-prolifici che pubblicano un articolo ogni due giorni, schemi per vendere e comprare posizioni da autore in articoli già accettati, possibilità di pagare di più per avere una peer review più rapida… sono tutti indicatori di un sistema non sostenibile che sta girando troppo veloce.

R: Qual è lo scopo del vostro studio?

Rendere disponibili i dati che permettano una discussione sullo stato del sistema. L’editoria scientifica è un sistema complesso, globalizzato, di cui ognuno – inclusi noi – non vede che una parte, da un punto di vista specifico. Si passa da un micro-scandalo ad un altro, una volta in Francia, una volta in Italia, una volta in India, ed è difficile avere una visione d’insieme. Con il nostro lavoro abbiamo voluto raccogliere dati oggettivi sulle pratiche degli editori scientifici più importanti, con una metodologia comune, in modo da poterli comparare. Quanto è rapida la peer review? Quanti articoli sono rigettati in media? Quante Special Issues ci sono? Quante autocitazioni? Quanto sono gonfiati gli Impact Factor? Sono dati oggettivi e comparabili, che permettono in filigrana di vedere diversi business model in azione, e indirettamente capire quanta cura della qualità sia messa in atto dai diversi editori sulle loro riviste.

R: Nel triangolo editori, ricercatori (nei ruoli molteplici di editors, autori e revisori) e finanziatori della ricerca, come ha operato la legge di Goodhart secondo la vostra analisi?

La legge di Goodhart dice che qualunque unità di misura che sia usata come obiettivo perde ogni utilità come unità di misura. Ci sembra che questa legge sia onnipresente nell’editoria scientifica. Se guardiamo agli autori, legare avanzamenti di carriera o assunzioni strettamente al numero di pubblicazioni porta inevitabilmente a un aumento del numero di pubblicazioni. Dal lato degli editori, legare la redditività al numero di articoli pubblicati – ad esempio perché le riviste Open Access guadagnano una somma fissa, pagata dagli autori, per articolo – porta inevitabilmente a strategie di marketing che spingano a pubblicare più articoli possibile. Gli incentivi sono chiari: se sei un autore, devi pubblicare; se sei un editore, devi accettare più articoli possibile. E così abbiamo aumentato del 47% il numero di articoli pubblicati annualmente nel mondo – in sei anni – nonostante il numero di scienziati in attività sia praticamente fermo da qualche anno.

R: Può spiegare brevemente la metodologia che avete utilizzato nella vostra ricerca per individuare gli editori e i 5 indicatori su cui vi siete concentrati?

Comincio dagli indicatori. Abbiamo cercato degli indicatori che fossero oggettivi, quantitativi, reperibili da fonti pubbliche o sui siti degli editori, e che ci permettessero di vedere la qualità sottostante del lavoro fatto sugli articoli. Alla fine ne abbiamo identificati cinque: il numero di articoli, la quota di articoli apparsi in numeri speciali sul totale, il tasso di rigetto delle riviste, il tempo intercorso tra l’invio alla rivista e l’accettazione dell’articolo, e un nuovo indicatore che chiamiamo “inflazione dell’impatto” che misura quanto l’Impact Factor sia stato gonfiato, in particolare tramite autocitazione. La disponibilità dei dati purtroppo non è completa, e per alcuni indicatori è molto lacunosa – specie per il tasso di rigetto, un’informazione sensibile che molti editori non condividono né pubblicamente né su richiesta.

Per gli editori, la nostra ambizione era di coprire esempi differenti – open access o ad abbonamento, commerciali o no-profit – e coprire gli editori più grandi. Abbiamo pero’ dovuto fare i conti con la mancanza di dati – alcuni editori come PLOS permettono di scaricare tutte le informazioni in un unico file, mentre per altri le informazioni non sono disponibili – e con il fatto che alcuni editori hanno dei siti cosi’ incompleti e complicati che estrarre i dati tramite web scraping è un lavoro infinito (ad esempio, Elsevier, per cui abbiamo solo un sottoinsieme delle riviste nonostante un mese di scraping continuo).

Alla fine abbiamo i dati più completi che ci è stato possibile raccogliere, su circa 5 milioni di articoli. Questo vuol dire che i nostri dati sono incompleti; ma sono comunque diversi ordini di grandezza più numerosi di qualunque altro lavoro precedente al nostro.

R: Per tutti gli editori nell’arco temporale che avete considerato si assiste ad un aumento del numero di articoli (effetto dei comportamenti adattativi e del publish or perish), ma per alcuni editori la crescita sembra avere una caratteristica particolare. Quale?

Alcuni editori hanno una crescita molto più marcata che altri, e chiaramente esponenziale. E’ il caso di MDPI, Frontiers e, in misura minore, Hindawi. MDPI in particolare è cresciuta di più del 30% all’anno per ogni anno dal 2012, con punte del 75% di crescita in un anno, nel 2018. Si tratta di tre editori Open Access, commerciali (for profit), e che hanno adottato la strategia di crescita basata sulle Special Issues – cioè aprendo la possibilità di diventare editor di un numero speciale a chiunque – come ben sa praticamente ogni ricercatore sul pianeta, che riceve continuamente mail di invito a diventare editor di un numero speciale (vedi figura). Questa strategia di crescita ha avuto un successo fenomenale, perché ha di fatto ceduto il potere di decidere del destino di un articolo a un numero altissimo di ricercatori interessati a pubblicare, e ha anche permesso di mobilitare le reti professionali di questi studiosi. Documentiamo nell’articolo una cosa che sapevano anche i sassi, ma non era mai stata mostrata quantitativamente prima d’ora, e cioè che gli articoli che appaiono nelle Special Issues hanno vita più facile che quelli nei numeri normali – passano più in fretta la peer review, e fanno fronte a tassi di rigetto più bassi.

R: Una delle dimensioni indagate è il tempo di processamento degli articoli dalla submission alla accettazione. Quali risultati avete ottenuto sia rispetto ai tempi che rispetto alla differenziazione in base alla sede di pubblicazione?

I tempi della peer review – lunghi, non prevedibili e spesso sintomo di una gestione inefficiente – sono da sempre uno dei punti di cui i ricercatori adorano lamentarsi alla pausa caffé. In generale, su circa 5 milioni di articoli apparsi negli ultimi 6 anni di cui abbiamo i dati, ci si deve aspettare che passino circa 150 giorni tra l’invio alla rivista e l’accettazione, includendo alcuni round di revisione. Questi tempi sono relativamente stabili da anni. Fanno eccezione Frontiers, Hindawi e soprattutto MDPI, per cui i tempi sono più bassi (70 giorni a Frontiers, 80 a Hindawi, e un incredibile 37 giorni a MDPI) e in diminuzione (vedi figura).

Inoltre in questi stessi editori i tempi non solo si accorciano, ma diventano più omogenei tra riviste – cosa che denota uno sforzo organizzato, a livello di editore, di uniformare le pratiche di peer review. Di nuovo, MDPI è di gran lunga l’editore con pratiche più aggressive – non solo gli articoli vengono i media accettati in 37 giorni incluse revisioni, ma il 90% delle loro riviste ha un tempo medio compreso tra 32 e 43 giorni; su ogni rivista gli articoli vengono processati quasi nello stesso tempo (vedi figura). È una cosa unica e che fa a pugni con quello che ci si aspetterebbe – campi diversi e articoli diversi richiedono diversi tempi per essere valutati, e soprattutto per fare le revisioni richieste.

R: Pensate di andare avanti nelle vostre analisi, ad esempio verificando se ci sono correlazioni fra i tempi più brevi di processamento e l’aumento delle retraction o dei commenti in sedi come pubpeer? O verificando la qualità delle revisioni laddove come in molti casi siano revisioni aperte?

Non per il momento. Sono entrambi spunti interessanti di cui abbiamo discusso – in particolare incrociare i dati con quelli, ora in libero accesso, di Retraction Watch ci pare una cosa fattibile e feconda. Allo stesso tempo questi dati, come quelli disponibili sulla peer review aperta, sono molto lacunosi e soffrono di selection bias. La peer review aperta è ancora rara, e gli articoli ritrattati sono solo una goccia nel mare di quelli che dovrebbero esserlo, perché il tempo e l’attenzione di chi si occupa di verificare la qualità di una massa crescente di articoli pubblicati sono limitati. Abbiamo voluto produrre indicatori generali e non biased; incroci con altre fonti di dati sono sicuramente interessanti, ma introdurrebbero bias importanti.

R: Alla fine del vostro lavoro, pur lasciando i dati proposti alla discussione pubblica fate alcune raccomandazioni agli editori e ai finanziatori. Quali?

Il nostro intento principale è di fornire i dati necessari per una discussione informata all’interno della comunità. Non sta a noi, ma piuttosto agli istituti che finanziano la ricerca intervenire: sono le sole istituzioni a poter influenzare l’intero settore, autori e editori. Individuiamo però due azioni che queste istituzioni potrebbero prendere e che secondo noi andrebbero nella direzione giusta: dal lato degli autori, passare a CV più qualitativi e meno quantitativi – come già fatto dalla Fondazione per la Ricerca Svizzera – quando si valutano i finanziamenti alla ricerca; dal lato degli editori, scoraggiare la sottomissione di articoli a Special Issues, che abbiamo dimostrato essere soggette a un vaglio meno rigoroso.

R: La riforma della valutazione della ricerca attraverso COARA potrebbe avere una influenza sulle pratiche che avete descritto?

Non conosciamo nel dettaglio le politiche proposte da COARA, ma trovare modi per incentivare la qualità e non la quantità di articoli va certamente nella direzione di rompere la legge di Gresham, e potrebbe mettere un freno allo “strain” che abbiamo documentato.

R: All’inizio del vostro lavoro descrivete il metodo utilizzato e spiegate che i dati e gli scripts non possono essere resi pubblici. Saranno però accessibili secondo i principi FAIR?

In realtà potremmo rendere pubblici gli script di analisi già da subito – ma senza i dati sarebbero di dubbia utilità. Purtroppo i legali delle nostre istituzioni ci hanno diffidato al momento dal rendere pubblica la parte dei nostri dati ottenuta tramite web scraping. La giurisprudenza in merito è chiara sulla legalità di raccogliere dati con questa tecnica a fini di ricerca – anche perché sono già pubblici in quanto pubblicati su un sito web; ma il rendere poi pubblici, in un formato di facile accesso, la totalità dei dati raccolti è una pratica ancora normata in modo eterogeneo nel mondo, con una giurisprudenza in evoluzione. Renderemo i dati accessibili per la peer review, e lo saranno sempre su richiesta. Il nostro desiderio è di renderli accessibili a chiunque, anche per permettere la riproducibilità delle nostre analisi; purtroppo al momento questo ci è stato sconsigliato. Ma credo troveremo una soluzione legale di qualche tipo – se abbiamo fatto questo lavoro è perché questi dati siano disponibili, non per custodirli gelosamente sui nostri dischi rigidi.

R: Pensate di chiedere una revisione aperta del vostro lavoro?

Si, certo. La cosa divertente è che quando ci siamo chiesti dove pubblicare il nostro lavoro, ci siamo resi conto di quanto sia ormai quasi ridicolo usare il termine pubblicare. Perché è ovvio che l’articolo è già “pubblicato”: da quando sta su ArXiV è stato scaricato centinaia di volte, ha avuto migliaia di condivisioni sui social network, ed è pubblicamente accessibile da chiunque. Di fatto, “pubblicare” non vuol più dire “rendere pubblico”, ma piuttosto “ottenere un marchio di qualità da una rivista”. E’ proprio il fatto che questi marchi di qualità sono di proprietà degli editori – che li usano per profitto – uno dei motori della crescita esponenziale che osserviamo. A un certo punto ci siamo anche detti che l’articolo era già “pubblicato”, e che non avremmo avuto bisogno di alcuna rivista, ma solo di una peer review aperta su un sito come PubPeer. Poi però ci siamo ricordati che – come tutti gli altri ricercatori – stiamo in un sistema in cui “pubblicare” nel senso di ottenere un marchio di qualità è ancora di importanza capitale, specie per i coautori più giovani, e che quindi saremmo rientrati anche noi nel sistema di edizione scientifica che osserviamo nell’articolo. Abbiamo optato per un editore Open Access, per il quale esiste un accordo con le nostre istituzioni che prevede l’esenzione dal pagamento di APCs; chiederemo una peer review aperta, vedremo se sarà possibile. Come tutti, dobbiamo fare compromessi per conformarci alle regole dell’editoria scientifica. Speriamo di contribuire a un cambiamento anche in questo senso.