L’attività di peer-reviewing (revisione tra pari dei lavori scientifici) è parte integrante del processo di produzione scientifica, costituendo l’essenziale fase di filtro, correzione e miglioramento prima che il lavoro venga pubblicato e raggiunga la comunità scientifica. Di solito i ricercatori vengono coinvolti nel processo in modo direttamente proporzionale alla loro anzianità scientifica, per cui il numero di lavori di cui viene richiesta la revisione tende progressivamente ad aumentare nel corso della vita del ricercatore. L’incremento è accentuato anche dal continuo aumento dei lavori scientifici che vengono scritti e che quindi i ricercatori desiderano pubblicare. Per di più, se consideriamo che difficilmente un lavoro viene pubblicato dopo un solo round di revisioni e che il numero di revisori coinvolti per ogni round è circa 2 (perlomeno in base alla mia esperienza in ambito neuroscientifico), ne deriva che per ogni singolo lavoro pubblicato, serviranno probabilmente almeno 4 revisioni da parte di altri ricercatori.
Il processo di revisione può essere svolto a vari livelli di accuratezza, ma lo sforzo e il tempo richiesto può essere molto elevato, specie per lavori più complessi e se esaminati in modo accurato. E’ chiaro che il tempo da poter dedicare al processo di revisione dei lavori altrui è molto limitato e spesso accadrà di dover rifiutare gli inviti che giungono sempre più numerosi.
A seguito di un ennesimo rifiuto, la scorsa notte mi è giunta una email che mi ha fatto riflettere e che mi ha indotto a scrivere questa lettera. La mail conteneva questo testo:
—-
Dear Dr. Marinelli,
Thank you very much for your reply.
If you need more time to review this manuscript we could extend the deadline. Many reviewers decline our invitation and now no one reviewer agreed to review.
In this situation, would you please help to review this paper?
Any assistance you could give me in this matter would be greatly appreciated.
Thanks for your kind help in advance.
I look forward to hearing from you.
—-
Non voglio rivelare il nome della visita; specifico solo che appartiene a un publisher famoso e che ha un impact factor ufficiale di circa 4.3, quindi se non altro si tratta di una rivista di buon livello.
Ebbene, l’editor della rivista non è riuscito a trovare revisori disponibili e mi hanno ricontattato insistendo e offrendomi più tempo.
Questo mi ha portato a riflettere: se una rivista di questo livello ha difficoltà a trovare revisori, chissà quante altre riviste non riusciranno a trovare revisori e magari l’editor stesso sarà costretto a fungere anche da revisore, o a ricorrere ad altri sistemi, tra cui magari revisioni retribuite.
Il processo di revisione viene effettuato quasi sempre in modo gratuito e i ricercatori potrebbero anche sentirsi gratificati dall’invito, specie se a inizio carriera o se questo proviene da riviste prestigiose. Va aggiunto che la revisione può anche essere occasione di aggiornamento scientifico e crescita culturale. E’ tuttavia difficile che i ricercatori possano fornire disponibilità sufficienti ad accontentare una domanda così ampia.
Il rischio è che la revisione dei lavori venga effettuata in modo frettoloso o comunque poco accurato. Il risultato sarà inevitabilmente la pubblicazione di più lavori mal revisionati, poco chiari, con errori e talvolta addirittura lavori fraudolenti. Tutto questo abbassa la qualità globale della ricerca scientifica, aumenta il numero di lavori di bassa qualità, con la conseguenza che sarà sempre più difficile riuscire a ottenere lavori davvero utili quando li si cerca.
E’ chiaro che se il lavoro di revisione non è sufficientemente valorizzato, sarà sempre più difficile trovare qualcuno di qualificato che voglia dedicarvi il proprio tempo. Almeno per quanto riguarda il mio ambito scientifico disciplinare, il lavoro di revisione dei lavori scientifici non ha ricadute positive sul curriculum, quindi il ricercatore non è sufficientemente motivato a svolgere questo ulteriore (faticoso) compito, che di fatto fa parte del suo lavoro.
Forse però qualcosa sta cambiando. Publons (www.publons.com) è un servizio nato per registrare, verificare e valorizzare le revisioni dei lavori scientifici, questo servizio è cresciuto moltissimo negli ultimi anni, tanto da essere stato recentemente acquistato niente poco di meno che da Clarivate Analytics, la stessa società che ospita il motore di ricerca Web of Science / Web of Knowledge e che attribuisce l’impact factor alle riviste.
Va inoltre segnalato che diverse riviste rendono trasparente il processo di revisione, pubblicando nell’articolo finale i nomi dell’editor e dei revisori e rendendo palesi le fasi del processo.
La mia proposta è che venga valorizzato di più il lavoro di peer-review svolto dai ricercatori nella valutazione della loro attività e per la progressione di carriera.
Per la cronaca, mi sono reso disponibile a revisionare l’articolo di cui sopra, chiedendo una estensione della deadline.
Si, va bene, tutto giusto e condivisibile. Mi resta la tristezza di continuare a parlare di argomenti interni al sistema attuale.
Faremo che 10 review ce lo fanno avere più lungo di 2 journal? Eh no! 10 review di quale journal? Di quale conferenza? Ce l’ho più lungo io o ce l’hai più lungo tu?
Il punto che segnali e’ la punta dell’iceberg. A livello europeo, le organizzazioni che finanziano i progetti di ricerca, hanno lo stesso problema (lo chiamano “reviewers’ fatigue”. In pratica -per una serie di motivi- si ricade sempre sullo stesso insieme di soggetti disponibili che, progressivamente, sono sempre piu’ affaticati con l’inevitabile abbassamento del livello di review. Publons e’ una possibilita’, l’altra e’ un riconoscimento pubblico (tipo: pubblicazione a fine anno degli elenchi dei soggetti che hanno svolto una review che sia per una rivista o per progetti di ricerca). Tra l’altro questa modalita’ permette trasparenza.
Se poi qualcuno ha un sistema migliore della peer review, e’ il benvenuto a proporlo.
Last but not least: assolutamente da evitare la tentazione che una rivista puo’ avere di utilizzare un solo reviewer o peggio saltare a pie’ pari questa fase. Infine un applauso per aver accettato di svolgere questo lavoro di servizio alla comunita’.
Publons è stato comprato da Clarivate Analytics, cioè, come scrive l’articolo, l’ex ISI, che era ed è un’intrapresa a fine di lucro. Ciò comporta che, come gli articoli che pubblichiamo, gratis, ricevono valore non per il loro contenuto, ma per l’impatto calcolato – o, meglio, negoziato – fra commercianti e per fini commerciali, così le revisioni che facciamo, gratis, riceveranno valore non per il loro contenuto, ma per essere incluse in un database in mano a un ente commerciale il quale, per di più, è uno dei due oligopolisti della bibliometria, e certamente ne trarrà qualche altro indicatore da vendere a caro prezzo.
D’altra parte come altro si può fare, visto che le revisioni non si possono né leggere né firmare?
Come dice giorgioch, ogni anno (o due anni, o cinque anni) la rivista pubblica l’elenco dei referee. Poche riviste lo fanno. In questo modo il lavoro viene riconosciuto e un minimo di anonimato viene garantito (io credo che un autore che conosce bene l’ambiente riesce quasi sempre ad inviduare il referee, se il referaggio è sufficientemente dettagliato).
In ogni caso, non mi stancherò mai di dire che la decisione se accettare o rifiutare un lavoro viene presa dal comitato editoriale (o da un suo membro), non in base esclusivamente al giudizio del referee. Anche qui molte riviste scrivono “Article presented by”; costui si prende pubblicamente la responsabilità dell’accettazione dell’articolo.
Completamente d’accordo su Publons.
Delle volte i giudizi dei referee paiono assurdi: errori dove non ci sono, richieste di specificare termini nel settore non più discussi…
Però è bene riflettere e cercare di comprendere
Scriviamo per i lettori, non semplicemente per essere valutati e ormai sappiamo che spesso i nostri giudici non sono strettamente del nostro settore…
Poi, credo anche che i nomi dei referees si conoscano…