Abolire il sistema della peer review? Se sì quali sono le ragioni che ne giustificherebbero l’abolizione? E con cosa potrebbe essere sostituito? Il tema è oggetto di riflessione nella letteratura internazionale. Marco Viola discute alcuni contributi recenti. 

Lo scorso 4 dicembre, la piattaforma lavoroculturale.org ha riproposto la traduzione italiana di un commentary di Mieke Bal, originariamente apparso su Media Theory Journal: “Aboliamo il sistema peer review” (orig. Let’s abolish the Peer-Review System). Nel pezzo, l’autrice critica il sistema della double blind peer review, ad oggi impostosi come default option per la quasi totalità delle riviste scientifiche, schierando contro di esso una decina di ragioni, quali la sua connaturata tendenza conservatrice (nelle idee e nelle gerarchie), o il tempo perso a effettuarla.

Anche se il pezzo di Mieke Bal ha il merito di aver posto un tema importante in toni finalmente radicali, chi (come il sottoscritto) si aspettasse di trovarvi riflessioni articolate sul perché e come abolire la peer review (e su come sostituirla) potrebbe restare con l’amaro in bocca.  Questo essenzialmente per due motivi. Primo, perché Bal tratta aneddoticamente temi su cui la sociologia della scienza ha dedicato un’ampia e documentata letteratura. Secondo, Bal non offre una vera e propria alternativa – se non un vago accenno al ritorno all’arbitrio delle redazioni delle riviste: prospettiva legittima e meritevole di una discussione attenta, che tuttavia non è offerta nel pezzo. Anche se legittimo e inevitabile per innescare una discussione, una critica dei vizi di un sistema che non analizzi le funzioni a cui assolve (o si presume assolvere) rischia di naufragare contro lo scoglio dell’ormai celebre paragone tra peer review e democrazia: “la peggior forma di governo, ad eccezione di tutte le altre”.

Grazie alla segnalazione del collega Francesco Berto, ho potuto colmare l’insoddisfazione derivante da queste due lacune attraverso un ottimo articolo pubblicato da Remco Heesen e Liam Kofi Bright (H&B) sul British Journal for the Philosophy of Science (https://doi.org/10.1093/bjps/axz029)[1]. L’articolo si intitola, e si domanda, “Is peer review a good idea?”. E si risponde che no, non lo è. Più nello specifico, H&B comparano il sistema editoriale tuttora dominante, basato sul superamento di una double blind peer review come condizione necessaria per pubblicare articoli, con un sistema più snello, parzialmente ispirato a quanto avviene già in certe discipline quali la fisica, dove ormai è prassi comune depositare (e citare) i preprint degli articoli in repository ad accesso aperto (es. arXiv). Nello scenario prospettato da H&B, questa prassi diverrebbe lo standard di tutte le discipline – salvo che i “preprint” non andrebbero più chiamati né concepiti così: semplicemente, quando gli autori ritenessero pronto il loro manoscritto potrebbero ‘pubblicarlo’ caricandolo sul repository. In questo scenario le riviste non perirebbero (o almeno non necessariamente): semplicemente, cambierebbero funzione, operando non più una selezione degli articoli “a monte”, bensì (per esempio) selezionando “a valle” una serie di contributi su uno stesso tema, andando a formare delle antologie ragionate su un argomento ritenuto di interesse[2].

Nel difendere la loro proposta, H&B soppesano i benefici e i (presunti) costi che comporterebbe il passaggio dalla peer review al sistema da loro delineato. Trai benefici annoverano:

  • una più rapida e fluida condivisione del lavoro di ricerca;
  • il tempo risparmiato ai revisori, che sarebbero liberi di riallocarlo per leggere ciò che preferiscono (ma vedi oltre);
  • un (eventuale) gender bias nel processo revisione, così come anche altri bias, verrebbero eliminati – banalmente perché non ci sarebbero più revisioni;
  • un’emancipazione dall’egemonia economica dei grandi gruppi editoriali privati, che con lo smantellamento (o rivisitazione) del “mercato del prestigio” delle riviste scientifiche vedrebbero limitato il loro (stra)potere. Le funzioni di copyediting e di manutenzione degli archivi, auspicano H&B, potrebbero essere riassorbite all’interno delle istituzioni di ricerca, producendo verosimilmente un notevole risparmio;
  • alleviare il fenomeno del publish or perish, che nuoce alla ricerca e a chi la fa, spostando il focus della valutazione dei curricula da considerazioni di breve termine (“quali riviste hai espugnato?”) a considerazioni di lungo periodo (“quale impatto ha avuto la tua ricerca sulla comunità?”, eventualmente misurato in termini bibliometrici – anche se gli autori lo sconsigliano), o di valutazioni nel merito (parte del tempo risparmiato come revisori potrebbe essere riallocato a leggere davvero i lavori dei candidati);
  • ridurre il potere centralizzatore e non di rado conservatore dei ‘gatekeepers’, cioè delle élite scientifiche che ‘presidiano’ l’accesso alle riviste più prestigiose.

H&B procedono poi discutendo alcuni presunti ‘contro’ dell’abolizione della peer review, decostruendo l’idea che sia all’altezza di alcune funzioni che le si attribuiscono, o mostrando come queste funzioni sarebbero meglio svolte altrimenti:

  • La funzione di garanzia di qualità. La presunta affidabilità degli articoli scientifici che hanno passato un processo di revisione, tanto presso i colleghi quanto presso il grande pubblico, merita un’attenta riconsiderazione alla luce del recente dibattito sulla crisi delle replicazioni e dei numerosi casi di frodi o errori che producono numerose retractions anche – forse soprattutto – nelle riviste più prestigiose. A questo punto, meglio forse abolire la peer review e con essa l’eccesso di fiducia negli articoli che l’hanno passata.
  • La funzione di segnalare (e ordinare gerarchicamente) la qualità. La gerarchia delle riviste tuttora vigente presumerebbe di ordinare gli articoli in base a qualche scala meritocratica di qualità e rilevanza. H&B (e la letteratura che evocano) offrono però ragioni di pensare che il rationale di queste gerarchie sia infondato, e a prescindere da questo, che questo sistema fortemente gerarchico per guidare l’attenzione dei ricercatori verso certi contributi piuttosto che altri non sia efficiente.

H&B d’altro canto invitano alla cautela rispetto a un effetto positivo che ci si potrebbe aspettare dalla loro riforma: la riduzione dell’effetto gregge, ovvero della tendenza dei ricercatori a seguire le mode del momento. Infatti, se da un lato la “censura” delle idee eterodosse operata dall’esterno (dai revisori) verrebbe meno, in qualsiasi sistema di allocazione del credito basato sul riconoscimento dei pari i ricercatori potrebbero finire per riprodurla internamente, in forma di auto-censura, al fine di intercettare il plauso dei colleghi.

Il vero tallone d’Achille della proposta di H&B, come essi stessi ammettono (trovandomi concorde), sta invece nell’effetto San Matteo. Descritto per la prima volta da Robert Merton[3], fondatore della sociologia della scienza, per indicare il fenomeno per cui ai ricercatori che godono di maggior prestigio sarà più facile ottenerne altro rispetto a coloro che ne hanno meno, l’effetto prende il nome da un celebre passo del Vangelo di Matteo (25, 29): “Perché a chiunque ha sarà dato e sarà nell’abbondanza; ma a chi non ha sarà tolto anche quello che ha”. Ora, nel vigente sistema di peer preview pre-pubblicazione, le pagine di una rivista prestigiosa costituiscono una vetrina dove anche l’articolo di un giovane ricercatore può, a patto di superare il vaglio dei revisori-gatekeeper, ottenere l’attenzione di altri scienziati. Abolire le riviste potrebbe significare che i giovani ricercatori vengono privati di questo strumento: pur in assenza di dati, H&B ammettono che questo potrebbe essere un problema. E tuttavia, non un problema insolubile: parallelamente all’abolizione della revisione pre-pubblicazione si potrebbero infatti allestire altri sistemi per garantire al lavoro dei ricercatori una certa visibilità (o quantomeno: rendere questa visibilità contendibile).

Come si evince da quest’ultima considerazione, la proposta di H&B non è esente da problemi. Se è per questo, la loro trattazione potrebbe anche peccare di non tracciare i dovuti distinguo tra varie discipline, dove la peer review può assumere forme e significati assai diversi (la revisione di un lavoro empirico richiederà una particolare enfasi sulle tecniche statistiche e sull’adeguatezza del protocollo; quella di un lavoro matematico valuterà soprattutto la coerenza dei passaggi formali; quella di un lavoro umanistico porrà un accento maggiore, tra le altre cose, sulla completezza bibliografica). Si tratta comunque di incompletezze che possono (e che auspico) essere colmate da una futura discussione: discussione che il loro articolo merita di innescare, e che andrebbe sviluppata in parallelo sul doppio binario della letteratura scientifica e del dibattito nella comunità scientifica.

[1] Dato l’interesse che ha suscitato, l’articolo è stato messo a disposizione in accesso aperto dall’editore della rivista (Oxford University Press) fino al marzo 2020: http://oxfordjournals-marketing.oup.com/q/1HuYoMjwMZrFxwWItS9Ij/wv?fbclid=IwAR1kBsaxdFDqpv8OU5dLPMayQKXTAeGSSA6VOPsiUJ5XMadlQ90ldef0qCg. Un’altra fonte è il repository della London School of Economics all’URL http://eprints.lse.ac.uk/101242/.

[2] Paola Galimberti mi segnala gentilmente che questo modello editoriale (collezione ragionata di articoli depositati su ArXiv) è già adottato da almeno un paio di riviste, dette overlay journal: Quantum e Discrete Analysis.

[3] Merton, R. K. (1968). The Matthew effect in science. Science, 159(3810), 56-63.

Print Friendly, PDF & Email

24 Commenti

  1. Ottimo articolo, grazie. Aggiungo che l’esperienza tra i fisici di Arxiv deriva da una (preesistente) prassi di scambiarsi preprint (niente di nuovo salvo la riduzione dei costi e la velocità rispetto alla posta ordinaria). Pero’ come tutti i “free repository” soffre di un controllo di qualità (anche banalmente su aspetti importanti come il plagio e la citazione). Le nuove strade, come sottolinea il suo articolo, hanno bisogno di rispondere anche a problemi che ora sono assai ridotti ma che si potrebbero ripresentare

  2. Confesso di non capire: il potere dei grandi gruppi editoriali e/o delle élite scientifiche si trasferirebbe semplicemente dall’accettazione dei lavori alla scelta di chi includere in queste “antologie ragionate”. Cosa cambia? (lasciando perdere il fatto che queste antologie si fanno, eccome, di solito a bocce ferme quando il tutto è ben storicizzato, quasi sempre gli autori non se ne giovano, perchè sono già morti da un pezzo!)

    Se c’è una cosa di cui i grandi editori non hanno colpa è proprio il “publish and perish”, che è dovuto agli insensati sistemi di valutazione. Si valuta una persona leggendo i suoi lavori, se sono troppi gli si fa scegliere, che so, le venti pagine più importanti della sua produzione, dovunque sia pubblicata, o anche sotto forma di preprint. E, naturalmente, chi la valuta ci mette nome e faccia.

    Temo che queste “antologie ragionate” diventerebbero come i video correlati di youtube o l’antologia di chi ha più like su facebook. Del resto sarebbe tutto oggettivo e misurabile, no?

  3. Trovo completamente fuorviante il riferimento al sistema delle repository ad accesso aperto (es. arXiv). Proprio nella comunità dei fisici è estremamente chiara la differenza tra quello che “esce” su arXiv e quanto viene pubblicato in riviste con peer review. arXiv non sostituisce la pubblicazione tradizionale. Tanto per comiciare, non è che la pubblicazione su arXiv sia completamente aperta. Esiste ormai da anni un sistema di “autori registrati” e un nuovo autore deve ottenere un “endorsement” da altri autori registrati per poter pubblicare. Inoltre il criterio per la pubblicabilità su arXiv è che “arXiv only accepts submissions in the form of an article that would be refereeable by a conventional publication venue.” Quindi, nello stesso criterio di accettabilità per arXiv c’è il riferimento alla peer review.

    Ma soprattutto, proprio l’argomento secondo cui la peer review non garantisce la qualità, usando casi di frodi o ritrattazioni, può venire usato in modo molto più forte contro la sostituzione della pubblicazione su repository a quella tradizionale.

    Noto infine che qualsiasi rivista tradizionale ha delle procedure e dei riferimenti alle persone nella catena decisionale estremamente più trasparenti di quanto accada sui repository.

    Personalmente continuo ad esser convinto che molte delle distorsioni del sistema attuale hanno un’ origine comune nel meccanismo del “publish o perish” che ha profondamente trasformato il modo di produzione della conoscenza. Finché le valutazioni dei ricercatori saranno affidate alla quantità, ci avviteremo su noi stessi cercando fantasiosi rimedi per problemi derivanti dalla insostenibilità di una crescita eccessiva delle pubblicazioni.

  4. Visto che si parla di sociologia della scienza, la prima cautela sarebbe distinguere cosa avviene nei vari campi disciplinari: sbocchi editoriali, sistemi e gerarchie editoriali, sistemi di selezione, problemi di impatto e quant’altro sono molto ma molto diversi nei vari settori.
    Poi: sarebbe a dire che non serve ottenere su una bozza di articolo il parere di qualcuno che ne capisce e ascoltare osservazioni, dubbi, rilievi, correzioni?
    Non serve che una rivista si preoccupi di mantenere il proprio profilo e la propria qualità scientifica?
    Non serve che si difendano certi requisiti metodologici o certe peculiarità contenutistiche?
    Non serve che – anziché buttare frettolosamente nella fossa un saggio o peggio un libro – gli autori si prendano del tempo per riflettere? Ascoltare? Dubitare? Correggere?
    Davvero abbreviare i tempi di pubblicazione è sempre consigliabile?
    Davvero parlare di riviste in termini di ‘poteri forti’ accademici è una descrizione realistica e soddisfacente?
    Non serve che i responsabili di una rivista si prendano, appunto, la responsabilità di dire all’autore di un cattivo articolo che il suo è un cattivo articolo? Dire che un articolo è brutto o sbagliato significa davvero esercitare un controllo tirannico, conservatore o, come qualcuno dice, ‘baronale’? Nessuno si è mai trovato nella non piacevole situazione di dover rifiutare un articolo? E rifiutare ponderatamente e motivatamente un articolo cos’è? Esercitare un potere arbitrario?
    Nessuno ha mai lavorato e sa cosa significa aiutare a trasformare un manoscritto in un libro pubblicabile? Davvero è meglio scaraventare quel manoscritto nell’agone pubblico? A chi giova esattamente?
    Insomma: non è giusto che ci sia qualcuno che ne sa un po’ di più di altri e che ha la facoltà di esprimere opinioni competenti?
    Come tutti i sistemi di selezione, anche la peer review diventa rovinosa e insopportabile quanto si trasforma in un dogma procedurale o in un adempimento burocratico imposto da un organo di controllo esterno anziché dalle buone prassi del dibattito scientifico.
    Forse è consigliabile, quando si tratta di produzione di conoscenza, disporre di un sistema che elevi il dubbio a criterio guida, che temperi la fretta, che accetti opinioni contrarie alle proprie. Oppure la selezione è un male in sé e “uno vale uno” ?
    (Tutto questo non sa terribilmente di già sentito dire fuori del campo accademico in certe forme di vita politica contemporanea avviate al tramonto?)
    Forse non esistono editori che agiscono da poteri forti irresponsabili? Esistono sicuramente. Sono quelli che si permettono di non garantire trasparenza delle procedure, che si permettono di esprimere giudizi incompetenti, o, peggio, che si arrogano il ruolo di decisori supremi di ciò che va pubblicato e cosa no (del resto, devono far quadrare i conti e lasciamo che lo facciano). Ma di quegli editori – parlo di editori di discipline SSH e soprattutto italiani – la ricerca vera non ha bisogno (sono gli stessi che pubblicano libroni pieni di sciocchezze solo perché pensano si vendano e sia bene occupare una nicchi di mercato). Basta fare in modo che non ci sia un assurdo sistema di valutazione che dia importanza al loro nome e individuare alternative. Ma qui il discorso si fa lungo.

    • Tutte queste incombenze dovrebbe prendersele la direzione della rivista, e a viso scoperto. Nelle riviste ANVUR il direttore è semplicemente un passacarte che vidima giudizi anonimi, spesso senza neanche leggerli (“sono troppi, non c’è tempo, non si può legger tuttoooooo”).

  5. In realtà, le persone possono sempre inquinare ogni proposta ed asservirla ai loro propositi. In se stessa l’idea di un archivio della produzione scientifica è ottima, ma chi dice che verranno scelti e immessi in prestigiose pubblicazioni ottimi articoli? Che altri ottimi non trovino la loro via? Se si fa di quest’ultimo passaggio un criterio per la valutazione e la progressione carriera niente cambierà.
    In modo particolare mi ha colpito questo punto: “ridurre il potere centralizzatore e non di rado conservatore dei ‘gatekeepers’, cioè delle élite scientifiche che ‘presidiano’ l’accesso alle riviste più prestigiose.”
    Nei nostri campi, i gatekeepers stanno bloccando articoli seri, ma di scuola diversa da quella che sta divenendo ‘mainstream’. Nelle discipline umanistiche vigono le mode: alcuni costruiscono la loro carriera contro altri/altre discipline/altre teorie critiche…Assumere questo atteggiamento in una proposta che dovrebbe avere altro carattere, mi pare indicare un vizio.

  6. Penso che Giorgio 1 e 2, Guido, Franco e Mariam abbiano offerto considerazioni ottime e condivisibili per questa discussione. Io volevo solo provare a rispondere alla proposta della Bal, siccome purtroppo non riesco ad accedere al secondo lavoro. Inizio con un breve sommario dei vari argomenti proposti e procedo con un altrettanto breve commento. Per quanto possibile, parlo anche io per esperienza personale (di dottorando, postdoc, ricercatore, autore, revisore e editore).

    1. Siccome i ricercatori devono svolgere ruoli amministrativi, non possono fare i revisori.
    RISP: Secondo me, uno che preferisce spendere tempo nel lavoro di amministrazione o e’ un amministrativo o sta facendo il lavoro sbagliato.

    2. La procedura e’ formale (anziche informale).
    RISP: Questo, sempre a mio personale giudizio, e’ a garanzia di tutti.

    3. I referee sono frettolosi.
    RISP: Ci sono referee frettolosi e altri veloci. Ci sono referee accurati ed altri lenti. (Lo dico per esperienza come autore, revisore e editore).

    4. Gli editori e i revisori sono di parte. Mi e’ capitato di trovare un revisore che credevo amico e non lo era.
    RISP: E’ importante poter scegliere su quale rivista pubblicare. (Quanto alla seconda affermazione penso sia capitato a molti: e allora?)

    5. I giovani sono spaventati da questo sistema.
    RISP: I primi lavori spesso non si pubblicano da soli. E in ogni modo la paura non deve bloccare nessuno; caso mai deve essere un incentivo a fare meglio. Vale per giovani e vale per vecchi. (Mi ricordo perfettamente di quegli anni e della determinazione a pubblicare i risultati che avevo ottenuto)

    6. Non e’ facile trovare dei revisori. Io perlomeno non lo so fare, e credo che certi redattori professionali che conosco abbiano incaricato dei faciloni.
    RISP: Questo problema e’ degli editori e delle riviste. Se uno decide di lavorare da editore, deve imparare il mestiere.

    7. La revisione rallenta la pubblicazione. Io per esempio ho preferito fare dei film che scrivere.
    RISP: Si ma una revisione ben fatta contribuisce alla qualita’. Una mal fatta produce malcontento, e la prossima volta (o la volta stessa) l’autore cambia rivista. Se succede troppo spesso, la rivista perde prestigio.

    8. I dottorandi non possono trovare una lavoro senza pubblicare. Se il revisore si oppone, come si fa? Conosco un caso del genere; un dottorando che aveva fatto un bellissimo articolo, garantisco io, ha ottenuto un rifiuto! Fortuna che il suo advisor l’ha piazzato lo stesso.
    RISP: Ogni advisor che vale qualcosa deve essere attento alla crescita della persona che segue, e ne deve seguire poche e bene. Ogni advisor che piazza il proprio studente rischia grosso, indebolendo lo studente e entrando nel territorio paludoso dell’arbitrio.

    9. Siccome nell’universita’ siamo tutti invidiosi, non e’ possibile ottenere un rapporto onesto su un articolo.
    RISP: Il revisore (o meglio i revisori) dovrebbero giocare il ruolo dell’avvocato mentre l’editore (gli editori) quello del giudice. Sulle affermazioni generali (“tutti siamo”) non saprei dire; io, per es., faccio il possibile per diventare migliore e non sono il solo.

    10. Il sistema e’ autoritario mentre alla gente piace sentirsi libera.
    RISP: Ci sono tanti modi per sentirsi liberi anche eventualmente pubblicando libri. Si possono anche creare delle riviste se uno vuole. Il problema eventualmente e’ se poi si trovano persone che leggono/usano o meno quei libri e quelle riviste.

  8. Secondo me le riviste seria hanno una loro ragione di essere, ed è anche giusto che costino dei soldi e che l’editore ci guadagni.
    Quel che non è giusto è che i revisori non siano pagati ed i loro nomi tenuti nascosti.
    Una rivista seria dovrebbe dotarsi di un comitato scientifico-editoriale di alto livello, la cui composizione deve essere pubblica, e questa gente và pagata per il loro lavoro, sia che facciano gli editor che i revisori.
    Su ogni articolo andrebbe scritto in basso chi era l’editor e chi erano i revisori (e questo dovrebbe essere un piccolo titolo di merito anche per essi, perchè quando esce un buon articolo, gli autori hanno sempre ricevuto un aiuto da parte dei revisori, anche se solo sotto forma di critica costruttiva).
    Dovremmo smetterla tutti di fare i reviewer gratuitamente ed anonimamente, io sto già rispondendo quanto sopra a tutte le proposte di fare da reviewer che mi arrivano: voglio essere pagato e voglio che il mio nome sia comunicato agli autori ed appaia sull’articolo come reviewer.
    Il problema è che la maggior parte degli accademici continua a prestarsi gratuitamente ed anonimamente…

  9. La revisione “di un lavoro umanistico porrà un accento maggiore, tra le altre cose, sulla completezza bibliografica.” Vorrei anzitutto sapere quali sono queste “altre cose”, almeno qualche esempio. “La completezza bibliografica” – ma cosa significa? se “le altre cose” non vengono specificate, almeno in parte. Non voglio metterla sul ridicolo, ma potrei raccontare aneddoti sulla “completezza bibliografica”. Ne faccio due, che riguardano campicelli da me coltivati (entro la linguistica). 1 (l’ho già raccontato una volta, ma è straordinario) … per questo dialetto o per quella lingua (per i quali esistono se non altro dizionari) se uno non ne ha la competenza attiva, si rivolge al vicino di casa, all’amico, al collega, all’informatore che gli capita, e gli chiede, “ma tu come esprimi un certo modo di salutare?”. Al massimo lo ringrazia, se è il caso. Invece no. “Buongiorno si dice “buongiorno”, v. XY, titolo, anno, pagina. XY era prof. ordinario di quella disciplina. 2. lavori prodotti in altre lingue (francese, inglese ecc.) che vengono utilizzati solo se tradotti in italiano, per cui XY, The theory of everything, luogo, editore, anno; edizione it., titolo, luogo, editore, anno e, finalmente, anche la pagina; alla fine tutta la bibliografia è stata letta solo in italiano.

  10. Si potrebbe immaginare una specie di arxiv che tuttavia non sia solo un puro magazzino virtuale di memorie scientifiche ma anche una specie di tripadvisor per la letteratura scientifica, una specie di bacheca virtuale di memorie scientifiche con annesso spazio per inserire commenti oppure segnalazioni di errori oppure lettere aperte o domande all’autore oppure dichiarazioni di apprezzamento dove però

    1. non sono ammessi commenti anonimi;

    2. il sistema di controllo sulla identità di chi ha lasciato commenti è affidabile;

    2. possono scrivere commenti soltanto studiosi “accreditati”: la procedura di accreditamento è un punto delicato: essere “accreditati” è già un riconoscimento di valore, da parte della comunità degli studiosi;

    3. un altro punto delicato è il fatto che lo studioso X, per oscuri motivi, potrebbe citare il lavoro di Y in quanto i risultati di Y gli sono essenziali, ma senza lasciare commenti di apprezzamento nella bacheca virtuale. A questo punto lo stesso Y può inserire un commento documentato in cui segnala questo fatto.

    Forse è utile immaginare e implementare qualcosa di simile, con eventualmente altre regole che al momento non mi vengono in mente. Questa bacheca virtuale potrebbe servire per farsi una idea del contenuto e del modo in cui gli studiosi attualmente vedono una determinata memoria scientifica. Ad esempio, un commento di apprezzamento a un lavoro poco citato da parte di una stella del firmamento scientifico potrebbe servire a spezzare gli eccessi, i danni e gli abusi della bibliometria. In definitiva la bacheca virtuale qui immaginata potrebbe essere un luogo in cui gli studiosi scrivono pubblicamente anche delle lettere di presentazione dei lavori che mano a mano essi leggono per via dei loro interessi scientifici. Si dice spesso che non possiamo leggere tutto, ma gli studiosi qualcosa dovranno pur leggere, per svolgere la loro ricerca e i loro studi.

    Una bacheca virtuale di questo tipo, unitamente alle riviste chiamate overlay journals potrebbero un poco per volta rimettere la gestione della produzione di memorie scientifiche nelle mani di chi la fa, sottraendo a certe case editrici una fonte di guadagno oltremodo eccessiva e per giunta incompatibile con le esigenze di diffusione della conoscenza, in special modo di quella prodotta con finanziamenti pubblici, e sottraendo ai gestori delle banche di dati (peraltro incomplete), contenenti dati su chi cita cosa, il monopolio sulla “valutazione” che stanno acquisendo.

  11. Anche se la revisione paritaria anonima è più recente di quanto si immagini, possiamo dire che nell’età della stampa i vincoli economici e tecnici imponevano una selezione anteriore alla pubblicazione. Questa selezione, anche se la immaginiamo animata dalla più disinteressata probità scientifica, è però pericolosamente contigua al potere di chi controlla il torchio e il denaro che lo muove. Il revisore e, ancor peggio, il direttore, usa o crede di usare la critica scientifica, ma ha ricevuto da chi ha gli strumenti e i soldi, il potere di mettere a tacere i colleghi.

    La rete rende possibile sciogliere questa pericolosa contiguità, disaccoppiando il momento della pubblicazione da quello della discussione. Un overlay journal si basa appunto su questo principio: tutto è già pubblicato, mentre la revisione paritaria viene fatta dopo, e separatamente: la sua redazione può continuare a fare l’eventuale bene della revisione paritaria tradizionale. guadagnandone in autorevolezza, perché non detiene più il potere di mettere a tacere – un potere imbarazzante, se lo scopo della rivista è l’uso pubblico della ragione e non il danno ai nemici e il favore agli amici in virtù di bollini editoriali o, peggio, governativi.

    • Se la questione è nei termini di “potere di mettere a tacere” occorrerebbe che la comunità scientifica si interroghi su questo stato di degrado, piuttosto che sperare nel potere salvifico di improbabili soluzioni tecniche. In un mondo di “amici e nemici” una peer review pubblica esporrebbe a pesanti ritorsioni. Specie se fatta da persone più giovani.

    • È vero: il disaccoppiamento di pubblicazione e revisione è solo una condizione necessaria, contro censure redazionali e oligopoli editoriali, della libertà dell’uso pubblico della ragione. Non è affatto una condizione sufficiente: molto dipende – distributivamente e collettivamente – dalle persone e dal modo in cui sono o si fanno governare. Qui (https://commentbfp.sp.unipi.it/roberto-caso-una-valutazione-della-ricerca-dal-volto-umano-la-missione-impossibile-di-andrea-bonaccorsi/#robust – dal paragrafo che comincia con “Evidentemente l’autore ha mantenuto fede”) Roberto Caso racconta la vicenda di una revisione paritaria aperta con conflitto di interessi incorporato: il conflitto di interessi, visibile grazie alla pubblicità della revisione, è stato poi denunciato – ma semplicemente perché è arrivato qualcuno che ha avuto il coraggio di farlo. Rebus sic stantibus la pubblicità aiuta, ma non basta.

  13. Temo che parlare di “potere di mettere a tacere” nasconda un grave equivoco e, scambiando un supposto abuso per la regola, descriva non la realtà, ma un bersaglio polemico costruito ad hoc. Definire il compito delle riviste scientifiche l'”uso pubblico della ragione” significa di nuovo mescolare livelli, compiti e obiettivi, facendo una inutile confusione: caricare la comunicazione scientifica di sacrosanti valori civili e morali è come dire che si deve “disaccoppiare” – diciamo separare – la lingua dal cervello. Come dire: pubblico una scemenza, un brutto scritto, un argomento sbagliato, un errore, una sciatteria o peggio una falsità perché ho il diritto di farlo, non importa se carico di ciarpame la sfera della comunicazione scientifica e non importa se il mio dovere sarebbe dire la verità, dire cose originali e fondate e dirle bene, anche con l’aiuto di chi, conoscendo la materia e sapendone più di me, legge i miei scritti prima, mi dà consigli, rileva errori, mi induce alla chiarezza, migliora lo stile. Non sembra una grande scelta quella di pubblicare una stupidaggine e poi correggerla con la revisione (o la lapidazione pubblica) che ne può seguire: ma sul serio si pensa che questo possa funzionare e non, invece, aumentare la nebbia comunicativa e il malessere personale di chi scrive ? Oppure vogliamo pensare che faccia bene a un giovane ricercatore pubblicare immediatamente una banalità perché questo arricchisce l’elenco pubblicazioni? Ma davvero si pensa che tutti i membri di commissioni di abilitazione o di qualsiasi concorso o di comitati di direzione di riviste guardino solo le liste, ascoltino il parere degli amici e non leggano i lavori?E non lo facciano in modo scrupoloso e senza prevenzioni?
    In generale, è un pessimo metodo critico generalizzare cattive pratiche e dire che tutto funziona così, anche se si capisce il meccanismo psicologico del complottismo: siccome non conosco, non capisco e non so o non voglio regolarmi su un principio di realtà, allora disegno un oscuro e onnipotente nemico sul quale scarico tutta la mia verve. D’accordo, facciamolo pure (come meccanismo psicologico ci investe tutti). Basta sapere che non serve. E’ inutile. Anzi, peggiora le cose, generalizzando le offusca, ne ostacola la comprensione e soprattutto le possibilità di miglioramento. PS: il filo del discorso riguarda il funzionamento delle riviste scientifiche e i meccanismi di selezione editoriale (su cui c’è molto da dire certamente, ma non in questi termini), non altro.

    • Forse a Guido sfugge che “uso pubblico della ragione” è un termine tecnico che fa riferimento a Immanuel Kant. Un riferimento ancor più opportuno quando si discute della “valutazione di stato” gestita da Anvur. Se la ricerca scientifica sul diritto del lavoro (o quella sulle politiche economiche) viene valutata in base a criteri stilati da un organismo di nomina ministeriale, il famoso scritto “Risposta alla domanda: che cos’è l’Illuminismo?,” risulta di scottante attualità. Dietro la discussione, non c’è solo Kant ma anche una serie di riflessioni che poco hanno a che fare col complottismo. Per chi è interessato a capirne qualcosa di più, ecco un possibile punto di partenza:
      __________
      La lunga ombra di Oldenburg: i bibliotecari, i ricercatori, gli editori e il controllo dell’editoria scientifica
      Jean-Claude Guédon
      Université de Montréal
      https://bfp.sp.unipi.it/rete/oldenburg.htm
      ______________
      Un aspetto importante è che senza un approccio storico, è difficile mettere a fuoco che le modalità attuali della trasmissione del sapere scientifico sono frutto di processi storici che si sono intersecati con gli sviluppi tecnologici. Quando si arriva a capirlo, si capisce anche che la configurazione attuale è un punto di arrivo, ma anche, inevitabilmente, un punto di partenza. Da questo punto di vista, il testo di Guédon mi sembra di grande aiuto.

    • In realtà, le cattive pratiche sono estese. Tanto che vengono denunciate ora su riviste non specializzate. Anche io fino a che tutto andava bene pensavo avvenisse tutto in modo limpido e giusto. Purtroppo, ho avuto ragione e modo di ricredermi

    • A nessuno verrebbe in mente di trattare come “cospirazionista” o “complottista” il generale requisito – salvo motivate eccezioni – di pubblicità degli esami universitari e dei processi. Esso, infatti, non si fonda sulla convinzione che i professori e i giudici siano generalmente corrotti e abusivi, ma sull’idea che la loro stessa autorevolezza tragga vantaggio dalla pubblicità dell’esercizio del loro potere. Non si parla, cioè, di corruzione e abusi effettuali, ma di corruzione e abusi possibili. Mi ricordo di aver imparato moltissimo, a suo tempo, dagli esami di Giuliano Marini e di Domenico Settembrini, perfino, e anzi soprattutto, quando i candidati non concludevano positivamente la prova. Ma se i loro esami fossero stati a porte chiuse avrei imparato ben poco, avendo accesso solo alle opinioni di alcuni studenti promossi o respinti. Se è il “complottismo” che si depreca, quale condizione più facilmente lo alimenta? Quella in cui l’esercizio del potere è segreto, o quella in cui è pubblico?

      Chi progetta istituzioni deve interrogarsi molto più sulla possibilità che sull’effettualità: altrimenti chi fosse governato da un despota illuminato, volendo evitare il “complottismo”, dovrebbe riconoscere che il dispotismo è il miglior regime possibile – salvo cascare dalle nuvole quando a Federico II Hohenzollern succede il meno illuminato Federico Guglielmo II.

      Se la rivoluzione digitale offre gli strumenti per assicurare a ogni fase della discussione scientifica una pubblicità che ne corrobora l’autorevolezza e aiuta a distinguere la revisione paritaria formale e no da un esercizio di potere segreto e irresponsabile, perché non farne uso – come sostiene Timothy Gowers, matematico e vincitore di una medaglia Fields, qui?

      https://www.the-tls.co.uk/articles/the-end-of-an-error-peer-review

  14. Non si può dare a priori un giudizio negativo o positivo su commissioni o peer reviewers. Tuttavia, se una commissione sbaglia e lo fa sistematicamente, o dà giudizi arbitrari come fossero assiomi, non vi è il fondato dubbio che sia incompetente o che i suoi criteri siano inquinati dal pregiudizio? Se un revisore sbaglia vi è il secondo revisore, spesso anche un terzo, se il testo viene revisionato da altri. I giudizi in ogni caso saranno valutati dall’autore che potrà decidere di inviare ad altra rivista e vedere reso pubblico il suo articolo.
    Ciò che bisogna considerare seriamente è la valutazione. In certi settori passano coloro che appartengono o hanno contatti con certe università, o che applicano determinate teorie, vengono esclusi lavori seri e minuziosi sui testi. Vi pare un caso? Vengono favoriti i più giovani: gli anziani non sono almeno alla loro altezza? C’è qualcosa che non torna…

  15. Ringrazio Marco Viola per aver segnalato l’interessante lavoro di Heesen e Bright: non immaginavo che il problema del Peer Review fosse gia’ materia di studio approfondito dell’Epistemologia e della Filosofia della Scienza. Sono ovviamente d’accordo con la loro analisi, che anzi si è tenuta anche molto prudente, giacché gli autori non sono dentro e conoscono solo in parte la situazione attuale del sistema e le sue distorsioni. Secondo me manca anche uno studio storico di come funzionava la Scienza prima dell’introduzione del Peer Review e come purtroppo funziona oggl, e se questo ha portato dei benefici o al contrario. E quante delle distorsioni moderne (e.g. publish or perish, esplosione del numero di papers, bibliometrics etc.) non siano magari proprio dovute al Peer Review. Forse può essere utile segnalare le riflessioni contenute nel mio blog: http://perso.neel.cnrs.fr/valerio.olevano/blog/index.php?page=peerreview e una proposta che faccio in un Manifesto per andare oltre il Peer Review: http://perso.neel.cnrs.fr/valerio.olevano/blog/index.php?page=manifesto

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.