Sono ormai decenni che il mondo accademico – nonché quello professionale e politico – accetta che il miglior modo di valutare la ricerca sia quello basato su Peer Review (PR) o valutazione paritaria. In questo sistema ci si affida al giudizio di 2, 3 o 4 esperti. Il giudizio può riguardare assegnazione o conferma di posti di lavoro o di fondi per ricerca o pubblicazione dei risultati della ricerca su libri o su riviste accademiche. È di questo ultimo caso che ci si occuperà in questo articolo.

Quasi tutte le riviste accademiche – e certamente quelle considerate prestigiose – hanno problemi di allocazione di spazio, ovvero pagine della rivista ai vari articoli. La questione non è indifferente perché molte riviste ricevono un numero di contributi di gran lunga in eccesso dello spazio disponibile. C’è quindi bisogno di un sistema di allocazione che riduca la domanda di spazio al livello dell’offerta che è limitata dal massimo numero di pagine che la rivista può produrre in un anno data la sua struttura, storia e i costi. In questa situazione affidarsi al giudizio di esperti nel campo sembra una cosa equa e ovvia. Eventuali problemi di bias sono teoricamente eliminati tramite il sistema del doppio anonimato (double blind): i nomi dei referees non sono resi noti agli autori né i nomi di questi ultimi ai referees.

Malgrado questi ben noti vantaggi, sono ormai diversi anni che il sistema di valutazione paritaria pre-pubblicazione viene criticato per varie ragioni (Ietto-Gillies 2008 and 2010) che includono le seguenti. Costi sociali per il sistema accademico in generale: tempo – non remunerato – dei referees; lunghi tempi prima che un lavoro possa essere pubblicato. Questioni di qualità: il sistema non può garantire che i dati usati siano genuini; che non ci siano errori o che non ci sia plagiarismo.  Ma la critica maggiore riguarda il fatto che nel sistema di PR è molto probabile che lavori di ricerca fondamentale che usano schemi e strutture inusitate e quindi difficili da valutare non passino al vaglio dei referees, indipendentemente da quanto esperti, onesti e scrupolosi essi siano (Horrobin, 1990; Gans and Shepherd, 1994; Legendre, 1995). Gillies (2008) usa lo schema filosofico Kuhniano per spiegare perché in molti casi presi dalla storia delle scienze, lavori che decenni dopo sono riconosciuti come fondamentali per la disciplina, non sono stati – on non sarebbero stati –  considerati accettabili da un sistema paritario di valutazione.

I pari tendono a vedere un lavoro attraverso gli occhiali del paradigma entro il quale lavorano e si sono formati. È quindi molto difficile che essi riescano a vedere  la rilevanza in schemi diversi. I pari tendono a valutare positivamente lavori di buona/ottima qualità nell’ambito del paradigma dominante e quindi dell’ortodossia. Lee (2007) dà supporto empirico a questa tesi.  Sir James Black, il vincitore del Premio Nobel per medicina del 1988 in un’intervista al Financial Times (2009) così si esprime sul sistema paritario doppiamente anonimo:

‘The anonymous peer review process is the enemy of scientific creativity….Peer reviewers go for orthodoxy…”

Basi per un sistema alternativo

Prima di passare a considerare un sistema alternativo è bene soffermarci un attimo sul perché il sistema di PR è sotto forte attacco da alcuni anni soltanto. In fondo, molti dei problemi sopra elencati non sono nuovi; quindi perché adesso e non prima. A mio parere ‘il momento dell’acuirsi delle critiche è dovuto al fatto che da alcuni anni è possibile sviluppare alternative. Sono le tecnologie digitali che rendono possibile alternative migliori al sistema paritario. Vediamo come esse possano portare a un sistema valutario migliore.

Molte delle critiche al PR sono dovute al fatto che: (a) il sistema si basa su un numero molto limitato di referees (due o tre); e che (b) la forza trainante del sistema è la necessità di sfrondare ovvero di aiutare i redattori delle riviste a eliminare contributi in modo da dar loro sul piatto quei cinque o sei contributi da pubblicare in ogni numero. In altre parole la funzione del sistema è soprattutto di eliminare più che di contribuire allo sviluppo della ricerca.

Ma le tecnologie digitali ora rendono superfluo il punto (b): lo spazio per pubblicazioni non è più un problema. Molti lavori sono ora messi in rete prima di essere pubblicati e la digitalizzazione ha eliminato il problema di limitazione dello spazio cartaceo di cui soffrono le riviste. Non solo, ma le tecnologie digitali ora rendono possibile il coinvolgimento di un gran numero di esperti nella valutazione della ricerca. È nel gran numero è più probabile trovare qualche esperto  che si accorge che ci sono gravi errori o plagiarismo o dati fasulli nel lavoro. Inoltre tra i molti esperti che hanno accesso a un lavoro messo in rete è più probabile che si trovi qualcuno che riesce a capire che il lavoro contiene approcci completamente nuovi e forse di importanza fondamentale per il futuro. Ciò è molto meno probabile quando sono solo due o tre esperti – oberati di lavoro e di richieste di revisione – a dover giudicare.

Sistemi che portano ad un aumento del numero potenziale di referees/commentatori sono quindi resi possibili dalle tecnologie digitali e possono alleviare di molto i problemi maggiori del sistema paritario. Ma c’è un altro principio che è importante considerare. Quello della revisione aperta: ovvero in cui i nomi degli autori e dei referees sono noti. L’attribuzione di commenti ai commentatori ha il vantaggio di incoraggiare questi ultimo a esternalizzare anche punti originali quando commentano un lavoro, cosa che potrebbero non fare se temessero una appropriazione altrui delle proprie idée.  Se le idée espresse nei commenti sono attribuite al commentatori, è più probabile che il dibattito si articoli su come sviluppare quel particolare tipo di ricerca.

In altre parole sto cercando di dire che dobbiamo spingere il sistema verso un approccio sociale alla ricerca. La ricerca non è il frutto d’idée isolate di singoli individui pur bravi che essi siano. Essa può avvantaggiarsi dagli scambi d’idee tra ricercatori e quindi questi scambi vanno favoriti e non ostacolati. Molti commentatori possono dare contributi notevoli e sono molto più propensi a darli quanto più sanno che le loro idee saranno attribuite. Si obietterà che commenti aperti diventano commenti non incisivi ma blandi per timore di offendere. Questo può essere vero se la cerchia di commentatori è molto vicina a quella degli autori. Ma in un sistema digitale in cui ai lavori possono avere accesso – e contribuire con commenti – esperti di tutto il mondo, molti commentatori non avranno tali remore verso autori che forse non incontreranno mai.

Non bisogna inoltre dimenticare che il mondo accademico è abituato alle recensioni di libri. Queste sono aperte: i nomi dei recensori e degli autori di libri sono noti. Nondimeno molti recensori non si astengono certo da commenti pungenti. Perché lo stesso non dovrebbe avvenire nel caso di commenti a contributi per riviste? Le tecnologie digitali ci possono aiutare a spostare gradualmente la cultura accademica dall’idea di controllo e selezione verso l’idea di contributo sociale alla ricerca. L’attributo di sociale qui si riferisce alla interazione della comunità dei ricercatori in campi specifici.

Sistemi aperti di valutazione: due casi

Ci sono già in giro diversi tentativi di usare sistemi di valutazione aperti, basati sui seguenti principi. (1) pubblicazione online con accesso di molti commentatori potenziali appartenenti al gruppo di esperti nella materia; (2) attribuzione di nomi sia agli autori che ai commentatori. Due casi in particolare vale la pena di menzionare, uno preso dalle scienze naturali e uno dalle scienze sociali.

La rivista Atmospheric Chemistry and Physics gestisce un sistema aperto di commenti da diversi anni. I lavori sono messi in rete dopo un revisione iniziale che può essere anonimo a richiesta dei referees. A quel punto altri membri dell’ associazione possono inviare ulteriori commenti. Alla fine del processo i redattori chiedono agli autori di rivedere il lavoro e, se esso viene considerato meritevole in base ai vari commenti prima messi in rete, sarà pubblicato nella rivista. I potenziali commentatori e referenti sono membri della comunità di esperti e iscritti come tali alla rivista. I redattori della rivista in un articolo su Nature (Koop and Poschl, 2006) si dichiarano molto soddisfatti dei risultati dopo circa sei anni di attività. Ritengono che il processo aperto di valutazione della loro rivista abbia portato a un miglioramento di qualità dovuto al contributo  di molti esperti invece che di due o tre come nel tradizionale sistema di PR. Essi ritengono inoltre che il loro sistema sia efficiente perché accelera il processo di pubblicazione.

Il secondo esempio viene dall’economia, disciplina ben nota per i problemi ulteriori che essa presenta rispetto a discipline delle scienze naturali. Molti di tali problemi sono collegati a questioni ideologiche che possono, ulteriormente, inficiare il processo di valutazione di lavori che non rientrino nel gruppo di ortodossia. Si deve peraltro notare come in economia l’ascolto di varie voci, ovvero di conclusioni basate su diversi approcci teorici abbia particolare rilevanza. In una situazione in cui ci sono diversi approcci paradigmatici ma non tutti aventi lo stesso potere,  le politiche economiche basate su un singolo paradigma rischiano di perdere legittimità di fronte alla comunità di economisti.

Questo è ciò che sta accadendo per le politiche proposte a fronte della crisi finanziaria e soprattutto a fronte della crisi nella zona Euro.  C’è una crisi di legittimità politica dei governanti a livello di nazioni e a livello Europeo. Ma c’è anche una crisi di legittimità delle politiche proposte che sembrano rispecchiare un solo approccio teorico e per giunta uno che si è rivelato disastroso in termini di politiche proposte prima della crisi e che, in effetti, hanno fortemente contribuito alla stessa. Ovviamente, in pratica, le politiche non possono rispecchiare molti o tutti gli approcci teorici. Nondimeno è desiderabile che i governanti siano al corrente di vari approcci e delle relative proposte di politiche e che le decisioni circa quali politiche economiche adottare siano prese con la piena coscienza di alternative. L’altro lato della medaglia è che la comunità di economisti sia fiduciosa che varie voci economiche – e non una sola – abbiano accesso ai poteri di governo. Ma ciò non sta avvenendo il che acuisce, a mio avviso, la crisi di legittimità delle politiche economiche avviate a fronte della crisi finanziaria. In questo contesto diventa imperativo muoversi verso processi di valutazione della ricerca più aperti, più trasparenti e improntati a pluralismo e inclusività di teorie economiche alternative. Pluralismo e inclusività sono tra i pilastri alla base della World Economics Association (WEA).

La WEA è stata lanciata a maggio 2011 e nel giro di pochi mesi i suoi iscritti sono circa 7,000  e appartenenti a oltre 140 paesi. L’iscrizione è gratuita e donazioni incoraggiate. Questi dati di adesione sono molto più alti di quanto gli iniziatori  – tutti volontari e comprendenti l’autrice di questo articolo – si aspettassero. Il successo credo sia dovuto molto alla difficile situazione in cui si trova la scienza economica a livello mondiale. Molti economisti da tutto il mondo si uniscono per cercare alternative.

Le attività della WEA comprendono due nuove riviste e la organizzazione di convegni in rete.  Al momento di scrivere nessuna delle attività è iniziata a pieno ma per entrambi i tipi è questione di settimane se non giorni. Le due riviste sono: World Economics Journal e Economic Thought. Methodology, Philosophy and History of Economics. Queste due riviste saranno gestite con il seguente sistema aperto di valutazione della ricerca.

I contributi vengono inviati ai redattori che fanno una cernita iniziale. I lavori che vengono ritenuti adatti in base ai criteri delle riviste saranno messi in rete su un Discussion Forum (DF) e commenti vengono incoraggiati. Gli autori stessi possono proporre esperti per la valutazione del loro lavoro e, a loro volta, i redattori possono sollecitare commenti da esperti. Sia i lavori che i commenti sono aperti ovvero i  nomi degli autori e dei commentatori vengono normalmente resi noti. Gli autori possono rispondere in rete ai commenti ricevuti. Il DF dura normalmente otto settimane dopo di che i redattori decidono se pubblicare il lavoro – dopo appropriate revisioni – e anche se e quali commenti pubblicare. Si prevede anche un Post-publication Commentary. La filosofia dietro questa iniziativa è basata sull’idea che la vita sociale di una ricerca non finisce con la pubblicazione, la quale se mai ne è l’inizio. Molti lettori di quel lavoro specifico avranno a loro volta commenti da fare. Se questi sono sostanziali possono portare a nuove ricerche e pubblicazioni. Ma ci possono essere anche idée che non sono tali da portare a nuovi progetti ma sono, nondimeno, importanti per la comunità. A discrezione dei redattori, verrà quindi offerto a tali commentatori l’opportunita’ di pubblicare i loro commenti. Ciò tiene vivo il processo sociale di sviluppo della ricerca.

 

Conclusioni

Le tecnologie digitali rendono possibile ed efficiente un sistema aperto e inclusivo di valutazione della ricerca. Tale sistema ha grandi vantaggi rispetto alla tradizionale valutazione paritaria anonima. Molte riviste accademiche si stanno muovendo in questa direzione. Questo articolo cita due di questi casi. Entrambi si basano sull’accesso a un numero alto di commentatori potenziali. Un tale alto numero si può raggiungere qualora al processo di pubblicazione hanno accesso molti (tutti?) gli esperti nella materia.

Finisco con due inviti. Uno rivolto a tutti i lettori di questo articolo: ‘fatevi promotori di sistemi aperti di valutazione della ricerca nel vostro campo’. Il secondo appello è a quelli – tra i lettori – che sono economisti o hanno grande interesse per le scienze economiche: ‘iscrivetevi alla World Economics Association  e participate alle nostre attività. Fra poco lanceremo un convegno – il primo di WEA – su: Economics in society: the ethical dimension. Vi invito a registrarvi immediatamente per poter seguire il dibattito e  inviarci contributi appena apriamo la procedura a Gennaio

 

 

Referenze

  • Gans, J. S. and Shepherd, G.B. (1994), ‘How the mighty have fallen: Rejected classic articles by leading economists’, Journal of Economic Perspectives, 8: 165-79.
  • Gillies, D. (2008), How Should Research be Organised? London: College Publications.
  • Horrobin, D.F. (1990), ‘The philosophical basis of peer review and the suppression of innovation’, Journal of the American Medical Association, 263: 1438-41
  • Ietto-Gillies, G. (2008), ‘A XXI-century alternative to XX-century peer review” real-world economics review, 45: 10-22, March; www.paecon.net/PAEReview/issue45/IettoGillies45.
  • Ietto-Gillies, G. (2010), A XXI alternative to XX century Peer Review, in Production, Distribution and Trade: Alternative Perspectives. Essays in Honour of Sergio Parrinello, in A. Birolo, D. Foley and H. D. Kurz (eds), London: Routledge, pp. 333-348.
  • Koop, T. and Poschl, U. (2006), ‘Systems: An open, two-stage peer review journal’ Nature. URL: http://www.nature.com/nature/peerreview/debate/nature04988.html
  • Legendre, A. M. (1995), ‘Peer review of manuscripts for biomedical journals’. Journal of the American Veterinary Medical Association, 207: 36-8.
  • Lee, F. (2007), The Research Assessment Exercise, the state and the dominance of mainstream economics in British universities, Cambridge Journal of Economics, 31: 309-25.
  • The Financial Times, (2009), “An acute talent for innovation. The Monday Interview: Sir James Black” Monday Feb. 2nd.

 

 

 

 

 

 

 

 

Send to Kindle

3 Commenti

  1. Mi pare che manchi un presupposto fondamentale. E’ vero che le tecnologie digitali potrebbero permettere la diffusione massima della ricerca (e quindi quel meccanismo allargato di revisione dei pari che ben si individua nell’articolo), ma, paradossalmente, sono anche ciò che ne impedisce la diffusione. Un meccanismo di revisione aperta come quello descritto è possibile in un sistema della ricerca aperto, non chiuso in piattaforme accessibili solo a pagamento e quindi ai pochi che ancora possono permetterselo.

  2. Ma purtroppo non rappresentano la maggior parte della letteratura scientifica. Il mio intervento vuole sottolineare il fatto che il presupposto della open peer review è l’accesso aperto come modalità di comunicazione dei risultati della ricerca.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.