Aspetti critici dell’uso di rankings di riviste nelle scienze umane

Aspetti critici dell’uso di rankings di riviste nelle scienze umane.

L’esercizio VQR 2004-2010 è apparso, fin dal principio, opera alquanto complessa e non scevra di rischi. Rischi dovuti essenzialmente alla novità di un esercizio tanto vasto per il sistema italiano, a tempi troppo compressi nella sua realizzazione, alla mancanza di un’adeguata discussione intorno ai criteri sui quali si fonderà la valutazione stessa e non da ultimo alla configurazione di ANVUR come una sorta di executive agency.

Un punto particolarmente critico è costituito dall’adozione di criteri bibliometrici per la valutazione dei prodotti della ricerca. Il ricorso alla bibliometria serve a rendere più spedito, meno costoso, e secondo alcuni anche più oggettivo il processo di valutazione.[2] Va detto, a questo proposito,  che specie in alcune aree disciplinari la conoscenza e la pratica consapevole di strumenti bibliometrici fra gli accademici italiani è vicina se non pari allo zero.

Fra gli strumenti bibliometrici di valutazione un discorso a parte dev’essere riservato all’utilizzazione di rankings o liste di riviste collocate in una sorta di graduatoria. L’assegnazione di una “classe di merito” a una determinata rivista, per esempio sulla base del suo fattore di impatto, ossia della sua presenza riconosciuta (attraverso l’analisi citazionale) in un dato settore disciplinare[3] genera per sua natura un meccanismo semiautomatico di valutazione, tale per cui la valutazione del contenitore può essere trasferita sul contenuto. Tale strumento avrebbe anche il vantaggio di aumentare virtuosamente la competizione fra i ricercatori, desiderosi di apparire sulle riviste “migliori” o “eccellenti”. In realtà, si tratta di uno strumento tutt’altro che privo di rischi e che sarebbe opportuno non utilizzare. La stessa ANVUR, dopo gli interventi di A. Baccini e G. De Nicolao, pubblicati sul sito ROARS[4] ha dovuto rivedere, annunciando un rinvio di un mese, i criteri che aveva elaborato per le aree delle “scienze dure”, che prevedevano anche il ricorso a classifiche di riviste. Il ricorso all’impact factor delle sedi di pubblicazione sarà – pare – mantenuto, ma in forma limitata per fornire essenzialmente un’indicazione orientativa ai giovani studiosi su quale sia il miglior luogo dove pubblicare.

Per le aree delle scienze umane il dibattito è rimasto sotterraneo, benché la questione sia tutt’altro che irrilevante. Infatti, se è pur vero che viene annunciato un ricorso a parametri bibliometrici solo in via “sperimentale” e per quote percentuali ridotte dei prodotti della ricerca,[5] va osservato che l’ANVUR non intende far ricorso per queste discipline alla mera peer review, ma auspica un “mix valutativo” che faccia ricorso alla “informed peer review”. Con questo termine si intende una revisione da parte dei pari integrata con informazioni di natura bibliometrica: si tratta appunto dei famosi rankings di riviste, che saranno inviati ai revisori insieme ai prodotti da valutare.[6]

E’ evidente che i revisori anonimi nominati dai rispettivi GEV (gruppi di esperti della valutazione) potranno decidere di non tenere in alcun conto la collocazione di una rivista nelle fasce di merito rifiutando di considerare le informazioni aggiuntive che verranno loro trasmesse. Ma è altrettanto evidente che, anche vista la mole dei prodotti oggetto di valutazione, sarà assai facile che si produca un trasferimento quasi automatico del ranking dal contenitore al contenuto. Come è ricordato nel documento IMU sui rankings di riviste, “another negative aspect of such rankings is that they have been misused in an attempt to evaluate individual departments and researchers. It is of great importance to acknowledge that, while the quality of a journal depends on the quality of the papers that appear in it, the quality of any individual paper is not determined by the quality of the journal in which it appears.”[7] Si tratta dunque di una scelta per certi versi pericolosa e che verosimilmente produrrà effetti distorsivi. Questo sia per motivi intrinseci, legati alla natura dello strumento, che per il modo in cui si è scelto di operare nel contesto della VQR.

Cominciando dal secondo punto non si può non rilevare come la scelta di produrre liste gerarchicamente ordinate di riviste sia operazione estremamente delicata, che andrebbe compiuta, se proprio è necessario, sulla base di criteri uniformi e trasparenti, discussi ampiamente con gli interessati e sulla base di procedure chiaramente predefinite.[8] Nulla di ciò finora si è visto. Lo stesso coinvolgimento delle Società disciplinari è avvenuto in modo disordinato, senza che fosse del tutto chiaro come esse dovevano operare e senza che vi fosse il tempo necessario per un’adeguata discussione. Operazioni del genere, che in assenza di dati sul fattore di impatto delle riviste di norma richiedono all’estero molti mesi, se non anni, di duro lavoro, sono dunque compiute ai fini della VQR in un modo che, a voler essere generosi, può definirsi come frettoloso; inoltre le classifiche sono a quanto pare rielaborate e adattate dagli stessi GEV sulla base di indicazioni provenienti dal Direttivo dell’ANVUR, ciò che costituisce un’anomalia assoluta nel panorama internazionale. Non sono mai i valutatori a predisporre essi stessi rankings di questa natura: i valutatori debbono valutare secondo strumenti che non dipendono dalle loro scelte, e che sono riconosciuti come opportuni ed efficaci dai soggetti valutati. Anche in questo caso, come in molti altri, l’Agenzia travalica i compiti che dovrebbero essere suoi propri, per estendere il proprio campo d’azione al di là di quanto suggeriscono le migliori pratiche internazionali.

Venendo al secondo punto: le classifiche di riviste sono uno strumento intrinsecamente rischioso e per molti versi sconsigliabile. Basterebbe a dimostrarlo la recente esperienza della lista australiana (il cosiddetto ranking ERA) che si è dovuto infine ritirare dopo aver constatato gli effetti distorsivi che essa aveva prodotto e i danni anche gravi arrecati ad alcuni settori disciplinari.[9] Il ministro australiano competente ha dovuto dichiarare che “There is clear and consistent evidence that the rankings were being deployed inappropriately … in ways that could produce harmful outcomes”. La lista ERA, infatti, non è più oggi costruita come ranking, ma come un elenco che discrimina fra riviste scientifiche (le cui pubblicazioni sono valutabili) e non scientifiche (le cui pubblicazioni non sono valutabili). Anche la lista ERIH, promossa dalla European Science Foundation e riservata alle scienze umane, si è rivelata un sostanziale fallimento: i rankings assegnati alle sedi di pubblicazione hanno suscitato tali controversie da determinarne il sostanziale abbandono.[10] L’Accademia Reale Olandese delle Scienze, in un documento dedicato alla valutazione delle humanities, considera la possibilità di compilare classifiche di riviste in assenza di altri dati bibliometrici,[11] ma ribadisce più volte che occorre estrema cautela nella loro redazione per evitare che esse si rivelino dannose. Va rilevato che gli estensori del documento si astengono dal prendere posizione sull’opportunità dell’uso di tali strumenti per l’allocazione dei fondi (The question of whether one wishes to utilise classifications of this type – whether or not together with scoring – when allocating funding, as is the case in Norway and Flanders, is a more far-reaching and political question, and one that the Committee does not wish to answer),[12] osservando comunque che la classificazione in sedi di classe A, B, C “suggests an exactitude that this specific quality indicator cannot in fact provide”.[13] In ogni caso, la redazione di tali rankings dovrebbe, secondo il parere degli estensori del documento, essere affidato alle comunità scientifiche e supervisionato dall’Accademia delle Scienze, quale soggetto terzo e imparziale. Da ultimo, ricordo che nel prossimo esercizio di valutazione britannico (REF), nessun panel di valutatori farà ricorso a classifiche di riviste.[14]

Nel caso italiano, per i modi e i tempi in cui le classifiche sono costruite esse non paiono affatto restituire una “fotografia” del prestigio accademico delle sedi di pubblicazione già noto alle comunità di ricercatori; esse anzi rischiano non di certificare l’esistente, ma di influenzare in modo determinante il comportamento delle comunità stesse. L’identificazione da parte di ANVUR che – è bene ricordarlo – è organo di emanazione ministeriale e non un’autorità terza e imparziale,[15] di distribuzioni percentuali dei prodotti nelle diverse classi è un modo per trasformare la realtà, non per analizzarla; vi è dunque il rischio concreto che la valutazione si svolga secondo criteri che non solo non erano previamente noti, ma neppure immaginabili da parte dei ricercatori i cui prodotti saranno esaminati. Inoltre, specie per quelle discipline per le quali non esistono riviste ad uso dei professionisti, si determinerà una moltiplicazione dei contributi inviati alle riviste individuate – secondo criteri più o meno ragionevoli – come eccellenti e un impoverimento delle sedi a cui è assegnato, a torto o a ragione, un basso ranking. Un processo con ogni evidenza irreversibile e self-sustaining.[16] Con l’effetto perverso di impoverire nel suo complesso la produzione editoriale per alcune discipline (un certo numero di riviste andrà verosimilmente incontro a morte certa) e di rafforzare il potere accademico di chi controlla determinate sedi editoriali di per sé riconosciute come portatrici di un “marchio di qualità”.

Inoltre, la stessa struttura delle discipline umanistiche e lo scarso volume dei fondi per esse allocati contribuiscono a rendere del tutto inutile un esercizio di questo tipo. Anche per questo motivo, negli Stati Uniti dove pure è molto diffuso l’uso di classifiche di riviste per le hard sciences, non si fa ricorso a rankings nei settori disciplinari delle humanities: come è stato scritto di recente, Humanities scholars in the United States should be proud that they have to date avoided rank and brand fever.[17]

Nell’attuale situazione, nell’attesa che il dibattito si approfondisca e si rendano disponibili anche alle scienze umane altri strumenti bibliometrici atti alla valutazione delle strutture (inclusi eventualmente quelli citazionali) parrebbe dunque opportuno rinunciare ad un’operazione rischiosa come quella della costruzione di classifiche di sedi editoriali. La migliore soluzione pare dunque quella di distinguere unicamente sedi scientifiche (valutabili) e non scientifiche (non valutabili), sulla base di una serie di parametri verificabili come quelli ai quali fa riferimento la lista di LATINDEX. Per tutto il resto, c’è la peer review. Purché, è giusto ricordarlo, anche per questo aspetto si seguano le migliori pratiche, assicurando la pubblicità ex post dei nomi dei revisori.

Genoni e Haddow, nel prevedere il fallimento del ranking ERA, hanno scritto che there are good arguments that can be made to suggest that ranking of journals, particularly in the humanities, is a futile pursuit. Not only is it likely to produce questionable results in terms of the accuracy of the hierarchy it constructs, but also [..] it may lead to undesirable outcomes by inducing authors to seek publication in journals that are sub-optimal in terms of communicating with a specific audience, while threatening the existence of the bulk of B and C journals that depend upon a regular flow of quality submissions. These ramifications will be felt most keenly in disciplines that depend on local journals, and in middle-ranking research nations where there is an incentive to ‘export’ research publishing to leading international journals.[18] Sono parole che i responsabili della VQR dovrebbero meditare.

In conclusione, mi permetto di suggerire ai GEV delle aree umanistiche di rifiutare, al pari dei loro colleghi inglesi, di ricevere classifiche di riviste, per dedicarsi a una uninformed peer review.

Due diverse versioni di questo testo sono apparse sul sito dell’Istituto di Ricerche sulla Pubblica Amministrazione e su ASTRID, Fondazione per l’analisi, gli studi e le ricerche sulla riforma delle istituzioni democratiche e sull’innovazione nelle amministrazioni pubbliche.