L’inedita bibliometria dell’area 13: valutazione e ranking delle riviste economiche

L’area 13 delle Scienze economiche e statistiche ha optato per la bibliometria, un’inedita bibliometria in cui coesistono criteri quantitativi e criteri qualitativi. Si tratta di una procedura originale, unica nel suo genere, che rischia di tradursi in una sperimentazione e in una messa in opera di criteri “poco fondati” e dagli esiti incerti. Scegliendo la strada della bibliometria-fai-da-te, l’area 13 ha elaborato un documento con grandi margini di incertezza, sia sull’effettiva articolazione delle classi di merito delle riviste sia soprattutto sulla concreta applicabilità di tali criteri ai diversi ambiti disciplinari compresi nell’area.

I Gruppi di Esperti della Valutazione (GEV) hanno da poco ufficializzato i criteri della imminente tornata di Valutazione della Qualità della Ricerca in Italia (VQR 2004-2010). I criteri sono riportati in 14 documenti, riguardanti ciascuno le diverse macro-area di ricerca, molti dei quali corredati da allegati esplicativi e ranking di riviste. Come spiegato dal Documento di accompagnamento ai criteri, molti di questi criteri sono comuni a tutte le 14 macro-aree, mentre altri riflettono le specificità e peculiarità dei diversi ambiti di ricerca.

Come noto, la questione dell’utilizzo dei criteri bibliometrici nella valutazione degli articoli di rivista è stata sciolta con una sorta di suddivisione in due meta-campi della ricerca: un campo dove l’analisi bibliometrica si è imposta come imprescindibile criterio di valutazione (e questo meta-campo copre, più o meno, le aree dalla 1 alla 9); e un secondo meta-campo, che copre le rimanenti aree dalle 10 alla 14, dove invece, pur non essendo del tutto escluso il ricorso alle analisi citazionali e quantitative della bibliometria, anche per gli articoli su rivista la valutazione prevede il ricorso prevalente ad altri criteri (diciamo più qualitativi).

Per quanto schematica, l’articolazione in questi due meta-campi riproduce la partizione tra le scienze cosiddette “dure” e gli ambiti della ricerca più orientati verso il versante umanistico, storico e sociale. Ma uno sguardo ai diversi documenti dei GEV rivela che la maggiore differenza tra questi due ambiti non si deve tanto all’utilizzo o meno della bibliometria, quanto al fatto che le aree dall’1 al 9 hanno di fatto accolto un unico criterio, valido per tutte, costruito su un algoritmo che incorpora tanto l’indicatore della rivista (cioè del “contenitore”) che una proxy del “contenuto”, ossia le citazioni dell’articolo stesso; mentre nelle rimanenti aree disciplinari sono emersi una pluralità di criteri, per forza di cose eterogenei e in larga parte basati su criteri soggettivi e qualitativi.

In questo quadro, l’area 13 della Scienze economiche e statistiche, appare alquanto eccentrica. In quest’area vi sono discipline molto diverse tra loro: alcune ambiscono al titolo di scienze pure, altre sono a tutti gli effetti discipline storiche. Le prime spingono per una completa assimilazione ai criteri delle scienze dure (con conseguente uso della bibliometria); altre appaiono più tiepide su questa possibilità. Era naturalmente molto difficile tenere conto di queste differenze. Il GEV in questione sembra però non aver fatto alcuno sforzo per tenerne conto, elaborando un documento che di fatto elimina alla radice le differenze, prescrivendo criteri di valutazione validi per tutte le discipline dell’area. Ma il fatto più grave è che questi criteri sono ancora molto lontani dall’essere operativi, essendo ancora da implementare e da riempire di contenuto. I margini di indeterminazione sono insomma tali da lasciare i singoli e le strutture nell’incertezza riguardo i prodotti da selezionare.

Il GEV 13 non è così riuscito a mediare tra i due orientamenti contrapposti: quello più duro, favorevole a una valutazione oggettiva di tipo bibliometrico; e quello più morbido, favorevole o a ordinamenti di riviste non basati sull’IF o a valutazioni peer anche degli articoli di rivista. Di fatto ha prevalso nettamente il primo orientamento. Ma il criterio proposto, per quanto del tutto schiacciato sull’analisi bibliometrica, è tutto fuorché oggettivo e prevedibile nei suoi esiti. Non c’è alcun algoritmo di calcolo come quello previsto dalle aree 1-9 che chiunque potrebbe simulare. C’è piuttosto una dichiarazione d’intenti per arrivare alla costruzione di classifiche di riviste per ogni SUB-GEV dell’area dai contorni ancora molti indefiniti. Gli esperti valutatori dell’area 13 si trovano dunque in quella situazione tutta “singolare e senza paragoni a livello internazionale”, discussa da Giuseppe De Nicolao e Alberto Baccini, per cui al compito di individuare “criteri di valutazione dei prodotti” si sono sostituiti quelli dello “sviluppo di strumenti bibliometrici” e della “stesura di classifiche di riviste”.

Il documento del GEV 13 non individua in effetti criteri di valutazione, ma fissa alcune linee guida per lo sviluppo di peculiari indicatori bibliometrici da cui ricavare classifiche di riviste poi da articolare nelle quattro classi di merito. Si tratta di una procedura alquanto anomala, che non ha equivalenti in nessuna altra area.

1.      La costruzione dell’universo di riviste

Il GEV 13 ha rinunciato come detto all’algoritmo bibliometrico accolto dalle aree 1-9, probabilmente per due ragioni: per non circoscrivere la valutazione alle sole riviste dotate di IF; per i dubbi che ancora circondano i dati citazionali dei singoli articoli nell’ambito delle scienze economiche. Ha quindi scelto un criterio ibrido, a due stadi, dove tuttavia a contare maggiormente sarà la classe di merito del contenitore, cioè della rivista. La natura ibrida di questo criterio deriva dal fatto, da una parte, che verranno considerate anche riviste prive di IF; dall’altra, che verranno considerate, seppure in modo parziale, anche le performance dell’articolo misurate dalle sue citazioni.

Ma vediamo i diversi passaggi previsti dagli esperti dell’area delle scienze economiche e statistiche. Il primo passo consiste nella costruzione dell’universo delle riviste di riferimento. Si tratta in verità di almeno tre universi, distinti nei tre SUB-GEV individuati per l’area 13 (Economia, Economia aziendale e finanza, Statistica e matematica applicata). Il GEV ha indicato come zoccolo duro per ciascuno di questi universi l’insieme di tutte le riviste presenti in Web of Science (WoS) attinenti i tre diversi SUB-GEV. Questo zoccolo duro verrà integrato con un secondo insieme, formato da riviste non presenti in WoS ma con un significativo indicatore citazionale registrato da Google Scholar o altre banche dati (l’h-index della rivista). Il GEV specifica che questo secondo insieme dovrà corrispondere al 20-30% delle riviste, ma non è chiara la logica di questa clausola. Innanzitutto non si capisce se questa percentuale sia da intendersi come 20-30% del nocciolo iniziale delle riviste WoS o come 20-30% dell’universo complessivo. Si tenga infatti conto che il GEV dichiara di voler aggiungere un ulteriore gruppo di riviste, composto da qualsiasi altro insieme di riviste in cui abbiano “pubblicato i ricercatori italiani dell’Area 13 nel 2004-2010”, purché indicizzate in qualcuna delle banche dati esistenti “(come Scopus, Scimago, ERA, Econlit, Repec, ecc)”. Ora, se l’obiettivo è quello di individuare l’universo complessivo delle riviste in cui gli economisti italiani hanno pubblicato – con l’unico vincolo che siano riviste indicizzate in banche dati o abbiano h-index – non si capisce perché sia necessario fissare a priori una percentuale relativa a un sotto-insieme particolare di questo universo.

Dato per risolto questo problema, l’universo complessivo sarà dunque formato dall’unione delle riviste WoS, delle riviste con h-index non presenti in WoS e dalle riviste non WoS e prive di h-index ma presenti in banche dati come ad esempio Econlit. L’identificazione dell’universo non dovrebbe comunque creare particolari problemi, se non per la presenza di riviste che potrebbero essere significative per più di un SUB-GEV.

2. Ranking delle riviste

Il secondo passo, una volta costruito l’universo delle riviste, è quello di ordinarle in modo da ottenere una classifica articolata nelle quattro classi di merito (A, B, C e D) previste dal bando. Il GEV ha optato per l’uso dell’Impact Factor (IF) come criterio ordinatore, dichiarando di avvalersi anche di quello a cinque anni (5IF) nel caso in cui sia disponibile (ma senza specificare il modo in cui verranno pesati i due indici bibliometrici).

I primi problemi cominciano per la presenza nell’universo complessivo di riviste prive di IF. Il GEV ritiene possibile superare questo problema ricorrendo a una sorta di IF fittizio: alle riviste prive di IF ma dotate di h-index verrà infatti attributo un IF equivalente a quello di riviste con IF e con lo stesso h-index della rivista priva di IF. Attraverso l’unione di questi due insiemi, il GEV disporrà dunque di un universo di riviste ordinabili per IF. Ma non vengono invece specificate le modalità di ordinamento del terzo insieme, quello delle riviste prive sia di IF che di h-index.

Il GEV dichiara di voler comunque procedere ad ordinare l’universo complessivo delle riviste nelle quattro classi di merito “basandosi sui percentili della distribuzione di uno o più indicatori bibliometrici”, lasciando tuttavia irrisolta la questione degli indicatori da utilizzarsi per le riviste che ne sono prive. L’assenza di una distribuzione di frequenze cumulate estesa sull’intero universo impedisce dunque di fissare con precisione i percentili (50°, 60°, 80°) individuati dall’Anvur per classificare i prodotti nelle quattro classi di merito, D (limitati), C (accettabili), B  (buoni) e A (eccellenti).

Vi sono insomma ancora numerosi margini di incertezza che impediscono di simulare l’effettiva classica finale delle riviste di economia. In primo luogo perché non si sa in che modo verranno pesati l’IF e l’5IF; in secondo luogo perché non si sa con precisione la procedura di imputazione dell’IF alle riviste che ne sono prive (ma che hanno h-index); e infine perché non è noto come verranno ordinate le riviste prive sia di IF che di h-index e come la loro presenza permetterà di calcolare i percentili.

Vi è poi un ulteriore incertezza, derivante da una singolare prescrizione del tutto aliena rispetto al criterio bibliometrico a cui il GEV dichiara di attenersi. Il documento recita infatti:

nel caso in cui le classi di merito A, B o C congiuntamente non includano un numero minimo di riviste italiane (orientativamente 5 per ciascun SUB-GEV), l’elenco di riviste di ciascun SUB-GEV sarà ampliato per includere le migliori riviste italiane individuate sulla base degli indicatori bibliometrici disponibili in Google Scholar (h-index della rivista e numero di citazioni nel periodo 2004-2010), fino a quando il  numero minimo di riviste italiane sia raggiunto. Le riviste italiane aggiunte saranno classificate in fascia “C”. Nessun ampliamento dell’elenco è previsto se esso già include il numero minimo di riviste classificate almeno in fascia “C” per ciascun SUB-GEV.

Presa alla lettera, questa indicazione può avere un effetto paradossale. Nell’ipotesi che l’ordinamento bibliometrico abbia relegato tutte le riviste italiane nella classe D, può accadere che il ripescaggio di alcune di esse nella classe C comporti la penalizzazione di articoli pubblicati in riviste straniere dall’IF maggiore. Si pensi a due articoli: uno pubblicato su rivista straniera, con IF molto basso e collocata in fascia D; l’altro, pubblicato in una rivista italiana collocata anch’essa in classe D, ma senza IF e magari con un h-index inferiore alla rivista straniera. Nel caso la rivista italiana venga ripescata in classe C, in virtù della clausola di cui sopra, gli articoli in essa pubblicati finirebbero per avere una valutazione maggiore di quelli della rivista straniera, a dispetto della dominanza di questa sulla base della valutazione bibliometrica.

3. Scalare posizioni

Elaborata la classifica delle riviste, articolata nelle quattro categorie di merito, ad ogni singolo articolo verrà attribuita come classe di partenza quella della rivista. Ma a ogni articolo non collocato in fascia A, rimane ancora una carta da giocare: il numero delle citazioni ricevute. Il GEV ha infatti previsto che, nel caso di articoli con un “numero significativo di citazioni”, si provvederà alla promozione facendoli scalare di una classe. “Pertanto, se un articolo ha ricevuto un ‘numero significativo di citazioni nelle riviste WoS nel 2004-2010 in rapporto agli anni trascorsi dalla pubblicazione’, sarà ‘promosso’ di una classe (da D a C, da C a B, o da B ad A)”.

I margini di incertezza di questa norma riguardano l’espressione “numero significativo di citazioni”, che può naturalmente prestarsi alle più svariate interpretazioni. Inoltre, logica vuole che volendo dare il giusto peso a questo criterio si sarebbero dovuto prevedere anche scalate di due o tre classi, naturalmente nel caso di un numero “molto” significativo di citazioni.  Ma questa eventualità non sembra contemplata dal documento del GEV, fermo restando che la vaghezza della formula “numero significativo di citazioni” avrebbe riguardato anche la formula numero “molto” significativo di citazioni.

La possibilità di scalare classi di merito, è peraltro concessa solo agli articoli pubblicati in WoS, mentre “nessuna correzione sarà applicata per gli articoli pubblicati in riviste ‘non WoS’” a causa, dice il GEV, della mancanza di dati affidabili per l’analisi delle citazioni dei singoli articoli. Nessuna “retrocessione” è invece prevista per gli articoli collocati in classe A in virtù del ranking del contenitore, a prescindere dal fatto questi articoli abbiamo o meno ricevuto citazioni. In conclusione:

La classe di merito finale degli articoli nei gruppi A, B, C e D dipenderà quindi dalla classe di merito iniziale della rivista (calcolata sulla base di indicatori bibliometrici) e dal numero di citazioni ricevute da ciascun articolo. Gli indicatori bibliometrici utilizzati e le soglie che identificano gli articoli con un “numero significativo di citazioni” saranno determinati nel corso del processo di valutazione, dopo aver verificato l’affidabilità e la solidità degli indicatori disponibili.

Se si escludono gli articoli pubblicati nelle riviste più prestigiosa, è insomma molto difficile sapere con un buon margine di approssimazione a quali probabili esiti condurrà la valutazione di molti contributi dell’area 13. Soprattutto, appare ancora quasi impossibile simulare la classifica delle riviste, l’articolazione in classi di merito e la soglia citazionale che dovrebbe far scattare il passaggio di classe per gli articoli con un “numero significativo [?] di citazioni”.

C’è infine una ulteriore e forse più grave incertezza che attraverso il documento elaborato dal GEV 13, che riguarda la sua concreta applicabilità nei diversi ed eterogenei ambiti disciplinari compresi nell’area. I criteri, come lascia intendere una interpretazione letterale del testo, devono ritenersi comuni a tutte le discipline o ci sono margini per declinazioni diverse? La prima ipotesi appare improponibile, contraria a ogni ragionevole buon senso. Vorrebbe dire, per fare due esempi concreti, valutare uno storico della scienza nello stesso universo e con la stessa analisi bibliometrica con cui si valutano i fisici, o uno storico della tecnologia con gli standard ingegneristici. L’altra ipotesi lascia aperto l’interrogativo su quali aspetti si potrebbero emendare, o rendere più flessibili, per tener conto dell’eterogeneità disciplinare che caratterizza l’area 13. E da questo punto di vista, l’unico margine di discussione si trova in un breve inciso in cui si dice che, una volta stilata la classifica delle riviste per ogni SUB-GEV, si potrà eventualmente arrivare a “una classificazione più fine delle aree di ricerca all’interno di ciascun SUB-GEV”. Ma concretamente nulla viene detto sui criteri per ottenere questa “classificazione” più fine, né se sarà costruita con criteri ad hoc. Siamo insomma in presenza di una gravissima lacuna del documento dei valutatori, che lascia nella massima incertezza tutti i ricercatori dell’area 13.