Anvur / Argomenti / Meritocrazia / Valutazione / VQR

L’inedita bibliometria dell’area 13: valutazione e ranking delle riviste economiche

L’area 13 delle Scienze economiche e statistiche ha optato per la bibliometria, un’inedita bibliometria in cui coesistono criteri quantitativi e criteri qualitativi. Si tratta di una procedura originale, unica nel suo genere, che rischia di tradursi in una sperimentazione e in una messa in opera di criteri “poco fondati” e dagli esiti incerti. Scegliendo la strada della bibliometria-fai-da-te, l’area 13 ha elaborato un documento con grandi margini di incertezza, sia sull’effettiva articolazione delle classi di merito delle riviste sia soprattutto sulla concreta applicabilità di tali criteri ai diversi ambiti disciplinari compresi nell’area.

I Gruppi di Esperti della Valutazione (GEV) hanno da poco ufficializzato i criteri della imminente tornata di Valutazione della Qualità della Ricerca in Italia (VQR 2004-2010). I criteri sono riportati in 14 documenti, riguardanti ciascuno le diverse macro-area di ricerca, molti dei quali corredati da allegati esplicativi e ranking di riviste. Come spiegato dal Documento di accompagnamento ai criteri, molti di questi criteri sono comuni a tutte le 14 macro-aree, mentre altri riflettono le specificità e peculiarità dei diversi ambiti di ricerca.

Come noto, la questione dell’utilizzo dei criteri bibliometrici nella valutazione degli articoli di rivista è stata sciolta con una sorta di suddivisione in due meta-campi della ricerca: un campo dove l’analisi bibliometrica si è imposta come imprescindibile criterio di valutazione (e questo meta-campo copre, più o meno, le aree dalla 1 alla 9); e un secondo meta-campo, che copre le rimanenti aree dalle 10 alla 14, dove invece, pur non essendo del tutto escluso il ricorso alle analisi citazionali e quantitative della bibliometria, anche per gli articoli su rivista la valutazione prevede il ricorso prevalente ad altri criteri (diciamo più qualitativi).

Per quanto schematica, l’articolazione in questi due meta-campi riproduce la partizione tra le scienze cosiddette “dure” e gli ambiti della ricerca più orientati verso il versante umanistico, storico e sociale. Ma uno sguardo ai diversi documenti dei GEV rivela che la maggiore differenza tra questi due ambiti non si deve tanto all’utilizzo o meno della bibliometria, quanto al fatto che le aree dall’1 al 9 hanno di fatto accolto un unico criterio, valido per tutte, costruito su un algoritmo che incorpora tanto l’indicatore della rivista (cioè del “contenitore”) che una proxy del “contenuto”, ossia le citazioni dell’articolo stesso; mentre nelle rimanenti aree disciplinari sono emersi una pluralità di criteri, per forza di cose eterogenei e in larga parte basati su criteri soggettivi e qualitativi.

In questo quadro, l’area 13 della Scienze economiche e statistiche, appare alquanto eccentrica. In quest’area vi sono discipline molto diverse tra loro: alcune ambiscono al titolo di scienze pure, altre sono a tutti gli effetti discipline storiche. Le prime spingono per una completa assimilazione ai criteri delle scienze dure (con conseguente uso della bibliometria); altre appaiono più tiepide su questa possibilità. Era naturalmente molto difficile tenere conto di queste differenze. Il GEV in questione sembra però non aver fatto alcuno sforzo per tenerne conto, elaborando un documento che di fatto elimina alla radice le differenze, prescrivendo criteri di valutazione validi per tutte le discipline dell’area. Ma il fatto più grave è che questi criteri sono ancora molto lontani dall’essere operativi, essendo ancora da implementare e da riempire di contenuto. I margini di indeterminazione sono insomma tali da lasciare i singoli e le strutture nell’incertezza riguardo i prodotti da selezionare.

Il GEV 13 non è così riuscito a mediare tra i due orientamenti contrapposti: quello più duro, favorevole a una valutazione oggettiva di tipo bibliometrico; e quello più morbido, favorevole o a ordinamenti di riviste non basati sull’IF o a valutazioni peer anche degli articoli di rivista. Di fatto ha prevalso nettamente il primo orientamento. Ma il criterio proposto, per quanto del tutto schiacciato sull’analisi bibliometrica, è tutto fuorché oggettivo e prevedibile nei suoi esiti. Non c’è alcun algoritmo di calcolo come quello previsto dalle aree 1-9 che chiunque potrebbe simulare. C’è piuttosto una dichiarazione d’intenti per arrivare alla costruzione di classifiche di riviste per ogni SUB-GEV dell’area dai contorni ancora molti indefiniti. Gli esperti valutatori dell’area 13 si trovano dunque in quella situazione tutta “singolare e senza paragoni a livello internazionale”, discussa da Giuseppe De Nicolao e Alberto Baccini, per cui al compito di individuare “criteri di valutazione dei prodotti” si sono sostituiti quelli dello “sviluppo di strumenti bibliometrici” e della “stesura di classifiche di riviste”.

Il documento del GEV 13 non individua in effetti criteri di valutazione, ma fissa alcune linee guida per lo sviluppo di peculiari indicatori bibliometrici da cui ricavare classifiche di riviste poi da articolare nelle quattro classi di merito. Si tratta di una procedura alquanto anomala, che non ha equivalenti in nessuna altra area.

1.      La costruzione dell’universo di riviste

Il GEV 13 ha rinunciato come detto all’algoritmo bibliometrico accolto dalle aree 1-9, probabilmente per due ragioni: per non circoscrivere la valutazione alle sole riviste dotate di IF; per i dubbi che ancora circondano i dati citazionali dei singoli articoli nell’ambito delle scienze economiche. Ha quindi scelto un criterio ibrido, a due stadi, dove tuttavia a contare maggiormente sarà la classe di merito del contenitore, cioè della rivista. La natura ibrida di questo criterio deriva dal fatto, da una parte, che verranno considerate anche riviste prive di IF; dall’altra, che verranno considerate, seppure in modo parziale, anche le performance dell’articolo misurate dalle sue citazioni.

Ma vediamo i diversi passaggi previsti dagli esperti dell’area delle scienze economiche e statistiche. Il primo passo consiste nella costruzione dell’universo delle riviste di riferimento. Si tratta in verità di almeno tre universi, distinti nei tre SUB-GEV individuati per l’area 13 (Economia, Economia aziendale e finanza, Statistica e matematica applicata). Il GEV ha indicato come zoccolo duro per ciascuno di questi universi l’insieme di tutte le riviste presenti in Web of Science (WoS) attinenti i tre diversi SUB-GEV. Questo zoccolo duro verrà integrato con un secondo insieme, formato da riviste non presenti in WoS ma con un significativo indicatore citazionale registrato da Google Scholar o altre banche dati (l’h-index della rivista). Il GEV specifica che questo secondo insieme dovrà corrispondere al 20-30% delle riviste, ma non è chiara la logica di questa clausola. Innanzitutto non si capisce se questa percentuale sia da intendersi come 20-30% del nocciolo iniziale delle riviste WoS o come 20-30% dell’universo complessivo. Si tenga infatti conto che il GEV dichiara di voler aggiungere un ulteriore gruppo di riviste, composto da qualsiasi altro insieme di riviste in cui abbiano “pubblicato i ricercatori italiani dell’Area 13 nel 2004-2010”, purché indicizzate in qualcuna delle banche dati esistenti “(come Scopus, Scimago, ERA, Econlit, Repec, ecc)”. Ora, se l’obiettivo è quello di individuare l’universo complessivo delle riviste in cui gli economisti italiani hanno pubblicato – con l’unico vincolo che siano riviste indicizzate in banche dati o abbiano h-index – non si capisce perché sia necessario fissare a priori una percentuale relativa a un sotto-insieme particolare di questo universo.

Dato per risolto questo problema, l’universo complessivo sarà dunque formato dall’unione delle riviste WoS, delle riviste con h-index non presenti in WoS e dalle riviste non WoS e prive di h-index ma presenti in banche dati come ad esempio Econlit. L’identificazione dell’universo non dovrebbe comunque creare particolari problemi, se non per la presenza di riviste che potrebbero essere significative per più di un SUB-GEV.

2. Ranking delle riviste

Il secondo passo, una volta costruito l’universo delle riviste, è quello di ordinarle in modo da ottenere una classifica articolata nelle quattro classi di merito (A, B, C e D) previste dal bando. Il GEV ha optato per l’uso dell’Impact Factor (IF) come criterio ordinatore, dichiarando di avvalersi anche di quello a cinque anni (5IF) nel caso in cui sia disponibile (ma senza specificare il modo in cui verranno pesati i due indici bibliometrici).

I primi problemi cominciano per la presenza nell’universo complessivo di riviste prive di IF. Il GEV ritiene possibile superare questo problema ricorrendo a una sorta di IF fittizio: alle riviste prive di IF ma dotate di h-index verrà infatti attributo un IF equivalente a quello di riviste con IF e con lo stesso h-index della rivista priva di IF. Attraverso l’unione di questi due insiemi, il GEV disporrà dunque di un universo di riviste ordinabili per IF. Ma non vengono invece specificate le modalità di ordinamento del terzo insieme, quello delle riviste prive sia di IF che di h-index.

Il GEV dichiara di voler comunque procedere ad ordinare l’universo complessivo delle riviste nelle quattro classi di merito “basandosi sui percentili della distribuzione di uno o più indicatori bibliometrici”, lasciando tuttavia irrisolta la questione degli indicatori da utilizzarsi per le riviste che ne sono prive. L’assenza di una distribuzione di frequenze cumulate estesa sull’intero universo impedisce dunque di fissare con precisione i percentili (50°, 60°, 80°) individuati dall’Anvur per classificare i prodotti nelle quattro classi di merito, D (limitati), C (accettabili), B  (buoni) e A (eccellenti).

Vi sono insomma ancora numerosi margini di incertezza che impediscono di simulare l’effettiva classica finale delle riviste di economia. In primo luogo perché non si sa in che modo verranno pesati l’IF e l’5IF; in secondo luogo perché non si sa con precisione la procedura di imputazione dell’IF alle riviste che ne sono prive (ma che hanno h-index); e infine perché non è noto come verranno ordinate le riviste prive sia di IF che di h-index e come la loro presenza permetterà di calcolare i percentili.

Vi è poi un ulteriore incertezza, derivante da una singolare prescrizione del tutto aliena rispetto al criterio bibliometrico a cui il GEV dichiara di attenersi. Il documento recita infatti:

nel caso in cui le classi di merito A, B o C congiuntamente non includano un numero minimo di riviste italiane (orientativamente 5 per ciascun SUB-GEV), l’elenco di riviste di ciascun SUB-GEV sarà ampliato per includere le migliori riviste italiane individuate sulla base degli indicatori bibliometrici disponibili in Google Scholar (h-index della rivista e numero di citazioni nel periodo 2004-2010), fino a quando il  numero minimo di riviste italiane sia raggiunto. Le riviste italiane aggiunte saranno classificate in fascia “C”. Nessun ampliamento dell’elenco è previsto se esso già include il numero minimo di riviste classificate almeno in fascia “C” per ciascun SUB-GEV.

Presa alla lettera, questa indicazione può avere un effetto paradossale. Nell’ipotesi che l’ordinamento bibliometrico abbia relegato tutte le riviste italiane nella classe D, può accadere che il ripescaggio di alcune di esse nella classe C comporti la penalizzazione di articoli pubblicati in riviste straniere dall’IF maggiore. Si pensi a due articoli: uno pubblicato su rivista straniera, con IF molto basso e collocata in fascia D; l’altro, pubblicato in una rivista italiana collocata anch’essa in classe D, ma senza IF e magari con un h-index inferiore alla rivista straniera. Nel caso la rivista italiana venga ripescata in classe C, in virtù della clausola di cui sopra, gli articoli in essa pubblicati finirebbero per avere una valutazione maggiore di quelli della rivista straniera, a dispetto della dominanza di questa sulla base della valutazione bibliometrica.

3. Scalare posizioni

Elaborata la classifica delle riviste, articolata nelle quattro categorie di merito, ad ogni singolo articolo verrà attribuita come classe di partenza quella della rivista. Ma a ogni articolo non collocato in fascia A, rimane ancora una carta da giocare: il numero delle citazioni ricevute. Il GEV ha infatti previsto che, nel caso di articoli con un “numero significativo di citazioni”, si provvederà alla promozione facendoli scalare di una classe. “Pertanto, se un articolo ha ricevuto un ‘numero significativo di citazioni nelle riviste WoS nel 2004-2010 in rapporto agli anni trascorsi dalla pubblicazione’, sarà ‘promosso’ di una classe (da D a C, da C a B, o da B ad A)”.

I margini di incertezza di questa norma riguardano l’espressione “numero significativo di citazioni”, che può naturalmente prestarsi alle più svariate interpretazioni. Inoltre, logica vuole che volendo dare il giusto peso a questo criterio si sarebbero dovuto prevedere anche scalate di due o tre classi, naturalmente nel caso di un numero “molto” significativo di citazioni.  Ma questa eventualità non sembra contemplata dal documento del GEV, fermo restando che la vaghezza della formula “numero significativo di citazioni” avrebbe riguardato anche la formula numero “molto” significativo di citazioni.

La possibilità di scalare classi di merito, è peraltro concessa solo agli articoli pubblicati in WoS, mentre “nessuna correzione sarà applicata per gli articoli pubblicati in riviste ‘non WoS’” a causa, dice il GEV, della mancanza di dati affidabili per l’analisi delle citazioni dei singoli articoli. Nessuna “retrocessione” è invece prevista per gli articoli collocati in classe A in virtù del ranking del contenitore, a prescindere dal fatto questi articoli abbiamo o meno ricevuto citazioni. In conclusione:

La classe di merito finale degli articoli nei gruppi A, B, C e D dipenderà quindi dalla classe di merito iniziale della rivista (calcolata sulla base di indicatori bibliometrici) e dal numero di citazioni ricevute da ciascun articolo. Gli indicatori bibliometrici utilizzati e le soglie che identificano gli articoli con un “numero significativo di citazioni” saranno determinati nel corso del processo di valutazione, dopo aver verificato l’affidabilità e la solidità degli indicatori disponibili.

Se si escludono gli articoli pubblicati nelle riviste più prestigiosa, è insomma molto difficile sapere con un buon margine di approssimazione a quali probabili esiti condurrà la valutazione di molti contributi dell’area 13. Soprattutto, appare ancora quasi impossibile simulare la classifica delle riviste, l’articolazione in classi di merito e la soglia citazionale che dovrebbe far scattare il passaggio di classe per gli articoli con un “numero significativo [?] di citazioni”.

C’è infine una ulteriore e forse più grave incertezza che attraverso il documento elaborato dal GEV 13, che riguarda la sua concreta applicabilità nei diversi ed eterogenei ambiti disciplinari compresi nell’area. I criteri, come lascia intendere una interpretazione letterale del testo, devono ritenersi comuni a tutte le discipline o ci sono margini per declinazioni diverse? La prima ipotesi appare improponibile, contraria a ogni ragionevole buon senso. Vorrebbe dire, per fare due esempi concreti, valutare uno storico della scienza nello stesso universo e con la stessa analisi bibliometrica con cui si valutano i fisici, o uno storico della tecnologia con gli standard ingegneristici. L’altra ipotesi lascia aperto l’interrogativo su quali aspetti si potrebbero emendare, o rendere più flessibili, per tener conto dell’eterogeneità disciplinare che caratterizza l’area 13. E da questo punto di vista, l’unico margine di discussione si trova in un breve inciso in cui si dice che, una volta stilata la classifica delle riviste per ogni SUB-GEV, si potrà eventualmente arrivare a “una classificazione più fine delle aree di ricerca all’interno di ciascun SUB-GEV”. Ma concretamente nulla viene detto sui criteri per ottenere questa “classificazione” più fine, né se sarà costruita con criteri ad hoc. Siamo insomma in presenza di una gravissima lacuna del documento dei valutatori, che lascia nella massima incertezza tutti i ricercatori dell’area 13.

Tags: , , , , , ,

6 Comments

  1. Bruna Bruno says:

    Dalla lettura di questo post mi sembra di capire che i Gev delle scienze dure valutano il prodotto di tipo a) sia attraverso indicatori di qualità del contenitore (rivista), sia attraverso indicatori di qualità del prodotto. Per i prodotti non indicizzati è prevista le peer review.
    Nei GEV 10-11-12-14 si predilige la peer review per tutti i prodotti, supportata da confronti di tipo bibliometrico.
    Nel GEV 13 l’obiettivo principale sembra essere quello di classificare le riviste più che gli articoli, tant’è che l’indicatore di qualità del prodotto (numero di citazioni) sarà considerato solo per gli articoli con un numero di citazioni elevato, in modo da consentirne la “promozione”. Inoltre è prevista la peer review per un campione di prodotti di tipo a).
    Le mie domande sono le seguenti:
    1) E’ possibile il caso di un articolo su una rivista non compresa nel mega elenco?
    2) Se questo articolo avesse un numero significativo di citazioni non potrebbe essere promosso perché sicuramente è non WOS. A parità di citazioni e di IF “imputato”, l’articolo WOS varrà più dell’articolo non WOS?
    3) Per i prodotti di tipo b), c) e d) è prevista uno “sgrossamento” dei prodotti da inviare a peer review operato dal GEV sulla base della collocazione editoriale ed altri parametri. Poiché l’Anvur individua solo due metodologie per la valutazione (bibliometrica e peer) in quale delle due categorie ricade questo tipo di valutazione?
    4) Il prodotto di tipo a) non compreso nel mega elenco sarà valutato dai membri del GEV come i prodotti di tipo b), c) e d) o sarà inviato a direttamente a peer review, come è previsto esplicitamente nei documenti dei GEV da 1 a 9 in caso di “assenza di dati bibliometrici”?

    • Terenzio Maccabelli says:

      Provo a rispondere alle tue domande; ma si tratta di risposte basate su una mia personale interpretazione dei documenti del GEV13, quindi da prendere con beneficio d’inventario.

      1) Se per “mega elenco” intendi l’elenco tratto da WoS, certamente si, perché è detto esplicitamente che verranno prese in considerazione anche riviste non WoS (purché indicizzate in altre banche dati). Più complessa la risposta se per “mega elenco” intendi la somma di riviste WoS più le riviste “non WoS” ma dotate di h-index. Il documento originario del GEV13 sembrava infatti orientato a integrare questo “mega elenco” anche con riviste prive di h-index. Il comunicato pubblicato oggi sembrerebbe invece escludere questa possibilità. Insomma, se la rivista è indicizzata in banche dati ed ha h-index, di sicuro verrà inserita nella classifica (con IF simulato); se priva di h-index, mi sembra di capire dal comunicato di oggi che saranno escluse dall’ordinamento basato sull’IF. Rimane da capire cosa sarà degli articoli pubblicati in queste riviste, che immagino destinati, nella migliore delle ipotesi, alla peer review, nella peggiore destinati d’ufficio alla classe D (se non E).

      2) Caso di due articoli, il primo pubblicato su rivista WoS con IF e il secondo su rivista non WoS ma con IF simulato pari a quello della rivista WoS; l’avanzamento è possibile solo per il primo articolo, qualora il numero di citazioni all’anno tratte da WoS sia superiore a 5. Il secondo articolo non ha per definizione citazioni WoS. Potrebbe darsi il caso che le citazioni in google-scholar dei due articoli siano uguali, o addirittura superiori per il secondo articolo. Se interpreto bene i documenti dei valutatori, questo non permette al secondo articolo (quello su rivista non WoS) di scalare classi di merito, pur avendo un numero di citazioni google-scholar maggiori dell’articoli WoS.

      3) Il GEV13 si è riservato la massima discrezionalità su questo punto. Da quanto scritto nel documento potrebbe in effetti accadere che i prodotti non di tipo a) possano essere collocati d’ufficio dal GEV stesso in classe D (o E) senza arrivare alla peer review. Su quali basi, non è dato sapere.

      4) Per l’articolo su rivista non inserita nell’ordinamento bibliometrico, vale quanto detto al punto 1) e al punto 3). Può essere sia destinato alla peer review, come può essere sia collocato d’ufficio nelle classi D o E.

      Temo di non aver sciolto completamente i tuoi dubbi. Ma questo è quanto sono riuscito a capire dai documenti del GEV13, ancora caratterizzati dalla massima incertezza e da aleatorietà ingiustificabili.

  2. Paolo Cruciani says:

    Salve a tutti,
    e complimenti per il vostro prezioso lavoro di informazione. Sono venuto a conoscenza delle vostre attività e del sito in occasione dei recenti “Stati Generali dell’Università” presso la Facoltà di Lettere della Sapienza di Roma.
    Vi scrivo per sapere e ci sono informazioni in merito alla classifica delle riviste per l’area 8 (Storia dell’Architettura e Restauro), che non riesco a trovare da alcuna parte. Ne ho trovata una incompleta (solo 12 riviste classificate ISI), di cui nessuna italiana, e mi sembra un po’ strano.
    Grazie ed a presto,
    PC

    • Terenzio Maccabelli says:

      Nel documento di lavoro del GEV08 dovresti trovare tutte le informazioni che cerchi. Il link è questo:

      http://www.anvur.org/sites/anvur-miur/files/gev/GEV08_allegato.pdf

      Se non ho capito male, gli indicatori dell’ultima colonna (1, 2, 3, 4) corrispondono alle classi di merito A, B, C, D.

      Peraltro, il tuo settore Storia dell’Architettura e Restauro compreso nel GEV08 si presterebbe a interessanti analogie con il settore Storia del pensiero economico compreso nel GEV13. Se non fosse che il GEV13 per ora non ha fatto lo stesso lavoro del GEV08, cioè una classificazione delle riviste per settore scientifico disciplinare.

    • Paolo Cruciani says:

      Grazie infinite per l’indicazione. In effetti questi metri di valutazione sono molto complessi. Sono state lasciate fuori molte riviste e questo costituirà un problema per molti aspiranti ricercatori, che vedranno sminuita la propria produzione scientifica seppur di qualità. A mio parere questo aspetto avrebbe dovuto essere maggiormente dibattuto.

Leave a Reply