Anvur / Argomenti / Valutazione / VQR

Ancora sui mutevoli confini della mediocrità: l’uso dei percentili nelle classifiche di riviste (con esempio delle riviste storiche del GEV13)

In un procedente intervento si era cercato di attirare l’attenzione sulla scelta del tutto impropria compiuta dal ministero di spostare dal 40° al 50° percentile la soglia dell’accettabilità scientifica. Si era in particolare sottolineato come da questa scelta scaturisse un’illogica compressione dei prodotti valutabili in classe C – ossia quelli valutabili come accettabili, con peso pari a 0,5 – che pensiamo contraria a ogni ragionevole buon senso. Le distorsioni di queste scelte appaiono particolarmente evidenti guardando i ranking (o classifiche) di riviste che alcuni GEV stanno elaborando in queste settimane.

Va detto che non tutti i GEV intendono utilizzare i percentili ministeriali nell’articolazione in classi di merito delle riviste. La condizione per poterli utilizzare è in effetti quella di un “ordinamento” delle riviste in base a un qualche indicatore quantitativo, condizione che in molti ambiti disciplinari non può essere soddisfatta. Altri GEV stanno invece “sperimentando” non solo l’uso degli indicatori bibliometrici quando questi mancano ma anche l’articolazione in classi di merito sulla base dei discutibili percentili ministeriali.

Un caso davvero speciale e illuminante è il GEV13, a quanto pare intenzionato a seguire in modo scrupoloso le indicazioni del ministero relative alle articolazioni in classi di merito delle riviste. Terminata la complessa fase di imputazione degli indicatori bibliometrici all’universo di riviste, il GEV13 procederà infatti ad articolare nelle quattro classi di merito le riviste, utilizzando come criterio i percentili indicati dal ministero: le riviste al di sotto del 50° percentile (la mediana) saranno quindi valutate 0, mentre i pesi 0,5, 0,8 e 1 saranno assegnati rispettivamente alle riviste comprese tra il 50° e il 60° percentile, a quelle tra il 60° e l’80° per finire a quelle superiori all’80° percentile.

Questo procedura presenta due evidenti distorsioni: la prima imputabile alla scelta del ministero di aver spostato verso la mediana la soglia dell’accettabilità scientifica, senza aver valutato le conseguenze in termini di ingiustificata compressione della classe C che questa scelta avrebbe comportato; la seconda attribuibile al GEV13 stesso, che pare muoversi nell’inconsapevolezza che la pedissequa applicazioni dei percentili ministeriali potrà produrre un’inaccettabile aleatorietà, per il semplice fatto che la classifica sarà fortemente dipendente dall’ampiezza dell’universo su cui verranno calcolati i percentili.

La probabile classifica delle riviste di Storia economica e di Storia del pensiero economico si presta a un semplicissimo esercizio in grado di illuminare queste distorsioni.

Nell’ultimo comunicato del 10 maggio, il GEV13 ha riconosciuto la necessità di scorporare le riviste storiche da quelle “teoriche”, avendo le prime indicatori bibliometrici non comparabili con quelli delle altre aree. Come si legge nel comunicato, il GEV ha “deciso di creare una quarta sotto-area di classificazione (H), che si aggiunge quindi alle 3 sotto-aree già prese in considerazione”. Sono infatti state individuate 49 riviste, una decina di storia del pensiero economico e le rimanenti di storia economica, che verranno classificate in fasce di merito utilizzando i medesimi criteri (cioè quelli bibliometrici) delle altre sotto-aree.

Non conoscendo i valori bibliometrici che verranno imputati alle riviste – indicatori costruiti su un mix di IF, IF a cinque anni (per le riviste che dispongono di questi indicatori) e di h-index – non è ancora possibile conoscere l’effettiva articolazione in classi di merito. Per il momento, l’unica simulazione possibile è quella basata sull’h-index, unico indicatore disponibile per tutte le riviste dell’universo. Su questo indicatore si basa l’ipotetica classifica qui proposta da Alberto Baccini.

Pochi commenti su questa classifica. Innanzitutto, nonostante le rassicurazioni del GEV, non si registra una corrispondenza tra IF e h-index tale da assicurare una facile imputazione dell’IF alle riviste che ne sono prive; in secondo luogo, emerge a colpo d’occhio il dato davvero anomalo dell’esiguità delle riviste della classe C.  Un numero già di per sé limitatissimo in virtù dei percentili indicato dal ministero, addirittura destinato ad assottigliarsi ulteriormente qualora, come propone Baccini nella sua simulazione, si individuino dei valori di soglia capaci di separare in modo netto la classe C dalla sottostante classe D e dalla classe B. Di fatto, variazioni irrisorie dell’h-index (nell’ordine di uno o due punti) sono sufficienti per far scalare le riviste dalla classe B con peso 0,8 alla classe D con peso 0.

Ma l’aspetto più eclatante su cui vorremmo attirare l’attenzione è l’effetto “numerosità dell’universo”. Il GEV13 ha individuato 49 riviste per comporre l’universo della sotto area storica. Ma rimangono escluse da questo universo un cospicuo numero di riviste, per motivi non affatto trasparenti. Nei comunicati del GEV13 si dice che la condizione per l’inserimento nell’universo delle riviste è la calcolabilità dell’h-index. L’elenco pubblicato arriva in effetti fino a una soglia minima di h-index pari a tre. Sembrerebbe che per h-index inferiori il GEV13 non abbia ritenuto opportuno procedere al loro inserimento nell’elenco. Eppure si tratta di un numero davvero considerevole di riviste: per avere una stima, è sufficiente pensare che nei ranking ufficiali della Società italiana degli storici dell’economia (Sise) vi sono almeno cinquanta riviste che non compaiono nell’universo individuato dal GEV13, molte delle quali hanno valori positivi dell’h-index. Ma appunto, come saranno considerati i contributi pubblicati su queste riviste, che immaginiamo molto numerosi?

Come è noto, la soluzione individuata dal GEV13 è quella di demandare alla peer review questi contributi. Si avranno in questo modo due diversi criteri di valutazione dei saggi in rivista: uno basato sull’“oggettività” bibliometrica; e uno sulla “soggettività” implicita in ogni processo di review. Ma è paradossale che questo secondo criterio venga adottato proprio per quelle riviste che l’“oggettività” bibliometrica collocherebbe nella parte inferiore della classifica. Cosa faranno infatti gli esperti valutatori nel caso i responsi dei referee dovessero assegnare numerose classi C o B a questi contributi? Potrebbe aversi il paradosso di saggi pubblicati su riviste ISI – come ad esempio un articolo su “Labour History”, valutato insindacabilmente 0 – penalizzati rispetto a saggi pubblicati su riviste (magari nazionali o locali) non comprese nell’elenco H ma valutati positivamente dai referee. Come si comporteranno gli esperti valutatori se dovessero presentarsi numerosi casi di questo genere?

Un ulteriore problema è legato ai saggi di natura storica pubblicati nelle riviste economiche comprese nell’elenco E del GEV13. E’ infatti molto probabile la presenza di numerosi contributi di storia del pensiero o di storia economica anche in riviste dell’elenco E, magari destinate a essere collocate nelle classi C o B di quell’elenco. Ora, queste riviste potrebbero avere IF superiore a quello delle riviste in classe A dell’elenco H, con conseguente penalizzazione, se valutati con l’automatismo implicito nella procedura prevista dal GEV13, dei contributi storici pubblicati sulle riviste “teoriche” dell’elenco E.

Infine, l’aspetto più paradossale cui accennavamo all’inizio, cioè l’effetto “numerosità dell’universo”. Come abbiamo anticipato, vi è un grandissimo numero di riviste non comprese nell’elenco, che la stessa Sise ha classificato come riviste significative per l’area della storia economica. E molte di queste hanno anche valori di h-index positivi, per quanto bassi. Cosa sarebbe accaduto se il GEV13 avesse inserito alcune di queste riviste nell’universo? Un completo stravolgimento della classifica, in virtù soprattutto dell’esigua classe C prevista dai percentili ministeriali a seguito dell’illogico innalzamento della soglia dell’accettabilità scientifica del 40° percentile alla mediana.

Partendo dalla simulazione di Alberto Baccini, è molto facile verificare questo effetto. Si supponga di inserire nell’elenco H del GEV13 una ventina delle riviste del ranking Sise ora escluse, scegliendole tra quelle che abbiano h-index positivo. Il nuovo universo sarebbe composto da 70 riviste, con conseguente nuova articolazione in classi di merito. “History of economic ideas”, prima collocata in classe D e valutata 0, salirebbe ora magicamente alla classe B e sarebbe valutata 0,8. Come già detto in altra occasione, questo ventaglio così ampio di esiti non può non lasciare il sospetto che il combinato dei percentili ministeriali e la ferrea determinazione del GEV13 nel proseguire sulla strada della bibliometria fai da te possa condurre ad approssimazioni inaccettabili nel processo di valutazione.

Send to Kindle
Tags: , , , , ,

Leave a Reply

Newsletter Powered By : XYZScripts.com