VQR: tutte le valutazioni sono uguali, ma alcune sono più uguali delle altre

Vi piacerebbe giocare una partita di calcio in cui i vostri goal sono contati normalmente e quelli della squadra avversaria vengono moltiplicati per 1,4? Nella VQR il GEV09 -ingegneri industriali e dell’informazione (ingegneri informatici esclusi)- è l’unico ad usare delle soglie bibliometriche speciali che in media danno punteggi 1,4 volte maggiori rispetto alle regole del bando VQR adottate dagli altri GEV “bibliometrici”. Con queste regole la VQR è una partita le cui regole favoriscono i dipartimenti di ingegneria di area 09 e, soprattutto, i politecnici a danno degli atenei generalisti.

Il quadrato magico

Nella VQR le aree 01-09 hanno deciso di adottare uno strumento inedito nella letteratura bibliometrica che hanno chiamato  “matrice di corrispondenza tra classi iniziali della rivista (colonne) e citazioni (righe)”. Nella Figura 1 è riportata la matrice adottata dai GEV09 per gli articoli pubblicati nel triennio 2008-2010.

Figura 1. Matrice di corrispondenza tra classi iniziali della rivista (colonne) e citazioni (righe) e classe finale VQR per articoli pubblicati nel triennio 2008-2010 (fonte: criteri GEV09)

Sull’asse verticale il numero di citazioni degli articoli; sull’asse orizzontale si legge l’indicatore bibliometrico riferito alle riviste (relativamente agli anni 2008-2010 e al database Web of Science di Thomson-Reuters, per il GEV09 tale indicatore è una combinazione di quattro indicatori bibliometrici: Impact Factor, 5 Year Impact Factor, Eigenfactor, Article Influence; per gli altri GEV l’indicatore bibliometrico è di norma l’Impact Factor). Le riviste vengono suddivise in quattro fasce sulla base dei valori assunti dall’indicatore bibliometrico:

• Classe D: il 50% con i valori più bassi sono considerate di valore limitato;
• Classe C: il successivo 10% sono considerate accettabili;
• Classe B: il successivo 20% sono buone:
• Classe A: l’ultimo 20% con i punteggi più alti sono eccellenti.

Per ogni categoria scientifica, gli articoli vengono anch’essi suddivisi in quattro fasce crescenti di merito da D ad A sulla base del numero di citazioni ricevute:

• Classe D: Il 50% degli articoli meno citati, ovvero quelli con un numero di citazioni inferiori alla mediana settoriale;
• Classe C: il 10% successivo;
• Classe B: il 20% successivo;
• Classe A: l’ultimo 20% con il maggior numero di citazioni.

La matrice ANVUR dà un’impressione visiva errata, perché le mattonelle all’interno della matrice sono tutte della stessa dimensione. Nella Figura 2 abbiamo reso graficamente la matrice con un quadrato le cui mattonelle interne hanno dimensioni che rispecchiano le soglie del bando VQR.

Figura 2. Matrice di corrispondenza in cui le dimensioni dei lati delle mattonelle rispecchiano la suddivisione in percentili dell’indicatore bibliometrico e del conteggio citazionale seguendo le soglie del bando VQR.

Il quadrato è di dimensione 1×1 ed ha quindi un area pari ad 1. Le mattonelle rispettano le proporzioni previste dal bando: 50:10:20:20. La mattonella più in basso a destra, classificata come D, contiene tutti gli articoli pubblicati nel 50% delle riviste peggiori, e che hanno ricevuto un numero di citazioni inferiore al valore mediano delle citazioni nel settore. Le classi di merito per l’indicatore bibliometrico e per le citazioni sono concordi Quella mattonella ha dimensione 0,50×0,50=0,25, rappresenta cioè un quarto dell’intero quadrato. La mattonella più in alto a sinistra ha dimensione 0,20X0,20=0,04 perché contiene tutti gli articoli pubblicati nelle migliori riviste (20%) e che hanno ricevuto un numero di citazioni elevato (superiore alla soglia individuata dall’80% percentile nella distribuzione delle citazioni).

Le classi di merito per l’indicatore bibliometrico e per le citazioni sono concordi solo per quattro “mattonelle” collocate sulla diagonale, che vengono etichettate di conseguenza. Per le altre mattonelle, i GEV dell’ANVUR hanno fornito regole di etichettatura che variano da GEV a GEV. Nella Figura 1, che mostra l’etichettatura decisa dal GEV09, oltre alle mattonelle  etichettate con le lettere A-B-C-D, vi sono alcune caselle etichettate come IR (Informed Review). Infatti, alcuni articoli pubblicati su riviste top, ma che hanno ricevute poche citazioni, e altri pubblicati su riviste scarse, ma molto citati, saranno sottoposti a informed peer review (IR).

Possiamo pensare al quadrato come ad un bersaglio per freccette. Scrivere un articolo è l’equivalente di lanciare una freccetta sul bersaglio (in assenza di vento). A seconda di dove cade la freccetta (cioè la rivista in cui è pubblicata ed il numero di citazioni ricevute) si ottiene un punteggio:

• D vale 0;
• C vale 0,5
• B vale 0,8
• A vale 1,0

o si va a peer review (IR). I ricercatori italiani hanno avuto 7 anni per lanciare le loro freccette. Nella VQR ogni ricercatore ha la possibilità di scegliere le tre freccette con punteggio maggiore.

Il ricercatore lancia la sua freccetta e può andare a finire in una qualsiasi delle mattonelle. Tanto più grande la mattonella tanto più elevata la probabilità che la freccetta ci finisca sopra. Se le freccette venissero lanciate in modo completamente casuale, l’area della mattonella coinciderebbe con la probabilità che la freccetta ci finisca sopra.  Dal punto di vista bibliometrico, questo accadrebbe se non esistesse nessuna relazione statistica (correlazione nulla) tra la rivista dove è pubblicato un articolo ed il numero di citazioni ricevute dall’articolo stesso. Se ipotizziamo che gli articoli sottoposti alla VQR coprano uniformemente il quadrato magico, le probabilità di finire nelle zone etichettate A-B-C-D della Figura 2 saranno:

• Probabilità di finire in D: 30% (le due mattonelle D hanno area 0,25+0,05=0,30);
• Probabilità di finire in C: 8% (le tre mattonelle C hanno area 0,05+0,01+0,02=0,08);
• Probabilità di finire in B: 16% (le tre mattonelle B hanno dimensione 0,1+0,02+0,04=0,16);
• Probabilità di finire in A: 14% (le quattro mattonelle A hanno dimensione 0,02+0,04+0,04+0,04=0,14);
• Probabilità di peer review: 32% (0,1+0,1+0,1+0,02=0,32).

A questo punto, possiamo persino calcolare il punteggio medio ottenuto dagli articoli:

Score medio = 1 x Pr(A) + 0,8 x Pr(B) + 0,5 x Pr(C) + 0 x Pr(D) = 0,3080

Possiamo immaginare anche la situazione diametralmente opposta. Gli articoli più citati vengono pubblicati sempre sulle riviste con indicatori citazionali più elevati. Ci troviamo nella condizione ideale per cui il ranking bibliometrico della rivista in cui è apparso l’articolo coincide con il ranking delle sue citazioni. In tal caso gli articoli pubblicati da un ricercatore si troverebbero tutti lungo la diagonale del quadrato (correlazione massima e pari a uno). Se questa ipotesi fosse vera, il quadrato magico sarebbe inutile: basterebbe considerare l’indicatore bibliometrico della rivista o il numero di citazioni dell’articolo. Pubblicare in una rivista in classe A significa avere un articolo molto citato (citazioni in classe A). Se immaginiamo che gli articoli sottoposti alla VQR coprano uniformemente la diagonale del quadrato magico, la probabilità di finire nelle classi A-B-C-D sono in questo caso rispettivamente

• Probabilità di finire in D: 50%;
• Probabilità di finire in C: 10%;
• Probabilità di finire in B: 20%;
• Probabilità di finire in A: 20%;
• Probabilità di peer review: 0%.

Inoltre, possiamo calcolare il punteggio medio ottenuto dagli articoli:

Score medio = 1 x Pr(A) + 0,8 x Pr(B) + 0,5 x Pr(C) + 0 x Pr(D) = 0,41

In questi calcoli e nei successivi, stiamo valutando le probabilità e i punteggi che verrebbero conseguiti da un articolo selezionato a caso dalla produzione scientifica mondiale. L’ideale sarebbe considerare un articolo selezionato a caso tra quelli sottoposti alla VQR. Ciò comporterebbe due differenze: (i) gli articoli sottoposti alla VQR sono articoli selezionati dalla produzione scientifica italiana; (ii) ogni soggetto valutato sceglie i suoi 3 articoli migliori. Non potendo caratterizzare questi fenomeni (il secondo, in particolare), il metodo più corretto per valutare l’imparzialità delle soglie bibliometriche è valutarne l’effetto sulla produzione scientifica mondiale. Un po’ come se volessimo esportare i criteri della nostra VQR a livello internazione e dovessimo convincere la comunità scientifica bibliometrica della bontà delle nostre scelte.

Il quadrato del GEV09

Il GEV09 (ingegneria industriale e dell’informazione), con l’esclusione degli ingegneri informatici (SSD ING-INF/05), ha deciso che le riviste non sono da ripartirsi secondo la formula 50:10:20:20, ma in quartili cioè secondo la formula 25:25:25:25:

Il prodotto da valutare viene attribuito ad una delle 16 coppie di classi rappresentate in una matrice 4×4, che contiene sulle ascisse i quartili dell’indicatore bibliometrico (o le classi di qualità concordate con il GEV01 per il SSD ING/INF-05) e sulle ordinate le classi della distribuzione del numero di citazioni

Criteri GEV09, pagina 9

Che non si sia trattato di un errore di stampa è confermato dalla successiva pubblicazione da parte del GEV09 delle classifiche delle riviste 2007-2010, in cui la suddivisione per classi segue i quartili 25:50:75 e non i percentili 50:60:80 specificati dal Bando VQR (pagina 7) e utilizzati dai GEV 01-08.

La ripartizione in quartili modifica sostanzialmente le dimensioni delle mattonelle. Mettete a confronto la Figura 2 con la Figura 3.

Figura 3. Matrice di corrispondenza in cui le dimensioni dei lati delle mattonelle rispecchiano la suddivisione in percentili dell’indicatore bibliometrico e del conteggio citazionale seguendo le soglie dei criteri del GEV09 invece che del bando VQR.

Come vedete la superficie delle aree contrassegnate con D (a cui corrisponde punteggio nullo) è complessivamente molto più piccola. Le dimensioni delle aree A, B e C (che forniscono punteggi maggiori zero) sono tutte e tre molto più grandi.

Quelli del GEV 9 tireranno le loro freccette su un bersaglio dove è molto più facile raggiungere punteggi più elevati. In particolare, se ipotizziamo che gli articoli sottoposti alla VQR coprano uniformemente il quadrato:

• la probabilità di finire in D è del 15%, ovvero la metà rispetto alle regole  dei GEV 01-08;
• la probabilità di finire in C è del 20% contro l’8%;
• quella di finire in B del 20% rispetto al 16%;
• quella di finire in A del 17,5% contro il 16%.

In base a queste probabilità, possiamo calcolare il punteggio medio che otterrebbero gli articoli del GEV09:

Score medio = 1 x Pr(A) + 0,8 x Pr(B) + 0,5 x Pr(C) + 0 x Pr(D) = 0,435

con un incremento del 41,23% rispetto al punteggio medio 0,308 derivante dal rispetto delle soglie del bando VQR, adottate dai GEV01-08.

Nell’ipotesi che gli articoli più citati vengano pubblicati sulle riviste con indicatori citazionali più elevati (perfetta correlazione tra rivista e citazioni) e che la diagonale del quadrato venga coperta in modo uniforme, la probabilità di infilare la freccetta in A-B-C-D è del 25% per ogni categoria, con un diminuzione della metà, anche sotto questa ipotesi, della probabilità di finire nella zona D ed un incremento della probabilità di finire nelle zone A-B-C che forniscono punteggi positivi.

Il punteggio medio che otterrebbero gli articoli del GEV09 sarebbe pertanto:

Score medio = 1 x Pr(A) + 0,8 x Pr(B) + 0,5 x Pr(C) + 0 x Pr(D) = 0,575

con un incremento del 40,24% rispetto al punteggio medio 0,410 derivante dal rispetto delle soglie del bando VQR, adottate dai GEV01-08.

Quindi, grazie alla modifica delle soglie per la classificazione delle riviste, il GEV09 aiuterà parte dell’Area 09 ad ottenere punteggi più elevati nella valutazione finale.

Si potrà obiettare: “come al solito avete considerato i soli casi estremi. In realtà ROARS dovrebbe sapere, perché l’ha già scritto in questi due post, che i due casi estremi non si verificano mai nella realtà. E quindi, fino a prova contraria, non si può dire che ci sarà una distorsione sistematica”. L’Appendice 1 di questo articolo, molto più tecnica, dimostra, che anche nei casi intermedi il GEV09 (ingegneri informatici esclusi) otterrebbe punteggi assai più elevati rispetto a quanto accadrebbe se rispettasse per la classificazione delle riviste  le soglie del bando VQR, come hanno fatto i GEV 01-08.

In particolare, l’analisi dei casi intermedi, effettuata su quattro diverse distribuzioni, conduce ai risultati illustrati nella Figura 4.

Figura 4. Confronto tra i punteggi medi (ordinate) ottenuti usando le soglie biblometriche speciali del GEV09 (ingegneri informatici esclusi) e punteggi ottenuti seguendo le soglie imposte dl bando VQR (altri GEV). Vengono ipotizzate quattro diverse distribuzioni (Gaussiana, Gumbel, Clayton, Frank) delle caratteristiche bibliometriche degli articoli e per ciascuna distribuzione viene variata la correlazione (ascisse) in modo da considerare i casi intermedi tra nessuna correlazione (estremo sinistro) e correlazione massima (estremo destro). In tutti i casi considerati, l’uso delle soglie bibliometriche speciali aumenta il punteggio medio di almeno il 38%.

È immediato notare che in tutti i casi considerati la speciale piastrellatura del GEV09 implica un significativo incremento del punteggio medio. Inoltre, l’entità del vantaggio percentuale, si dimostra molto stabile. Infatti, la banda di oscillazione è inferiore al 3%, dato che risulta

+38,35% < vantaggio % < +41,23%

In altre parole, la piastrellatura del GEV09 per le 80 distribuzioni considerate garantisce, in media, un incremento del 38.35% (o anche maggiore) del punteggio.

Chi vince e chi perde?

Quali sono le conseguenze per la VQR della piastrellatura diversa del GEV09? Dato che la VQR valuterà le strutture, bisogna considerare gli effetti sia a livello di dipartimenti che di atenei.

A livello di dipartimenti, va ricordato che il SSD ING-INF/05 (ingegneria informatica) non ha adottato la piastrellatura del GEV09. Pertanto:

• nel confronto tra dipartimenti di uno stesso ateneo, verranno avvantaggiati i dipartimenti di ingegneria industriale e dell’informazione (per esempio ingegneria meccanica e ingegneria elettronica) tranne quelli prevalentemente composti da ingegneri informatici;
• nel confronto tra atenei, verranno avvantaggiate le università in cui c’è una maggiore rappresentanza percentuale dell’Area 09, ovvero si viene a creare una condizione di vantaggio dei politecnici nei confronti degli atenei generalisti.

Se il coordinatore della VQR è consapevole di questa anomalia ha il dovere di spiegare alla comunità scientifica perché si è deciso di concedere questo vantaggio a parte dell’Area 09. Un vantaggio difficilmente giustificabile anche alla luce delle sue dichiarazioni:

Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.

Se si tratta di un errore, ci domandiamo che senso abbia andare avanti in questo modo, anche perché gli errori presenti nei criteri non si fermano, purtroppo, a quanto segnalato in questo articolo. Si può continuare lungo questa strada senza compromettere la credibilità dell’esercizio di valutazione, dei soggetti istituzionali coinvolti, e degli eccellenti studiosi, membri dei GEV, che hanno accettato di mettere a disposizione le loro competenze senza sospettare le lacune metodologiche e strutturali che li attendevano?

Fermarsi per il tempo strettamente necessario a rivedere radicalmente il bando della VQR con l’ausilio di esperti, anche stranieri, competenti in valutazione e bibliometria sarebbe a questo punto un gesto di responsabilità da parte del Ministro del MIUR e del Presidente dell’ANVUR.

Appendice 1. Le copule bibliometriche del GEV09

Nell’articolo, abbiamo appena visto che in due casi particolari, l’uso dei quartili garantisce al GEV09 un incremento del 40% del loro punteggio medio rispetto al punteggio che avrebbero ottenuto adottando le soglie bibliometriche imposte dal bando VQR. Ricordiamo che i due casi considerati rispecchiano le seguenti condizioni limite:

1. completa assenza di dipendenza statistica tra classificazione citazionale dell’articolo e classificazione bibliometrica della rivista in cui è apparso;
2. completa concordanza tra classificazione citazionale dell’articolo e classificazione bibliometrica della rivista in cui è apparso.

Nella realtà ci si troverà in una situazione intermedia. Per quanto sia logico aspettarsi che il vantaggio osservato ai due estremi sia presente anche nelle situazioni intermedie, è opportuno tentare una valutazione  quantitativa. Nella seguente figura sono rappresentate alcune possibili distribuzioni delle collocazioni nel quadrato magico di articoli estratti a caso dalla produzione scientifica mondiale. Si noti che nella Figura 5, gli articoli migliori (classificati come A sia per citazioni che per indice bibliometrico della rivista in cui sono pubblicati) sono collocati in alto a destra, invece che in alto a sinistra come nella rappresentazione adottata dall’ANVUR.

Figura 5. Esempi di distribuzione spaziale degli articoli nella matrice di corrispondenza (“quadrato magico”). Rispetto alla rappresentazione adottata dall’ANVUR, gli articoli migliori sono collocati in alto a destra invece che in alto a sinistra.

È possibile vedere che ci sono zone di diversa densità e la loro collocazione spaziale influisce ovviemente sul punteggio medio attribuito agli articoli. Dal punto di vista statistico, questa distribuzione spaziale appartiene ad una particolare famiglia di distribuzioni, le cosiddette “copule”, già menzionate da ROARS in un precedente articolo (VQR? “Lo famo strano!” Le copule bibliometriche dell’ANVUR). Negli ultimi anni le copule hanno assunto un’importanza crescente in ambito finanziario, in particolare nei problemi di gestione di portafoglio e nel pricing dei derivati.  Se conoscessimo la “copula del GEV09”, un semplice calcolo statistico permetterebbe di valutare il punteggio medio derivante dall’uso dei quartili e di confrontarlo con quello derivante dalle soglie bibliometriche del bando VQR, usate dai GEV01-08

Purtroppo, non conosciamo in anticipo la “copula del GEV09” e nemmeno possiamo ricavarla dalla letteratura bibliometrica. Infatti, gli articoli presentati alla VQR non costituiranno un campione casuale della produzione scientifica in una data categoria scientifica né a livello mondiale né a livello italiano, in quanto ogni soggetto valutato sceglierà i suoi articoli migliori.

Scegliamo pertanto un’altra strada, ovvero consideriamo una larga varietà di copule per verificare se il vantaggio di alcuni soggetti sottoposti al GEV09 sia più o meno sensibile a cambiamenti nella distribuzione statistica delle caratteristiche bibliometriche degli articoli sottoposti a valutazione. In particolare, verranno considerate quattro diverse famiglie di copule e, all’interno di ciascuna, 20 diverse copule corrispondenti a diverse gradazioni di correlazione tra percentile citazionale dell’articolo e percentile bibliometrico della rivista.  Le famiglie di copule considerate sono:

1. Gaussiana
2. Gumbel
3. Clayton
4. Frank

ovvero tutte quelle disponibili nello Statistics Toolbox del software MATLAB. Ciascuna di queste famiglie contiene infinite copule che vengono individuate attraverso un numero reale. Nel caso delle copule gaussiane, il parametro che individua la singola copula è il coefficiente di correlazione di cui considereremo 20 valori equispaziati tra 0 e 0.95. Per le altre tre famiglie, che appartengono alla categoria delle copule archimedee, la diversa correlazione è modulata da un parametro θ che varia da 0 a infinito, per la Gumbel, e da 1 ad infinito per la Clayton e la Frank. Per le tre famiglie di copule archimedee sono stati scelti 20 valori logaritmicamente equispaziati tra 1 e 100. Complessivamente, sono state pertanto considerate 80 diverse copule. Per ciascuna di esse è stata calcolata la probabilità che gli articoli venissero assegnati in classe A, B, C, D utilizzando la piastrellatura del GEV09 (a quartili, ovvero soglie poste nei percentili 25:50:75) e quella standard del bando VQR (soglie poste nei percentili 50:60:80). I grafici della probabilità di classificazione nelle diverse classi per tutte le quattro famiglie di copule sono riportati nell’Appendice 2. Come logico, la piastrellatura del GEV09 riduce notevolmente la probabilità di cadere nella zona D (che implica un punteggio nullo).

Infine, il punteggio medio è stato ottenuto nel seguente modo:

Score medio = 1 x Pr(A) + 0,8 x Pr(B) + 0,5 x Pr(C) + 0 x Pr(D)

dove Pr(A) indica la probabilità che il generico articolo venga cada in una qualsiasi delle piastrelle che implicano la classificazione automatica in classe A, e dove Pr(B) e Pr(C) hanno analogo significato. I grafici dei punteggi medi per tutte le quattro famiglie di copule sono riportati nella Figura 4, già discussa nell’articolo, che evidenzia il sostanziale vantaggio conseguente all’uso delle soglie bibliometriche speciali.

Appendice 2. Probabilità di finire nelle zone A-B-C-D: confronto tra soglie imposte dal bando VQR e soglie adottate dal GEV09

Questa seconda appendice riporta le figure che illustrano l’influsso delle soglie bibliometriche speciali sulla probabilità  che un articolo cada nelle regioni A-B-C-D del quadrato magico.

Figura 6. Sulle ascisse il grado di correlazione tra classificazione citazionale degli articoli e classificazione bibliometrica della rivista in cui sono pubblicati. Sulle ordinate la probabilità di finire nella regione A. Si noti che, grazie alle soglie bibliometriche speciali, per il GEV09 tale probabilità è sempre maggiore.

Figura 7.  Sulle ascisse il grado di correlazione tra classificazione citazionale degli articoli e classificazione bibliometrica della rivista in cui sono pubblicati. Sulle ordinate la probabilità di finire nella regione B. Si noti che, grazie alle soglie bibliometriche speciali, per il GEV09 tale probabilità è sempre maggiore.

Figura 8.  Sulle ascisse il grado di correlazione tra classificazione citazionale degli articoli e classificazione bibliometrica della rivista in cui sono pubblicati. Sulle ordinate la probabilità di finire nella regione C. Si noti che, grazie alle soglie bibliometriche speciali, per il GEV09 tale probabilità è sempre maggiore.

Figura 9.  Sulle ascisse il grado di correlazione tra classificazione citazionale degli articoli e classificazione bibliometrica della rivista in cui sono pubblicati. Sulle ordinate la probabilità di finire nella regione D. Si noti che, grazie alle soglie bibliometriche speciali, per il GEV09 tale probabilità è sempre decisamente inferiore. Ricordiamo che la classe D è l’unica ad attribuire punteggio nullo.