Mentre il Ministro Giannini emanava le Linee Guida per la VQR 2011-2014 (27 giugno) e l’ANVUR varava la versione provvisoria del Bando di partecipazione (8 luglio 2015), nel Regno Unito l’Agenzia finanziatrice del sistema universitario inglese (HEFCE),  responsabile degli esercizi nazionali di valutazione (RAE/REF), pubblicava (9 luglio) un interessante rapporto: The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. La coincidenza temporale non poteva essere più sfortunata per MIUR ed ANVUR. In questo post, inziamo un (impietoso) confronto tra le riflessioni del gruppo di esperti indipendenti ed il modo in cui in Italia si concepisce e si prevede di realizzare la prossima VQR, ragionando, innanzi tutto, sulla presunta intercambiabilità della valutazione bibliometrica con quella basata sulla peer review.

Mentre il Ministro Giannini emanava il DM 458 del 27 giugno 2015 (da ora in poi DM458/2015) contenente le Linee Guida per la VQR 2011-2014, ed ANVUR varava la versione provvisoria del Bando di partecipazione (8 luglio 2015), nel Regno Unito l’Agenzia finanziatrice del sistema universitario inglese (HEFCE), e responsabile degli esercizi nazionali di valutazione (RAE/REF)  si preparava alla pubblicazione, avvenuta il 9 luglio, del referto The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management (da ora in poi Metric Tide) di cui abbiamo dato notizia qui. La coincidenza temporale non poteva essere più sfortunata per MIUR ed ANVUR. Il confronto tra le riflessioni del gruppo di esperti indipendenti ed il modo in cui in Italia si concepisce e si prevede di realizzare la prossima VQR è davvero impietoso. Il post è suddiviso in più parti. Cominciamo con l’analizzare il “metodo di valutazione”.

Metodo di valutazione.

Il DM458/2015 art. 5 comma 1 prevede che si debba procedere con “due metodologie” di valutazione da adottarsi “singolarmente o in combinazione” [1]:

1. bibliometria: considerando “il numero di citazioni ricevute dal prodotto e una misura dell’impatto della rivista ospitante il prodotto”;

2. peer-review: “affidata a esperti esterni fra loro indipendenti scelti collegialmente dal GEV, di norma due per ciascuna pubblicazione”.

Nessuna innovazione rispetto al DM17/2011 firmato Gelmini. Se nel 2011 questa scelta poteva essere giustificata come “innovativa”, adesso, proprio sulla base dei risultati della VQR oltreché della letteratura intervenuta nel frattempo, la scelta del Ministro appare del tutto incomprensibile. La logica dietro questa scelta è che le due metodologie diano luogo a risultati simili. Non è così. Come scritto lapidariamente dagli esperti indipendenti del Metric Tide:

No metric can currently provide a like-for-like replacement for REF peer review

D’altra parte non ci sarebbe stato neanche bisogno dell’autorevolissima raccomandazione britannica. Sarebbe bastata una lettura delle evidenze provenienti proprio dal precedente esercizio di valutazione. Non c’è correlazione tra risultati VQR a livello di struttura e indicatori bibliometrici [si veda qui].  Nel corso della VQR2004-2010 è stato condotto nella aree bibliometriche un “esperimento”: un campione casuale di lavori è stato sottoposto a valutazione con entrambi i metodi di valutazione. La concordanza tra i risultati misurata con una statistica nota come Kappa di Cohen, era stata commentata da ANVUR nel rapporto finale come “più che adeguata”. Come forse i lettori di Roars ricorderanno, in questo post, mostrammo che secondo le linee guida prevalenti a livello internazionale, la concordanza era da considerare limitata o al più modesta (poor to fair) [2]. E’ la stessa ANVUR [3] adesso a riconoscere che avevamo ragione:

The value of K  [is] on average equal to 0.32, a value that is usually considered as ‘poor to fair’ in the literature

Quindi nella scorsa VQR bibliometria e peer review hanno dato luogo a valutazioni non concordanti; in media i risultati della valutazione bibliometrica sono stati più elevati di quelli attributi con la peer review. Questo significa che i risultati calcolati per le strutture, per i dipartimenti, per le Aree e per i singoli SSD dipendono dal mix di metodologie di valutazione adottate. Semplificando, quanti più prodotti valutati con la bibliometria, quanto migliore il risultato finale.

A questo proposito è utile riproporre ancora una volta la tabella con la quota di prodotti eccellenti per Area nella VQR e nel precedente esercizio di valutazione (VTR).

Confronto tra le percentuali di prodotti eccellenti per area nelle VTR e nella VQR20o4-2010.

prodotti eccellenti

 

Tutti le aree bibliometriche hanno visto un aumento della quota di prodotti eccellenti : nelle scienze agrarie e veterinarie (Area 7) la percentuale di prodotti eccellenti è quadruplicata passando dal 10% della VTR al 43% della VQR; nell’ingegneria civile (area 8a), industriale e dell0informazione (Area 9) le percentuali di eccellenti sono più che raddoppiate; nelle scienze chimiche (Area 3) si sfiora il raddoppio. Le aree non bibliometriche hanno visto una riduzione drastica della quota di prodotti eccellenti: più che dimezzate le percentuali di eccellenti nelle scienze dell’antichità, filologico letterarie e storico artistiche (area 10), e nelle scienze politiche e sociali (Area 14); poco meno che dimezzata la quota di eccellenti nelle scienze giuridiche (area 12). Limita la riduzione il GEV di area 11 (scienze storiche , filosofiche e pedagogiche) guidato da Andrea Graziosi.

Questi risultati, da soli, avrebbero dovuto indurre il Ministro a rinunciare alla doppia metodologia. La prossima VQR darà luogo invece a risultati con gli stessi identici problemi della precedente.

Non è detto che i lettori ricordino come i risultati della VQR siano stati consegnati alla stampa e come siano poi stati pubblicati. Per cui riproduciamo di nuovo la tabella diffusa dal Direttivo ANVUR:

 

http://www.sanita24.ilsole24ore.com/pdf/AbZEF9EI/7bb961a6c7f8ee20eca685bd924e65b4.pdf

eccellenza 14 aree vqr

Il lettore medio potrà facilmente dedurre che le aree bibliometriche hanno buone performance, mentre gli umanisti e le scienze sociali hanno performance peggiori perché chiusi nel loro “isolamento” e nel loro “provincialismo” [4]. Tanto più se i dati sono presentati in questo modo da autorevoli testate nazionali.

graduatori area

———————————————————————————————————————————————–

 

 

[1] Non è inutile notare che la formulazione è inconsistente: “Ai fini del giudizio di qualità i GEV adottano … due metodologie: a) informazioni bibliometriche …. b) peer review“. Mentre la peer review è effettivamente una metodologia di valutazione, le “informazioni bibliometriche” non sono ovviamente una metodologia. Nel decreto firmato dal ministro Gelmini DM17/2011, identico nella sostanza, la formulazione era però corretta, dato che si parlava di “analisi delle citazioni”.

[2] Con la sola eccezione dell’area 13 (economia e statistica), dove l’esperimento era stato condotto con modalità del tutto diverse dal resto delle Aree.

[3] Ancaiani, A., Anfossi, A. F., Barbara, A., Benedetto, S., Blasi, B., Carletti, V., … & Sileoni, S. (2015). Evaluating scientific research in Italy: The 2004–10 research evaluation exercise. Research Evaluation, rvv008.

[4] Le espressioni sono di Andrea Graziosi, L’università per tutti, Bologna, Il Mulino, 2010: 13.

 

Print Friendly, PDF & Email

19 Commenti

  1. Forse – per l’accademico medio (ma anche per CRUI e compagnia) – è opportuno ribadirlo con un linguaggio icastico più rozzo ma adeguato al caso: i “settori non bibliometrici” sono stati GABBATI, così come lo sono state quelle università generaliste o prive di adeguata massa critica nelle facoltà tecnico-scientifiche e mediche.
    LA valutazione *comparativa* è una cosa seria, che necessità capacità organizzative e di assicurazione della qualità molto profonde, per questo solo i britannici, con una esperienza trentennale e con risorse umane e materiali ingenti, la sanno fare decentemente. Chi non la sa fare bene è pregato di astenersi.

  3. C’è un elemento che non viene discusso di solito, per cui invito il Prof. Baccini ad un commento al riguardo.
    La peer review è basata su due colonne fondamentali:
    a) conoscenza dei giudizi;
    b) conoscenza dei revisori da parte dell’editore.
    a) serve, oltre che a rendere informato l’autore dei punti deboli e migliorabili del proprio lavoro e a scongiurare errori materiali (non si dà semplicemente un voto), a rendere difficili gli imbrogli e le ripicche: un revisore di solito non avrà il coraggio di scrivere critiche troppo fantasiose. Almeno l’editore potrà infatti associare quelle critiche al suo nome. Ma quando pure volesse farlo, l’autore maltrattato può rivolgersi all’editore per protestare. E, siccome l’editore conosce il nome dei revisori, se riceve molte critiche sul conto di un revisore o se si rende conto che, in effetti, quel revisore si è comportato scorrettamente, può intraprendere delle azioni correttive.

    Nella VQR passata, invece, il giudizio non era obbligatorio. Così ad un lavoro era associato semplicemente un numero. Punto e basta. Niente conoscibilità dei giudizi, niente possibilità di individuare errori o imbrogli.
    Esempio: un lavoro, pubblicato su una rivista internazionale di assoluto prestigio nel 2007, viene classificato da quella rivista (su proposta di tutti i revisori) quale particolarmente significativo. Nella VQR viene però classificato solo “accettabile”. Non è conoscibile la motivazione di questa scelta, non si sa se, addirittura, si tratta di un errore materiale…Quel lavoro, da allora è stato citato con grandissima frequenze ed è divenuto un punto di riferimento per il settore…

    A me pare che, senza a) e b), la peer review non possa funzionare.

    • Io credo si tenda a fare di tutte le peer review un unico fascio. Mentre invece sarebbe assai utile fare distinzioni tra tipologie di peer review.
      La peer review in un esercizio di valutazione nazionale è strutturalmnete diversa rispetto a quella adottata dalle riviste. Per due ragioni principlai:
      1. il lavoro da giudicare è già stato pubblicato, e non è migliorabile; se su rivista ha già passato una revisione ex-ante (prima della pubblicazione);
      2. il lavoro viene giudicato ad anni di distanza dalla pubblicazione quando si hanno anche informazioni sulla sua accoglienza nella comunità scientifica (indici citazionali, recensioni etc.).
      In queste condizioni entrano in gioco meccanismi diversi rispetto a quelli della rivista, che hanno a che fare con il gioco che i revisori e soprattutto i membri dei GEV stanno giocando. Il meccanismo di peer review dovrebbe essere definito in modo tale da minimizzare i comportamenti opportunistici.
      Sono scettico sulla soluzione suggerita da fido (ma per discutere di questo c’è bisogno di essere coperti da anonimato?- -e credo caldeggiata anche dagli anvuriani: la giustificazione del giudizio. Operazione costoso, inapplicabile in esercizio di massa dove nessuno ha tempo di leggere alcunché.
      Una soluzione diversa potrebbe consistere nella responsabilizzazione dei GEV e dei revisori. Preceduta ovviamente da meccanismi pienamente trasparenti e fair di scelta di GEV e revisori. La proposta ROARS leggibile qui prevedeva una serie di procedure per questo. Né il ministro né ANVUR hanno pensato di accogliere i ns suggerimenti.

  5. Caro Professore:
    1) Riguardo all’anonimato: è chiaro che quando si fanno riflessioni generali (e spero rispettose di tutti) come ho fatto io, non c’è bisogno affatto di restare anonimi. Ma io ho iniziato anni fa a postare i miei commenti con questo nome e mi fa piacere continuare così. Vanitas.
    2) Il giudizio dei revisori può comunque servire a migliorare, anche se ad anni di distanza (il che, pure, non è sempre vero: la prossima VQR prenderà in esame prodotti che possono essere usciti nel dicembre 2014!!!).
    3) La cosa che ho difficoltà a comprendere (molto probabilmente per mia ignoranza) è però la seguente: se dei revisori internazionali, appartenenti ad un ambiente cioè più largo, già si sono espressi, a che serve far ripetere la valutazione da revisori nostrani? Faccio presente che l’Italia, in alcuni settori, annovera davvero pochi rappresentanti. In tali casi, se i revisori nostrani non sono neppure obbligati a scrivere due righe sul perché, per esempio, quella pubblicazione apparsa su una rivista così prestigiosa è stata valutata come accettabile o mediocre, allora capirà che il rischio di vendette, di faide e di sgarbi diviene veramente alto. Inoltre, come ho scritto, vi è sempre il rischio dell’errore materiale, ma se quello che rimane è solo un numero, tale errore non sarà mai accertabile.
    Insomma, si può pensare di avere le risorse per fare le cose per bene?
    Se il lavoro è troppo, si riduca il giudizio ad un solo prodotto! Giudicare quattro anni di attività analizzando due lavori o analizzandone uno, in fondo, per molti settori non cambia assolutamente nulla (rappresenta cioè comunque un sottoinsieme piccolo della produzione totale).
    4) A me, personalmente, fa paura la teoria di chi sostiene che, siccome il lavoro è troppo, è meglio farlo male che non farlo.
    5) Il professore sostiene che nessuno ha tempo di leggere alcunché. Ma se è così, allora i revisori non servono a nulla. Allora (se davvero è così) o il giudizio è basato su preconcetti/pregiudizi (e quindi sarebbe molto opportuno che i revisori si prendessero almeno la responsabilità di lasciare qualcosa di scritto oltre al numero) oppure basta la bibliometria pura. Tertium non datur: esprimere un giudizio inconoscibile senza aver letto alcunché sembra davvero un po’ troppo…Immagini questo monologo del revisore VQR: “Sa, carissimo collega, il suo lavoro -ancorchè apparso su una rivista prestigiosa e molto citato- sfortunatamente ha preso zero. Purtroppo il perchè non l’ho scritto perchè non ne ho avuto il tempo, ma in compenso posso assicurarLe che non l’ho neanche letto…”.

    • Caro Fido,
      io ho scritto che a mio parere non si deve confondere peer review del tipo RAE/REF/VQR -cioè ex post- con peer review ex-ante per riviste perché strutturalmente diverse. Lei continua con il suo ragionamento, ed io non so più tanto che dire.

      Le faccio noatre che dimentica un altro chiave. In linea di principio RAE/REF usano la peer review non al fine di valutare i singoli prodotti per dare informazioni ai loro autori (per il oro miglioramento); né valuta i singoli ricercatori. Così dovrebbe fare (condizionale d’obbligo perché ANVUR e rettori hanno usato/tentato di usare i risultati individuali anche per altri fini) anche la VQR. Per cui pensare che si debbano scrivere centinaia di migliaia di giudizi analitici per consegnarli ai gev a me sembra uno spreco assoluto di risorse perché i GEV quei giudizi non avranno né tempo e né voglia di leggerli.

      Le risorse per fare le cose bene ci sono: la VQR costa una enorme quantità di denaro pubblico. E potrebbe essere disegnata a parità di budget in modo da dare risultati ragionevoli. E qui rimando di nuovo alla proposta roars. Dove si spiega come si potrebbe fare (in sintesi come gli inglesi…).

      Ripeterò fino allo sfinimento che sulla base delle evidenze disponibili non ha alcun senso usare peer review e bibliometria come se dessero risultati comparabili.

      Che i revisori della VQR non leggano alcunché lo scrive lei, e non io. Mai mi sognerei di fare un affermazione così generale su decine di migliaia di persone.

      La mia idea sintetica sulla VQR prossima ventura è la seguente: enorme spreco di denaro pubblico. Non entro nel tema della desiderabilità di una valutazione massiva della ricerca prodotta da un paese (su cui comincio a nutrire perplessità sempre più profonde). Mi limito a constatare che con le regole del DM -probabilmente dettate da ciò che resta del consiglio direttivo di ANVUR- avremo di nuovo risultati del tutto inaffidabili. E non sarà certo il giudizio analitico dei revisori a migliorare il disegno.

  6. Monologo del Revisore della VQR emendato.

    “Lo ammetto, caro Collega, sono stato proprio io a referare la Sua pubblicazione. Certo, è apparsa su una rivista di assoluto prestigio e Lei era il primo autore. In Italia, nel nostro campo, questo non avviene così frequentemente. Ma devo ammettere che Lei è stato un po’ sfortunato: siccome il lavoro è apparso alla fine del 2007, quando l’ho considerato non era stato ancora citato. Ci vuole tempo prima che i colleghi possano utilizzarlo nei loro studi e che questi poi siano pubblicati: che vuol farci…Per questo sono in fondo dispiaciuto (e, devo ammetterlo, mi sento anche un po’ colpevole) dello zero che Le ho dato. Forse quel lavoro non lo meritava, visto che ora, a distanza di qualche anno, vedo che viene citato continuamente. Il giudizio che mi ha portato ad esprimere quello zero, se devo essere sincero, non me lo ricordo più. Ma che vuole: nessuno mi imponeva di scrivere un tale giudizio. Ho provato a fare mente locale, ma davvero non Le saprei dire. Comunque, se questo può consolarLa, debbo confessarLe che non si trattava certamente di malanimo, né il mio zero voleva essere una bocciatura dei Suoi sforzi. Ne vuole una dimostrazione? Il Suo lavoro manco l’ho letto: semplicemente non ne ho avuto il tempo. Sa come vanno questi affari, tra le tante cose da fare bisogna trovare la concentrazione giusta per comprendere a fondo un lavoro che non attiene neanche completamente alla propria sfera di esperienza (siamo pochi in Italia, si sa). E quindi, caro Collega, si consoli, pare che, per la prossima VQR, ci vogliano responsabilizzare tutti. Allora sarà davvero un’altra storia. Se poi dovesse essere Lei il mio revisore, La prego di dimostrare ancora una volta il Suo buon cuore”.

  7. Caro Professore, il 25 luglio 2015, alle 19:06 Lei ha scritto:

    “Sono scettico sulla soluzione suggerita da fido (ma per discutere di questo c’è bisogno di essere coperti da anonimato?- -e credo caldeggiata anche dagli anvuriani: la giustificazione del giudizio. Operazione costoso, inapplicabile in esercizio di massa dove nessuno ha tempo di leggere alcunché.”.

    Il 26 luglio 2015, alle 13:03 Lei ha scritto:

    “Che i revisori della VQR non leggano alcunché lo scrive lei, e non io. Mai mi sognerei di fare un affermazione così generale su decine di migliaia di persone.”.

    Comprenda che queste due sue affermazioni possano sembrare alquanto contraddittorie…

    • Caro Fido,
      in effetti la mia affermazione del 25 luglio 2015 alle ore 19:06 è ambigua oltre a contenere un paio di refusi. Vorrei però farle notare che l’espressione “nessuno ha tempo di leggere alcunché” aveva l’obiettivo di formulare in modo icastico la constatazione che in “esercizi di valutazione di massa” la valutazione avviene un tanto al chilo (nuova espressione imprecisa che spero Lei vorrà perdonarmi).
      Non mi riferivo precisamente e letteralmente a quanto avvenuto nella scorsa VQR. A questo riguardo la mia congettura, basata su evidenze aneddotiche derivanti da colloqui con esimi colleghi partecipanti come revisori alla passata VQR, è che alcuni revisori abbiano letto approfonditamente; altri superficialmente; altri ancora non abbiano letto affatto o abbiano fatto leggere ai “loro” dottorandi/assegnisti etc. etc.
      Ora se i revisori fossero stati costretti a scrivere un giudizio sintetico, i membri dei gev avrebbero dovuto leggersi 198.000 giudizi sintetici (visto che 99.000 sono stati i lavori “sottomessi” a peer review, come risulta dalla tabella 3.3 del rapporto finale http://www.anvur.org/rapporto/files/VQR2004-2010_Tabelle_parteprima.pdf) che significa una media di 440 giudici sintetici per ogni revisore. “Inapplicabile”, a mio parere, il giudizio sintetico, perché i GEV non avrebbero avuto tempo di leggere quei giudizi. Questo il senso della mia congettura formulata alle ore 19:06 del 25/7/2015.
      Spero con questo di aver formulato più chiaramente il mio pensiero.

  8. mah, che dire?
    Nella precedente VQR mi hanno valutato più di 3 lavori, molti di più, perché i miei coautori non avevano altro da inserire. Cosí nel mio sito mi ritrovo quasi una dozzina di paper in cui sono primo e corresponding (sono ancora factotum, come molti della mia generazione: reperimento fondi – lavoro in laboratorio – stesura articolo): riviste in Q1, paper ben citati, ma allora non cosí tanto da prendere subito 1… la peer review è andata benino con tutti 0,8 e 1,0, ma un paper, che oggi è arrivato a oltre 50 citazioni (più di 80 per scholar) si beccò un bel zero spaccato…
    Forse aveva ragione Ametrano:

    https://m.youtube.com/watch?v=2kUcG189m8I

  9. Sì, è stato chiaro, ma ora sono io a dover meglio spiegare quello che intendevo.
    La motivazione del giudizio dovrebbe servire a scongiurare errori materiali e a scoraggiare possibili abusi.
    Non è detto che ogni giudizio debba essere letto preliminarmente dai membri dei GEV. Ma, se ci sono proteste da parte di qualche studioso, allora sì.
    Non è possibile, a mio modo di vedere, che non vi possa essere appello. Il monologo (scherzoso nelle mie intenzioni) che ho postato sarebbe dovuto servire ad illustrare una situazione che, probabilmente, si è davvero verificata decine e decine di volte. Se ci fosse stato un giudizio motivato, forse in molti di quei casi si sarebbe giunti ad un risultato diverso. Siccome poi la VQR (lo sottolinea anche Lei) in alcuni casi sembra sia stata usata impropriamente (per valutare i singoli, la bontà dei collegi dei docenti dei dottorati, se non mi sbaglio) allora è ancora più importante che non si diano semplicemente i numeri. Ma è così difficile, per un revisore serio, scrivere in due righe quello che pensa del lavoro che ha analizzato???
    E’ così incomprensibile che, se uno studioso pensa di aver subito un’ingiustizia, possa almeno dare un’occhiata a quanto è stato scritto sul suo lavoro???
    Le racconto un episodio che mi è capitato diversi anni fa. Un mio lavoro ebbe un giudizio molto negativo da un revisore che però, evidentemente, si era confuso con un altro lavoro di qualcun altro. Infatti le sue critiche parlavano di argomenti diversi da quelli del mio lavoro. In quel caso, la mia protesta indirizzata all’editore servì a risolvere il caso. L’editore dovette ammettere che vi fosse stato un errore da parte del revisore, ne nominò un altro e il mio lavoro venne infine accettato e pubblicato…Con questo voglio dire che errori di questo tipo non sono rari nel processo (QUALSIASI ESSO SIA!!!) di referaggio.
    Insomma, il fatto che alla fine la VQR non dovrebbe servire a valutare i singoli non vuol dire che si debbano abbandonare le procedure minime di garanzia di accuratezza e imparzialità. Ripeto la mia “proposta”: se non c’è tempo, si analizzi un solo lavoro per studioso. Tanto, valutarne uno piuttosto che due su 15 (o su 18 o su 39) non cambia fondamentalmente le cose: si tratta comunque di una frazione modesta della produzione totale.
    Vorrei poi fare un ultimo commento. Il fatto che esercizi simili si facciano da qualche altra parte del globo non ci esime da far funzionare il cervello. Tante cose che nel passato erano ritenute giuste e normali ci appaiono oggi sballate e assurde. Per me dare un un numero senza che vi sia un giudizio conoscibile ad esso associato, da usare almeno in caso di necessità, sembra una vera assurdità. “Obscurum per obscurius, ignotum per ignotius!” era un motto degli alchimisti, non vorrei che lo si possa poi estendere anche alle valutazioni dei sistemi di ricerca…

  10. A proposito di rankings, performance reviews (SUA, VQR…) ecc.

    http://www.washingtonpost.com/blogs/on-leadership/wp/2015/07/21/in-big-move-accenture-will-get-rid-of-annual-performance-reviews-and-rankings/

    Accenture is joining a small but prominent list of major corporations that have had enough with the forced rankings, the time-consuming paperwork and the frustration engendered among managers and employees alike.

    These companies say their own research, as well as outside studies, ultimately convinced them that all the time, money and effort spent didn’t ultimately accomplish their main goal — to drive better performance among employees.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.