Tutti ricorderanno il paradosso di Epimenide cretese, il quale sostiene che tutti i Cretesi sono bugiardi. Delle due l’una: o Epimenide dice la verità o mente; ma se mente allora non è vero che tutti i Cretesi sono bugiardi. Ed essendo lui stesso cretese, c’è da credergli. Ma, d’altra parte, se bisogna credergli quando dice che tutti i Cretesi sono bugiardi, anche Epimenide che è cretese risulta in fondo essere bugiardo, e così via. Il paradosso del revisore di eccellenza è ispirato a quello di Epimenide, ma si riferisce ai 603 revisori con affiliazione italiana della sub-area sociologica del GEV14. Secondo i risultati della VQR, in sociologia non ci sono più di 306 studiosi “eccellenti” o “elevati”. Se tutti sono stati reclutati fra i revisori, ne segue che almeno 297 tra i revisori hanno ottenuto un giudizio inferiore ad elevato per i prodotti che hanno conferito alla VQR. Se consideriamo i soli studiosi eccellenti (al massimo 49) risulta addirittura che più del 91% dei revisori chiamati a giudicare dell’eccellenza della sociologia italiana non sarebbero studiosi di eccellenza!
Ed eccoci piombati in pieno nel paradosso dei revisori della sub-area sociologica che certificano che solo il 4,78% dei sociologi italiani sono studiosi di qualità eccellente. Ma poiché, come abbiamo detto, almeno 91 su 100 fra questi revisori non risulterebbero essi stessi studiosi di eccellenza, è verosimile aspettarsi che le valutazioni prodotte da loro non siano del tutto attendibili, in quanto fornite da soggetti che, non essendo eccellenti, potrebbero non aver effettuato le revisioni in modo eccellente.

 

Dirigente di polizia, capo della sezione omicidi: “Come vanno le indagini […]?”
Panunzio: “Abbiamo una buona traccia. Nelle unghie della vittima la scientifica ha trovato un filo di seta azzurra che sembra strappata da una cravatta”
Dirigente di polizia: “Ma l’assassino non ha operato da nudo?”
Panunzio: “Sì”
Dirigente di polizia: “E allora secondo voi era nudo con la cravatta?”
Panunzio: “È vero, nessuno ci aveva pensato!”
Dirigente di polizia: “Panunzio… Panunzio!” – piegando il polso su e giù nel caratteristico gesto della mano a carciofo.
(Dal film Indagine su un cittadino al di sopra di ogni sospetto, 1970)

La pubblicazione dei dati relativi alla Valutazione della Qualità della Ricerca (VQR 2011-2014) offre tanti spunti di riflessione. Noi ci siamo soffermati in particolare sull’area 14 delle “Scienze politiche e sociali”. Come accaduto nello scorso esercizio di valutazione (VQR 2004-2010), anche stavolta ci siamo imbattuti nel curioso “paradosso del revisore d’eccellenza”, che sembra mettere in dubbio, se non addirittura inficiare, la credibilità dell’intera operazione valutativa. Un paradosso che richiama il noto paradosso del mentitore, conosciuto anche come paradosso di Epimenide.
Tutti ricorderanno il paradosso di Epimenide cretese, il quale sostiene che tutti i Cretesi sono bugiardi. Delle due l’una: o Epimenide dice la verità o mente; ma se mente allora non è vero che tutti i Cretesi sono bugiardi. Ed essendo lui stesso cretese, c’è da credergli. Ma, d’altra parte, se bisogna credergli quando dice che tutti i Cretesi sono bugiardi, anche Epimenide che è cretese risulta in fondo essere bugiardo, e così via.
Qualcosa di simile possiamo osservare anche leggendo il Rapporto finale di area Gruppo di Esperti della Valutazione dell’Area Scienze Politiche e Sociali (GEV14). Dai dati forniti dall’ANVUR si ricava che i revisori dell’area 14 sono stati complessivamente 1431 (paragrafo 2.2.3 del Rapporto), di cui 1236 con affiliazione italiana e i restanti 195 con affiliazione non italiana. I revisori con affiliazione italiana impiegati per la sola sub-area sociologica sono stati 603 (Tab. 2.13), ed è su questi che intendiamo discutere.

Consideriamo il numero di addetti valutati dalla VQR nei soli settori scientifico-disciplinari sociologici. Sono 1017 su 1660 addetti complessivi dell’area 14. Secondo la VQR la percentuale dei prodotti valutati nella prima fascia di merito, ossia “eccellenti”, è pari per la sub-area sociologica al 4,78%, mentre quella dei prodotti considerati nella seconda fascia, cioè “elevati”, è del 25,24% (Tab. 2.15). Il totale delle due classi di merito, eccellente ed elevata, assomma al 30,02%. Ammettiamo che queste percentuali si riferiscano anche al numero degli addetti valutati rispettivamente come eccellenti ed elevati (ma è verosimile che sia una stima per eccesso dal momento che un addetto valutato come eccellente o elevato potrebbe aver pubblicato anche più di un prodotto eccellente o elevato fra quelli che ha sottoposto alla procedura di valutazione). Ci si dovrebbe aspettare che il numero dei sociologi eccellenti ed elevati sia rispettivamente 49 e 257, ovvero il 4,78% e il 25,24% dei 1017 sociologi che sono stati valutati nella VQR 2011-2014. In totale i sociologi almeno di qualità elevata che si sono sottoposti alla VQR dovrebbero essere, dunque, 306. Ne segue che secondo la VQR nella sub-area sociologica esisterebbero 306 studiosi eccellenti o elevati a fronte di ben 603 revisori impiegati dall’ANVUR per valutare la produzione scientifica complessiva dell’area….

“Panunzio… Panunzio!”

In altre parole, ipotizzando (ma anche questa è l’ipotesi più ottimistica) che per una fortunata coincidenza (o per la preveggente saggezza dei GEV della sub-area sociologica) siano stati reclutati fra i revisori tutti i 306 studiosi che in seguito al processo di revisione sarebbero poi stati giudicati eccellenti o elevati, risulta che almeno 297 tra i revisori impiegati avrebbero ottenuto un giudizio inferiore ad elevato per i prodotti che hanno conferito essi stessi alla VQR. Se poi consideriamo i soli studiosi eccellenti (49) risulta addirittura che tra i revisori chiamati a giudicare dell’eccellenza della sociologia italiana (603) più del 91% non sarebbero studiosi di eccellenza!
Ed eccoci piombati in pieno nel paradosso di Epimenide cretese, o se si vuole nel paradosso dei revisori della sub-area sociologica che certificano che solo il 4,78% dei sociologi italiani sono studiosi di qualità eccellente. Ma poiché, come abbiamo detto, almeno 91 su 100 fra questi revisori non risulterebbero essi stessi studiosi di eccellenza è verosimile aspettarsi che le valutazioni prodotte da loro non siano del tutto attendibili, in quanto fornite da soggetti che, non essendo eccellenti, potrebbero non aver effettuato le revisioni in modo eccellente.

Insomma, anche in questo caso delle due l’una: o i revisori sono credibili quando dicono che solo il 4.78% dei sociologi italiani è eccellente, o non lo sono. Se non lo sono è evidente che la loro parziale credibilità inficia l’intera procedura della VQR, che a questo punto si rivela nient’altro che una macchinosa messinscena. Se invece i revisori sono credibili, allora ne consegue che verosimilmente la maggioranza di loro (il 91%, abbiamo inferito) non è composta da studiosi eccellenti, e quindi essi non sono eccellenti verosimilmente neanche come valutatori. Ma se non sono eccellenti come valutatori, ne deriva che l’intera procedura della VQR per la sub-area sociologica…

“Ma non è una cosa seria” – avrebbe chiosato Pirandello.

Una cosa pare certa: se nell’antica Creta avessero avuto l’ANVUR, Epimenide ne sarebbe stato il degno presidente.

Send to Kindle

12 Commenti

    • No. I giornalisti sportivi non sono “peer” (da cui peer review) dei giocatori di calcio.

    • Il peer di peer review si riferisce al fatto che chi valuta deve avere le competenze per farlo, non che deve essere eccellente, buono o discreto. Esattamente come il giornalista sportivo o il critico letterario.

    • Peer: “A person of the same age, status, or ability as another specified person.” Il giornalista sportivo ed il critico letterario non sono peer. Sono un giornalista sportivo ed un critico letterario. E si dà il caso che in entrambe le attività e letteratura non si fa peer review. Ma si scrivono critiche e pagelle.
      Sul fatto che il peer non debba essere eccellente, ma solo peer, sono perfettamente d’accordo. Ma l’eccellenza dei revisori non l’ha mica inventata l’autore del post. E’ ANVUR a scrivere nel bando VQR che non si accontenterà di selezionare peer normali, ma mi permetta la battuta, “super-peer”. E si si va a leggere il comunicato stampa di Graziosi di dicembre si parla proprio di “super-esperti”.

    • Se si prendono sul serio le valutazioni VQR (ed evidentemente sono fatte per essere prese sul serio visto che in base ad esse si assegnano fondi e si incide sulla vita di strutture formative e di persone), beh allora bisogna prenderle sul serio fino in fondo. In ogni caso, chi ha scritto l’articolo gioca sul paradosso e lo sa, mentre la VQR è un esercizio paradossale e non lo sa…

    • Wikipedia “Peer review is the evaluation of work by one or more people of similar competence to the producers of the work”. A me sembra evidente che chi valuta non deve essere necessariamente “eccellente” ma essere in grado di riconoscere se un prodotto è eccellente o scarso. E questo vale in moltissimi campi.
      La VQR ha moltissimi difetti, ma non quello che viene discusso nell’articolo, a mio parere.

  1. Ne deriva più banalmente, a mio avviso, che le guerre per bande tra i sociologi portano (per la seconda volta) alla definizione della loro area come scientificamente scarsa, e dunque, in prospettiva, marginale. Senza scomodare Epimenide o Pirandello, direi che Tafazzi può essere un riferimento culturale credibile di questo atteggiamento.

  2. Ma è proprio questo il punto. Se un esercizio di valutazione della qualità della ricerca risulta condizionabile da una “guerra per bande” (come pare), vuol dire che non riesce a raggiungere gli scopi per i quali è stato concepito (ammesso che tali scopi siano davvero raggiungibili). Vuol dire, in fin dei conti, che la VQR ha poco a che fare con la qualità della ricerca, eppure sulla base di essa si prendono decisioni come se se ne andasse davvero della qualità della ricerca. “Ma non è una cosa seria”: Pirandello, appunto

  3. A mio parere non c’e’ alcun paradosso: la VQR non valuta le persone ma le strutture, attraverso la valutazione dei prodotti di ricerca effettuati da quelle strutture. Del resto, se per assurdo si volesse valutare una persona con la VQR, si avrebbe che quando due persone, della stessa struttura, scrivono insieme un articolo, solo una puo’ presentarlo, quindi la ricerca della seconda non puo’ essere valutata dalla VQR, il che appunto e’ assurdo. Stabilito questo, l’affermazione “addetti valutati dalla VQR” non ha alcun senso. E quindi non possono esistere studiosi eccellenti o secondo la VQR, ne’ studiosi non eccellenti, per cui non c’e’ alcun paradosso. Del resto anche il paradosso originale si risolveva considerando che la categoria “bugiardo assoluto”, una persona che dice sempre il falso in qualunque circostanza, non puo’ esistere.

    • Leonardo Gualtieri “la VQR non valuta le persone ma le strutture, attraverso la valutazione dei prodotti di ricerca effettuati da quelle strutture.”
      ——————————-
      I dati individuali della VQR servono per l’accreditamento dei collegi di dottorato, e in prospettiva per i docenti di riferimento delle lauree magistrali.
      —————————————-
      Leonardo Gualtieri: “Del resto, se per assurdo si volesse valutare una persona con la VQR, si avrebbe che quando due persone, della stessa struttura, scrivono insieme un articolo, solo una puo’ presentarlo, quindi la ricerca della seconda non puo’ essere valutata dalla VQR, il che appunto e’ assurdo.”

      Se due persone della stessa struttura hanno scritto insieme un articolo, solo uno dei due può presentarlo! Lo prevedono le regole della vqr.

      Se cadono le premesse…

  4. Purtroppo temo che qualche “guerra per bande” in qualche settore sia effettivamente in atto e che la VQR possa essere impiegata come arma di questa guerra. Quando si sottopone un articolo ad una rivista con peer review, per blind che questa sia, esiste la possibilità di segnalare i colleghi che per qualunque motivo si potrebbe pensare siano condizionati nel loro giudizio e che per questo sarebbe meglio non utilizzare come reviewer, mentre nella VQR questo non avviene. Non voglio scendere nei casi personali, ma mi limito ad osservare che la cosa “può succedere”, e di fatto a me sembra evidente che sia successa…

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.