“Indagine su valutatori al di sopra di ogni sospetto”: il paradosso del revisore di eccellenza nelle scienze sociali

Tutti ricorderanno il paradosso di Epimenide cretese, il quale sostiene che tutti i Cretesi sono bugiardi. Delle due l’una: o Epimenide dice la verità o mente; ma se mente allora non è vero che tutti i Cretesi sono bugiardi. Ed essendo lui stesso cretese, c’è da credergli. Ma, d’altra parte, se bisogna credergli quando dice che tutti i Cretesi sono bugiardi, anche Epimenide che è cretese risulta in fondo essere bugiardo, e così via. Il paradosso del revisore di eccellenza è ispirato a quello di Epimenide, ma si riferisce ai 603 revisori con affiliazione italiana della sub-area sociologica del GEV14. Secondo i risultati della VQR, in sociologia non ci sono più di 306 studiosi “eccellenti” o “elevati”. Se tutti sono stati reclutati fra i revisori, ne segue che almeno 297 tra i revisori hanno ottenuto un giudizio inferiore ad elevato per i prodotti che hanno conferito alla VQR. Se consideriamo i soli studiosi eccellenti (al massimo 49) risulta addirittura che più del 91% dei revisori chiamati a giudicare dell’eccellenza della sociologia italiana non sarebbero studiosi di eccellenza!
Ed eccoci piombati in pieno nel paradosso dei revisori della sub-area sociologica che certificano che solo il 4,78% dei sociologi italiani sono studiosi di qualità eccellente. Ma poiché, come abbiamo detto, almeno 91 su 100 fra questi revisori non risulterebbero essi stessi studiosi di eccellenza, è verosimile aspettarsi che le valutazioni prodotte da loro non siano del tutto attendibili, in quanto fornite da soggetti che, non essendo eccellenti, potrebbero non aver effettuato le revisioni in modo eccellente.

Dirigente di polizia, capo della sezione omicidi: “Come vanno le indagini […]?”
Panunzio: “Abbiamo una buona traccia. Nelle unghie della vittima la scientifica ha trovato un filo di seta azzurra che sembra strappata da una cravatta”
Dirigente di polizia: “Ma l’assassino non ha operato da nudo?”
Panunzio: “Sì”
Dirigente di polizia: “E allora secondo voi era nudo con la cravatta?”
Panunzio: “È vero, nessuno ci aveva pensato!”
Dirigente di polizia: “Panunzio… Panunzio!” – piegando il polso su e giù nel caratteristico gesto della mano a carciofo.
(Dal film Indagine su un cittadino al di sopra di ogni sospetto, 1970)

La pubblicazione dei dati relativi alla Valutazione della Qualità della Ricerca (VQR 2011-2014) offre tanti spunti di riflessione. Noi ci siamo soffermati in particolare sull’area 14 delle “Scienze politiche e sociali”. Come accaduto nello scorso esercizio di valutazione (VQR 2004-2010), anche stavolta ci siamo imbattuti nel curioso “paradosso del revisore d’eccellenza”, che sembra mettere in dubbio, se non addirittura inficiare, la credibilità dell’intera operazione valutativa. Un paradosso che richiama il noto paradosso del mentitore, conosciuto anche come paradosso di Epimenide.
Tutti ricorderanno il paradosso di Epimenide cretese, il quale sostiene che tutti i Cretesi sono bugiardi. Delle due l’una: o Epimenide dice la verità o mente; ma se mente allora non è vero che tutti i Cretesi sono bugiardi. Ed essendo lui stesso cretese, c’è da credergli. Ma, d’altra parte, se bisogna credergli quando dice che tutti i Cretesi sono bugiardi, anche Epimenide che è cretese risulta in fondo essere bugiardo, e così via.
Qualcosa di simile possiamo osservare anche leggendo il Rapporto finale di area Gruppo di Esperti della Valutazione dell’Area Scienze Politiche e Sociali (GEV14). Dai dati forniti dall’ANVUR si ricava che i revisori dell’area 14 sono stati complessivamente 1431 (paragrafo 2.2.3 del Rapporto), di cui 1236 con affiliazione italiana e i restanti 195 con affiliazione non italiana. I revisori con affiliazione italiana impiegati per la sola sub-area sociologica sono stati 603 (Tab. 2.13), ed è su questi che intendiamo discutere.

Consideriamo il numero di addetti valutati dalla VQR nei soli settori scientifico-disciplinari sociologici. Sono 1017 su 1660 addetti complessivi dell’area 14. Secondo la VQR la percentuale dei prodotti valutati nella prima fascia di merito, ossia “eccellenti”, è pari per la sub-area sociologica al 4,78%, mentre quella dei prodotti considerati nella seconda fascia, cioè “elevati”, è del 25,24% (Tab. 2.15). Il totale delle due classi di merito, eccellente ed elevata, assomma al 30,02%. Ammettiamo che queste percentuali si riferiscano anche al numero degli addetti valutati rispettivamente come eccellenti ed elevati (ma è verosimile che sia una stima per eccesso dal momento che un addetto valutato come eccellente o elevato potrebbe aver pubblicato anche più di un prodotto eccellente o elevato fra quelli che ha sottoposto alla procedura di valutazione). Ci si dovrebbe aspettare che il numero dei sociologi eccellenti ed elevati sia rispettivamente 49 e 257, ovvero il 4,78% e il 25,24% dei 1017 sociologi che sono stati valutati nella VQR 2011-2014. In totale i sociologi almeno di qualità elevata che si sono sottoposti alla VQR dovrebbero essere, dunque, 306. Ne segue che secondo la VQR nella sub-area sociologica esisterebbero 306 studiosi eccellenti o elevati a fronte di ben 603 revisori impiegati dall’ANVUR per valutare la produzione scientifica complessiva dell’area….

“Panunzio… Panunzio!”

In altre parole, ipotizzando (ma anche questa è l’ipotesi più ottimistica) che per una fortunata coincidenza (o per la preveggente saggezza dei GEV della sub-area sociologica) siano stati reclutati fra i revisori tutti i 306 studiosi che in seguito al processo di revisione sarebbero poi stati giudicati eccellenti o elevati, risulta che almeno 297 tra i revisori impiegati avrebbero ottenuto un giudizio inferiore ad elevato per i prodotti che hanno conferito essi stessi alla VQR. Se poi consideriamo i soli studiosi eccellenti (49) risulta addirittura che tra i revisori chiamati a giudicare dell’eccellenza della sociologia italiana (603) più del 91% non sarebbero studiosi di eccellenza!
Ed eccoci piombati in pieno nel paradosso di Epimenide cretese, o se si vuole nel paradosso dei revisori della sub-area sociologica che certificano che solo il 4,78% dei sociologi italiani sono studiosi di qualità eccellente. Ma poiché, come abbiamo detto, almeno 91 su 100 fra questi revisori non risulterebbero essi stessi studiosi di eccellenza è verosimile aspettarsi che le valutazioni prodotte da loro non siano del tutto attendibili, in quanto fornite da soggetti che, non essendo eccellenti, potrebbero non aver effettuato le revisioni in modo eccellente.

Insomma, anche in questo caso delle due l’una: o i revisori sono credibili quando dicono che solo il 4.78% dei sociologi italiani è eccellente, o non lo sono. Se non lo sono è evidente che la loro parziale credibilità inficia l’intera procedura della VQR, che a questo punto si rivela nient’altro che una macchinosa messinscena. Se invece i revisori sono credibili, allora ne consegue che verosimilmente la maggioranza di loro (il 91%, abbiamo inferito) non è composta da studiosi eccellenti, e quindi essi non sono eccellenti verosimilmente neanche come valutatori. Ma se non sono eccellenti come valutatori, ne deriva che l’intera procedura della VQR per la sub-area sociologica…

“Ma non è una cosa seria” – avrebbe chiosato Pirandello.

Una cosa pare certa: se nell’antica Creta avessero avuto l’ANVUR, Epimenide ne sarebbe stato il degno presidente.