VQR: Le sperimentazioni del Ministro Profumo.

Quanti modi ci sono per non rispondere a una domanda? Mi chiedevo questo, lo scorso giovedì, mentre assistevo al dibattito: ANVUR e politiche di sistema: prospettive della valutazione e delle politiche del sistema ricerca. Organizzato da Francesco Sinopoli e Domenico Pantaleo, il dibattito aveva come ospiti il Presidente dell’Anvur Fantoni, il Presidente del CNR Luigi Nicolais, il Presidente della Crui Marco Mancini, il Ministro Francesco Profumo, il Presidente del INFN Fernando Ferroni, il Presidente dell’INGV Stefano Gresta. Il dibattito era inaugurato dalle relazioni di Alberto Baccini, docente ordinario di Statistica all’Università di Siena, Giorgio Sirilli, dirigente di ricerca presso l’ISSiRFA del CNR, Giuseppe De Nicolao, ordinario di ingegneria presso l’Università di Pavia, tutti e tre esperti di valutazione e animatori di Roars. Lo scopo delle relazioni introduttive era fare il punto sulla VQR 2004-2010 negli enti di ricerca e nelle università ed esporre i nodi della valutazione in Italia.

Inizia Alberto Baccini. L’Italia arriva alla valutazione circa trent’anni dopo l’Inghilterra, dice. È un paese ritardatario, e perciò avvantaggiato, in quanto può giovarsi delle esperienze già accumulate all’estero. Eppure, lungi dall’approfittare dell’esperienza altrui, l’Italia è un caso anomalo, unico nel panorama internazionale. Rispetto ai 20 esercizi nazionali di valutazione analizzati da Diane Hicks (2009), per esempio, l’Italia è l’unico paese a non avere affidato la valutazione a una agenzia indipendente. L’Anvur, nata come agenzia indipendente nel progetto di Mussi e Modica, è stata trasformata dalla Gelmini e Giavazzi in una executive agency del MIUR, un’agenzia dipendente direttamente dal Ministero. Ecco che la griglia di valutazione dei singoli prodotti è stata definita direttamente dal Ministro (50:10:20:20), insieme ai punteggi (1:0,8;0,5;0), e alle penalizzazioni (-0,5 per ogni prodotto mancante), in una confusione di ruoli istituzionali che un po’ ricorda la confusione che oggi domina l’oggetto della valutazione: se si valutano le strutture, ovvero le Università e i Dipartimenti, perchè si continua a parlare di “soggetti valutati”?

Tralasciamo le sottigliezze, direbbe qualcuno, l’importante è che la valutazione si faccia, non importa come. Però, tolte le sottigliezze i problemi restano. Ad esempio, questi 216.455 “prodotti”, la cui valutazione costa 300 milioni di euro, come verranno valutati? De Nicolao fa qualche esempio. Supponiamo, dice, che valutare la ricerca sia come scalare un’alta vetta. Ebbene, i nostri valutatori per tre mesi hanno elaborato le tecniche di arrampicata migliori per salire in cima. C’è un problema, però. L’Anvur ha nominato 14 squadre di scalatori, una per ogni area scientifica, selezionandole non tra gli alpinisti, ma tra eccellenti campioni di nuoto sincronizzato e scherma. Insomma, i Gev non sono tanto esperti della valutazione, quanto esperti valutatori, dice Sirilli. Quasi nessuno si è mai occupato di progettare criteri di valutazione e di bibliometria. La confusione tra valutatori e progettisti dei criteri della valutazione ha fatto sì che dopo tre mesi ogni cordata abbia elaborato una propria inedita tecnica di arrampicata, per un totale di 14 bibliometrie fai-da-te, una per ogni area scientifica.

A questo punto supponiamo di voler fare i ranking delle riviste. Come si costruisce una classifica oggettiva? Chiede De Nicolao. Ci sono tanti metodi quante le cordate, anzi di più perché alcune cordate ne usano più di uno. Metodi semplici, tipo: “com’è il vino oste, è buono?” “Buono e giusto”, risponde l’oste, come in alcune aree umanistiche dove le classifiche sono il frutto di negoziazioni poco o nulla trasparenti. Ma anche le aree scientifiche hanno i loro problemi. Nell’Informatica, per esempio, si fa riferimento a un indicatore bibliometrico, a una classificazione australiana e a una italiana. Quale scegliere? Idea: facciamo la classifica bibliometrica e poi mediamola con le altre due classificazioni”.

Supponiamo dunque che Coppi vinca la maglia rosa arrivando venti minuti prima del secondo nel tappone dolomitico. Il giorno dopo arriva decimo a tre secondi dal primo. Nella media dei ranking Coppi accumula 5,5: (1 + 10)/2. Il gregario che è arrivato quinto in tutte e due le tappe accumulerà cinque punti (5 + 5)/2 = 5. La maglia rosa passa al gregario, conclude De Nicolao. Che continua citando Thompson (1993), uno statistico statunitense che negli anni 90 ha tagliato la testa al toro sulla validità scientifica della media dei ranking: “l’unica ragione per usare la media dei ranking è l’ignoranza, e che una difesa dell’ignoranza sia praticabile resta tutto da discutere”.

A questo punto il buon senso direbbe di sospendere la VQR, rivederne i criteri, introdurre trasparenza nelle procedure adottate per la nomina dei GEV e nei criteri usati per la classificazione delle riviste, ridiscutere le regole mal disegnate dall’ex Ministro. E invece da questa valutazione dipenderanno la ripartizione del Fondo di finanziamento ordinario all’università e il ripensamento dell’intero sistema di ricerca italiano. Come ha detto il responsabile della VQR Sergio Benedetto: quando la valutazione sarà conclusa “tutte le università dovranno ripartire da zero”. “Avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa”.

Il lettore si chiederà, cosa hanno detto gli ospiti? Ebbene, posti di fronte al problema, gli ospiti non han detto nulla. Subito interpellato, il Ministro Profumo ha prontamente ceduto la parola al presidente dell’Anvur Fantoni. Fantoni ha detto che tutte le critiche sono errate, e l’Anvur lo dimostrerà. Nell’attesa, il dibattito è diventato una sfilata di variegati strumenti d’evasione narrativa: chi fraintende, chi fa il convincente su qualche cosa che non c’entra nulla, chi manda avanti il prossimo, e poi l’intramontabile strategia dello sfinimento: stordiscili e stremali tutti.

A fine giornata l’unica cosa certa era l’esistenza di un inaccettabile gap tra la concretezza delle critiche e la vaghezza delle risposte. In quel clima Profumo ha chiuso così: questa VQR è una sperimentazione, ha detto. Ci serve come “una fotografia interna”, che consente di dire “dove siamo”, “così possiamo migliorare perché ci conosciamo”, “sempre in senso positivo”. Una sperimentazione, dunque. In che senso, Ministro: un progetto da implementare responsabilmente o un abracadabra sul sistema di ricerca italiano?

Una versione ridotta di questo articolo è uscita su Il fatto quotidiano on line il 19 maggio 2012