Nel febbraio 2012 ROARS ha pubblicato un redazionale in cui si chiedeva all’ANVUR di
fermare la macchina della VQR per il tempo necessario a mettere a punto le metodologie di valutazione. Quella richiesta era giustificata dal fatto che pochi giorni prima il coordinatore della VQR aveva rilasciato un’intervista a Repubblica dove proponeva l’uso dei risultati della VQR per interventi radicali nell’assetto delle università italiane.
L’ANVUR e il Ministro non hanno ritenuto che la macchina dovesse fermarsi. La recente dichiarazione pubblica del ministro che la VQR è un esercizio sperimentale di valutazione rappresenta però una novità importante (così si è espresso Francesco Profumo al convegno tenutosi presso il CNR il 17 maggio scorso cui hanno partecipato ANVUR e ROARS). I risultati dell’esercizio saranno ponderati con altri indicatori e utilizzati esclusivamente per la ripartizione dell’FFO premiale.
In questi mesi, ROARS ha criticato, in modo anche severo, architettura e metodologia della VQR. Alla luce dei problemi relativi al disegno ed alla calibrazione complessiva degli strumenti, appare chiara la necessità di una radicale revisione nella progettazione dei prossimi esercizi di valutazione. Prima di pensare al futuro, dato che la VQR è compito impegnativo e assai costoso per il sistema universitario e della ricerca, sarebbe comunque opportuno introdurre fin da subito alcuni correttivi all’esercizio in corso. Di seguito elenchiamo alcune proposte, facilmente realizzabili, che aiuterebbero a eliminare alcuni dei punti critici più evidenti.
1. Profili di qualità e premialità. Organizzazione fin dalle prossime settimane di una discussione aperta nella comunità scientifica riguardante la modalità di aggregazione dei risultati.
In particolare, dovrebbe essere evitata la compilazione e pubblicazione di classifiche di università da parte dell’ANVUR. Dovrebbero essere invece predisposti (come nelle esperienze britannica, australiana e del CIVR) profili di qualità delle strutture sottoposte a valutazione. Si tratterebbe di rinunciare ai punteggi (negativi o positivi che siano), e di pubblicare per ogni unità valutata la distribuzione dei prodotti della ricerca per ciascuna categoria di qualità (A-D), evidenziando il numero di prodotti mancanti ed il numero di ricercatori silenti (0 pubblicazioni) o poco produttivi (pubblicazioni inferiori a quelle richieste).
La decisione sulla formula da utilizzare per la ripartizione dell’FFO premiale (basata sui profili di qualità) dovrebbe spettare al Ministro, su eventuale proposta dell’ANVUR.
2. Referees. Occorre che sia garantita la pubblicazione ex post degli elenchi dei revisori, con l’indicazione della loro affiliazione e del numero dei prodotti valutati da ciascuno.
3. Uniformità di giudizio. Nelle aree 1-9 occorre eliminare nell’analisi bibliometrica tutte le disparità fra settori disciplinari diversi interni alla medesima area (come ad es. nel caso dell’Area 09 che, a parte ING-INF/05, per gli altri SSD usa soglie bibliometriche speciali). Questo è necessario al fine di rendere comparabili i profili di strutture simili (per esempio dipartimenti di ingegneria), ma con composizioni diverse in termini di SSD.
4. Classifiche di riviste non bibliometriche. Sterilizzare l’uso delle classifiche di riviste per i GEV 10-12 e 14: le classifiche delle riviste messe a punto dai GEV non devono entrare formalmente nei processi di valutazione dei prodotti da parte dei revisori. In particolare i rankings di riviste non devono essere utilizzati per dirimere i conflitti tra revisori, come previsto da alcuni GEV.
5. Pubblicazione dei criteri. L’area 13, dove il GEV ha deciso di valutare i prodotti sulla base della classifica di riviste, deve rendere pubblica tale classifica prima della chiusura della procedura di invio dei prodotti della pubblicazione. Eventualmente, occorrerà ritardare la chiusura della procedura di qualche settimana solo per questa area per favorire una scelta corretta dei prodotti.
6. Trasparenza delle nomine dei GEV. Occorre assicurare la pubblicità delle procedure adottate per la nomina dei GEV, rendendo pubblici i criteri di scelta, gli elenchi dei candidati e, di conseguenza, l’elenco dei membri dei GEV che non avevano fatto domanda per la procedura di selezione.
7. Accesso ai dati ex-post. L’ANVUR si impegni fin da subito a rendere disponibili agli studiosi che ne faranno richiesta per fini di ricerca i dati elementari disaggregati dell’intero esercizio.
