Riceviamo e volentieri pubblichiamo il documento dell’Assemblea delle Consulte e Associazioni disciplinari di Area 10, a proposito del prossimo esercizio di valutazione.
L’Assemblea delle Consulte e Associazioni disciplinari di Area 10, in data 23 luglio 2015, presa visione delle “linee guida VQR 2011-2014” emanate dal Ministro dell’Istruzione, dell’Università e della Ricerca con DM n. 458 del 27 giugno 2015, e del bando di partecipazione in versione provvisoria, approvata per la pubblicazione dal Consiglio Direttivo ANVUR l’8 luglio u.s., prende atto del quadro complessivo di riferimento che i due testi determinano, e delle scadenze temporali indicate. Prende altresì atto dell’invito dell’ANVUR a presentare eventuali osservazioni entro la data limite del 27 luglio 2015.
Nel rilevare che, contrariamente alle attese, le società scientifiche non hanno avuto modo di instaurare un confronto con i decisori politici e con l’ANVUR prima dell’emanazione del DM e della pubblicazione del bando in versione provvisoria, l’Assemblea delle Consulte e Associazioni disciplinari di Area 10 constatano con sorpresa che quest’ultimo è stato redatto e pubblicato nell’imminenza di un rinnovo sostanziale nella composizione del Consiglio direttivo dell’ANVUR, mentre in un esercizio così delicato come quello della VQR si rilevano significative innovazioni rispetto al precedente bando (VQR 2004-2010). In questo contesto, le Consulte e Associazioni disciplinari firmatarie del presente documento avanzano comunque osservazioni di carattere generale sull’impianto della nuova VQR, e proposte più specifiche sul testo del bando pubblicato in versione provvisoria.
- La modifica della scala di valutazione con i relativi punteggi, e soprattutto la correlazione con una distribuzione per decili dei risultati, pare suggerire più una misurazione delle “eccellenze” che una valutazione dello stato della ricerca in Italia, legata soprattutto alla qualità medio-alta o media dei “prodotti” presentati per la valutazione. Se in questa prospettiva risulterebbe necessaria una diversa modulazione dei punteggi assegnati ai vari gradini della scala, resta il fatto che in ogni caso un confronto fra i risultati della VQR 2011-2014 con quelli della VQR 2004-2010 diviene problematico. Si osserva infine che al punto 2.6, lettera d), uno degli “indicatori sintetici” è definito come il “rapporto tra la somma delle valutazioni attribuite ai prodotti attesi dell’Istituzione nell’Area e la valutazione complessiva di Area”: dal momento che ciò parrebbe configurare un vantaggio per le Istituzioni di dimensioni maggiori, indispensabile parrebbe una chiarificazione o un commento al riguardo.
- L’esperienza della precedente VQR raccomanda come essenziale che l’attribuzione da parte dei revisori di un punteggio ai “prodotti” valutati sia corredata da un giudizio che ne espliciti la ratio, come del resto avviene in altri esercizi di valutazione (da ultimo, quello dei progetti presentati a seguito del bando FIR). Poiché nelle aree non bibliometriche risulterà necessario sottoporre a peer review il 100% dei prodotti (rispetto a una media per tutte le aree indicate al 50%), si raccomanda l’emanazione di adeguate linee guida per il reclutamento dei revisori e per i revisori stessi, in concorso con le specificità evidenziate dai singoli GEV interessati. Si raccomanda altresì un monitoraggio accurato dell’operato dei revisori.
- Per quel che riguarda la tipologia dei “prodotti della ricerca” (punto 2.3 del bando in versione provvisoria), spicca nel gruppo 1 l’assenza della tipologia del “commento scientifico” (presente nella precedente VQR). Le difficoltà di distinguere questa tipologia di prodotto, di pari dignità per l’Area 10 rispetto ad altre tipologie ricomprese nel medesimo gruppo 1, rispetto a commenti finalizzati a usi prevalentemente didattici o divulgativi possono essere risolte facendo ricorso ai criteri di qualità indicati al punto 2.6.1 del bando in versione provvisoria (originalità, rigore metodologico, impatto attestato o potenziale). Si fa presente che non di rado all’interno di diverse sub-aree di Area 10 l’“impatto” sulla comunità scientifica di questa tipologia di prodotti è anche più alta di quella delle altre tipologie del gruppo 1. Sempre per il gruppo 1, si propone l’inserimento delle tipologie “manuali scientifici della disciplina” e “Manuali e grammatiche scientifiche delle lingue”, tipologie che godono entrambe di una tradizione storica di alto prestigio a livello internazionale. Sempre nel gruppo 1, andrebbero meglio definiti i criteri di inclusione/esclusione della tipologia di cui alla lettera b), dal momento che l’esclusione dei saggi pubblicati prima del 2011 (come tali eventualmente ricompresi nella precedente VQR) non dovrebbe confliggere con l’ammissibilità alla valutazione di “raccolte di saggi propri di ricerca” quando in questione risulti una percentuale minoritaria dei saggi confluiti nel volume, pena il sostanziale “svuotamento” della tipologia suddetta, stanti le modalità tipiche della messa a punto di una raccolta di saggi all’interno dell’Area 10, che fa di norma riferimento a una latitudine temporale superiore ai quattro anni. Infine, nel nome della valorizzazione dell’“impegno profuso dall’autore(i)” di cui si parla al punto 2.4, ultimo capoverso, si raccomanda lo spostamento al gruppo 1 della tipologia dei corpora, attualmente ricompresa nel gruppo 3, lettera e), mentre bisognosa di precisazioni, per Area 10, risulta la tipologia c), Lettera, del gruppo 2.
A titolo conclusivo, e con riferimento all’utilizzazione dei risultati della VQR, le Consulte e Associazioni disciplinari di Area 10 sottolineano che questi ultimi, in quanto relativi a Istituzioni ed Enti, non possono e non debbono essere utilizzati, come pure è non di rado avvenuto a seguito della precedente VQR 2004-2010, per la valutazione dei singoli ricercatori (inclusione nei Collegi di dottorato, assegnazione di finanziamenti per la ricerca, ecc). Il bando dovrebbe con forza richiamare questo punto essenziale. Inoltre, dal momento che obiettivo dichiarato della VQR è quello di portare a un miglioramento complessivo del sistema della ricerca, appare incongruo ricavare dai suoi esiti classifiche e graduatorie, rispetto alle quali vanno invece privilegiate forme idonee di rating.
