Esaminati. Inauditi. Bocciati.

Due membri della redazione di Roars -Alberto Baccini e Paola Galimberti- hanno partecipato alla selezione per il consiglio direttivo di ANVUR. Entrambi sono stati “esaminati” dal Comitato di per la costituzione del consiglio direttivo di ANVUR, come risulta dalla lista pubblicata (completa di CV e documenti programmatici di tutti i candidati selezionati e non selezionati). Nessuno dei due è stato “individuato” dal Comitato di selezione per partecipare alle audizioni.  Nessuno dei due è stato “selezionato” dal Comitato per far parte della lista da cui il ministro nominerà i nuovi membri del consiglio direttivo.

Qui di seguito pubblichiamo in esteso i loro documenti programmatici.

Documento programmatico di Alberto Baccini

curriculum; documento programmatico in pdf

1. Premessa

E’ opinione diffusa che i governi debbano adottare meccanismi di indirizzo, valutazione e controllo delle attività svolte da università ed enti di ricerca per quanto riguarda ricerca, didattica, e “terza missione”. Una prima via alla valutazione è coerente con una visione che enfatizza il carattere di bene pubblico della conoscenza scientifica e dell’istruzione, affidate alle regole e alle cure della pubblica amministrazione, in linea con quanto sancito anche dalla Costituzione italiana.  In questo contesto la valutazione è realizzata con interventi ordinamentali limitanti, attraverso meccanismi di controllo orizzontale dei pari [1]. Una seconda via è invece coerente con una visione che pone l’accento sui rendimenti privati della ricerca scientifica, e sull’interesse privato individuale ad investire in capitale umano. In questo contesto la valutazione richiede l’intervento regolativo da parte dello stato attraverso norme e direttive attuate da agenzie pubbliche. Con decenni di ritardo, l’Italia ha intrapreso questa seconda via alla valutazione, senza una riflessione attenta sui costi e i benefici della scelta [2-4]. In questo quadro credo che il consiglio direttivo di ANVUR debba darsi come obiettivo prioritario la realizzazione di pratiche di valutazione che riducano al minimo il rischio di indurre distorsioni sistematiche nel funzionamento del sistema universitario.

2. I principi della valutazione

ANVUR dovrebbe adottare pratiche di valutazione leggere ispirate ai seguenti principi:

1. economicità: le pratiche di valutazione dovrebbero essere poco costose in termini di costi diretti e soprattutto di costi indiretti imposti sulle strutture oggetto di valutazione;
2. bassa invasività: le pratiche di valutazione dovrebbero in linea di principio avere impatto minimo sulle scelte in termini di strategie di ricerca e pubblicazione che i ricercatori compiono nell’ambito delle loro comunità scientifiche di riferimento. Questo significa che è auspicabile che le pratiche di valutazione dovrebbero essere sganciate da meccanismi automatici di finanziamento; considerazione che ovviamente esula dalle competenze dell’agenzia, trattandosi di scelta di natura politica;
3. equità (fairness): la ricerca e la didattica possono essere valutate solo sulla base di procedure eque, imparziali e condotte in assenza di distorsioni sistematiche [5]. Questo significa per esempio che ogni volta che si costituisce un panel di esperti, come nelle procedure VQR, la diversità delle comunità di ricerca in termini di età, genere, origine etnica, e localizzazione geografica delle istituzioni di appartenenza deve riflettersi nella composizione del panel. A questo fine è auspicabile che ANVUR costituisca un Advisory group, con membri indicati dal Consiglio Universitario Nazionale, incaricato di monitorare l’equità delle procedure;
4. pluralismo: le attività di valutazione per loro natura tendono a premiare la ricerca e la didattica mainstream, oltreché la chiusura disciplinare [6, 7]; ANVUR dovrebbe porre particolare attenzione all’adozione di accorgimenti che favoriscano il pluralismo della ricerca e l’apertura interdisciplinare;
5. trasparenza: tutte le attività dell’agenzia e in particolare le diverse attività di valutazione devono essere condotte con procedure totalmente trasparenti e pubbliche;
6. de-amministrativizzazione: le attività di ANVUR devono essere ricondotte agli stretti limiti che competono ad una agenzia di valutazione: fornire analisi accurate per il supporto delle decisioni di finanziamento etc. di parlamento e governo. L’obiettivo è di evitare il rischio del perdurare della situazione descritta lucidamente da Cassese [8] quando scrive: “ANVUR burocratizzando misurazione e valutazione, si sta trasformando in una sorta di Corte dei conti con straordinari poteri regolamentari, ma ignorando le conseguenze della amministrativizzazione della misurazione e della valutazione: la scelta degli esaminatori, la selezione dei docenti, lo stesso progresso della ricerca saranno decisi non nelle università, ma nei tribunali.”
7. rispetto dell’autonomia delle comunità scientifiche e delle modalità organizzative da queste sviluppate nel corso del tempo; questo principio richiede una continua interazione trasparente e pubblica con le comunità scientifiche; in particolare richiede una armonizzazione delle competenze e delle interazioni con il Consiglio Universitario Nazionale (CUN).

Il rispetto di questi sette principi è condizione necessaria, anche se forse non ancora sufficiente, per il disegno, la definizione e la realizzazione di buone pratiche di valutazione. Una buona pratica di valutazione è tale se ciascun valutato è disposto a difenderne il disegno e a sottoporvisi senza preoccuparsi dell’identità del valutatore [9]. Una buona pratica di valutazione dà luogo a risultati che possono essere considerati oggettivi cioè non affetti da pregiudizi e distorsioni, e soprattutto non arbitrari [10].

Questi principi possono essere sommariamente sviluppati in riferimento alle attività principali dell’ANVUR.

2. VQR

Gli esercizi nazionali si valutazione sono estremamente costosi; e questo è un elemento particolarmente rilevante quando si considerino in un contesto, come quello italiano, che destina una quota di risorse all’università e alla ricerca tra le più basse dei paesi OECD [11]. Sarebbe opportuno utilizzare le risorse previste per la VQR per la costituzione ed il mantenimento di un osservatorio della ricerca italiana, basato sulla raccolta sistematica di informazioni disponibili nei database WoS e Scopus, ed integrato pienamente in una anagrafe nazionale della ricerca [12]. Questo strumento permetterebbe di lavorare  in modo esteso su indicatori di produzione e produttività, e, in modo forzatamente più limitato, su indicatori di impatto (citazioni) [13]. A queste analisi quantitative potrebbero essere affiancate indagini specifiche su aree di ricerca che risultino problematiche o di difficile osservazione con strumenti bibliometrici.

Nel caso in cui il decisore politico insista con la volontà di svolgere un esercizio nazionale di valutazione, si dovrebbe intervenire sulla struttura della VQR. La VQR 2004-2010 è infatti stato un esercizio di valutazione di dimensioni notevoli e perciò molto costoso; impostato su basi metodologiche poco solide, ha dato luogo a risultati viziati da distorsioni sistematiche [14-17].

Una nuova VQR dovrebbe in primo luogo restituire pienamente alle comunità scientifiche il potere di definire gli indirizzi ed i criteri di valutazione, sottraendoli all’arbitrio del consiglio direttivo di ANVUR. Pur con tutti i problemi ad esso associati [6], l’esercizio di valutazione britannico (RAE/REF) attribuisce un peso preponderante alle comunità scientifiche nel definire i criteri di valutazione della qualità della ricerca. Esso potrebbe essere adattato facilmente al contesto italiano, con costi molto inferiori a quelli della VQR. Le linee principali di ridisegno dovrebbero essere:

1. uso sistematico della sola peer reviewed adozione della scala univoca di qualità definita nel modello britannico. L’uso della revisione dei pari permetterebbe di evitare tutte le distorsioni indotte dall’uso di misure bibliometriche di impatto accademico come surrogato della valutazione di qualità, e soprattutto l’uso di strumenti del tutto inadeguati come la classificazione delle riviste per la valutazione di impatto dei singoli articoli;
2. la valutazione dovrebbe essere condotta direttamente dai membri dei GEV, come nel modello britannico. Ogni lavoro sottoposto a valutazione dovrebbe essere valutato da un solo revisore, che potrebbe, a sua discrezione e per un numero limitato di casi, rivolgersi anche ad esperti esterni la cui identità dovrebbe comunque essere resa nota al termine dell’esercizio. Cio permetterebbe: (i) di ridurre le risorse impiegate rispetto al ridondante modello VQR; (ii) di aumentare la trasparenza delle procedure; (iii) di responsabilizzare direttamente i membri dei panel sui risultati della valutazione;
3. per la costituzione dei GEV, l’ANVUR dovrebbe seguire una procedura pubblica, con una call per le candidature rivolta alle comunità scientifiche, contenente una chiara definizione dei criteri predefiniti di selezione. La nomina da parte del consiglio direttivo dovrebbe rispettare il principio di equità. In particolare sarebbe poi opportuno un completo ricambio dei valutatori rispetto al precedente esercizio di valutazione.
4. Dovrebbe essere chiarito prima dell’inizio dell’esercizio che la valutazione è istituzionale e non individuale. I risultati finali dovrebbero essere presentati, come nel modello britannico, esclusivamente in riferimento ad università, dipartimenti, discipline, ed evitando in ogni caso la compilazione di classifiche. Prima dell’inizio dell’esercizio di valutazione dovrebbe essere chiaramente stabilito che in nessun caso i risultati individuali potranno essere utilizzati per la valutazione dei singoli docenti, per la loro carriera e remunerazione, né per altri fini come la valutazione di collegi di dottorato o gruppi di ricerca. I risultati individuali non dovrebbero essere comunicati né ai docenti né alle strutture. I dati individuali resi anonimi dovrebbero invece essere resi prontamente disponibili alla comunità scientifica per lo svolgimento delle opportune verifiche e per svolgere attività di ricerca.

L’adozione del modello britannico avrebbe il vantaggio di spostare il focus della valutazione dalle questioni relative alla quantità e ai luoghi di pubblicazione, alla qualità della ricerca. Questo potrebbe frenare la spinta a comportamenti opportunistici e fraudolenti per migliorare la performance bibliometrica. Resterebbero invece intatte le distorsioni proprie di ogni sistema centralizzato di valutazione: la spinta al conformismo e alla riduzione della “biodiversità della ricerca”.

3. AVA/Dottorati

Obiettivi di un efficace sistema di assicurazione della qualità a livello locale dovrebbero essere: (i) contribuire alla promozione della qualità e degli standard nell’insegnamento e nell’apprendimento; (ii) fornire agli studenti, agli impiegati e ad altri portatori di interessi informazioni sulla qualità e sugli standard delle università; (iii) identificare i corsi di studio che non rispondono a standard prefissati e spingerli al rapido miglioramento; (iv) assicurare la rendicontabilità dei fondi pubblici. Per raggiungere efficacemente questi obiettivi il sistema deve essere leggero e poco invasivo.

Il sistema di autovalutazione, valutazione ed accreditamento (AVA), ed il sistema di accreditamento dei dottorati prevedono invece procedure fortemente burocratizzate, volte al controllo minuto e pervasivo della attività delle università. AVA è stato sviluppato da ANVUR senza preoccuparsi della necessaria armonizzazione delle norme vigenti, e sta dando luogo a sovrapposizione di ruoli e competenze, per esempio tra Nuclei di valutazione degli atenei e presidi di qualità, che stanno mettendo in difficoltà gli Atenei nell’espletamento di attività che erano ormai divenute routinarie. AVA è intervenuta in modo indiscriminato su situazioni molto eterogenee. Atenei che avevano procedure avanzate e buone pratiche di assicurazione della qualità hanno dovuto riconfigurarle per rispondere alle prescrizioni ANVUR; negli atenei dove il sistema non era ancora in funzione, è verosimile che alle procedure AVA si sia risposto producendo documentazione ad hoc senza nessuna innovazione nel sistema di gestione della didattica. In ogni caso AVA sta richiedendo un considerevole impegno di risorse (docenti e PTA) all’interno degli  Atenei. Verosimilmente con un impatto negativo sulla produttività scientifica [18]. Considerazioni del tutto simili valgono per l’accreditamento dei dottorati, la cui procedura è focalizzata esclusivamente sui dati numerici relativi a pubblicazioni e borse, trascurando la qualità della formazione dottorale.

E’ dunque opportuna una profonda revisione del sistema AVA e dell’accreditamento dottorati nel segno della sburocratizzazione e della semplificazione.

E’ da notare che la realizzazione di un osservatorio sulla ricerca italiana cui si accennava sopra, renderebbe del tutto ridondanti le complesse procedure previste da ANVUR e denominate SUA-RD. E’ inoltre da notare che la procedura AVA ha innovato, peggiorandole, alcune attività in precedenza definite dal CNVSU. Ha per esempio eliminato dalle procedure di valutazione degli insegnamenti da parte degli studenti la domanda di sintesi sulla soddisfazione del docente; ed ha eliminato le domande sulla soddisfazione degli studenti in relazione ad aule e strutture togliendo agli Atenei ed ai nuclei di valutazione un feedback tradizionale dagli studenti per l’analisi delle strutture didattiche.

4. Trasparenza

Una agenzia di valutazione deve essere completamente trasparente negli atti, nelle decisioni e in tutte le procedure. ANVUR dovrebbe rispettare pienamente la normativa in materia di “amministrazione trasparente” (DL 33/2013). E’ opportuno notare che allo stato attuale gran parte delle voci che dovrebbero essere pubblicate nella sezione amministrazione trasparente del sito di ANVUR non contengono tali informazioni. Oltre a questo ANVUR dovrebbe adottare procedure decisionali e consultive pienamente trasparenti.

Questo richiede in prima approssimazione almeno le seguenti attività:

• pubblicazione del calendario e dei verbali del consiglio direttivo;
• pubblicazione in forma estesa di tutte le delibere del consiglio direttivo;
• pubblicazione in forma estesa di tutti pareri espressi;
• pubblicazione completa degli esiti delle procedure riguardanti le modalità di selezione ed i rapporti contrattuali con i consulenti ed i collaboratori;
• utilizzo di procedure ad evidenza pubblica per la costituzione di gruppi di lavoro;
• utilizzo di procedure ad evidenza pubblica per la selezione di strumenti per la valutazione;
• definizione di regole chiare e trasparenti per l’interazione pubblica con il CUN;
• definizione di modalità bottom-up di interazione pubblica con le società disciplinari, da realizzarsi in collaborazione con il CUN, previa abrogazione della delibera 92/2014 dell’ANVUR che prevede una sorta di accreditamento delle società scientifiche.

Da ultimo, ma non per importanza, ANVUR dovrebbe sistematicamente mettere a disposizione della comunità scientifica, in forma opportunamente resa anonima, tutti i dati derivanti dalla sua attività di monitoraggio e valutazione al fine di assicurare la piena replicabilità e controllabilità dei risultati raggiunti.

5. Performance

Ad ANVUR è stata attribuita la competenza in materia di performance amministrativa delle università (L. 9 agosto 2013, n. 98). Si tratta di una scelta legislativa che non appare del tutto convincente e finisce per rafforzare lo sbilanciamento del sistema, attribuendo ad ANVUR competenze che sono del tutto diverse da quelle che rappresentano la missione principale di una agenzia di valutazione.

A questo proposito I nuclei di valutazione delle università hanno da tempo assunto le funzioni di Organismi Indipendenti di Valutazione interagendo con ANAC (ex CIVIT, sulla base del DL 150/99). ANVUR ha appena pubblicato (20/05/2015) le Linee guida per la gestione integrata del ciclo della performance che non è possibile considerare in dettaglio. In questo caso, come per AVA, è necessario operare una netta semplificazione degli adempimenti, secondo linee già prefigurate in documenti pubblicati dalla stessa ANAC. In questo caso è però auspicabile che ANVUR, operi avendo come riferimento le attività dell’autorità anticorruzione imitando, adattando e soprattutto semplificando le direttive di ANAC per la PA.

References

1. Merton, R.K., Priorities in Scientific Discovery. A Chapter in the Sociology of Knowledge. American Sociological Review, 1957. 22(6): p. 635-659.
2. Baccini, A., La valutazione della ricerca in Italia: in ritardo e tecnicamente inadeguata. Ricerca, 2013(5/6): p. 24-27.
3. Baccini, A., F. Coin, and G. Sirilli, Costi e benefici della valutazione della ricerca e della didattica. Paradoxa, 2013. VII(2): p. 49-61.
4. Baccini, A., Come e perché ridisegnare la valutazione. Il Mulino, 2013. 2013(1): p. 80-87.
5. Baccini, A. and M. Ricciardi, VQR, la composizione dei GEV ed una questione di fairness, in https://www.roars.it/vqr-la-composizione-dei-gev-ed-una-questione-di-fairness/2012.
6. Gillies, D., How Should Research be Organized. 2008, London: College Publication.
7. Wouters, P., The citation: from culture to infrastructure, in Beyond Bibliometrics. Harnessing Multidimensional Indicators of Scholarly Impact, B. Cronin and C.R. Sugimoto, Editors. 2014, MIT Press: Cambridge, Ma.
8. Cassese, S., L’ANVUR ha ucciso la valutazione, viva la valutazione! Il Mulino, 2013(1): p. 73-79.
9. Baccini, A., ASN, Nobel e proverbi: chi di VQR ferisce di ASN perisce?, in https://www.roars.it/asn-nobel-e-proverbi-chi-di-vqr-ferisce-di-asn-perisce/2014.
10. Goukrager, S., Objectivity. 2012, Oxford: Oxford University Press.
11. OECD, Education at a Glance 2014. 2014, Paris: OECD.
12. Chudlarský, T. and J. Dvořák. A National CRIS Infrastructure as the Cornerstone of Transparency in the Research Domain. in E-Infrastructures for Research and Innovation. 2012. Prague, Czech Republic.
13. Baccini, A., Valutare la ricerca scientifica. Uso e abuso degli strumenti bibliometrici. 2010, Bologna: Il Mulino.
14. Baccini, A., La VQR di Area 13: una riflessione di sintesi. Statistica & Società, 2014. 3(3): p. 32-37.
15. Baccini, A. and G. De Nicolao, Do they agree? Bibliometric evaluation vs informed peer review in the Italian research assessment exercise, in arXiv:1505.001152015.
16. De Nicolao, G., VQR da buttare? Persino ANVUR cestina i voti usati per l’assegnazione FFO 2013, in www.roars.it2014.
17. Abramo, G. and C.A. D’Angelo, The VQR, Italy’s second national research assessment: Methodological failures and ranking distortions. Journal of the Association for Information Science and Technology, 2015: p. n/a-n/a.
18. Baccini, A., et al., Crossing the hurdle: the determinants of individual scientific performance. Scientometrics, 2014(101): p. 2035-2062.

Documento programmatico di Paola Galimberti

curriculum; documento programmatico in pdf

Il punto di vista

Il punto di vista espresso in queste righe è quello di chi ha seguito da vicino tutte le procedure avviate da Anvur negli anni della sua operatività in merito alla valutazione della ricerca ai vari livelli (VQR, ASN, valutazione dei dottorati, SUA RD), e che nella loro implementazione ha cercato di farne una analisi critica e soprattutto comparativa con quanto avviene in altre nazioni. La comparazione con modalità e prassi di altri sistemi nazionali, lo studio degli effetti di tali prassi sul sistema della ricerca, appare infatti un punto cruciale per lo sviluppo di buone pratiche e soprattutto per evitare di commettere errori già fatti da altri o di ripercorrere strade che non hanno portato a risultati significativi. Più che di un unico punto di vista, quelle qui riportate sono viste diverse legate ai diversi ruoli esercitati da chi scrive in diversi atenei e in gruppi di lavoro internazionali: le viste dei nuclei, del presidio, dell’osservatorio, degli uffici di supporto, degli organismi che studiano e progettano i sistemi di gestione dei dati, e di quelli che validano la qualità delle pubblicazioni. L’esperienza diretta di tutte le campagne di valutazione avviate da ANVUR ricoprendo ruoli diversi rende più completo il giudizio che ne emerge e le proposte di sviluppo

Visione generale

Il filo conduttore della analisi proposta e delle tematiche che si ritiene di poter affrontare e approfondire è quello della linearità dei processi e della loro trasparenza. Definizione delle finalità, formulazione delle domande valutative, scelta del livello di analisi, delle metodiche e degli indicatori, definizione di tempistiche realistiche, verifica della disponibilità di dati certi e robusti, pubblicità di tutti i processi sono passi fondamentali di cui è necessario rispettare e rendicontare la sequenza in maniera rigorosa.

L’Italia è arrivata ad una valutazione diffusa e comune del sistema universitario molto dopo altri paesi (si pensi alla storia del REF, ma anche del SEP) Partire come paese latecomer sulle tematiche della valutazione può essere però un vantaggio se lo si sa sfruttare, perché permette di fare una analisi approfondita delle esperienze già fatte da altri, e di partire dunque da queste esperienze per poterle fare evolvere nel contesto nazionale.

Le procedure avviate in questi anni in Italia sono state segnate da grande fretta. Le necessità imposte dalle scadenze ministeriali hanno portato a dover agire con strumenti (dati di partenza, ma anche metodiche utilizzate) spesso inadatti, poco maturi, incompleti e poco affidabili, ma soprattutto non testati. L’accumularsi delle incombenze ha fatto sì che mancasse il tempo necessario per affinare gli strumenti e per avviare una riflessione ampia e condivisa sulle azioni intraprese. L’agenzia ha sì consultato le comunità scientifiche e gli atenei, ma in una situazione in cui c’era (e c’è ancora) molta confusione in relazione alla valutazione, alle metodiche ai criteri e agli indicatori e dove mancavano (e in parte mancano ancora) dei punti fissi da cui poter partire.

Pur condividendo l’idea che una valutazione debba essere fatta, si deve anche ammettere che in questo momento la assenza di strumenti affidabili potrebbe portare (e di fatto ha portato) a situazioni che poco o nulla hanno a che fare con la promozione della qualità, con la premialità e con l’eccellenza.

Un problema di indirizzi

Parte delle incertezze sono anche derivate dalla mancanza di politiche della ricerca con obiettivi chiari e definiti, da cui i sistemi di valutazione messi in atto potessero estrarre un indirizzo certo. Valutare per supportare le aree più deboli, valutare per sostenere le aree disciplinari di punta, valutare per promuovere una qualità diffusa piuttosto che l’eccellenza, sono tutti obiettivi da cui discendono metodiche e criteri assai diversi e rispetto ai quali non c’è stata una formulazione chiara da parte del Ministero Anvur si è trovata spesso a dover ricoprire ruoli che andavano oltre il suo mandato, ritengo che la richiesta di una più netta distinzione fra compiti e ruoli di Anvur e compiti e ruoli del Ministero sia auspicabile per il futuro.

Le sfide: la disponibilità di dati certi e affidabili

Uno dei primi punti su cui credo sia necessario concentrarsi è la creazione di strumenti che possano davvero essere fonti affidabili per le analisi dell’Agenzia e che possano restituire a tali analisi la credibilità necessaria perché si attui davvero un cambiamento. La conoscenza approfondita del funzionamento dei sistemi locali degli atenei legata alla collaborazione in questi ultimi anni allo sviluppo e progettazione dei sistemi di Cineca (in particolar modo il Current Research Information System adottato ora da 70 atenei), ma anche al lavoro nei nuclei di valutazione e in gruppi di lavoro a vari livelli, può essere un utile punto di partenza, così come lo è la conoscenza delle dinamiche e problematiche legate all’introduzione di ORCID, che da solo non basta assolutamente a creare la base per la anagrafe nazionale. Il lavoro all’interno di Eurocris e la collaborazione con Cineca rappresenta una solida base per poter contribuire allo sviluppo di Anpreps.

Le sfide: La qualità dei dati sulla ricerca: ottenerla e mantenerla

Si deve considerare che solo ora, dopo anni, la maggior parte degli atenei si sta dotando di una anagrafe pubblica, solo ora dunque comincia ad affermarsi l’idea che ciò che viene pubblicamente mostrato debba essere anche in qualche verosimile, e debba subire un controllo e una validazione che ne certifichi la correttezza, non solo nel merito ma anche nella forma.

Al controllo locale deve seguire necessariamente anche un controllo centrale per cui è necessario fare pressioni sul Ministero affinché vengano implementate le procedure di controllo (in parte anche automatizzabili) necessarie per la creazione di una anagrafe nazionale che possa essere fonte attendibile per le analisi condotte dall’Agenzia ma anche da centri di studi e singoli studiosi. La mia esperienza personale mi ha portato ad occuparmi a fondo di qualità dei dati e suo mantenimento, e a cercare di esportare il modello organizzativo dell’ateneo per cui lavoro a tutti gli altri atenei attraverso una serie di corsi tenuti di recenti a tutti gli atenei italiani.

Le sfide: la valutazione nelle scienze umane come opportunità per un ripensamento in generale sulla valutazione, i metodi, i criteri, gli indicatori

Un’altra sfida su cui concentrarsi è quella della valutazione nelle scienze umane e sociali, per cui risulta essenziale l’osservazione di quanto fatto in altri sistemi. La bibliometria e in generale l’analisi quantitativa è stata messa in dubbio anche da dichiarazioni internazionali, soprattutto se applicata a dimensioni piccole per cui riflettere e sperimentare nuovi criteri per le scienze umane potrebbe essere d’aiuto anche per un ripensamento della valutazione nelle cosiddette scienze dure. Anvur ha avviato un dialogo con studiosi di altri paesi, ma esso andrebbe reso più solido anche attraverso la partecipazione a progetti comuni. Le iniziative portate avanti fino ad ora (finanziamento di progetti, gruppi di lavoro) difettano di una visione organica e andrebbero meglio coordinate. La valutazione nelle scienze umane e sociali è uno dei punti su cui si sono concentrati i miei studi negli ultimi anni e su cui sto lavorando anche nel gruppo di Eurocris. L’esperienza maturata nel board degli editors della Directory of Open Access Journal mi ha inoltre portato a contatto con pratiche e meccanismi nella valutazione e selezione delle riviste da includere nella Directory che potrebbero essere una linea guida per la valutazione delle riviste in ambito umanistico a livello nazionale.

Le sfide: l’analisi dell’impatto

La valutazione dell’impatto rappresenta il punto su cui molti sistemi nazionali stanno puntando per cercare di inquadrare in maniera completa le ricerche finanziate con fondi pubblici e di capirne l’utilità verificata o attesa per la società. La tematica è estremamente complessa, e la recente esperienza della SUA RD proprio in relazione alla terza missione ha mostrato tutte le difficoltà nel censire e rappresentare l’impatto delle ricerche svolte negli atenei (a partire dalla sua definizione), ma soprattutto nel darne una valutazione che sia comparabile. La mole di dati ora disponibile permette però di avviare ricerche approfondite per capire se e come l’impatto possa essere valutato, e questo è certamente un punto su cui Anvur dovrebbe concentrarsi nei prossimi anni. Il fatto che in questo momento la scheda SUA RD non rientri nella valutazione, ma sia stata proposta in via sperimentale lascia libera l’Agenzia di testare la robustezza delle metodiche che verranno adottate.

Per una cultura seria della valutazione

L’analisi degli effetti, positivi e negativi, cui l’ondata valutativa ha condotto, dovrebbe essere sempre linea guida per le azioni future. Certamente non è possibile entrare nel merito di quanto viene fatto all’interno degli atenei nella loro autonomia, ma è invece necessario e urgente diffondere una cultura della valutazione che promuova il corretto uso degli indicatori, l’individuazione degli indicatori corretti e significativi per le diverse dimensioni valutative, la manutenzione dei dati affinché possano fornire risultati affidabili, la condivisione con gli atenei dei dati utilizzati per le analisi prodotte.

La necessità di avere criteri e indicatori certi e non in continuo mutamento: il caso delle recenti campagne di valutazione

Ciò di cui gli Atenei hanno maggiormente sofferto in questi anni è stata l’incertezza rispetto a criteri e indicatori utilizzati nelle diverse procedure (vedi ad esempio la SUA RD 2011-2013 che si è appena conclusa) e al loro collegamento con le finalità spesso dichiarate ex post o non dichiarate del tutto. Molti atenei ad esempio, non hanno colto la valenza dell’autovalutazione, perdendo così una occasione di riflessione importantissima su strategie di Ateneo e strategie dei dipartimenti, e uno strumento fondamentale per orientare la azioni future. In questo senso a mio parere l’Agenzia dovrebbe lavorare di più sulla comunicazione di quelle che sono le finalità dei diversi esercizi valutativi, attenersi a tali finalità, fornire per tempo criteri e indicatori certi che non vengano modificati in corso d’opera (come è successo recentemente per la valutazione dei dottorati per cui si è passati dalla valutazione del collegio intero ai soli 16 membri) e vigilare affinché i risultati ottenuti per una certa dimensione non vengano utilizzati, impropriamente, per dimensioni diverse (vedi ad esempio l’utilizzo dei risultati della VQR per la valutazione dei dottorati).

Nel promuovere una campagna di valutazione, soprattutto se nuova, è necessario mettere a punto gli strumenti utilizzati, le informazioni raccolte, i processi, ma è soprattutto importante che prima di poter applicare a livello nazionale un modello ne vengano studiati i risultati, gli effetti, e verificata la robustezza.

Per la SUA RD, ad esempio, è stato correttamente fatto un test su una piccola parte di Dipartimenti per ogni Ateneo, ma poi non c’è stato il tempo necessario per poter correggere eventuali errori o sbavature, per poter analizzare i risultati, per darne una restituzione agli Atenei e ai dipartimenti che si erano impegnati nella sperimentazione. Il risultato è stato di disappunto da parte di chi ha partecipato a questa fase sperimentale senza poter poi avere un feedback e soprattutto senza che si siano utilizzati i dati per la costruzione dei criteri e degli indicatori che ad oggi ancora mancano. L’Agenzia dovrebbe quindi impegnarsi, quando propone nuove campagne, a fare analisi sull’affidabilità dei risultati, sulla robustezza dei metodi, sull’attendibilità dei dati, e a fornire criteri e indicatori sufficientemente testati prima che le campagne partano.

In sintesi, gli ultimi anni hanno rappresentato nel bene e nel male una tappa importante per una assunzione della valutazione e della AQ della didattica, della ricerca e delle attività delle amministrazioni nelle pratiche degli atenei e strutture degli enti di ricerca. Molto ancora si deve fare a livello centrale e locale rispetto ad un uso corretto della valutazione, all’interpretazione dei risultati e alla disponibilità, qualora essi risultino non significativi ad un ripensamento sugli stessi. Il filo conduttore, in presenza di politiche e direttive chiare da parte del Ministero dovrà essere a mio parere quello della condivisione (e consenso) delle pratiche, dell’assicurazione della qualità dei dati, della collaborazione internazionale e della disponibilità a portare avanti progetti congiunti, della trasparenza di dati, metodiche e risultati.

Le pubblicazioni allegate riguardano tre delle aree di ricerca descritte sopra:

Antonio Banfi, Elio Franzini, Paola Galimberti, Non sparate sull’umanista, Guerini 2014 (valutazione nelle scienze umane e sociali)

Galimberti, Paola La valutazione della ricerca a livello istituzionale: problemi, sfide e possibili soluzioni. Il caso dell’Italia Rassegna italiana di valutazione, 2013, vol. 52. (2013) (valutazione della ricerca a livello istituzionale e rapporto con la valutazione a livello nazionale)

Dubini, Paola and Galimberti, Paola and Micheli, Maria Rita Authors publication strategies in scholarly publishing., 2010 . In ELPUB 2010 International Conference on Electronic Publishing, Helsinki (Iceland), 16-18 June 2010. (sulle strategie di pubblicazione e i comportamenti degli autori)