Prima che la nave affondi (3)

Un rapido bilancio della riforma dell’Università e qualche possibile intervento correttivo

Testo pubblicato sul Giornale di Diritto Amministrativo 5/2013

parte III

(parte II ; parte I)

3. L’Agenzia Nazionale di Valutazione (ANVUR): ovvero, un sistema non in equilibrio.

Le considerazioni svolte in precedenza sono relative a procedure che hanno visto l’intervento, in un ruolo di primo piano, dell’ANVUR. La convinzione di chi scrive, è che il disegno dell’Agenzia meriti di essere radicalmente rivisto. Le polemiche che hanno riguardato l’Agenzia negli ultimi mesi sono state molto vivaci. Esse derivano da un errata progettazione di ANVUR, più che dalla composizione del Consiglio Direttivo. In particolare l’Agenzia, a confronto dei suoi omologhi europei, soffre di un cumulo eccessivo di poteri e attribuzioni, di una definizione non sufficientemente chiara dei propri compiti, della mancanza di adeguati contrappesi che ne assicurino un equilibrato funzionamento. Tutto ciò contribuisce a generare un sistema policentrico di governo del sistema dell’università e della ricerca, in cui non è chiaro quali siano effettivamente i centri decisionali, a chi spetti decidere cosa e chi sia effettivamente responsabile delle scelte adottate. In sostanza: non sono sufficientemente distinte le scelte di policy da procedure che dovrebbero avere un valore eminentemente tecnico e, come tali, essere utilizzate per fornire informazioni al decisore politico. Il risultato è che il Ministero è apparso in non poche occasioni svuotato di competenze, tanto da suscitare il sospetto che lo stesso Ministero abbia voluto scaricare responsabilità proprie sull’Agenzia, senza rendersi conto di averla in tal modo sovraccaricata di compiti tali, per numero e dimensioni, da porre le premesse per il fallimento dell’azione di ANVUR.

Infatti ANVUR cumula compiti troppo vasti e del tutto differenti fra loro, assommando la responsabilità, al contempo, per la valutazione della ricerca e per quella della didattica. Inoltre, l’Agenzia entra nella definizione dei criteri stessi di valutazione, assumendosi la responsabilità di instaurare in modo non chiaro e non sufficientemente formalizzato, rapporti con le comunità scientifiche attraverso interlocuzioni con le cosiddette consulte (società disciplinari). Ancora, l’Agenzia interviene a vario titolo nella definizione e nel computo degli indicatori da utilizzarsi per il reclutamento, ossia per l’ASN, e nella definizione dei criteri identificanti il carattere di scientificità delle pubblicazioni, nonostante la l.1/2009, art. 3-ter attribuisca chiaramente tale compito al CUN. Addirittura, l’Agenzia rivendica a sé il compito di istituire al proprio interno una sorta di centro di ricerca deputato allo studio della scientometria e della bibliometria.[1] Il quadro che ne risulta è autoreferenziale e del tutto non conforme alle esperienze internazionali che, al fine di assicurare una buona riuscita delle operazioni di valutazione, prevedono una chiara ed equilibrata ripartizione dei compiti e delle responsabilità.[2] Il quadro è reso ancor più problematico dal fatto che il CUN è uscito fortemente ridimensionato dalla Riforma: sostanzialmente svuotato di competenze e privo di una effettiva funzione di rappresentanza, l’organo non pare in grado, nell’attuale configurazione, di svolgere una funzione di riequilibrio e di interlocuzione dialettica con l’Agenzia.[3]

Per questi motivi, l’architettura dell’Agenzia nazionale deve essere rivista, assicurandone la conformità alle migliori esperienze internazionali. Sarebbe opportuno che all’interno dell’Agenzia operassero due divisioni, strutturalmente e funzionalmente separate, l’una dedicata alla valutazione della didattica e all’accreditamento delle sedi, l’altra rivolta alla valutazione della ricerca. Ciascuna divisione dovrebbe essere dotata di un proprio direttivo, ampliato rispetto alla composizione attuale. L’agenzia dovrebbe occuparsi unicamente di «fare» la valutazione, traducendo in pratica le indicazioni provenienti dal decisore politico, e trasmettere al decisore stesso gli esiti della valutazione, corredati da rapporti analitici. L’azione dell’Agenzia dovrebbe essere nettamente separata da quella dei policy makers. La definizione dei criteri di valutazione, in particolare quelli relativi alla ricerca, alla scientificità dei prodotti, dovrebbe essere demandata a un riformato CUN, inteso come organo elettivo rappresentativo delle discipline e dei saperi, e non già delle «componenti» del sistema universitario.

4. Conclusioni.

Come si diceva in principio, l’esito delle recenti elezioni politiche non è stato confortante: non pare facile che si possa costituire un governo stabile. Inoltre, è lecito presumere che – in una situazione di crisi come quella attuale – le questioni concernenti università e ricerca non saranno ai primi punti dell’agenda politica. Queste pagine sono state scritte anche con l’intento di ricordare l’importanza che formazione avanzata e ricerca hanno per lo sviluppo civile ed economico del Paese. Trascurare i problemi che in questa fase affliggono il sistema dell’università e della ricerca sarebbe un grave errore, ai cui effetti si potrebbe rimediare solo nel lungo periodo e a costi estremamente elevati. In particolare, la situazione di cronico sottofinanziamento del sistema rischia di rendere superflua ogni ulteriore considerazione: in mancanza di un consistente rifinanziamento del Fondo di Finanziamento Ordinario (FFO), e di interventi ragionevoli sulla disciplina vigente in materia di turnover, una parte del sistema è comunque destinata a collassare.

Infine un’ultima osservazione: chi scrive ha insieme ad altri duramente criticato, negli ultimi mesi, l’operato dell’Agenzia di Valutazione, cercando sempre di argomentare chiaramente le proprie osservazioni. L’Agenzia ha reagito con sdegno, accusando in modo più o meno velato i propri critici di essere dei conservatori interessati a difendere un mediocre status quo, o dei perfezionisti «nemici del bene» e della valutazione. Non è così: è fuori di dubbio che la ricerca e la formazione italiana necessitino di una buona valutazione, ben progettata e ben implementata e questa visione è condivisa da molti fra i critici di ANVUR. L’Agenzia è diretta e coadiuvata da scienziati di fama nelle rispettive discipline: sarebbe buona cosa se una volta per tutte essa accogliesse con spirito positivo le critiche, anche dure, che le vengono rivolte, favorendo il dialogo e traendone indicazioni per migliorare il proprio operato e per contribuire, insieme alle comunità scientifiche, alla difesa e al miglioramento della ricerca e della formazione nel nostro Paese. Diversamente, la strada pare ormai segnata e non sembra volgere certo al meglio.

Riferimenti bibliografici

ABRAMO, CICERO, D’ANGELO (2012): G. Abramo, T. Cicero, C. A. D’Angelo, The dispersion of research performance within and between universities as a potential indicator of the competitive intensity in higher education systems, Journal of Informetrics 6 (2012), p. 155 ss.

BACCINI (2013): A. Baccini, Come e perché ridisegnare la valutazione, Il Mulino 1/2013, p. 80 ss.

BACCINI (2010): A. Baccini, Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici, Bologna 2010.

BANFI (2012): A. Banfi, Apples and oranges? Spunti per una discussione sulla valutazione della ricerca nelle scienze umane e sociali, Astrid Rassegna 161 (12/2012).

BANFI (2013): A. Banfi, Il resistibile fascino delle classifiche di riviste, in corso di pubblicazione su Rassegna Italiana di Valutazione.

BANFI, DE NICOLAO (2013),  La valutazione fra scienza e feticismo dei numeri, Il Mulino 1/2013, p. 88 ss.

BREMBS, MUNAFÒ (2013): B. Brembs, M. Munafò, Deep Impact: Unintended consequences of journal rank, arXiv:1301.3748 [cs.DL].

CASSESE (2013): S. Cassese, La qualità delle politiche pubbliche, ovvero del modo di governare, Astrid Rassegna 175 (4/2013).

CASSESE (2013).2: S. Cassese, L’Anvur ha ucciso la valutazione, viva la valutazione!, Il Mulino 1/2013, p. 73 aa.

COLQUHOUN (2003): D. Colquhoun, Challenging the tyranny of impact factors, Nature 423, maggio 2003 p. 479.

COOPER, POLETTI (2011): S. Cooper, A. Poletti, The new ERA of journal ranking. The consequences of Australia’s fraught encounter with ‘quality’, Australian Universities’ Review 53.1, 2011, p. 57 ss.

EMS (2012): European Mathematical Society, Code of Practice http://www.euro-math-soc.eu/node/3054

EPS (2012): European Physical Society, On the use of bibliometric indices during assessment http://www.eps.org/news/94765/

FIGÁ TALAMANCA (2000): A. Figà Talamanca, L’Impact Factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica, testo presentato al IV SEMINARIO del SISTEMA INFORMATIVO NAZIONALE PER LA MATEMATICA SINM 2000. https://www.roars.it/limpact-factor-nella-valutazione-della-ricerca-e-nello-sviluppo-delleditoria-scientifica/

HEFCE Annex G (2009): Discussion of bibliometrics by the Expert Advisory Groups The use of bibliometrics in the REF (http://www.hefce.ac.uk/).

HEFCE Report (2009): Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework, September 2009/39, Issues paper (http://www.hefce.ac.uk/).

HICKS (2010): D. Hicks, Overview of models of performance-based research funding systems, in Performance-based Funding for Public Research in Tertiary Education Institutions, OECD Workshop Proceedings 2010, pp. 23-52.

IDF-ADS (2011): Institut de France, Académie des Sciences, Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf

LE DÉAUT (2013): Y. Le Déaut, Refonder l’Université, dynamiser la recherche. Mieux coopérer pour réussir.  http://www.ladocumentationfrancaise.fr/rapports-publics/134000040/index.shtml

LOZANO, LARIVIÈRE, GINGRAS (2012): G. A. Lozano, V. Lariviere, Y. Gingras, The weakening relationship between the Impact Factor and papers’ citations in the digital age, arXiv:1205.4328 [cs.DL].

MARTIN (2011): B.R. Martin, The Research Excellence Framework and the ‘impact agenda’: are we creating a Frankenstein monster?, Research Evaluation sept. 2011, p. 247 ss.

OCSE (2012): Education at a Glance 2012: OECD Indicators, OECD Publishing. http://dx.doi.org/10.1787/eag-2012-en

REGINI (2009): M. Regini (cur.), Malata e denigrata. L’università italiana a confronto con l’Europa, Roma 2009.

SANDULLI (2011): A. Sandulli, La rappresentanza dei saperi e delle discipline: il Consiglio Universitario Nazionale e la teoria del doppio centro, MUNUS (2011).3, p. 599 ss.

SEGLEN (1997): P.O. Seglen, Why the impact factor of journals should not be used for evaluating research, BMJ 314, 15 Febbraio 1997, p. 498 ss.

SIRILLI (2012): G. Sirilli, Si può stimare che la VQR costerà 300 milioni di euro – e a pagarli sarà l’università https://www.roars.it/si-puo-stimare-che-la-vqr-costera-300-milioni-di-euro-e-a-pagarli-sara-luniversita/

VAN VUGHT, ZIEGELE (2011): F. Van Vught, F. Ziegele (cur.), Design and Testing of a Multidimensional Global University Ranking, CHERPA Network. http://ec.europa.eu/education/higher-education/doc/multirank_en.pdf

VINKLER (2010): P. Vinkler, The Evaluation of Research by Scientometric Indicators, Oxford 2010.

WILLMOTT (2011): H. Willmott, Journal List Fetishism and the Perversion of Scholarship: Reactivity and the ABS List, Organization 18.4 (2011), p. 429 ss.

ZITT (2005): M. Zitt, Facing Diversity of Science: A Challenge for Bibliometric Indicators, MEASUREMENT, 3(1) 2005, p. 38 ss.