Il post a puntate “Io speriamo che mi selezionano” chiude in bellezza (si fa per dire) con gli ultimi quattro temi svolti dai professori universitari che sono stati selezionati da un apposito comitato per far parte della rosa da cui il Ministro dell’Università e della ricerca Stefania Giannini ha appena scelto i prossimi membri del consiglio direttivo di ANVUR. Ma, prima di lasciarvi delibare gli elaborati, crediamo di fare cosa gradita ai nuovi lettori (o a quelli smemorati), raccontando per filo e per segno la procedura di reclutamento dei nuovi “uomini d’oro” del direttivo ANVUR (178.500 Euro annui a testa).

Link alla Prima parte

Link alla Seconda parte

1. Molti sono chiamati, ma pochi eletti

Nei mesi estivi, il Ministero dell’istruzione Università e Ricerca è stato impegnato nel rinnovo del consiglio direttivo di ANVUR, l’Agenzia Nazionale di Valutazione dell’Università e della Ricerca, che ha il compito di valutare le università per quanto riguarda qualità della ricerca e della didattica. Il consiglio direttivo dell’Agenzia è composto sette membri. Il presidente riceve un compenso annuo di 210.000 Euro, mentre i sei membri ricevono “soltanto” 178.500 Euro. Le disposizioni che hanno istituito l’Agenzia hanno previsto un sistema di rotazione delle cariche, ragion per cui nel 2015 si è dovuto procedere al rinnovo di 4 membri del direttivo. Per la loro sostituzione è prevista una procedura abbastanza complessa.

Il ministero è tenuto a istituire un comitato di selezione di cinque membri, incaricato di formulare un elenco composto da non meno di dieci e non più di quindici persone, tra i quali il ministro stesso sceglie i membri del direttivo. I membri del comitato di selezione sono designati da diversi soggetti istituzionali. Il ministro, che ha la facoltà di scegliere uno dei membri del comitato di selezione, ha designato Piero Cipollone, Capo del servizio pianificazione e controllo della Banca d’Italia, già presidente dell’INVALSI. L’Accademia dei Lincei ha designato Roberto Antonelli, professore di filologia romanza presso l’Università Sapienza di Roma. Il segretario generale dell’OCSE ha designato Dirk Van Damme, poi sostituito da Sabrina Boarini, ricercatrice dell’OCSE. L’European Research Council ha designato Claudio Bordignon, professore di ematologia presso l’università Vita-Salute San Raffaele. Infine, il Consiglio Nazionale degli Studenti ha designato Giuseppe Caputo, ricercatore di impianti chimici presso l’Università di Salerno (http://anvur.miur.it/documenti/DM_205_03-04-2015-ANVUR.pdf).

Appena insediato, il Comitato ha emesso il bando di selezione (25 aprile 2015), nella cui premessa si legge l’impegno ad operare nella massima trasparenza e a selezionare tra i candidati in base all’”elevato profilo scientifico e accademico” e all’ “esperienza nel campo della valutazione”. A tal fine, il comitato ha richiesto che i candidati allegassero alla domanda non solo il proprio curriculum, ma anche un “elaborato che illustri sinteticamente le principali linee di intervento, indirizzi di gestione, strategie di sviluppo, criteri e metodi di valutazione dell’Agenzia in base ai quali il candidato intenda orientare la propria funzione” nel caso venga scelto dal ministro.

Alla selezione hanno partecipato 121 candidati, i cui curriculum ed elaborati possono essere consultati sul sito del MIUR. Il comitato di selezione ha svolto un’audizione che ha coinvolto 21 candidati, di cui non sono stati resi i nomi, ed ha infine consegnato al ministro una lista di 15 selezionati. Dimenticandosi degli impegni in tema di trasparenza, le motivazioni delle scelte effettuate ed i verbali della commissione di selezione non sono stati resi pubblici, a differenza di quanto avviene, per esempio, in tutti i concorsi per professore universitario. Da questa lista di selezionati il ministro ha scelto i quattro nuovi membri del consiglio direttivo (Daniele CHECCHI, Paolo MICCOLI, Raffaella RUMIATI e Susanna TERRACINI), le cui procedure di nomina sono partite con il Consiglio dei ministri del 6 agosto.

I rimanenti undici non devono però abbandonare ogni speranza. Infatti, è dalla rosa di questi undici nominativi che verranno scelti i rimpiazzi dei membri del direttivo il cui mandato scadrà nel corso del prossimo quadriennio. A titolo di esempio, già nel 2017 si renderanno necessarie due nuove nomine.

2. I temi di “Io speriamo che mi selezionano”

Roars ha pubblicato in tre puntate un florilegio dei “documenti programmatici” predisposti dai candidati selezionati dal comitato, intitolandolo “Io speriamo che mi selezionano” (qui la prima puntata e la seconda puntata, mentre la terza parte del florilegio è in appendice a questo articolo). Il titolo è ispirato al fortunato libro “Io speriamo che me la cavo. Sessanta temi di bambini napoletani” del maestro Marcello D’Orta, da cui è stato tratto l’omonimo film. Parafrasando D’Orta, i testi dei selezionati dal Comitato raccontano ciò che essi “pensano dell’ANVUR e della valutazione con innocenza, umorismo, refusi, errori grammaticali e di sintassi”. Come abbiamo scritto, da questi testi “si ricava un affresco realistico dello stato della “cultura della valutazione” nel nostro paese e di un’accademia italiana piena di professori che con coraggio sono disposti a farsi valutare e soprattutto a divenire valutatori. E si ricava anche una rappresentazione plastica della competenza e dell’attenzione con cui la commissione ha selezionato i candidati per il ministro.”

In effetti, nei documenti programmatici dei 15 selezionati si trova davvero di tutto, sia nei testi in italiano che in quelli scritti (chissà perché poi) in inglese. Ma, soprattutto, si trova una chiara testimonianza della inadeguatezza tecnica dei selezionati sui temi della valutazione: praticamente assenti in tutti gli elaborati (meno uno) i temi al centro del dibattito internazionale e assenti – o incongrui – i riferimenti alla letteratura scientifica sul tema. La cosa lascia perplessi, perché avevano partecipato alla selezione molti esperti nelle diverse declinazioni della valutazione universitaria (didattica, ricerca, strutture, individui, impatto, performance), riconosciuti anche a livello internazionale o nazionale. Con tipico meccanismo meritocratico, nessuno di tali esperti di valutazione è stato selezionato dalla commissione.

Ma ritorniamo ai lavori dei selezionati. C’è chi lascia ripetutamente in sospeso i periodi dell’elaborato, il cui significato compiuto rimane pertanto avvolto nel più fitto mistero. C’è chi, in un inglese incerto (“Indicators the most common are” e “processes are im-plementati”), esprime l’idea che l’agenzia eserciti una logica di “comando e controllo” sull’intero sistema universitario e della ricerca, rivelando insospettate fascinazioni per un’organizzazione sovietica della scienza, anche ad un quarto di secolo dalla caduta del muro. Ci sono quelli che disseminano sistematicamente il testo con elogi dell’operato dell’Agenzia, e con aspre reprimende verso chi ha osato criticare, nel palese tentativo di compiacere il ministro e i selezionatori.

C’è chi ritiene che la valutazione deve avere “conseguenze ineluttabili anche quando fortemente o definitivamente penalizzanti” e, subito dopo, si compiace del “grande sforzo fatto per creare il sistema di valutazione delle riviste” ormai vicino ad una “piena maturazione”. Che stia alludendo all’esilarante vicenda di quella rivista che si dichiarava “punto di riferimento imprescindibile per gli allevatori di suini”, ma che per l’ANVUR rientrava nel novero delle riviste su cui è utile pubblicare per diventare professore di economia? E c’è un fisico che pensa che si debba crescere una nuova generazione di umanisti in un ambiente in cui il “very concept” (qualsiasi cosa voglia dire) della valutazione oggettiva sia accettato. C’è  anche chi ritiene che “solo attraverso un corretto funzionamento del sistema università si avvera quella sinapsi tra ricerca accademica e società civile”.

C’è chi, “sulla base di un’epistemologia evolutiva-emergenziale attenta alle complessità della fenomenicità didattica”, pensa che “esiste una datità non predefinibile e che, in quanto tale, richiede la messa a punto di metodologie adeguatamente articolate”. C’è chi suggerisce di “prendere ispirazione” dall’agenzia di valutazione francese AERES. Forse, gli sfugge che l’AERES è stata soppressa nel 2013 per “delirio burocratico”.

Tra i selezionati c’è pure chi si pone delicati problemi esistenziali:

Il più grande timore mio e della mia compagna è che, se mai qualcosa ci sottraesse prematuramente ai nostri figli, questi possano comunque essere portati a crescere con la mente aperta e pronti ad immergersi nella complessità del Mondo senza timore. Molto ho con lei discusso sul fatto che il mio eventuale periodo di lavoro in ANVUR li priverebbe della mia presenza durante la settimana. Più ne discutevamo, più emergevano aspetti positivi: il vivere appieno e intensamente i weekend di ricongiungimento famigliare, le frequenti loro gite in una splendida Roma, la rapidità del Freccia Rossa per le emergenze, ecc., e soprattutto il non voler rinnegare quello spirito di servizio nell’intraprendenza che ci contraddistingue.

C’è anche chi ha limitato lo sforzo producendo un documento programmatico di 427 parole, pari a ben 2.471 caratteri spazi inclusi (meno di una pagina e mezzo; un documento sette volte più breve del massimo consentito), dove il concetto forse più pregnante espresso è che la valutazione è “uno strumento indispensabile per un paese moderno”.

Da ultimo, un selezionato le cui linee programmatiche coincidono, parola per parola e senza virgolette, con testi reperibili su internet di diversa origine: un libro del 1994, un articolo apparso sulla rivista on-line Altalex, un rapporto dell’università LIUC e la presentazione ad un convegno tenuta da un ex-membro del Direttivo ANVUR.

3. La parola al parlamento

Nel dare notizia delle più vive congratulazioni del Rettore dell’Università di Pisa rivolte al collega di Ateneo scelto dal ministro, il Tirreno precisa che, dopo l’investitura dei nuovi membri del direttivo ANVUR da parte del Consiglio dei ministri, manca ancora un ultimo passaggio: «per renderla definitiva serve l’approvazione in aula, ma in questi casi è quasi una formalità».

In effetti, chi potrebbe dubitare che nell’aula parlamentare filerà tutto liscio? Dopo aver letto e analizzato i loro elaborati, possiamo ben dire che i quattro professori selezionati dal ministro l’investitura – del valore di 178.500 euro annui – se la sono guadagnata con il sudore della fronte.

Appendice: estratti dai temi dei selezionati

I testi sono tratti verbatim dai documenti dei selezionati. La Redazione ROARS ha introdotto commenti esplicativi tra parentesi quadre in blu […], e sottolineato alcuni passaggi particolarmente involuti dal punto di vista sintattico o grammaticale, oltreché spesso, concettuale. I temi sono 14, perché il quindicesimo (quello di Maria Cristina Marcuzzo) pare alla Redazione di Roars ben fatto e del tutto condivisibile.

• Fabio Beltram
• Daniele Checchi – Direttivo ANVUR
• Mario Diani
• Raffaele Di Raimo
• Guido Martinelli
• Maria Luisa Meneghetti
• Paolo Miccoli – Direttivo ANVUR
• Luigina Mortari
• Guido Saracco
• Paolo Rossi
• Raffaella Rumiati – Direttivo ANVUR
• Giorgio Sesti
• Susanna Terracini – Direttivo ANVUR
• Maurizio Vichi

Selezionato n. 11 – Maurizio Vichi [CV, elaborato]
Indicators of output or process the most common are … – Du gust is megl che uan!

The assessment project on quality of education that the candidate wishes to propose will take into consideration several functions [?]: (a) meritocracy [la meritocrazia sarebbe una “funzione”?], that wishes to identify good teachers/researchers and it is based on peer review [valutazione individuale centralizzata; per la definzione di meritocrazia si veda https://en.wikipedia.org/wiki/Meritocracy]; (b) monitoring the educational process, with a logic of command and control [piccoli Lysenko crescono] ; (c) accountability [?], describing and measuring educational activities [anche qui non possiamo che rimandare a https://en.wikipedia.org/wiki/Accountability]; (d) empowerment [?], that is, evaluation of the participation assessed by means of analyses of the customer satisfaction [di nuovo: https://en.wikipedia.org/wiki/Empowerment] ; (e) assessment of the best practices in education.

Traditional economic techniques of assessment [sarebbe interessante sapere a quali tecniche si riferisce] undervalue the progress of the scientific research because generally do not take into account the this [sic] phenomenon in its complexity and multidimensionality. Researchers and Research Organisations are increasingly aware that they must demonstrate performance, impact and quality to [sic] their activities however [sic], methods adopted for evaluation are frequently not trusted by international research communities because they assess only one of few aspects of the research activity. [ciò di cui non ci si fida non sono i metodi di valutazione, ma l’utilizzo della valutazione quantitativa come soluzione a ogni problema di accountability]

The candidate has been president of the Italian Statistical Society from 2008 to 2012, and during this period has organized a system of evaluation for the statistical sciences [!] including a ranking of the scientific Journals [chi ne dubitava? Per fare parte del direttivo si deve dimostrare la propria fede nelle classifiche delle riviste. Un po’ come se al direttore di un osservatore astronomico venisse richiesto di credere nell’astrologia http://journal.frontiersin.org/article/10.3389/fnhum.2013.00291/full]

In particular the products and activities to be evaluated must be agreed with the scientific community [sic].

A system of evaluation based on several indicators (observable and latent) has necessarily to measure [sic]:

(a) Effectiveness – (Objective [come gran parte dei selezionati, anche in questo caso la nozione di oggettività lascia a desiderare] Quality , intended as high performance; e.g., # papers in top class journals) [per una rassegna recente su utilità e conseguenze delle classifiche di riviste si veda http://journal.frontiersin.org/article/10.3389/fnhum.2013.00291/full]

(b) Efficacy – (Objective Quality, intended as productivity of the research; e.g., # papers published) [anche qui c’è qualche problema nella definzione. Efficacia, qualità e produttività sono concetti chiaramente distinti in letteratura]

(c) Reputation – (Subjective Quality, intended as the opinion on the researcher or research institution based on scientific CV and activities such as international collaborations, editorial collaborations, membership to scientific associations, etc.) [chissà come rilevata];

(d) risks in research and innovation (technological risks, organizational risks, market risks , financial risks, uncertainty risks [sic]) [?]

Typologies of Indicators to consider are [sic]

Input: designed to detect the means by which programs and processes are im-plementati. [sic] In the case of the educational process, the input indicators are more traditional for the number of students registered, for example [sic]

If spe-cific, indicators of output or process the most common are [sic]: the number of graduate students, the proportion of students who graduated for a given age group or the completion rate of the per-study course of a given cohort students [sic].

For example, the percentage distribution for employment of people of a certain age group with tertiary education [sic], the annual gross income of workers with tertiary education by or distribution percentua-the mismatch of qualifications for people working at a given time by the graduation. [sic]

Selezionato n. 12 – Guido Saracco [CV, elaborato]
Ma il Freccia Rossa dei desideri all’incontrario va – Tengo famiglia

L’ANVUR ha dato un forte impulso [captatio benevolentiae n. 1] alla ricerca in Italia [?], specialmente in termini di incremento della produzione scientifica nazionale e della sua qualificazione. [da quali analisi e dati si evincono queste affermazioni?]

Un altro pregio dell’azione dell’ANVUR [captatio benevolentiae n. 2] è stata la forte sensibilizzazione verso il tema della valutazione e dell’accreditamento.

Un sistema virtuoso di valutazione non deve limitarsi a qualificare in una classifica i valutati, bensì portarli, come detto innanzi, a migliorarsi progressivamente…

Come noto, le Università hanno iniziato ad applicare progressivamente il sistema integrato AVA a partire dal 2013 e molto del successo [captatio benevolentiae n. 3] di questa essenziale [captatio benevolentiae n. 4] iniziativa dipenderà dal ruolo guida che l’ANVUR saprà garantire nei prossimi anni.[ricordiamo le proteste di università, CRUI, CUN;  e l’invito alla semplificazione e ad evitare una eccessiva burocratizzazione]. Reputo questa la più importante delle azioni promosse dall’Agenzia [captatio benevolentiae n. 5] e senza dubbio quella su cui il massimo degli sforzi debba essere prodotto negli anni a venire.

Allo stesso modo non ha senso prescindere dal contesto sociale, economico e culturale di riferimento nelle valutazioni. Chi opera in contesti più “ricchi” di opportunità e stimoli locali per la ricerca e la formazione dovrà naturalmente coglierne di più [sic], pur nel rispetto della sua indipendenza e libertà di iniziativa scientifica. Non per questo sarà migliore di chi opera in contesti meno stimolanti e che fatalmente conseguirà meno risultati.[il pensiero pare qui assai confuso.]

Come succede in Francia auspico e vorrei spendermi personalmente affinché presto si pervenga a una valutazione congiunta di tutte le attività svolte in seno ai dipartimenti, almeno laddove questi abbiamo riconosciute precise responsabilità anche in ambito didattico, facendo sintesi, in un’unica azione valutativa, delle esperienze fatte sinora sulla valutazione della didattica, dei Dottorati di Ricerca e della ricerca dipartimentale, per unirle a una precisa considerazione delle modalità con cui le strutture sono organizzate, di come attuano i loro processi decisionali e gestionali, della qualità della vita che riescono a garantire, di quanto riescono ad essere motore di crescita e iniziative culturali nel loro contesto territoriale di riferimento [per fortuna è finito il periodo e si può tirare il fiato]. E’ questo un approccio già seguito da alcuni Enti di ricerca come l’Istituto Italiano di Tecnologia, …

Il delitto maggiore che si può compiere su un organismo è impedire che questo possa esprimere appieno le proprie potenzialità; oggi questo si può fare solo attraverso l’intensificazione del rapporto con gli altri, accettando la complessità della vita [digressione esistenziale]

Il più grande timore mio e della mia compagna è che, se mai qualcosa ci sottraesse prematuramente ai nostri figli, questi possano comunque essere portati a crescere con la mente aperta e pronti ad immergersi nella complessità del Mondo senza timore. Molto ho con lei discusso sul fatto che il mio eventuale periodo di lavoro in ANVUR li priverebbe della mia presenza durante la settimana. Più ne discutevamo, più emergevano aspetti positivi: il vivere appieno e intensamente i weekend di ricongiungimento famigliare, le frequenti loro gite in una splendida Roma, la rapidità del Freccia Rossa per le emergenze, ecc., [Ma il Freccia Rossa dei desideri/Nei miei pensieri all’incontrario va] e soprattutto il non voler rinnegare quello spirito di servizio nell’intraprendenza che ci contraddistingue. Tutto questo mi porta oggi a propormi con convinzione come portatore d’acqua per il grande lavoro [captatio benevolentiae n. 6] che l’Agenzia dovrà compiere nei prossimi anni su strade già intraprese (es. le nuove Abilitazioni Scientifiche Nazionali, la nuova VQR 2011-2014, ecc.), e di nuova linfa per la realizzazione delle linee di sviluppo che ho precedentemente proposto e che auspico fortemente possano incontrare condivisione e progressiva attuazione lungo il percorso AVA già avviato dall’Agenzia [captatio benevolentiae n. 7].

Selezionato n. 13 – Maria Luisa Meneghetti [CV, elaborato]
C’avrei un’idea per migliorare il ranking internazionale – Eureka!

È stato ampiamente osservato che, nei settori in cui la metodologia di valutazione utilizzata è stata quella della peer review, i giudizi dei valutatori su un singolo prodotto della ricerca sono risultati non di rado in contrasto, o addirittura in forte contrasto, gli uni con gli altri, e che spesso le motivazioni di tali giudizi sono apparse scarse o assenti [ciò che è stato veramente ampiamente osservato è la maggiore severità dei giudizi peer rispetto alla valutazione automatica attraverso gli indici bibliometrici]. La possibilità, ventilata per la nuova VQR, di passare da quattro a cinque livelli di punteggio potrebbe già contribuire a ridurre i contrasti più evidenti, [in che modo?] ma sarebbe opportuno, da un lato, rendere obbligatoria un’articolata motivazione del punteggio assegnato (non meno di 300 caratteri), e, dall’altro, consentire all’autore del prodotto valutato, in caso di punteggio inferiore ai primi due livelli, la possibilità di controargomentare [la VQR è una valutazione delle strutture, quanto tempo occorrerebbe per un processo di questo tipo?]

Quanto ai risultati della precedente VQR, e soprattutto alla loro utilizzabilità per uno scopo cruciale, ossia la ripartizione di quel 13% del FFO 2013 destinato a finalità premiali, sembra ormai piuttosto chiaro che i pur abbondanti dati raccolti soffrono di una certa mancanza di omogeneità, non solo in ragione delle diverse metodologie di valutazione applicate (peer review, bibliometria, sistema misto), ma anche in ragione delle “sensibilità statistiche” con cui le diverse aree hanno analizzato il campione (ad esempio, alcune aree non indicano il numero complessivo dei soggetti valutati, altre non riportano il dato numerico dei prodotti mancanti e non valutabili, ecc.) [o forse perché le diverse aree hanno comportamenti diversi quanto a scelta delle sedi di pubblicazione, frequenza di pubblicazione, lingua utilizzata, modalità di citazione… ?]

Prendendo spunto da alcune piattaforme già esistenti, quali JStore [sic, corretto e JStor] (http://www.jstor.org/) e – per le riviste pubblicate in Francia – Persée (http://www.persee.fr/), sarebbe quanto mai utile ideare un portale istituzionale in grado di raccogliere gli articoli pubblicati in Italia nelle riviste di alta qualità scientifica (a partire, ma solo a partire, da quelle classificate come di fascia A). …. È utile precisare che, mentre JStore [sic, ancora] è uno strumento a pagamento (dato che nasce da iniziativa privata), Persée è totalmente gratuito in quanto gestito dal Ministère de l’Enseignement supérieur et de la Recherche. Credo che uno strumento di questo tipo possa garantire una migliore informazione sulla ricerca effettuata in Italia nell’ambito dei settori non bibliometrici, e quindi contribuire a migliorare la posizione dei nostri Atenei nei ranking internazionali.[gli strumenti citati sono retrospettivi e per motivi di copyright non comprendono la ricerca attuale. Più che evocare queste banche dati si potrebbe pensare alla pubblicazione online magari ad accesso aperto ?]

Selezionato n. 14 – Paolo Miccoli [CV, elaborato] direttivo ANVUR
Implementare senza infingimenti – Coincidenze

NOTA: per una comparazione visuale, tra l’elaborato e altri documenti si rimanda all’apposito post: Il Direttivo ANVUR si rinnova: con alcune curiose coincidenze.

Il suo elevato h-Index testimonia un impegno in tale settore che perdura tuttora […] [evidentemente il selezionato non conosce le proprietà dell’h-index. Uno dei limiti documentati dell’h-index è la sua incapacità di testimoniare la continuità della produzione scientifica. Per costruzione l’indice cresce con il numero di citazioni anche se il ricercatore non scrive più nulla da tempo. Se un ricercatore ha scritto 100 articoli fino ad un certo anno e poi smette completamente di scrivere, se i suoi lavori continuano ad essere citati il suo h-index continua a crescere (fino ad un massimo di 100]

Nel volume edito dalla stessa Fondazione [Fondazione AREA (Approaching Research Education Activities)], “Venere allo specchio”, di cui ha personalmente scritto l’Introduzione [!!!], si affronta il tema complesso dei rapporti fra valutazione, accountability e processi organizzativi all’interno degli Atenei. [la comprovata competenza in fatto di vautazione si evince dal fatto che il selezionato ha scritto una introduzione di ben tre pagine ad un volume da lui edito e pubblicato dalla fondazione di cui è il presidente. Non risulta che né il volume né l’introduzione abbiano avuto risonanza nella comunità accademica, per esempio in termini di citazioni su Google Scholar. La stessa fondazione ha pubblicato un altro volume sulla valutazione, a cura del selezionato, che contiene saggi di Andrea Bonaccorsi, membro uscente del direttivo ANVUR, e di Andrea Graziosi, vice presidente di ANVUR]. Non può infatti sfuggire che gli aspetti più importanti del percorso riformatore delle pubbliche amministrazioni precedano di un anno la legge 240/2010; nel d.lgs 150/2009 si introduce il tema della valutazione come poi, quasi in una ideale e coerente continuità di tipo legislativo, verrà sviluppato o meglio, per usare le parole di Antonio Naddeo [captatio benevolentiae? Naddeo è capo di gabinetto del dipartimento per gli affari regionali della Presidenza del consiglio dei ministri  dalla prefazione [una pagina e mezzo] allo stesso volume [vedi sopra] declinato e finalizzato per le Università nella legge 240/2010” dell’anno successivo.

In effetti il concetto di valutazione dei risultati e quello di garanzia della qualità sono divenuti riferimenti obbligati per i processi di riforma dei sistemi universitari, anche come necessario contrappeso dell’autonomia riconosciuta agli atenei. Nell’ambito delle attività di valutazione, pur nella molteplicità dei metodi proposti e sperimentati, largo spazio è stato assunto dai tentativi di misurazione di aspetti specifici dei prodotti e dei servizi erogati. [il testo in rosso è contenuto anche a p. 4 di Minelli E., Rebora G., Turri M. “Valutare o misurare i risultati? Il caso dell’università“, Liuc Papers 165, marzo 2005]

Come premessa indispensabile, a riguardo degli atenei, bisogna ricordare il rapporto conflittuale esistente tra l’autonomia universitaria e l’introduzione di logiche manageriali provenienti dall’esterno. È pacifico, infatti, che il tanto atteso riconoscimento dell’autonomia ad opera della Legge 168/1989 ha costituito per anni il limite invalicabile per qualsiasi sistema di controllo esterno delle performance. [il testo in rosso è contenuto anche in D’Archivio, E., “La riforma Brunetta e la realtà dell’università“, Altalex, 17/12/2010] 

Una delibera della CiViT però esprime con chiarezza il dettato secondo cui le Università sono comunque destinatarie della nuova disciplina contenuta nel decreto legislativo n. 150/2009 in materia di contrattazione collettiva e sono, quindi, chiamate a svolgere, “seppure in piena autonomia e con modalità organizzative proprie”, procedure di valutazione delle strutture e del personale al fine di una valutazione, organizzazione e misurazione dei risultati nel proprio ambito. Anzi, la delibera conclude con l’auspicio che “la celere definizione delle modalità di raccordo con l’attività affidata all’Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR), non appena sia adottato il Regolamento sulla struttura ed il funzionamento dell’Agenzia e si sia insediato l’organo direttivo”. Si tratta, a ben vedere, di una fondamentale decisione che assume ulteriore rilievo dal momento che l’ANVUR è chiamata a svolgere le attività di valutazione dell’organizzazione prima svolte dalla Commissione di Valutazione. [il testo in rosso è contenuto anche in D’Archivio, E., “La riforma Brunetta e la realtà dell’università“, Altalex, 17/12/2010] 

In particolare l’art.60 comma 2 della Legge 98/2013 (conversione d.l. 69/2013) stabilisce che “all’articolo 13, comma 12 del decreto legislativo 27 ottobre 2009, n. 150, è aggiunto il seguente periodo: Il sistema di valutazione delle attività amministrative delle università e degli enti di ricerca di cui al Capo I del decreto legislativo 31 dicembre 2009, n. 213, è svolto dall’Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR) nel rispetto dei principi generali di cui all’articolo 3 e in conformità ai poteri di indirizzo della Commissione di cui al comma 5″. [il testo in rosso è contenuto anche nella slide n. 2 di un documento presentato da Andrea Bonaccorsi all’università di Torino il 20 ottobre 2014].

Quando i risultati così acquisiti sono collegati a processi formali che influiscono sull’allocazione delle risorse, oppure a forme di ranking che posizionano in modo differenziato le diverse università in classifiche che vengono portate a conoscenza del pubblico, si comprende quale sia l’impegno e la delicatezza dei processi valutativi. [il testo in rosso è contenuto anche a p. 6 di Minelli E., Rebora G., Turri M. “Valutare o misurare i risultati? Il caso dell’università“, Liuc Papers 165, marzo 2005]

Non mancano criticità in questi processi, uno [sic] fra tutti la scarsa utilità di una performance organizzativa riferita alla sola componente tecnico-amministrativa, senza il coinvolgimento delle missioni istituzionali di università ed enti di ricerca. Ulteriore criticità risiede anche nella difficoltà di applicazione delle procedure già vigente [sic] alla realtà specifica di università ed enti. Fra i provvedimenti da ipotizzare in futuro per migliorare il quadro indicato, a prescindere da aspetti meramente tecnici quali la unificazione e riprogrammazione delle date di redazione da consegnare ad ANAC ed ANVUR, massima importanza dovrebbe avere il legame organico ed esplicito del ciclo della performance con la programmazione strategica delle università e degli enti di ricerca (definizione degli obiettivi strategici e operativi) e con i documenti di bilancio (aggancio tra obiettivi e piani d azione/risorse), senza tralasciare l’inserimento nel sistema degli obiettivi delle attività istituzionali e dei rispettivi processi di valutazione: Ricerca (VQR) e Didattica (AVA). [il testo in rosso è contenuto anche nella slide n. 5 e 9 di un documento presentato da Andrea Bonaccorsi all’università di Torino il 20 ottobre 2014].

Quanto questa apparente dicotomia fra autonomia universitaria e valutazione da parte dell’Agenzia abbia potuto favorire un clima di non piena collaborazione, là dove [sic] le Università tendono naturalmente a celare debolezze [?] enfatizzando punti di forza, è forse troppo presto per capirlo, considerando quanto l’intero processo sia appena [?] iniziato.

Pare utile però ricordare che gli studi di dottorato si collocano in quell’area dell’insegnamento universitario dove necessariamente didattica e ricerca si fondono in una combinazione in cui lo studio di alto livello e la conduzione di un progetto di ricerca non sono più nettamente scindibili ma anzi formano un tutt’uno [il testo in rosso è contenuto anche in un articolo di Paolo Bisogno contenuto nel volume Cesaratto S., Avveduto S., Brandi M.C., Stirati A (a cura di). Il brutto anatroccolo. Il dottorato di ricerca in Italia fra università, ricerca e mercato del lavoro, Franco Angeli, Milano, 1994 (come risulta dalla citazione di pagina 4 del Rapporto di valutazione sui dottorati di ricerca di Milano Bicocca)

Lo studente di dottorato studiando raggiunge nuovi gradi di conoscenza ma al tempo stesso attraverso il lavoro scientifico che svolge per la preparazione della tesi è chiamato in prima persona a contribuire al progresso del sapere teorico e pratico essenziale [sic].

A proposito di quest’ ultima, molto sinteticamente, si ritiene che possano essere implementati i seguenti aspetti:… 3. La formazione sempre più adeguata di valutatori che, nell’ambito dei diversi settori scientifico disciplinari, siano in grado d’interpretare correttamente questa cultura della valutazione compiuta [sic] seguendo il sistema AVA .

Lo stimolo dell’ANVUR in questo settore merita di essere non solo appoggiato ma implementato senza infingimenti: disattivare un Corso di Dottorato che non raggiunge i criteri stabiliti, se da un lato non stravolge le politiche di un Ateneo, dall’altro manda un segnale importante concernente l’impegno in un settore dell’alta formazione spesso abbastanza trascurato in passato [sic].

Il progetto di ricerca su cui insiste il Corso dovrebbe essere ben individuato adoperandosi a che esso sia valuatato [sic] nella reale fattibilità e nella realizzazione all’interno di una struttura che da un lato sia precisamente nota e dall’altro dia garanzie di adeguatezza operativa.

Per finire ancora in tema di risorse da allocare [questione ovviamente di pertinenza del ministro, e non del Consiglio direttivo di ANVUR; in tutto l’elaborato emerge una certa confusione fra la parte tecnica che è affidata all’agenzia e quella decisionale che è invece ambito del Ministero]:  come ottemperare alla raccomandazione, che già il MIUR formulava nelle linee guida emanate nel 2008, quindi ben prima dell’introduzione dell’accreditamento ANVUR?