La Valutazione nella Conoscenza, per la qualità e i diritti

 Introduzione Francesco Sinopoli , Segretario nazionale FLC CGIL, al convegno “La Valutazione nella Conoscenza, per la qualità e i diritti” Roma, 16 e 17 ottobre 2013 Consiglio Nazionale delle Ricerche

Più che un sistema nazionale di valutazione è la valutazione – ideologicamente orientata – di un sistema al collasso. Serve cambiare strada.  Per un lungo periodo siamo stati subissati quasi settimanalmente da editoriali di importanti quotidiani in cui veniva spiegato che la spesa per l’istruzione era troppo alta ed inefficiente, che avevamo troppe università, troppi corsi di studio, che la ricerca italiana aveva un ruolo marginale nel panorama mondiale.  Sulla base di questi postulati si invitava il legislatore a non aumentare la spesa in istruzione e ricerca ma, piuttosto, a ridurre gli sprechi, costruire una governance più efficiente, salvare solo le eccellenze da premiare con le risorse sottratte alle sacche inefficienti del sistema. Queste proposte, sostenute da firme blasonate (spesso accademici provenienti dalla medesima scuola economica o che hanno adottato il metro di quella scuola nelle loro discipline come il prof. Ichino – tra i primi ad avvicinarsi alle tesi della misurazione economica del diritto) hanno trovato fertile terreno in una fetta ampia della pubblica opinione impressionata dai ripetuti scandali che riguardavano soprattutto i concorsi universitari.

Nel 2008, dopo anni in cui il nostro paese non aveva certo brillato nel panorama mondiale per attenzione a ricerca e istruzione, trovata la sponda nel decisore politico, l’idea si è trasformata in realtà: taglio immediato delle già scarse risorse alla scuola, al fondo ordinario degli atenei e degli enti di ricerca, blocco del reclutamento e inizio di una nuova cura di riformismo dimagrante. Viene pianificata cioè la riduzione drastica della dimensione reale del sistema pubblico di istruzione e ricerca, della presenza di enti e università sul territorio, della capacità di assolvere alla missione istituzionale che è stata loro affidata innanzitutto dalla Costituzione.  Nello stesso periodo viene realizzata l’agenzia nazionale di valutazione. Non è un passaggio da poco. Sulla carta avrebbe dovuto rappresentare il completamento del progetto riformatore degli anni ’90 sancito dalla 168 del 1989, consistente in un sistema della ricerca e dell’università autonomo, autogovernato e responsabile quindi valutato rispetto agli obiettivi. Nei fatti è giunta a certificare la fine di quel modello.  Dopo la legge 240/10 dopo la legge 213/09 dopo i commissariamenti ripetuti di vari enti si è infatti affermato un neocentralismo commissariale.

Guardiamo nel 2013, quindi 5 faticosissimi anni dopo, a che punto è la notte. Secondo i dati dell’ultimo rapporto Ocse education at glance di Giugno scorso il nostro paese è solo trentunesimo su 36 nazioni per quanto riguarda la spesa per educazione terziaria rapportata al PIL. Durante la crisi (quindi tra il 2008 e oggi), mentre in 24 nazioni su 31 la spesa complessiva in formazione cresceva in rapporto al PIL, in Italia la spesa non solo è diminuita ma ha subito il calo più pesante di tutte le nazioni considerate ad eccezione dell’Estonia.  La spesa cumulativa per studente universitario è inferiore alla media OCSE e ci vede sedicesimi su 25 nazioni considerate; il corpo docente dell’università è diminuito del 22% negli ultimi dieci anni. I corsi della medesima percentuale. Ma ci sono altri freddi numeri che meritano di essere ricordati.  Gli iscritti delle nostre università al primo anno sono diminuiti del 17%: erano 338.482 nell’anno accademico 2003/04 si sono ridotti a 280.  144 nel 2012/13.

In compenso le tasse di iscrizione sono aumentate in media del 50% , passando da 632 a 948 euro per anno e diventando tra le più alte in Europa. Da ultimo abbiamo solo il 21% di laureati nella fascia 25-34 anni, occupando il 34-esimo post o su 37 nazioni; rimangono stabili da alcuni anni. Il problema è che continuano ad aumentare di numero in tutto il mondo. In Corea del Sud hanno raggiunto il 64% nel 2011. Erano il 37% nell’anno 2000 e meno del 10% nel 1980. In Giappone sono il 5 9%, in Canada e in Russia sono il 57%, in Gran Bretagna il 47%, in Francia il 43%.  Questi dati da soli sarebbero sufficienti a smentire le affermazioni dei citati editorialisti. In Italia ci sono troppi laureati ?  Falso. Ce ne sono troppo pochi.

L’università italiana costa troppo? Falso: per l’OCSE che la spesa procapite per studente in Italia ogni anno è di 9.580 dollari. Negli Stati Uniti è 25.576 dollari; In Canada, 22.475; in Svizzera, 21.893; in Svezia, 19.  562; in Giappone, 16.015; in Gran Bretagna, 15.860; in Francia, 15.067 Le università italiane sono troppe? Falso. In Italia abbiamo 61 università statali, 6 scuole superiori e 26 università non statali.  Totale: 93 istituti di educazione terziaria. Di cui le prime strutture che andrebbero discusse sono le università telematiche o buona parte di esse non certo le università pubbliche. In Gran Bretagna ne hanno 141, in Germania quasi 400, in Francia oltre 500, negli Stati Uniti 4.314.  Siamo marginali nel panorama della ricerca? Falso.  Tra i paesi Ocse siamo settimi per produzione scientifica ma penultimi come investimenti. Anzi mentre in Germania la spesa in ricerca e sviluppo è aumentata dal 2009 del 15 %, da noi è diminuita di quasi il 20%.

Siamo incapaci di prendere risorse dai progetti europei. Falso. I dati sui finanziamenti europei ottenuti dai ricercatori italiani, così come da uno studio della Società Italiana di Statistica sul programma quadro FP7 (2007-2013), dicono il contrario. Combinando i dati sui finanziamenti e i dati sul Prodotto Interno Lordo con dati Eurostat sul numero di ricercatori, l’Italia fra i paesi dove i ricercatori sono maggiormente esigui risulta al secondo posto in Europa dopo l’Olanda per capacità di attirare i finanziamenti e nella stessa posizione se si considerano i finanziamenti in rapporto al PIL.  E’ in questo quadro che si colloca l’implementazione dell’agenzia nazionale di valutazione della ricerca e dell’università che a luglio ha presentato gli esiti del primo esercizio di vqr 2004 2010. La mole di informazioni e di dati è imponente, sono ben 186.000 i prodotti presi in considerazione. Tantissimi i rapporti redatti dai gruppi di esperti di valutazione che insieme alle numerose tabelle, propongono un quadro molto dettagliato. Peccato che il lavoro di 2 anni, costa to non poco in termini di impegno e di risorse sia stato ridotto a scoop giornalistico e ad una sequela di inutili pagelline.  Alla luce del contesto in cui era maturata l’istituzione dell’Agenzia, delle scelte adottate per costruire i parametri di valutazione, delle dichiarazioni di alcuni componenti del direttivo Anvur, che questi sarebbero stati gli esiti di un approccio “ideologico” alla valutazione lo avevamo previsto e annunciato pubblicamente.

Non a caso la metodologia utilizzata per stilare questi elenchi non trova riscontro in alcun paese al mondo dove esiste una analoga agenzia o un analogo esercizio di valutazione come ad esempio quello inglese. Con la scelta di produrre classifiche si è “scoperto l’acqua calda”, premiando strutture più ricche e collocate in contesti territoriali ed economici in cui è più facile attrarre risorse. Si è stilato inutili e fuorvianti elenchi di strutture più o meno cattive che non tengono adeguatamente conto di dimensioni, caratteristiche territoriali e storiche, specificità e articolazioni interne.  Lo scopo della valutazione, che avrebbe dovuto essere complementare ad autonomia ed autogoverno del sistema, viene in tal modo travisato nelle finalità diventando strumento di natura punitiva che rischia solo di scatenare una competizione infruttuosa, se non dannosa, tra i nostri atenei e enti di ricerca nonché la giustificazione per un’ulteriore riduzione della spesa.  In sostanza legittimando i tagli già effettuati e avallando le scellerate politiche che ci hanno condotto alla situazione descritta all’inizio .

Pensare che parte consistente del finanziamento alle Università, e agli Enti di Ricerca vigilati dal Miur possa essere ripartita tramite una lettura distorta e ingenua dei prodotti della ricerca è cosa allarmante. Indipendentemente dalla quantità di dati raccolti si tratta comunque di decidere come valutare i risultati e rifiutare parte consistente della metodologia adottata dall’Anvur.  E’ ormai chiaro, ad esempio, come la distribuzione statistica dei dati, se utilizzata per stilare classifiche, finisce per favorire tendenzialmente le strutture più piccole su quelle più grandi falsando ogni lista di più o meno meritevoli.  Del resto, in questi due anni sono stati rilevati più volte i limiti di questo esercizio di valutazione ma purtroppo sistematicamente ignorati dall’Anvur che ha bollato qualunque critica come frutto del solito conservatorismo.  Il caso specifico degli enti di ricerca è stato e rimane emblematico per gli errori commessi. La scelta di obbligare i ricercatori degli enti a presentare 6 prodotti anziché 3 come se l’attività di trasferimento tecnologico, servizio, monitoraggio e in generale tutta la terza missione degli enti fosse secondaria era ed è palesemente sbagliata. Ma non solo. La stessa comparazione tra strutture così diverse è semplicemente puerile oltre che scientificamente falsa.

Come si potrebbe dubitare che un ente nato nel 2003 come l’IIT (fondazione di diritto privato ideata mantenuta dal ministero del tesoro) – quindi con 0 attività in quell’anno – abbia nel tempo, ed in corrispondenza di un enorme finanziamento che non ha equivalenti nelle strutture statali, un indice di miglioramento clamoroso rispetto a una grande struttura come il CNR, che risente di una ventennale politica di definanziamento? Oppure che utilizzare ingenti risorse per finanziare progetti di ricerca esterni all’ente con firme pesanti, come nel caso dell’ IIT incrementa qualunque indice citazionale? La domanda vera da porsi è, semmai, per quale ragione un ente nato per produrre innovazione tecnologica finanzia la ricerca pura. Forse perché è l’unico modo di incrementare il proprio peso nella comunità scientifica a fronte di una debolezza plateale di risultati della missione principale per cui è nato?  In sostanza gli indicatori utilizzati sono, per gli enti valutati, platealmente parziali e non funzionali ad un’efficace analisi comparativa delle performance.  Il modello di lettura di questi dati elaborato dall’ANVUR, come da noi spesso denunciato, si è dimostrato, quindi, alla prova dei fatti dannoso e inadeguato, in ritardo rispetto ai sistemi di valutazione adottati dagli altri paesi occidentali e inutilmente arrogante nello stilare punteggi per strutture talora spesso incomparabili.  Inoltre la stessa impostazione della VQR è stata condizionata come si diceva, fin dall’inizio, da un approccio ideologico. In generale gli indici bibliometrici possono diventare strumento per legittimare scelte arbitrarie o, peggio, operazioni finalizzate a marginalizzare fino ad annullarlo il pensiero reputato dissonante rispetto alla visione  prevalente, che ha però ottenuto un superficiale “bollino di qualità”.

La metodologia dell’Anvur ha aggravato ancora di più questo rischio attraverso la scelta ampiamente censurabile di classificare le riviste condizionando così il giudizio sugli articoli a prescindere dal merito.  Il punto è quale fine si è dato a questo esercizio di valutazione. A nostro avviso l’obiettivo della valutazione di sistema se limitata alla ricerca, e ciò è ovviamente opinabile essendo l’output sociale delle istituzioni universitarie e degli epr molto più complesso, dovrebbe essere quello di identificare le zone di completa inefficienza ed intervenire con strumenti adeguati per produrre un miglioramento al fine di elevare il livello medio della qualità della nostra produzione scientifica (in questo caso ma lo stesso si potrebbe dire per l’offerta didattica). A l contrario l’attuale impostazione della attività di valutazione è quasi esclusivamente punitiva. L’idea malata che il nostro paese non possa più permettersi questo sistema così costoso (!) di università ed enti di ricerca è stata ed è alla base delle scelte operate fino ad oggi dall’Anvur.  È necessario cambiare radicalmente questa prospettiva. La valutazione delle strutture può fornire dei risultati più stabili e rappresentativi se per aree omogenee. La valutazione di una intera università o di un ente è invece molto più problematica, perché, oltre ad avere a che fare con una struttura di grandi dimensioni e dunque con una grande inerzia (è difficile cambiarla in tempi brevi), mette insieme settori diversi che possono funzionare in maniera diametralmente differente in quanto caratterizzati da grande eterogeneità qualitativa.

Per queste ovvie ragioni si deve rifiutare l’idea delle classifiche che sono naturalmente fuorvianti.  Soprattutto però se l’obiettivo deve essere quello di incentivare il miglioramento della qualità, quindi recuperando le strutture che hanno evidenziato criticità alla luce del processo valutativo, è impensabile che ciò avvenga sottraendo ancora fondi dal finanziamento ordinario. Si devono poi necessariamente considerare le condizioni di partenza che sono profondamente condizionate nel no stro paese più che altrove dalla collocazione geografica. Non è un caso che Ruberti avesse fortemente voluto un investimento negli atenei e nei laboratori di ricerca del mezzogiorno nella convinzione dell’importanza di queste strutture per il rilancio delle terre meridionali. La valutazione degli Enti e delle Università diventa operativa oggi dopo decenni di tagli continuativi dei finanziamenti a tali soggetti, finanziamenti che negli ultimi tempi sono decisamente insufficienti a portare avanti un alto livello di ricerca, in pratica non sono state attribuite le risorse economiche ed umane adeguate e necessarie per una buona ricerca e poi ci si chiede se la ricerca è buona.

Oggi, a prescindere dal metodo di valutazione, rappresenta un grave errore ripartire quote distratte dai fondi ordinari con modalità premiali. Come dimostra l’esperienza dell’Università la ripartizione premiale in regime di risorse scarse ha costretto i l Miur ad introdurre ripetuti correttivi oltre a praticare una inaccettabile attività di finanziamento sottobanco attraverso la pratica degli accordi di programma. Analogamente la scelta, da noi fortemente contestata, di utilizzare parte delle risorse del fondo ordinario degli Epr per finanziare i progetti bandiera e altri progetti ancora da indivi duare, deve essere oggetto di un ripensamento immediato perché sta già producendo effetti simili. Si taglia per poi trovare il modo di rifinanziare almeno in parte gli stessi enti che hanno subito il maggiore “drenaggio”.  Inoltre nell’ottica di una valutazione di sistema se davvero il trasferimento tecnologico deve pesare non solo a parole è indispensabile allargare le competenze Anvur anche ai soggetti privati che beneficiano di risorse pubbliche.

È poi mancata la consapevolezza del carattere necessariamente sperimentale di queste valutazioni: non avevamo esperienza in Italia, quelle straniere suggerivano cautele e invece con questo modello si assegnano agli esiti delle valutazioni troppe rilevanze e conseguenze. Ancora, le preoccupazioni sull’utilizzo di dati che hanno un valore solo se aggregati e non possono essere la base di giudizi individuali si stanno  rivelando fondate dopo le minacce neanche troppo velate di alcuni atenei e istituti di ricerca.  Da ultimo sono state attribuite a questa agenzia competenze di ogni tipo come se fosse la “risposta” a tutte le eventuali inefficienze del sistema universitario e di ricerca del nostro paese. Sappiamo perfettamente che non è così. Il fallimento annunciato della legge 150 e certificato dallo spostamento all ‘Aran delle funzioni che erano della Civit, di cui sopravvive una impalcatura barocca quanto inutile, ne è l’ulteriore conferma. Lo stesso, purtroppo, possiamo dire delle procedure di ASN (abilitazione scientifica nazionale) che stanno dimostrando tutta la loro fragilità (oltre a vari vizi d’origine). I sistemi complessi richiedono risposte articolate, non esiste la panacea di ogni male.

Se l’assegnazione del Nobel avesse seguito i criter i bibliometrici Anvur il professor Higgs sarebbe stato escluso dalla competizione in partenza. Dovrebbe bastare questo per rimettere in discussione il lavoro dell’Agenzia e intraprendere una strada nuova.  Si tratta in sostanza di un dispositivo governamentale della valutazione, ispirato al new public management di stampo tatcheriano con qualche anno di ritardo , una logica di governo di stampo commerciale e aziendalistica peraltro discussa nella sua efficacia anche lì dove è nata. La dimensione cooperativa contrapposta all’esercizio del potere unilaterale come opportunità di crescita delle stesse aziende è tema noto da circa mezzo secolo.  Vogliamo ribadire con chiarezza alcuni concetti: è inaccettabile e illegittimo l’utilizzo dei risultati individuali. Peraltro la vqr è pensata per una valutazione di sistema tanto che si metteva un limite al numero di prodotti scientifici. Noi ci batteremo in tutte le sedi.

Crediamo servano cambiamenti rapidi nel modello adottato.  Chiarire che il decisore politico ha la responsabilità delle scelta di indirizzo del sistema sulla base di obiettivi coerenti con il dettato costituzionale e si avvale di indicatori che risultano anche dalla valutazione.  Separare la valutazione della ricerca dalla valutazione e accreditamento dei corsi di studio. Costruire sezioni formare da esperti di valutazione individuati su proposta delle Università e degli EPR e di nomina elettiva.  Le esperienze in corso della VQR e delle abilitazioni stanno mostrando che gli strumenti di valutazione di cui si è dotata ANVUR s ono del tutto inadeguati, perché realizzati senza il rispetto degli standard minimi adottati a livello internazionale. I risultati della VQR sono viziati da errori di impostazione tali da compromettere del tutto la credibilità dei risultati finali del costoso esercizio. Il modello VQR nella sua configurazione attuale va immediatamente abbandonato. Il database delle pubblicazioni realizzato per le abilitazioni solo difficilmente potrà essere utilizzato come anagrafe nazionale della ricerca. Per non parlare delle incredibili liste di «riviste scientifiche» relative alle aree non bibliometriche .

È urgente rendere operativa l’anagrafe nazionale dei prodotti della ricerca e procedere attraverso una classificazione secondo standard definiti dalla comunità scientifica analoghi a quelli internazionali.  Una lista di riviste scientifiche con criteri anche essi costruiti attraverso una ampia consultazione delle comunità scientifiche. La lista è realizzata e manutenuta dal MIUR.  Impostare un processo dinamico di ricognizione dell ‘attività scientifica con indagini dalla cadenza almeno biennale. Reale verifica ex post dei risultati dei progetti di ricerca finanziati dal MIUR anche e soprattutto quelli di cui beneficiano le aziende private e in generale di tutte le risorse pubbliche destinate a R&S Rivedere una nuova composizione dei Gev integrandoli con i ricercatori degli Enti di ricerca.  Modifica dei parametri abbandonando la scelta della classificazione delle riviste.  Pesare realmente la missione degli enti di ricerca rappresentata anche dall’attività di servizio e dal trasferimento tecnologico.  Ovviamente non attribuire risorse sulla base della vqr che dovrà essere considerata come sperimentale.

Andando oltre le necessarie proposte tecniche serve però costruire una risposta di natura direi culturale che metta in discussione i presupposti ideologici di ciò che è accaduto nei sistemi di istruzione e ricerca negli ultimi anni. Il termine “meritocrazia” fu coniato dal sociologo inglese laburista Young agli inizi degli anni ’50 nel libro di fantasociologia “L’origine della meritocrazia” in cui, dopo averne fatto l’elogio evidenziava tutti i rischi di una società in cui ricchezza e potere vengono distribuiti sulla base dei risultati scolastici valorizzando solo presunte eccellenze e aumentando la disuguaglianza. Oggi lo stesso termine incarna l’opposto di ciò che voleva denunciare Young, intellettuale e militante molto lontano dal blairismo, un totem del pensiero neoliberale corroborato dalla ricerca scientifica mainstream in campo economico. Ciò che, a nostro avviso, si deve mettere radicalmente in discussione è proprio l’idea competitiva e mercatista che si cela dietro questo approccio. Non solo perché contrasta con il dettato costituzionale che affida a istruzione e ricerca una funzione sociale ben diversa ma anche perché ha già fallito.

La crescita delle capacità o capability come direbbe la Nussbaum e delle potenzialità di un paese, ha la cooperazione come presupposto principale e rappresenta la via principale per affrontare la grande emergenza oggi: la disuguaglianza registrata dall’aumento esponenziale dell’indice di Gini in tutti i paesi e in particolare nel nostro come ci ricorda da ultimo Sennet. Noi dobbiamo porci l’obiettivo di rimettere l’uguaglianza al centro dei processi sociali per questo serve anche un sistema di valutazione che indichi al decisore politico quali strumenti rafforzare per raggiungere questo obiettivo.  Quindi crediamo si debba imboccare una strada diversa e per questo continueremo a batterci.  La prima verifica delle intenzioni di questo governo è assolutamente negativa. La legge finanziaria si annuncia sui versanti dell’istruzione, in particolare ricerca e università, assolutamente in linea con le scelte scellerate degli ultimi anni. Serve riprendere la parola e servono iniziative di mobilitazione che modifichino i rapporti di
forza. Faremo come sempre la nostra parte.