Gli oltre 100 Istituti del CNR sono stati recentemente sottoposti a valutazione su iniziativa dell’ente al fine di verificare la corrispondenza tra la missione originaria e le attuali linee di ricerca, di misurare la qualità dei risultati scientifici nel panorama internazionale, di identificare le prospettive in termini gestionali e strategici, di identificare i punti di forma e di debolezza del sistema e le modalità per affrontarli.
La valutazione è stata eseguita nel periodo aprile 2009 – marzo 2010 da un Panel generale, composto da 16 eminenti scienziati italiani, e da 26 Panel tematici, composti da 156 scienziati (di cui 60 stranieri o italiani operanti all’estero) nominati dal presidente dell’ente. Si è trattato dunque di una valutazione promossa autonomamente dall’ente finalizzata a mostrare l’output che esso fornisce alla comunità scientifica e al paese in generale, ed a mettere a disposizione della sua dirigenza elementi per adeguare la propria strategia al contesto nazionale e internazionale.
L’esercizio è iniziato con la compilazione, da parte dei direttori degli Istituti, di un questionario in cui venivano richieste informazioni per il periodo 2003-2007 relativamente a:
– personale;
– numero di pubblicazioni (tipologia, citazioni, collaborazioni);
– capacità di promuovere e disseminare i risultati della ricerca;
– diritti di proprietà intellettuale (brevetti e copyright);
– attività didattica e scambi scientifici;
– partecipazione in progetti scientifici e finanziamenti da fonti esterne;
– gestione delle infrastrutture.
Le informazioni contenute nel questionario, integrate da una relazione del direttore sulla missione e sui i principali risultati ottenuti nel quinquennio di riferimento, sono state la base conoscitiva su cui si è basata la visita “in loco” dei Panel: ciascun Istituto ha ricevuto due o tre visite, a seconda della differenziazione tematica delle attività svolte. L’approccio dunque è stato una combinazione di un’analisi “a tavolino” e di una visita “in loco”.
Uno degli obiettivi dell’esercizio era quello di assegnare un punteggio comparativo a ciascun Istituto. A tal fine il Panel generale ha messo a punto un algoritmo secondo il quale il punteggio totale attribuito alla combinazione dei sette indicatori era compreso tra 0 e 100.
I punteggi massimi per ciascun indicatore e per ciascuno dei 26 Panel sono riportati nella Tabella 2.
Tabella 2 – Punteggi massimi assegnabili dai Panel tematici
Il Grafico 1 mostra i punteggi medi attribuiti dai 26 Panel di area per la Sezione A (Scienze, medicina, ingegneria ed economia) (il valore medio della Sezione è pari a 73) e per la Sezione B (Scienze umane, sociali e giuridiche) (il valore medio della Sezione è pari a 82). I numeri tra parentesi rappresentano il numero di Istituti valutati dal corrispondente Panel di area.
Si riscontra altresì un’elevata variabilità nei punteggi assegnati agli Istituti dai Panel che variano da 12 a 99 (ciascun Istituto ha ricevuto da due a tre visite da parte di Panel diversi); la distribuzione delle valutazioni da parte dei Panel è la seguente:
– punteggio da 75-100: 103;
– punteggio 50-74: 112;
– punteggio 25-49: 16;
– punteggio 0-24: 1.
Grafico 1 – Punteggi medi attribuiti dai 26 Panel tematici
Nel rapporto finale il Panel generale ha concluso che “La valutazione numerica media degli Istituti effettuata dai Panel per le varie aree scientifiche, tecnologiche e culturali è risultata molto buona: un punteggio di circa 73/100 per gli Istituti della Sezione A e di 82/100 per quelli della Sezione B. La differenza tra questi due valori non è significativa[2], essendo associata principalmente a differenze nel metro di valutazione.” Questa valutazione è confermata da una recente analisi della partecipazione delle istituzioni europee di ricerca al VII Programma quadro[3].
Il Panel generale ha notato inoltre che “alcuni Istituti svolgono ricerche di ‘top level’ internazionale e hanno una buona capacità di attrazione di fondi esterni”; al contempo ha rilevato difficoltà legate alla difficile situazione finanziaria ed alle ripercussioni negative che i finanziamenti esterni possono avere sulla ricerca libera e di lungo periodo, nonché l’elevata età media dei ricercatori[4]. Ha inoltre sottolineato che “i 107 Istituti del CNR si caratterizzano per l’estrema eterogeneità che essi esprimono a vari livelli. Essi sono rivolti allo studio di discipline assai diverse per metodo e oggetto di indagine, esigenze di supporto tecnologico, multidisciplinarità, necessità di risorse finanziarie, applicabilità ed impatto socio-economico. L’eterogeneità disciplinare è di per sé causa di difficoltà nella conduzione di una valutazione comparativa, in quanto essa presuppone l’esistenza di un sistema di indicatori quantificabili comune a tutti gli Istituti che ne renda direttamente commensurabili i meriti scientifici, gestionali e finanziari”. Da un punto di vista metodologico il Panel generale ha raccomandato che in future valutazioni sarà opportuno tenere separate le due aree scientifiche, le scienze naturali e dell’ingegneria da un lato e le scienze umane e sociali dall’altro: l’esperienza ha infatti mostrato che le differenze di obiettivi, metodologie di ricerca, criteri di valutazione suggeriscono di esaminarle separatamente.
Nella Tabella 3 sono riportate, in sintesi, alcune caratteristiche della valutazione autonoma degli Istituti da parte del CNR e della VQR.
Tabella 3 – Le caratteristiche delle valutazioni degli Istituti del CNR e della VQR
La sintesi del confronto tra la valutazione autonoma degli Istituti del CNR ed la VQR illustrata nella Tabella 3 può essere così compendiata:
– la valutazione degli Istituti del CNR (VCNR) è stata eseguita attraverso l’analisi “a tavolino” e la visita “in loco”, mentre la VQR prevede soltanto l’analisi “a tavolino”;
– il VCNR ha calcolato per ciascun Istituto un indice sintetico, mentre tale esito non è attualmente previsto nelle linee guida della VQR ;
– il VNCR ha coperto le varie attività degli Istituti – scientifiche, tecnologiche, finanziarie, didattiche – con sette indicatori; la VQR di fatto copre le stesse attività con 15 indicatori, rendendo il processo di valutazione da un lato più dettagliato e, dall’altro, più oneroso e complesso per chi è chiamato a fornire i dati non sempre facilmente disponibili e di qualità adeguata;
– il VCNR si è basato sulla valutazione delle informazioni istituzionali fornite dai direttori degli istituti mentre la VQR si avvarrà di informazioni su cui il CIVR non ha alcun controllo di qualità: per quanto riguarda la “produzione” scientifica i dati saranno forniti dai singoli ricercatori, mentre gli altri dati verranno forniti dall’istituzione. Ciò potrebbe essere fonte di distorsioni dovute a comportamenti non collaborativi da parte dei ricercatori (ciò vale per il primo indicatore relativo ai “prodotti”) e opportunistici da parte degli enti da valutare (ciò vale per i rimanenti 14 indicatori);
– il metodo utilizzato del VCRN prevedeva punteggi pari a 0 o positivi, mentre la VQR prevede punteggi sia negativi che positivi;
– la decisione di richiedere 6 “prodotti” ai ricercatori degli enti di ricerca e 3 ai docenti universitari è destinata a penalizzare gli enti di ricerca;
C’è da notare inoltre che:
– i 450 membri dei Gruppi di Esperti di Valutazione (GEV) della VQR sono in larghissima maggioranza docenti universitari ed è verosimile che tali saranno le centinaia di revisori indipendenti chiamati a valutare i “prodotti”; l’esperienza delle visite “in loco” del VCNR ha mostrato come tali esperti trovino non di rado difficoltà a comprendere la complessa realtà degli enti pubblici di ricerca;
– il VCNR ha avuto come unità di analisi gli Istituti che sono risultati molto diversi, mentre la VQR analizzerà gli enti di ricerca nel loro complesso non cogliendo le rilevanti differenze presenti al loro interno[5]. Al contrario, per le università verranno valutati i Dipartimenti;
– le regole del gioco del VCNR erano chiare sin dall’inizio, mentre quelle della VQR sono ancora incomplete.
Ampliando lo spettro dell’analisi ai dieci[6] enti di ricerca vigilati dal MIUR, il Grafico 2 mostra come si tratti di entità completamente diverse tra loro in termini di risorse umane e finanziarie; in termini di bilancio il rapporto tra il minimo ed il massimo è 1 a 1.245. Le differenze riguardano inoltre le missioni, le organizzazioni, le strutture. Per esempio il CNR è presente in quasi tutte le aree tecnico-scientifiche e gestisce una rete di Istituti di ricerca; l’Agenzia Spaziale Italiana non svolge attività di ricerca ma di promozione e finanziamento nel campo aerospaziale; l’Istituto Nazionale di Studi Germanici e il Centro Studi “Enrico Fermi” promuovono studi e ricerche svolte all’esterno; l’Area Scientifica e Tecnologica di Trieste è attiva nel trasferimento tecnologico e sostiene attività di ricerca svolta dalle aziende.
Grafico 2 – Risorse umane e finanziarie dei 10 enti di ricerca vigilati dal MIUR
(Giorgio Sirilli L’ANVUR e l’Agenzia delle entrate)
