Segnaliamo ai lettori la dichiarazione del CUN relativa al documento ANVUR «La valutazione dei corsi di dottorato». Il CUN ritiene “opportuno un urgente e profondo ripensamento della valutazione dei Dottorati di ricerca, su basi più solide delle attuali e più condivisibili a livello nazionale e internazionale”, segnalando che la “criticità di carattere strutturale delle procedure di valutazione dei Corsi di dottorato potrebbero avere ricadute negative e durature sull’intero sistema universitario e sulla stessa capacità di innovazione, competitività e crescita dell’intero Sistema Paese”. Infine, “ritiene che occorra fare chiara distinzione tra il momento della valutazione e quello delle scelte politiche sulla ripartizione dei fondi, la cui responsabilità è comunque del Ministro”.


Oggetto: DICHIARAZIONE CUN «DOTTORATO E VALUTAZIONE»

Adunanza del 22 ottobre 2014

Il CONSIGLIO UNIVERSITARIO NAZIONALE

presa visione del documento «La valutazione dei corsi di dottorato» approvato dal Consiglio Direttivo dell’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR) il 24 luglio 2014;
considerato che si tratta di un documento preliminare, aperto alla discussione nelle comunità scientifiche e accademiche secondo l’apprezzabile linea di trasparenza e condivisione dell’ANVUR;

FORMULA LE SEGUENTI OSSERVAZIONI

Il dottorato riveste un ruolo cruciale nell’Alta formazione e nella Ricerca e costituisce uno dei fattori più importanti della qualità e delle politiche strategiche delle Università. Queste, una volta accreditate, devono godere di un’ampia e adeguata autonomia di sperimentazione organizzativa e culturale, soprattutto per i dottorati attivati in campi di ricerca interdisciplinari e innovativi. Per tali ragioni, la valutazione della qualità di un dottorato è un compito che deve essere affrontato senza schematismi e che, al pari di qualsiasi altra valutazione, deve fondarsi su obiettivi, metodi e criteri adeguati e coerenti alla natura e alla complessità dell’oggetto stesso che deve essere valutato.

Il documento ANVUR in esame fa riferimento al D.M. 8 febbraio 2013, n. 45 in merito al quale questo Consesso aveva sollevato, a suo tempo e in più riprese, rilievi e perplessità che rivelano oggi la loro fondatezza. Il D.M. n.45/2013 induce innanzi tutto confusione tra il piano della valutazione e quello del finanziamento; destinato a stabilire le modalità di accreditamento, il decreto non fa alcun cenno alla valutazione, se non nel titolo del suo articolo 13 ove si stabiliscono i criteri per il finanziamento ministeriale.
Il Consiglio Universitario Nazionale ritiene che concepire la valutazione nei termini di uno strumento esclusivamente parametrico per la ripartizione di un finanziamento significhi appiattire e snaturare il suo significato. Valutare un dottorato vuol dire analizzarne struttura, processi ed esiti, al fine di fornire indicazioni utili al miglioramento della sua qualità. Nella valutazione sono irrinunciabili il momento dell’autovalutazione – come del resto stabilito dalle norme vigenti (Art.3, c.1, lett. b) del d.P.R n.76/2010) – e il parere di gruppi di esperti a seguito di visite in loco.
Di tutto ciò non vi è traccia nel D.M n.45/2013 e nel documento dell’ ANVUR, dove viene indicato un diverso obiettivo della valutazione: «Il Consiglio Direttivo dell’ANVUR ritiene che, nel caso della valutazione dei Corsi di dottorato, l’esercizio di valutazione debba tradursi in una graduatoria [… ]dei Corsi di dottorato all’interno di aree scientifiche omogenee».
Il CUN ritiene invece che il risultato della valutazione non debba ridursi in nessun caso a una mera graduatoria, intrinsecamente di scarsa significatività e che, oltretutto, potrebbe indurre sterili competizioni tra le strutture e comportamenti opportunistici. Il risultato della valutazione deve al contrario fornire una molteplicità di elementi cui l’Autorità di governo, quale sede di indirizzo politico e amministrativo, possa attingere in funzione degli obiettivi che intende raggiungere.
Preoccupa inoltre, come ripetutamente segnalato da questo Consesso, un modello centrato su aree scientifiche omogenee. Il Consiglio Universitario Nazionale intende sottolineare i possibili effetti negativi sui campi interdisciplinari o multidisciplinari di un’insistita compartimentazione disciplinare della ricerca. L’effetto sul dottorato potrebbe essere ancora peggiore perché costringerebbe le Università a ridurre l’offerta a standardizzati dottorati disciplinari per non subire una valutazione negativa.
Il pericolo della standardizzazione compare anche in relazione a un altro punto del documento dell’ANVUR dove è scritto che, mediante la valutazione, si intende «garantire un quadro di riferimento omogeneo in grado di indirizzare il comportamento dei docenti e, soprattutto, dei giovani ricercatori alla qualità nella scelta di cosa, come e dove pubblicare i risultati della propria ricerca».
Il Consiglio Universitario Nazionale ribadisce invece, con assoluta fermezza, che la scelta di «cosa, come e dove pubblicare» sia una libertà accademica fondamentale, che non deve mai essere coartata, nemmeno in forma implicita. Ben venga una seria valutazione ex post dei risultati di una ricerca, ma senza cadere nella tentazione di un indirizzamento ex ante di temi e modalità.
Da un punto di vista più tecnico, il CUN nota negativamente che i parametri per la ripartizione del finanziamento sono sistematicamente ricondotti a un modello lineare, in cui cioè la qualità globale di un dottorato corrisponderebbe alla somma delle qualità di suoi singoli aspetti e delle singole persone senza tener conto dei possibili effetti sinergici che caratterizzano i migliori dottorati.
Per altri aspetti di tipo tecnico si rinvia all’Allegato.
In conclusione, il Consiglio Universitario Nazionale ritiene opportuno un urgente e profondo ripensamento della valutazione dei Dottorati di ricerca, su basi più solide delle attuali e più condivisibili a livello nazionale e internazionale.
Il Consiglio Universitario Nazionale ribadisce l’importanza della valutazione come strumento conoscitivo per il governo del sistema e ritiene che occorra fare chiara distinzione tra il momento della valutazione e quello delle scelte politiche sulla ripartizione dei fondi, la cui responsabilità è comunque del Ministro.
Segnala con preoccupazione che le citate criticità di carattere strutturale delle procedure di valutazione dei Corsi di dottorato potrebbero avere ricadute negative e durature sull’intero sistema universitario e sulla stessa capacità di innovazione, competitività e crescita dell’intero Sistema Paese.

DICHIARAZIONE CUN «DOTTORATO E VALUTAZIONE»- Allegato

  1. Nel par. 4.1.2 si dice che gli indicatori RVQR e XVQR saranno calcolati per ogni componente di collegio sulla base dei 3 o 6 propri «migliori prodotti», indipendentemente dal fatto che, nella VQR, siano stati presentati dalla struttura a nome dell’interessato o a nome di un altro coautore. Al di là della significatività effettiva dell’esercizio VQR 2004-2010 quando applicato alla valutazione dei collegi di dottorato, si esprime il dubbio circa la possibilità di ottenere dalle banche dati per ogni docente universitario l’elenco dei 3 «migliori prodotti» tenuto conto delle difformità esistenti tra le banche dati usate dai vari atenei e delle modalità di registrazione dei coautori di ogni articolo, in assenza dell’anagrafe nazionale dei prodotti della ricerca.
  2. Nel par. 4.1.2 si dice che l’indicatore A è calcolato in base al numero di mediane (da 0 a 3) dell’ASN superate dal singolo componente del collegio. Al di là dell’uso delle mediane dell’ASN la cui effettiva esattezza e significatività ha ricevuto molte critiche, non si comprende perché si scelga di usare un indicatore che non può essere calcolato per tutti i membri del collegio.
  3. Nel par. 4.1.2 s’introduce una complicata definizione dell’indicatore IAS che dipende dall’ Impact Factor delle riviste dove sono stati pubblicati gli articoli dei membri del collegio. Mentre è chiaro, al di là della sua effettiva significatività, come si calcola questo indicatore quando tutti i componenti del collegio fanno parte della stessa area disciplinare, andrebbe invece chiarito come si debba procedere quando i componenti del collegio afferiscono ad aree disciplinari diverse tra di loro, prestando molta attenzione alle problematiche dei dottorati interdisciplinari. Inoltre, nella definizione di IAS sarebbe probabilmente opportuno sostituire la «somma» con la «media pesata», come del resto è più correttamente fatto nel calcolo dell’analogo indicatore IV7 (par. 4.7.2).
  4. Nel calcolo dell’indicatore finale IV1 (par. 4.1.3) andrebbe chiarito che cosa si intenda dicendo che i pesi «potranno dipendere dal grado di copertura degli indicatori VQR e I sul collegio» in quanto la scelta dei pesi non è affatto ininfluente per il valore di IV1 e questo indicatore rappresenta il 30% dell’indicatore complessivo di dottorato (par. 5.1).
  5. Nel calcolo dell’indicatore finale IV2 (par. 4.2.2) sul grado di internazionalizzazione manca un qualunque riferimento alla capacità attrattiva del dottorato verso professori e ricercatori stranieri.
  6. Nel calcolo dell’indicatore ICA(par. 4.4.2) si suggerisce una riconsiderazione della significatività del numero dei candidati alle procedure di ammissione al dottorato, trattandosi di un dato difficilmente reperibile, molto instabile e sul quale possono pesare comportamenti opportunistici.
  7. Nel calcolo dell’indicatore IV7 (par. 4.7) si segnala che il riferimento normativo è errato, non esistendo riferimento a tale criterio, pur ragionevole e condivisibile, nel c. 2, lett.d) dell’articolo 13, D.M. n.45/2013. Si segnala inoltre che fra i prodotti considerati nella valutazione dell’attività scientifica dei dottorandi e dei dottori di ricerca sono considerati, per le aree bibliometriche, gli articoli pubblicati in riviste indicizzate su ISI e Scopus, mentre per le aree non bibliometriche gli articoli pubblicati su riviste di fascia A e le monografie. Al di là della significatività di un indicatore che dipende dalle medie fra gli Impact Factor delle riviste, non si vede la ragione per escludere dal computo altri prodotti della ricerca dei dottorandi.
  8. Si osserva infine che, nella costruzione dell’indicatore complessivo di dottorato, manca un’analisi motivata della scelta dei pesi attribuiti ai diversi indicatori e ai diversi sub-indicatori.
Send to Kindle

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.