La VQR 2004-2010 è un processo complesso che coinvolge molti soggetti: l’Agenzia Nazionale di Valutazione, i panel (che comprendono una parte di peer stranieri), gli atenei (nella loro parte amministrativa e di ricerca), gli editori (con tutte le contraddizioni legate alla gestione dei diritti), le società scientifiche (come tramite con le comunità scientifiche disciplinari). Si è letto molto di metodi, di criteri, di costi, di errori e di correzioni, di rating, di ranking, di come fanno o non fanno in altri paesi. Si è parlato invece molto meno di gestione delle informazioni.
L’ANVUR ha sempre dichiarato in tutte le sedi la propria assoluta trasparenza, nelle scelte, nei metodi adottati. Ha pubblicato documenti metodologici e di indirizzo, ma di un soggetto non si è proprio mai parlato. Eppure è un soggetto fondamentale. Colui che fornisce lo strumento informativo che l’Agenzia Nazionale e i Panel utilizzeranno per valutare le strutture e per distribuire poi di conseguenza i fondi agli atenei. Un soggetto che dovrebbe dare garanzie totali di sicurezza rispetto al trattamento delle informazioni, di stabilità della banca dati utilizzata, di linearità nei rapporti con i dati grezzi delle banche dati bibliometriche, e soprattutto di controllo e pulizia di questi dati.
Il decreto della VQR e il bando individuano nel CINECA questo soggetto (uniche due volte in cui lo troviamo nominato in questi mesi). Ma sulla base informativa le notizie sono poche o nulle. Può darsi che non abbia cercato bene, ma in questo caso, unico rispetto a tutti gli altri soggetti coinvolti, non vengono citati criteri di ammissibilità, o requisiti minimi, o standard internazionali, o modelli e best practices, o criteri di qualità a cui si deve rispondere, qui non ci sono (stati) bandi a cui partecipare, né il sistema è stato sottoposto ad una valutazione ex ante (speriamo almeno in quella ex post).
La procedura pensata per gestire l’enorme flusso di dati amministrativi da parte delle strutture e il caricamento dei dati bibliografici e dei PDF da parte dei singoli autori è estremamente instabile e inaffidabile, le linee guida imprecise o inesistenti o incomplete, gli esiti dei caricamenti incerti, pezzi di procedura si stanno completando ora, in contemporanea col caricamento dei dati da parte di strutture e autori.
Cito solo alcuni dei problemi che ci si trova ad affrontare e rispetto ai quali devo dire docenti e ricercatori hanno dimostrato una pazienza (o rassegnazione?) davvero esemplari:
1) Firefox funziona a volte sì a volte no, meglio l’uso di Chrome o di Explorer, mentre per il mondo Mac non è stato possibile avere alcuna informazione
2) Il bottone di invio prodotti non compare se non sono state inserite le informazioni aggiuntive (almeno quelle obbligatorie), ma purtroppo non viene segnalato all’autore che tali informazioni devono essere inserite
3) Non sempre si riesce a caricare il PDF, alcune volte cambiando browser si riesce, alcuni docenti stanno cercando da giorni di caricare i loro file
4) Sempre sul PDF, spesso appaiono messaggi di errore che indicano un file superiore ai 10MB ma di fatto i file hanno un peso molto inferiore
5) Non è possibile capire se il PDF è stato caricato o meno, se non attraverso una procedura barocca di cui per fortuna ci sono state inviate 2 (due) pagine di istruzioni
6) L’indicizzazione in SCOPUS e in ISI è random. In momenti diversi può non apparire nulla, o solo una banca dati o solo l’altra o entrambe. Cineca riconosce il problema e suggerisce di procedere comunque alla presentazione dei prodotti anche in mancanza dell'identificazione, che potrà essere aggiunta in seguito (sic!).
7) Le Subject category di ISI in alcuni casi sembrano non essere quelle dell’anno in cui l’articolo è stato pubblicato, ma quelle (diverse) del 2010, il che può creare una grande differenza per quanto riguarda le soglie
8) Scopus attribuisce spesso SC sbagliate, ma non dà agli autori la possibilità di fare modifiche per cui o una pubblicazione viene riconosciuta con l’errore (e magari valutata secondo le soglie sbagliate) o non viene riconosciuta perdendo il dato bibliometrico.
9) Sui titoli che cambiano e per i quali nei primi due anni dal cambio di titolo l’IF va calcolato a mano, nella procedura non compare nulla.
10) Il bottone chiedi PDF all’editore resta per il momento un’incognita. Pare che per gli atenei UGOV finché la procedura non è conclusa le mail non vengano inviate, quindi c’è il rischio che le richieste agli editori partano molto tardi.
Si provi a immaginare per ciascuno di questi punti il flusso di mail che arriva agli uffici degli atenei responsabili della gestione delle informazioni locali, costretti a fare assistenza ad una procedura che non conoscono, che non governano, che palesemente non è stata testata, a cui non hanno accesso e che subiscono, come tutti i docenti, perché ormai questo è (da anni) e questo ci dobbiamo tenere. Ci chiediamo se anche il sistema informativo e chi lo gestisce saranno sottoposti a valutazione alla fine, se delle informazioni raccolte ci si potrà davvero fidare, se si riusciranno a limitare i danni di tanta incompetenza e soprattutto se gli atenei, che sono gli utenti di questo inefficiente servizio, avranno la possibilità di dare il proprio giudizio.
Concludo con la frase di un docente che si è molto impegnato per riuscire ad arrivare in fondo:
“La cosa che più mi disturba è che si verrà valutati utilizzando uno strumento che funziona male, ed il fatto che funzioni male per tutta Italia è di scarsa consolazione…”
Mi sembra un buon sunto della situazione
Condivido in pieno le preoccupazioni di Paola Galimberti.
Non piu’ tardi di venerdi’ scorso, inviavo questa mail (espungo punti non salienti) ai dirigenti e al vice rettore interessato nel mio Ateneo (Torino).
“vi segnalo la mia ENORME difficolta’ a lavorare su un software come UGOV che, nonostante specifiche richieste,
– NON mi permette di vedere se c’e’ un pdf allegato. Il caso
di stamattina e’ lampante: come faccio a dirgli se il suo pdf va bene se NON posso vederlo?
– non mi permette di inserire i pdf (cosa che piu’ di un docent esasperato mi chiedeva di fare)
– funziona a frame e sulla NUOVA release e’ ancora piu’ macchinoso perche’obbliga a chiudere la pagina in uso facendo perdere un sacco di tempo
-nei Segnalibri a molti docenti ha perso l’ordine dei prodotti
– aveva una scheda informazioni aggiuntive che nei primi tempi ballava sullo schermo, con un elenco editori random (poi aggiustato dopo molto tempo)
– crea problemi a molti per l’inserimento del pdf anche sotto la soglia di 10 M indicata; a volte, anche dopo aver inserito, non mostra il file
– aveva uno stop a 500 caratteri in un campo scheda info aggiuntive NON segnalato agli utenti: se ne’e accorto per caso un docente di informatica che continuava a inserire un testo senza ritrovarlo anche dopo aver salvato
– ci ha enormemente penalizzato nell’invio della richiesta di pdf agli editori [procedura di per se’ barocca concordata fra AIE- Ess Editori e ANVUR SENZA tener conto delle esigenze reali della VQR]: per chi ha UGOV, e’ previsto il flag Chiedi il pdf all’editore dalla scheda info aggiuntive, mentre per tutti gli altri atenei esiste un bottone che dal prodotto, riconoscnedo l’ISBN, genera direttamente la richiesta all’editore. Il problema, gravissimo, e’ che NON SI RIUSCIVA a fare il
ribaltamento dei dati locali dalla scheda info aggiuntive in UGOV sulla procedura centrale: le richieste di pdf inserite il 19 marzo sono partite in realta’ la settimana scorsa. E’ evidente che data la mole di richieste che perverra’ agli editori, questo ci penalizza rispetto agli Atenei che
non utilizzano UGOV e che quindi potevano procedere alla richiesta secondo la modalita’ piu’ snella del bottone.
In sostanza, direi che l’80% del tempo per telefonata (e sono state centinaia in questi giorni) sono dedicate a sorbire le lamentele dei docenti sul malfunzionamento sia di UGOV in particolare sia dell’intera procedura VQR (sempre CINECA).
Chi piu’ chi meno rassegnato (ma qualcuno anche giustamente inviperito per tutto il tempo che deve perdere) all’idea che tanto UGOV non funziona, ormai lo conoscono.
La cosa piu’ sconcertante e’ la nuova release, [..]
Ora, ricordando proprio le vostre prese di posizione durante le riunioni tecniche dello scorso anno, vi chiedo: avete mai provato a usare UGOV anche solo per dieci minuti?
Perche’ , nel caso, confido che la vostra posizione sarebbe stata del tutto differente.
Trattandosi di un esercizio di valutazione, poi, ho consigliato di conservare anche le mail di lamentele pervenute, perche’ sara’ il caso anche di valutare ex post il supporto informatico fornito da CINECA. Gia’le procedure ANVUR sono complesse e bizzose, i software CINECA ce la mettono tutta per renderle piu’ time-consuming portando all’esasperazione sia i docenti che devono inserire i dati sia noi che li dobbiamo supportare (e prenderci le telefonate stizzose).
Tutto questo per non parlare del lato puramente biblioteconomico della questione: vi accenno solo al fatto che sarebbe bastato inserire una mail di warning ogni volta che un utente forza il sistema per creare un doppio, per avere un catalogo un po’ piu’ pulito ed evitare anche indebiti “raddoppiamenti” di prodotti che hanno generato assegnazioni scorrette di unteggio NUV. O del ripetuto rifituto di CINECA a gestire un authority
file di editori, che genera per es. n forme varianti del nome Giuffrè. Vi assicuro che lavorare (giorno e notte) in queste condizioni e’ estremamnete difficile, oltre che frustrante per noi e per i docenti.
Avete mai condotto una indagine di customer satisfaction sugli utenti di UGOV? sarebbe utile e interessante.”
Fine citazione.
La sintonia con quanto scritto da Paola mi sembra evidente, e preoccupante.
Come si fa a fidarsi degli esiti di una valutazione nazionale che si basa su un supporto informatico di questo tipo?
Le considerazioni di Paola Galimberti, puntuali come sempre, pongono un problema per gli storici (temo che sia i politici sia i tecnici non siano interessati alla questione), ovvero: perché mai un procedimento cui si attribuisce tanta importanza viene avviato senza un’adeguata preparazione? Va bene che le procedure si perfezionano attraverso trial and error, ma se ci sono troppi errors c’è da chiedersi che senso abbia la procedura.
Risposta di primo acchito: degli errors agli ideologi importa poco. Verranno messi sotto il tappeto.
Risposta interessante. Che sollecita la mia curiosità. Perché per gli ideologi è così importante portare a termine il processo di valutazione?
C’è in giro parecchia gente che ritiene che “l’importante è fare una qualche valutazione, e si otterranno comunque effetti positivi”.
La mia prof di Filosofia del Liceo diceva che per la gita scolastica basterebbe mettere la classe in un bus e spintonarlo un po’ avanti e indietro da fuori per far credere di essere in viaggio, e soddisfare la gente.
Ecco, siamo quasi su quel livello.
Mario, che domande spinose..sei socratico stasera.
La risposta di Renzo mi fa venire in mente un altro quesito per gli storici. C’è qualcuno che sia in grado di dimostrare, o almeno di argomentare plausibilmente, che senza procedure di valutazione non si può assicurare la qualità della ricerca e dell’insegnamento? Pensando all’esperienza britannica, che è l’unica che conosco di prima mano, avrei dei dubbi. A occhio e croce non mi sembra che la lista delle migliori università britanniche è mutata in modo significativo da quando è stato istituito il RAE (se mi sbaglio, come disse qualcuno, correggetemi). Aggiungerei che le attuali eccellenze sono state costruite prima che il RAE fosse concepito e realizzato. Se le cose stanno in questo modo, si potrebbe sostenere che lo scopo principale delle procedure di valutazione non è assicurare una migliore qualità della ricerca e dell’insegnamento (anche se, ovviamente, un esercizio di valutazione ben fatto può fornire informazioni utili a tali scopi, chi potrebbe negarlo?). In effetti, il RAE viene concepito da un governo che vuole denunciare il patto tacito che giustificava i privilegi e la quota di risorse pubbliche destinate alle università britanniche, contrastando allo stesso tempo l’influenza sociale e politica di certi ambienti accademici. In ultima analisi, la questione delle procedure di valutazione andrebbe considerata anche in una prospettiva politica, come uno degli elementi che possono giustificare una diversa distribuzione delle risorse pubbliche da destinare all’università. Di questo da noi si parla poco. Superficialità o malafede?
Buona domanda.
La **valutazione della ricerca tramite RAE** che si fa in UK è un tipo di valutazione che ha delle proprie giustificazioni e un proprio ruolo in un sistema molto diverso dal nostro per vari motivi, anche se si tende a dimenticarlo o a eludere i problemi difficili ma solo apparentemente astratti.
Che sia una cosa molto particolare, lo dimostra il fatto che i principali processi di “valutazione istituzionale della ricerca” che si fanno in altri Paesi similari, come l’Olanda e i Paesi Scandinavi NON sono “di tipo RAE”, cioè non sono congegnati come valutazioni comparative (le quali bisogna saperle fare… essendo molto più delicate). Eppure questi Paesi se la passano bene, in fatto di qualità della ricerca. A loro basta avere una ***buona*** valutazione dei progetti di ricerca ed una connessa distribuzione di risorse, per “valorizzare il merito” e selezionare i buoni gruppi di ricerca, a quanto pare.
Concordo sull’opportunità di formulare domande come questa, e promuovere un dibattito pubblico “analitico” in tale forma… :-)
Come in altre occasioni ho trovato nel libro di Donald Gillies How Should Research be Organised? http://www.collegepublications.co.uk/other/?00009 un’analisi completa e dalla giusta prospettiva non solo dei supposti effetti della RAE, ma del problema più concettuale della valutazione, inquadrato da un punto di vista storico ed epistemologico. Gillies scrive ad esempio :”The very costly RAE is designed to improve the research output of the UK, but could it be having the opposite effect? Could it be making the research output of the UK worse instead of better?” La sua risposta è chiaramente che la RAE ha avuto effetti nefasti sul pluralismo e la libertà della ricerca e che non c’è nessun indicatore che indichi che le cose siano migliorate. Le classifiche delle università lasciamole stare che contengono degli indici che riguardano la qualità della ricerca ma anche altri che non c’entrano nulla né con la ricerca né con i possibili effetti in positivo o in negativo della RAE.
Credo che la risposta alla domanda di Mario (Qual era lo scopo del sistema RAE?) sia: entrambe le cose. Indubbiamente il RAE nasce in un contesto nel quale i governi tory vogliono che ogni penny speso dallo stato sia controllato e giustificato. Ma fin dall’inizio insistono anche sul miglioramento della qualità attraverso la competizione e la distribuzione più efficiente delle risorse. Questo secondo aspetto diventa più importante coi governi laburisti, che comunque non abbandonano la logica della misurazione e del controllo della qualità dei servizi pubblici. Ma finalmente si accompagna a una logica di scambio, del tipo: voi vi fate valutare, noi vi diamo più soldi. (Si noti che i laburisti tradizionalmente sono culturalmente ostili all’università, a differenza forse della sinistra in italia, per il pregiudizio secondo il quale la working class paga l’università alla middle class; Blair dunque ha rotto in parte con la tradizione.)
E’ tutta retorica? Cioè, la ricerca è migliorata davvero? Non ho dati quantitativi, ma alcune osservazioni impressionistiche: Mario ha ragione che aggregando i dati ai primi 5-6 posti si trovano sempre i soliti noti (Oxbridge, LSE, UCL, Imperial, + Manchester, bristol, e qualche altra università). Ma all’interno delle varie discipline ci sono state maggiori oscillazioni, e lo stesso si verifica a livello aggregato se scendiamo nelle graduatorie. La mia università, per esempio, era scesa alla fine degli anni ’90 intorno al 40esimo posto, e ci sono volute due RAE per tornare nella top 20. Questo ha comportato cambiamenti radicali, di cultura del lavoro e di personale.
Altra evidenza impressionistica: oggi nessuna università britannica nelle prime 30 si può permettere di avere personale “research inactive”, mentre negli anni ’80-90 c’erano sacche notevoli (anche 20-30%).
Si noti anche che la definizione delle categorie per classificare le pubblicazioni sono diventati sempre più stringenti e ambiziosi – fino a essere quasi ridicoli nell’ultima RAE. Forse è solo un caso di voti inflazionati, ma credo che rifletta anche il fatto che nelle ultime RAE la ricerca di basso livello era quasi inesistente.
Chi ci ha guadagnato? I giovani, che hanno avuto opportunità di carriera straordinarie (e carriera veloce) rispetto alla generazione precedente, quando i governi Blair hanno aperto i rubinetti. Anche noi dovremmo fare tesoro di questa storia e farci trovare pronti quando passeranno gli anni di vacche magre – si spera presto. Personalmente dubito che si tornerà ai bei tempi del “dateci i soldi e fidatevi che ne faremo buon uso…”
Chi ha perso? I più anziani, che sono stati spesso pre-pensionati, e chi non faceva ricerca in generale. Con le norme attuali in Italia c’è poco da temere, ma chissà che cosa ci riserva il futuro… (E lo dico con preoccupazione, visto che sto scambiando un basso stipendio giovanile con la promessa di un alto stipendio senile!)
Una risposta al volo. Le considerazioni di Francesco Guala mostrano che un esercizio di valutazione può fornire informazioni utili per migliorare la ricerca e/o l’insegnamento. Forse non è necessario, magari nel lungo periodo potrebbe essere controproducente (come sostiene Gillies), ma qualche effetto benefico nel breve o nel medio periodo potrebbe darlo (almeno nella misura in cui lo svecchiamento del corpo docente, o l’eliminazione di coloro che non sono attivi nella ricerca siano delle cose positive, che è qualcosa di cui si potrebbe discutere, e se volete possiamo farlo). A questo punto uno storico si chiederebbe perché in Italia nel 2011, con tanti problemi da affrontare e con una riforma dell’università già piuttosto complessa in fase di attuazione, si decise di mettere su in fretta e furia un esercizio di valutazione della cui affidabilità c’erano buone ragioni di dubitare? Perché tanta fretta di fare la valutazione senza stare troppo a sottilizzare sui modi?
Gillies non sostiene che in genere una valutazione sia controproducente ma che il RAE lo sia stata. Il suo libro immagina un’altra maniera di organizzare un sistema di valutazione, diverso dal RAE (e ovviamente dall’ANVUR!).
Si, certo. La tua precisazione mi fa venire in mente che è piuttosto interessante confrontare esercizi come il RAE o il nostro VQR con il metodo di valutazione proposto da Gillies. Da un lato abbiamo una macchina burocratica centralizzata, e dall’altro un’attività che potrebbe essere sostanzialmente autogestita, e che probabilmente sarebbe poco costosa. Perché ipotesi tipo quella di Gillies non sono nemmeno state prese in considerazione nel nostro paese, visto che quando la nostra valutazione è stata concepita la letteratura critica sul RAE, incluso il libro di Gillies, era già largamente nota? Più in generale, perché nessuno ha sentito il bisogno di interpellare sui sistemi di valutazione storici e filosofi della scienza, che qualche competenza rilevante dovrebbero averla sul tema della qualità della ricerca? (La qualità dell’insegnamento è un problema leggermente diverso, ma anche in quel caso un’occhiata alla letteratura storica o filosofica rilevante non avrebbe fatto male). Più ci penso, e più mi convinco che il modo in cui si è realizzata la valutazione nel nostro paese ha molto a che fare con un’agenda politica. Che però, mi pare, non è mai stata discussa apertamente in parlamento.
Scusate se ritorno a questioni meno filosofiche. Credo però che anche nel migliore sistema, anche con le metodologie più avanzate, se nella raccolta dei dati ci sono tutti i problemi elencati sopra e anche sotto (il cambiamento dell’ordine di priorità ad es. o la mancata individuazione in ISI o Scopus che rende il prodotto limitato di default, o una subject category che non risponde a quella dell’anno in cui l’articolo è stato pubblicato, o la mancata inclusione del pdf perché l’autore non se ne è reso conto)a dati cattivi corrisponderà un cattivo esito. Comunque.
Mi inserisco nella discussione sulla valenza del processo di valutazione per dire una banalità: qualsiasi strumento deve essere disegnato in maniera coerente rispetto agli obiettivi che deve raggiungere.
Per quel poco che so, l’obiettivo descritto in tema di sistema di valutazione dalla legge Gelmini (art.5) è la “valorizzazione della qualità e dell’efficienza delle università e conseguente introduzione di meccanismi premiali nella distribuzione delle risorse pubbliche sulla base di criteri definiti ex ante.”
Tralasciando in questa sede la discussione sulla prescrizione legislativa di “criteri definiti ex ante” (che ho già discusso in una lettera inviata alla redazione di roars), mi sembra evidente che l’unico ruolo attribuibile alla valutazione sia di rendere possibile “l’introduzione di meccanismi premiali nella distribuzione delle risorse”.
Se questo è l’unico obiettivo della struttura di valutazione, la valutazione stessa non dovrebbe essere finalizzata a (e disegnata per) la costruzione di gerarchie, quanto piuttosto alla definizione di “soglie” (di qualità ed efficienza) nei vari ambiti (ricerca, didattica, sostenibilità finanziaria) che consentono l’accesso al premio (distribuzione di risorse).
La gerarchia ha in sé il presupposto (ideologico) del potere decisionale dell’uno sull’altro, del tutto contrario al principio di autonomia più volte sancito dal legislatore.
La gerarchia è una forma organizzativa (ed uno strumento di valutazione) che non premia la “qualità e l’efficienza” di tutti i soggetti che sono in grado di raggiungere lo standard prescritto: la gerarchia designa un elite. Poco importa se questa elite abbia raggiunto uno standard più o meno elevato e se sia più o meno ampia.
L’obiettivo del sistema gerarchico non è il miglioramento di tutti, ma il premio per pochi.
Aggiungo anche un’ulteriore stranezza informatica a quelle già elencate, che è potenzialmente molto pericolosa.
È capitato (sono a conoscenza di almeno due casi) che l’ordine di “importanza” degli prodotti scelto dall’utente si sia improvvisamente “alterato” per cause ignote. La questione è rilevante per coloro i quali, per eccesso di prudenza, abbiano inserito più segnalibri di quelli richiesti: con l’ordine random scelto dal sistema informatico e non dal ricercatore, infatti, si rischia di presentare alla valutazione i prodotti peggiori anziché quelli migliori.
Consiglio a tutti di controllare prima che sia troppo tardi!!