Tempo fa, avevamo ipotizzato questo scenario:
Vedremo candidati abilitati sventolare le loro valutazioni individuali VQR per il dipartimento nella speranza di una chiamata? E altri tacere intimiditi perché non hanno fatto “strike” (1+1+1)?
O peggio ancora, troveremo candidati “triple-one” nella VQR che faranno ricorso argomentando in tal modo contro l’eventuale mancato conseguimento dell’abilitazione?
Quanti scenari affascinanti si profilano per la valutazione all’italiana.
Nella nostra ingenuità, avevamo tralasciato un’ipotesi: ossia che gli stessi atenei avrebbero potuto chiedere ai loro docenti gli esiti della VQR.
Infatti oggi è arrivata questa lettera del Rettore della Sapienza Luigi Frati:
Cari Colleghi, l’ANVUR ha comunicato che sul sito https://loginmiur.cineca.it/ sono disponibili i risultati della valutazione dei prodotti di ricerca sottoposti alla VQR 2004/2010. Ciascun soggetto valutato che ha conferito almeno un prodotto di ricerca può prendere visione delle valutazioni conseguite da tutti i prodotti in cui compare anche come coautore, accedendo al proprio sito personale CINECA. La Sapienza ha cercato di ottimizzare il risultato complessivo attribuendo al singolo ricercatore – tra i tanti suoi lavori in collaborazione – i migliori per il risultato Sapienza, non sempre coincidenti con i migliori per il singolo ricercatore (che possono infatti essere stati attribuiti ad un coautore). Come noto un processo di valutazione esterna aiuta a migliorare la qualità di una istituzione. Ed è altrettanto noto che un processo di valutazione è comunque migliorabile, potendo confrontarsi per i settori bibliometrici con i ranking e per i non bibliometrici con valutazioni di qualità diretta. A tal proposito, al fine di effettuare un’analisi approfondita sull’efficacia del modello di allocazione dei prodotti utilizzato in Ateneo per la scelta degli stessi da sottoporre a valutazione e di evidenziare errori/criticità nella valutazione effettuata dai GEV, è opportuno che le singole valutazioni siano rese note all’Amministrazione. Nel garantirTi la massima discrezione nell’uso di questo dato e nel ribadire che i giudizi ricevuti dai prodotti nell’ambito del processo VQR non saranno utilizzati in alcun modo nella valutazione individuale, Ti chiedo di effettuare un “copia e incolla” di tutta la tabella con i giudizi che troverai sul sito personale CINECA e di inviarla come documento word al seguente indirizzo email vqr@uniroma1.it Con i migliori saluti.
Luigi Frati
A noi risultava che la VQR fosse stata pensata per valutare le strutture e non gli individui. Anzi, l’uso della VQR per valutare i singoli ricercatori era esplicitamente stigmatizzato dalla stessa ANVUR. Per averne conferma, basta consultare la presentazione del 16 luglio curata dal Coordinatore della VQR, Sergio Benedetto. La slide numero 10 non lascia adito a dubbi:
Non è difficile comprendere le ragioni. Chiedere solo tre pubblicazioni a ciascun ricercatore equivale ad effettuare una forma di campionamento (analogo a quello del RAE inglese che ne chiede quattro), che può produrre risultati sensati solo se i risultati vengono esaminati su scala aggregata. L’ANVUR ne è perfettamente consapevole e ritiene importante spiegare questa ed altre ragioni a pag. 9 della Relazione Finale VQR – Parte Prima:
Last but not least, l’ANVUR sottolinea che i risultati della VQR non possono e non devono essere utilizzati per valutare i singoli soggetti. I motivi sono molteplici, e qui ne citiamo alcuni rilevanti: la scelta dell’associazione prodotti-soggetti valutati, dettata dall’ottimizzazione del risultato di struttura e non del singolo soggetto, la richiesta di conferire solo tre prodotti di ricerca pubblicati in sette anni, che costituiscono in molti settori della scienza un’immagine della produzione complessiva dei singoli soggetti molto parziale, la non considerazione del contributo individuale al prodotto nel caso di presenza di coautori, e, infine, l’utilizzo di metodi di valutazione la cui validità dipende fortemente dalla dimensione del gruppo di ricerca cui sono applicati.
Secondo Frati, è opportuno che i dati siano resi noti per migliorare il processo di selezione dei prodotti.
Quanta fretta!
Il prossimo esercizio VQR dista ancora anni (e speriamo che la prossima volta sia fatto meglio).
Il Magnifico garantisce che i dati saranno usati con la massima discrezione e non a fini della valutazione individuale.
Ma siamo sicuri che invece non possano in qualche modo contribuire ai prossimi avanzamenti di carriera? Siamo sicuri che non si stia aprendo la porta a usi non previsti degli scores individuali?
Inoltre, scrive Frati:
Ti chiedo di effettuare un “copia e incolla” di tutta la tabella con i giudizi che troverai sul sito personale CINECA e di inviarla come documento word al seguente indirizzo email
Come si farà a verifica l’esattezza dei “copia e incolla” e l’assenza di qualche “distrazione”?
Ormai conosciamo tutti i quadratini magici. La prossima VQR non potrà essere fatta con queste regole. Con poche citazioni di cortesia si passa da C a A senza troppi problemi e si evitano le revisioni anonime sulle quali si dovrebbe invece dire qualcosa.
… forse la VQR richiede meno “cut and paste” … il CUN – parere 9 ottobre 2013 – richiama ad un utilizzo attento ed accurato dei risultati della VQR in funzione del significato specifico dei vari indicatori e dell’impianto complessivo della VQR finalizzato alla valutazione delle strutture e non dei singoli
***
https://attachment.fbsbx.com/file_download.php?id=652806668076741&eid=ASuvBFfi1HWp6ptNl4Jy6XAx0qMCjFTp4US4PwUmbC_8VrnhdM5cW6Gqfo4Vu4Dkaos&inline=1&ext=1381398066&hash=AStXQRDVnoZA8m1U
Frati strikes back! Non proprio il miglior esempio. Ho sentito di una richiesta simile anche nel mio Ateneo ma (per ora) non nel mio Dip.to. Mah…
Il problema è che la VQR valuta anche le sottostrutture (dipartimenti) e in parte i singoli (ad esempio quando propone valutazioni sull’efficacia del reclutamento), per cui l’uso dei prodotti per come sono stati sottomessi, senza considerare i legami di “coautore”, possono creare degli effetti indesiderati ed ingiusti. Ciò vale a maggior ragione per realtà come Roma, dove la sottomissione è stata giustamente decisa in modo centralizzato, in modo da massimizzare l’ottimo globale (e quindi senza spazio per gli interessi particolari dei singoli).
La richiesta a mio avviso è quindi sensata.
E’ chiaro che l’ideale sarebbe una valutazione più corretta da parte dell’ANVUR che non consideri solo (banalmente) l’associazione prodotto-autore usata nella sottomissione. Esistono studi specifici di teoria dei giochi (Fair division in allocation problems) che forniscono soluzioni utili per questo problema (in particolare sono indipendenti dall’allocazione dei prodotti).
Solo un commento sconsolato, anzi una domanda: una volta instaurato un meccanismo burocraticamente belluino e idiota come quello “voluto” dal carrozzone ANVUR (che continua a bruciare milioni in sciocchezze) non era logico aspettarsi da qualche burocrate che lo si utilizzasse a fini …congratulatori?
Il “bello” è che, gettata la pietra ormai il danno è irreversibile: chi non fornirà (con o senza copia e incolla) il proprio VQR, passerà per definizione per fesso.
E’ così, come ben sappiamo, che si aggirano le norme, la Costituzione e quant’altro.
Vedo che qualcuno attende le prossime valutazione fatte meglio…o fatte pour cause?
Attendendo le circolari di altri Magnifici, più o meno ben valutati e valutanti, auguri a tutti.
Mi pare quanto avviene a Roma confermi ulteriormente come lo studioso abbia diritto di accesso non solo agli atti della valutazione, ma anche al nome del valutatore, perché il processo valutativo mette in gioco la sua credibilità come studioso, ossia un interesse individuale, astrattamente tutelabile in sede giurisdizonale (amministrativa come, nei casi peggiori, penale, atteso che il valutatore è un pubblico ufficiale).
Concordo pienamente con teo. Fuori i nomi dei valutatori, soprattutto quelli valutati. Questa è la vera follia. Alla prossima VQR do la password del cineca al mio direttore e lascio che si arrangi lui.
A proposito: come faccio a sapere se dei miei coautori hanno inserito miei lavori nella VQR? Io non sono stato avvisato e, almeno in un caso, so il risultato.
Il mio Rettore troverà su Roars l’elenco delle pubblicazioni da me presentate e la pagellina ricevuta per la VQR. Frati si espone con l’abituale iattanza, ma mi hanno detto che gli Uffici Ricerca dei singoli Atenei hanno accesso ai dati. Insisto, non bisogna rassegnarsi a una valutazione anonima e spesso politicamente scorretta. Tutti abbiamo diritto, senza marche da bollo e simili amenità, a sapere chi ci ha giudicato e con quali motivazioni. Che Anvur e Cineca forniscano rapidamente identità e cv dei valutatori. Che, spero, siano meno scientificamente deludenti di quelli dei Gev di alcuni settori.
Condivido.
Ma, diciamocelo francamente, c’è qualcuno che pensa che ciò avverrà?
La trasparenza in questo paese è cosa di cui tutti parlano, per oscurarla meglio.
La trasparenza va chiesta in modo chiaro ed esplicito e a farlo si deve essere in tanti. Per intenderci 30000 docenti universitari almeno. Non basta ROARS anche se ROARS può promovuere un iniziativa in tal senso. Chi non vuole la trasparenza non può che essere complice di comportamenti scorretti.
Sembrerò ripetitivo, ma avete mai sentito parlare di riviste con referee anonimi? (O pubblicate tutti su Topolino?)
I valutatori devono essere anonimi perchè altrimenti sarebbero ricattabili (“se tu oggi dai un brutto voto a me, io domani do un brutto voto a te a prescindere”). Stesso motivo per cui le valutazioni degli insegnamenti universitari fatte dagli studenti sono anonime. Stesso motivo per cui il voto è segreto (mai sentito parlare di voto di scambio e di rilevamento illecito del voto?).
Domando scusa, ma evidentemente viviamo in mondi diversi:
1.- in molte riviste l’elenco dei valutatori è noto a tutti preventivamente (poi qualcuno “passa” il lavoro ad altri, ma questi sono fatti suoi). Ciò che, magari, non è noto è chi effettivamente ha valutato quel particolare lavoro, ma la responsabilità è di chi ufficialmente ne aveva il compito:
2.- nelle riviste serie (pochissime, ne convengo) il valutatore “anonimo” nel senso di 1, valuta uno scritto…anonimo. Perché se è vero che il valutatore noto è ricattabile (figuriamoci!) se conosce il valutato RICATTA LUI!!!!! (che è ciò che sta accadendo alla grande);
3.- qualunque studioso serio (talvolta ce ne sono anche tra i valutatori) almeno in molti campi umanistici, capisce chi (o di che “scuola”) è l’autore al solo leggere le prime tre righe, per anonime che siano.
E dunque siamo sempre al solito punto, evidentemente molto ostico in questo paese: la TRASPARENZA, detta anche LEALTA’. E’ vero, il rischio è il solito: cane non morde cane. Ma meglio questo che l’abuso assoluto.
La richiesta di Frati non mi sembra completamente campata in aria. La VQR ha valutato le strutture e molti atenei hanno chiesto al proprio personale strutturato di segnalare i propri prodotti, che poi sono stati selezionati da una commissione sulla base dei macchinosi criteri bibliografici di ANVUR. Pertanto, la responsabilità della scelta dei prodotti è stata assunta (o condivisa) dagli atenei. Tale operazione è stata ragionevole, dal momento che sono le strutture, e non i singoli, ad essere stati valutati nella VQR. Non è pienamente condivisibile perché, ad esempio, il conflitto di attribuzione di un prodotto di due autori A e B non afferenti allo stesso dipartimento o allo stesso settore scientifico disciplinare, ma operanti nello stesso ateneo, ha portato a scelte che, pur massimizzando la valutazione complessiva dell’ateneo, hanno potuto favorire un dipartimento o SSD a scapito dell’altro. Casi del genere sono stati numerosi.
Un altro aspetto da considerare è che le valutazioni dei singoli prodotti, essendo note solo agli autori, non hanno consentito nessun tipo di verifica ex post. Il singolo autore, avendo a disposizione un numero limitato di valutazioni (quelle dei propri prodotti) difficilmente può fare raffronti, a meno che non ne parli con i colleghi di corridoio. La struttura che ha selezionato i lavori dispone solo del dato numerico totale e quindi non potrà rendersi conto dei propri errori di valutazione. Questo discorso è tanto più sentito in atenei, come La Sapienza, in cui mi risulta che la selezione dei prodotti sia stata affidata a società esterne che hanno per questo avuto dei compensi. Dal dato cumulativo non è facile capire se il lavoro di selezione dei prodotti (da un insieme più ampio) è stato fatto a regola d’arte o poteva essere migliorato, a parità di prodotti disponibili.
Infine, c’è un altro problema, ed è un caso di cui il sottoscritto ha conoscenza diretta. A parte gli errori di valutazione dei GEV (che possono capitare, ma sono purtroppo insindacabili), possono verificarsi errori di calcolo e/o trascrizione dei dati. Faccio un esempio: un lavoro prodotto valutato eccellente (punteggio 1) dal GEV e come trascritto sulla pagina CINECA del docente , viene conteggiato come non valutabile (punteggio -1) da AUNVUR ai fini delle classifiche. In questo caso il -1 non penalizza il singolo docente, che ne è inconsapevole, perché sulla sua scheda legge il dato esatto (1). Tuttavia penalizza i suoi gruppi di appartenenza (Dipartimento, SSD, ateneo). Si tratta di errori sulla prima o seconda cifra decimale, ma che portano a scorrere molti posti nelle classifiche. Errori del genere si possono rilevare solo avendo a disposizione i dati delle valutazioni dei singoli.
Lo spirito della VQR era quello di valutare le strutture. A tale scopo ciascuno di noi ha messo a disposizione un paniere di prodotti da cui scegliere. E’ giusto che le strutture che hanno effettuato la scelta possano valutarne le conseguenze, non solo sul dato cumulativo, ma anche sul singolo prodotto. Inoltre è giusto che eventuali errori numerici dei dati possano essere rilevati e corretti.