Distribuireste 1,35 miliardi di Euro “sulla fiducia”, in base a numeri e calcoli che nessuno può verificare? Dopo la pubblicazione degli esiti della VQR, risalente al febbraio dell’anno scorso, l’ANVUR ha proseguito per mesi a modificare un centinaio di file del Rapporto finale. Quando la notizia è finita sulla prima pagina del Fatto Quotidiano, l’agenzia di valutazione ha ammesso le modifiche e, dopo un po’ di tempo, ha pubblicato un elenco dei file modificati. In questo post mostriamo che nell’Errata-Corrige di Anvur non sono elencati alcuni file che invece sono stati modificati e che alcuni dei file elencati hanno subito modifiche di cui non viene data segnalazione. Inoltre, notiamo che alcuni dei file modificati contengono informazioni utili al calcolo della classifica dei Dipartimenti di eccellenza. Una classifica i cui calcoli non sono replicabili in base ai dati pubblicati. Per ottenere i dati mancanti, è stata inoltrata all’Anvur una richiesta di accesso civico, ma è stata respinta. Al momento, pertanto non esiste modo di verificare la correttezza della classifica sulla base della quale verranno distribuiti 1,35 miliardi di Euro in cinque anni.
1. Ci si può fidare dell’Errata-Corrige di Anvur?
Come è noto, dopo la pubblicazione degli esiti della VQR, l’ANVUR ha proseguito per mesi a modificare i file del Rapporto finale. Questo “work in progress” è stato denunciato l’11 luglio 2017 da Laura Margottini sul Fatto Quotidiano. ANVUR ha ammesso le modifiche e, dopo un po’ di tempo, ha pubblicato un elenco dei file modificati:
[per prevenire scomparse o modifiche ne abbiamo salvato una copia qui]
ANVUR non ha reso disponibili i file originali e quindi non è possibile controllare se l’elenco delle modifiche riportato nella tabella sia fedele e completo.
In effetti, qualcosa non torna. A titolo di esempio, nella tabella ANVUR scrive che:
il file VQR2011-2014_TerzaMissione.pdf è stato modificato solo il 5 maggio 2017;
la modifica riguarda solo “correzione numerazione paragrafi e tabelle“.
Nel caso del file VQR2011-2014_TerzaMissione.pdf, abbiamo rintracciato la versione originale e altre due versioni successive:
ci sono state almeno tre diverse versioni del file: 18 febbraio, 2 maggio, 5 maggio;
le modifiche non si sono limitate a “correzione numerazione paragrafi e tabelle”;
nel file del 18 febbraio, infatti, mancavano tutte le tabelle che sono poi comparse in quello del 2 maggio;
nel file del 5 maggio sono stati modificati alcuni voti rispetto al 2 maggio.
I voti modificati non incidono sulla ripartizione dei finanziamenti, perché la valutazione della terza missione è ancora considerata in fase sperimentale. Tuttavia, l’esempio mostra che l’elenco delle modifiche pubblicato da Anvur meriterebbe di essere sottoposto a una verifica sistematica. Una verifica sistematica che è attualmente impossibile senza le versioni originali dei file, non più ripubblicate da Anvur.
2. Il Rapporto VQR? Un atto “non ufficiale”
I voti della VQR servono a ripartire la fetta più grande della cosiddetta “quota premiale” del Fondo di Finanziamento Ordinario. C’è da essere preoccupati? Per nulla, è la risposta di Anvur che nel suo comunicato ha scritto:
ANVUR ribadisce che le modifiche apportate a questi documenti non derivano da (o implicano) alcuna revisione ai dati utilizzati dal MIUR ai fini della ripartizione dell’FFO 2016 e pubblicati il 12 gennaio 2017.
In effetti, il MIUR aveva già ricevuto i dati utili alla ripartizione più di un mese prima della pubblicazione dei file del Rapporto Finale della VQR. Tanto è vero che, intervistato dal Fatto Quotidiano, il Direttore dell’Agenzia, Sandro Momigliano, ha dichiarato:
ritengo che il rapporto Vqr pubblicato sul sito di Anvur, in sé non sia da considerarsi un atto ufficiale, ma un documento che ha come finalità la massima diffusione delle informazioni ai cittadini, in merito alla di valutazione 2011-2014
Una risposta che però lascia aperte due questioni.
In primo luogo, come osservato da Laura Margottini sul Fatto Quotidiano, sappiamo che dopo il 21 febbraio Anvur ha corretto i voti di alcuni docenti:
C’è un caso accertato. Ad Alberto Baccini, ordinario di economia Politica all’Università di Siena, l’Anvur ha cambiato il voto dopo il 21 febbraio perché ha riscontrato un errore e ha poi comunicato il voto corretto al docente. Quel voto cambia anche il giudizio sul dipartimento acui afferisce Baccini. La modifica dovrebbe quindi riflettersi nelle percentuali presenti nelle tabelle dei file di area corrispondente.
Ma se il vero atto ufficiale sono i dati aggregati inviati al Ministero dell’Istruzione (che non risulta siano stati rettificati), quante VQR esistono?
Esiste una prima VQR usata per ripartire la quota premiale dell’FFO, che contiene degli errori, riconosciuti dall’agenzia di valutazione, ma che, ciò nonostante, rimane immutata.
E poi esiste una seconda VQR, più fluttuante, quella dei voti che i singoli docenti leggono nelle loro pagine personali. Voti che sono stati talvolta rettificati, ma senza che questo vada ad influenzare l’atto ufficiale in base al quale sono ripartiti i finanziamenti.
Ancora più spinosa la seconda questione. Infatti, nonostante il tentativo del Direttore Momigliano di declassare i file pubblicati sul sito dell’Anvur ad atti non ufficiali, questi stessi file contengono dati che entrano in modo determinante nei calcoli con cui verranno distribuiti 1,35 miliardi di Euro destinati ai cosiddetti Dipartimenti di eccellenza.
3. Dare 1,3 miliardi basandosi su atti non ufficiali
Infatti, per calcolare il controverso indicatore ISPD non sono sufficienti i dati aggregati che Momigliano ritiene essere il vero “atto ufficiale”. Per calcolare i voti ISPD dei singoli dipartimenti occorre conoscere i voti medi di ciascuno settore scientifico disciplinare presente nel dipartimento. Un’informazione che non risulta fosse stata comunicata al MIUR insieme ai dati aggregati e che fa capolino solo nelle Tabelle di area pubblicate il 21 febbraio.
Ebbene, tra i file modificati presenti nella lista ANVUR ci sono delle Tabelle di area che contengono dati necessari per il calcolo dell’indice ISPD, utilizzato per stilare la classifica dei dipartimenti di eccellenza. Eccone due:
VQR2011-2014_Area11a_Tabelle.pdf
VQR2011-2014_Area11b_Tabelle.pdf
Secondo ANVUR si tratta modifiche che non toccano i voti, ma, in assenza degli orginali, è una rassicurazione che bisogna accettare sulla fiducia.
Ma non è finita. Ci sono dei file che sono stati modificati e che non compaiono nell’elenco pubblicato da ANVUR. Eccone uno:
VQR2011-2014_Area13_Tabelle.pdf
[per prevenire ulteriori scomparse o modifiche ne abbiamo salvato una copia qui]
Nella sua lista dei file modificati, ANVUR dichiara cambiamenti marginali nella versione “eng” (English) di queste tabelle, senza dire che ha cambiato anche la versione italiana. Anche questo è un file che contiene dati che entrano nel calcolo della classifica dei dipartimenti di eccellenza.
Insomma ci troviamo nella poco piacevole situazione di distribuire 1,35 miliardi di Euro sulla base di quelli che il Direttore dell’Anvur definisce “atti non ufficiali”, con file che appaiono e scompaiono. A giudicare dalla lista pubblicata sul suo sito, non è nemmeno certo che l’agenzia abbia tenuto traccia delle modifiche: come abbiamo mostrato, non sono elencati alcuni file che invece sono stati modificati e alcuni dei file elencati hanno subito modifiche di cui non viene data segnalazione.
4. «Non vi sono state nè potevano esserci manipolazioni»
Da gennaio ad aprile dello scorso anno il sito dell’agenzia di valutazione è stato in balia degli hacker. Ecco come si presentava la home page nella prima metà di aprile:
Quando, come extrema ratio, il sito era stato messo off line, sulle colonne del Sole 24 Ore, Dario Braga aveva osservato che:
da un lato, il blackout mette in evidenza la vulnerabilità del sito di una Agenzia Nazionale e dall’altro dimostra che c’è chi può avere interesse a manipolare i dati sulla valutazione delle università e della ricerca. Vista la durata del blackout c’è da pensare che le sospette manipolazioni dei dati possano essere severe.
Grazie all’inchiesta del Fatto Quotidiano, sappiamo che mentre questo comunicato appariva sulla home page dell’agenzia, diversi file del Rapporto VQR erano già stati modificati. Solo correzioni di refusi, se prestiamo fede all’agenzia. Come mai, allora, l’elenco dei file modificati è incompleto? Se l’agenzia aveva la situazione sotto controllo, dovrebbe sapere quali file sono stati toccati e quali no.
5. Dipartimenti di eccellenza: una classifica “sulla fiducia”
Per verificare se la classifica preliminare dei 352 dipartimenti ammessi alla seconda fase dei “Ludi dipartimentali” era coerente con gli esiti pubblicati il 21 febbraio 2017, occcorrerebbe rintracciare tutti i file originali. Nell’attesa, verrebbe voglia di replicare il calcolo dell’indicatore ISPD usando i dati attualmente presenti sul sito dell’agenzia. Purtroppo, è un tentativo votato all’insuccesso. Infatti, i dati pubblicati non sono completi, perché quando il numero di prodotti attesi di un dipartimento relativi ad un SSD è inferiore a cinque, il loro voto medio non viene riportato nelle tabelle degli esti della VQR.
Come nostri lettori già sanno, abbiamo fatto richiesta di accesso agli atti utilizzando la procedura FOIA separatamente nei confronti di MIUR e ANVUR. MIUR ha risposto che il trattamento dei dati è compito di ANVUR. ANVUR ha risposto che non rende pubblici i dati [il grassetto è nostro]:
SINTESI DELLA RISPOSTA NEGATIVA DELL’ANVUR Si fa riferimento alla richiesta di accesso civico generalizzato trasmesso dalla S.V. in data 4 agosto 2017 concernente l’acquisizione dei dati utilizzati nell’ambito della procedura di cui all’art. 1, commi 314-337, della legge n. 232/2016, con la finalità di riprodurre e verificare la correttezza dell’indicatore (ISPD) utilizzato per la predisposizione dell’elenco dei dipartimenti di cui al comma 320 del citato articolo. Sulla base degli approfondimenti effettuati, si comunica che non è possibile accogliere la richiesta di accesso civico generalizzato avanzata dalla SV, in quanto, ai sensi di quanto previsto dall’art. 5- bis, comma 2, lett. a) del d.lgs n.33/2013, verrebbe arrecato pregiudizio concreto alla protezione dei dati personali di singoli docenti e ricercatori in conformità alla disciplina legislativa in materia.
Infatti, tenuto conto che è possibile risalire alla valutazione conseguita dal singolo docente/ricercatore nel caso lo stesso appartenga a settori scientifici disciplinari composti da un numero limitato di membri per ogni dipartimento, l’ostensione dei dati richiesti consentirebbe, in un terzo dei casi, l’associazione della valutazione al singolo docente/ricercatore che vedrebbe pertanto leso il suo diritto all’anonimato.
[…] Va precisato, altresì, che qualora si omettesse l’ostensione dei dati per un terzo dei prodotti, nel rispetto delle disposizioni in materia di protezione dei dati personali, verrebbe meno la possibilità di riprodurre e verificare la correttezza dell’indicatore (ISPD), obiettivo per il quale è stata avanzata la richiesta di accesso agli atti.
Ammesso e non concesso che questa sia una valida ragione per opporre un diniego, vuol dire che Anvur ha elaborato un indicatore (ISPD) che nessuno avrebbe potuto sottoporre a verifica. Considerando l’intero finanziamento quinquennale, stiamo distribuendo 1,35 miliardi sulla fiducia che Anvur non abbia commesso errori. Se in modo accidentale qualcuno avesse alterato i punteggi causando l’inclusione o l’esclusione di qualche dipartimento, non ci sarebbe modo di venirlo a sapere.
Inutile dire che esistevano 1000 e un modo di costruire una classifica che fosse almeno verificabile a partire dai dati VQR.
Io ho verificato, con buona approssimazione, il calcolo dell’ISPD per il mio Dipartimento (relativamente piccolo, con un numero di prodotti attesi dell’ordine di circa 120). In effetti è una operazione fattibile, ma solo attingendo “confidenzialmente” a una informazione sul voto dei prodotti di “qualche” docente, non essendo di per sé sufficiente il dettaglio fornito nelle tabelle VQR su valori aggregati. In questo senso è comprensibile la risposta di ANVUR alla richiesta di accesso agli atti: per verificare i calcoli, in generale è effettivamente necessario poter accedere a valutazioni singole, per definizione non disponibili “in chiaro”. Faccio anche notare un dettaglio che forse sfugge: le tabelle ANVUR fotografano la situazione all’atto del caricamento dei prodotti su sito docente, al febbraio 2016. I calcoli dell’ISPD si riferiscono invece agli “addetti presenti in quegli SSD nelle istituzioni pubbliche italiane alla data del 1 gennaio 2017” (Nota metodologica sul calcolo dell’indicatore ISPD). Le tabelle della VQR forniscono quindi, ineluttabilmente, solo un dato parziale ai fini del ricalcolo del punteggio ISPD. Se qualcuno volesse riprodurre l’ISPD dipartimentale dovrebbe aggiornare i dati forniti dalle tabelle VQR considerando altresì pensionamenti, decessi, trasferimenti e nuove acquisizioni di personale docente (esclusi RTD che non hanno conseguito punteggio nell’esercizio VQR) nel corso del 2017. Per la cronaca, nel caso del mio dipartimento il valore di ISPD fra il febbraio 2016 e 1 gennaio 2017 mi appare cambiato in maniera assai… sostanziale (il che non depone a favore della robustezza dell’indicatore).
Alla luce del commento di Bertoli-Barsotti, è giusto ribadire che non senso ha utilizzare un indicatore come ISPD la cui replica si scontra con tutti questi problemi. Non c’è nessun modo di controllare se c’è stato qualche errore nei calcoli. Stiamo distribuendo 1,35 miliardi sulla fiducia. Opacità totale.
Non va, assolutamente non va. Ma devono essere tutti, al di fuori di pochi circoli, a chiederlo. Mi pare impossibile visto che c’è chi ha fatto carriera ed in modo molto semplice, tutto sommato.
Dunque, la domanda di fondo diventa: la valutazione è una scienza o una religione? a) La valutazione di Stato ambirebbe a presentarsi come scienza. Lo testimonia il fatto che i suoi funzionari di giorno elaborano algoritimi, e di notte scrivono libri “scientifici” sulla valutazione o pubblicano articoli “scientifici” su riviste specializzate. Poco importa che ci sia un conflitto di interessi e che la norma mertoniana del disinteresse sia stata calpestata. La valutazione è ambiziosa. b) La valutazione di Stato però non applica il metodo scientifico. Per i suoi esercizi di valutazione usa dati proprietari o segreti. Il messaggio ai valutati è: dovete aver fede. Non potete guardare, non potete replicare, non potete controllare. Fidatevi, noi siamo scienziati e non solerti funzionari governativi. Siamo scienziati più bravi di voi. Tant’è che riusciamo a comparare e classificiare aggregati di settori scientifico-disciplinari (SSD) partendo dal principio dell’incomparabilità dei SSD. Ma tu guarda un po’. E io che pensavo che la valutazione di Stato fosse solo una becera espressione dell’autoritarismo. E invece è solo una splendida religione. Vado a pregare…
Aggiungerei: nella terza metà della giornata si leggono ROARS e si fanno delle grandi risate, o perché capiscono e non gliene importa nulla, o perché non capiscono e ritengono che non merita nemmeno sforzarsi di capire.
“Aggiungerei: nella terza metà della giornata si leggono ROARS e si fanno delle grandi risate” _______________________ Ancor di più ridono quando incrociano un altro funzionario dell’agenzia: “Cato, qui Censor appellatus est, magnopere mirabatur quia non rideret haruspex, cum alium haruspicem videret”
Forse sarebbe meglio dire “culto misterico” o anche, e più francamente, superstizione. I “dati” delle grandi religioni monoteistiche, le Sacre scritture, sono infatti canonizzati e pubblicamente accessibili. Proprio la disponibilità di simili “dati” ha reso possibili, all’interno delle grandi religioni, movimenti di riforma difficili da reprimere, come quello promosso, cinque secoli fa, da un collega professore universitario :-)
Utilizziamo i cookie per essere sicuri che tu possa avere la migliore esperienza sul nostro sito. Se continui ad utilizzare questo sito noi assumiamo che tu ne sia felice.OK
Grazie all’inchiesta del Fatto Quotidiano, sappiamo che mentre questo comunicato appariva sulla home page dell’agenzia, diversi file del Rapporto VQR erano già stati modificati. Solo correzioni di refusi, se prestiamo fede all’agenzia. Come mai, allora, l’elenco dei file modificati è incompleto? Se l’agenzia aveva la situazione sotto controllo, dovrebbe sapere quali file sono stati toccati e quali no.
Forse è in errore chi chiede di poter verificare la procedura, poiché quello compete soltanto al servizi segreti.
Io ho verificato, con buona approssimazione, il calcolo dell’ISPD per il mio Dipartimento (relativamente piccolo, con un numero di prodotti attesi dell’ordine di circa 120). In effetti è una operazione fattibile, ma solo attingendo “confidenzialmente” a una informazione sul voto dei prodotti di “qualche” docente, non essendo di per sé sufficiente il dettaglio fornito nelle tabelle VQR su valori aggregati. In questo senso è comprensibile la risposta di ANVUR alla richiesta di accesso agli atti: per verificare i calcoli, in generale è effettivamente necessario poter accedere a valutazioni singole, per definizione non disponibili “in chiaro”. Faccio anche notare un dettaglio che forse sfugge: le tabelle ANVUR fotografano la situazione all’atto del caricamento dei prodotti su sito docente, al febbraio 2016. I calcoli dell’ISPD si riferiscono invece agli “addetti presenti in quegli SSD nelle istituzioni pubbliche italiane alla data del 1 gennaio 2017” (Nota metodologica sul calcolo dell’indicatore ISPD). Le tabelle della VQR forniscono quindi, ineluttabilmente, solo un dato parziale ai fini del ricalcolo del punteggio ISPD. Se qualcuno volesse riprodurre l’ISPD dipartimentale dovrebbe aggiornare i dati forniti dalle tabelle VQR considerando altresì pensionamenti, decessi, trasferimenti e nuove acquisizioni di personale docente (esclusi RTD che non hanno conseguito punteggio nell’esercizio VQR) nel corso del 2017. Per la cronaca, nel caso del mio dipartimento il valore di ISPD fra il febbraio 2016 e 1 gennaio 2017 mi appare cambiato in maniera assai… sostanziale (il che non depone a favore della robustezza dell’indicatore).
Alla luce del commento di Bertoli-Barsotti, è giusto ribadire che non senso ha utilizzare un indicatore come ISPD la cui replica si scontra con tutti questi problemi. Non c’è nessun modo di controllare se c’è stato qualche errore nei calcoli. Stiamo distribuendo 1,35 miliardi sulla fiducia. Opacità totale.
Non va, assolutamente non va. Ma devono essere tutti, al di fuori di pochi circoli, a chiederlo. Mi pare impossibile visto che c’è chi ha fatto carriera ed in modo molto semplice, tutto sommato.
Dunque, la domanda di fondo diventa: la valutazione è una scienza o una religione?
a) La valutazione di Stato ambirebbe a presentarsi come scienza. Lo testimonia il fatto che i suoi funzionari di giorno elaborano algoritimi, e di notte scrivono libri “scientifici” sulla valutazione o pubblicano articoli “scientifici” su riviste specializzate. Poco importa che ci sia un conflitto di interessi e che la norma mertoniana del disinteresse sia stata calpestata. La valutazione è ambiziosa.
b) La valutazione di Stato però non applica il metodo scientifico. Per i suoi esercizi di valutazione usa dati proprietari o segreti. Il messaggio ai valutati è: dovete aver fede. Non potete guardare, non potete replicare, non potete controllare. Fidatevi, noi siamo scienziati e non solerti funzionari governativi. Siamo scienziati più bravi di voi. Tant’è che riusciamo a comparare e classificiare aggregati di settori scientifico-disciplinari (SSD) partendo dal principio dell’incomparabilità dei SSD.
Ma tu guarda un po’. E io che pensavo che la valutazione di Stato fosse solo una becera espressione dell’autoritarismo. E invece è solo una splendida religione.
Vado a pregare…
Aggiungerei: nella terza metà della giornata si leggono ROARS e si fanno delle grandi risate, o perché capiscono e non gliene importa nulla, o perché non capiscono e ritengono che non merita nemmeno sforzarsi di capire.
“Aggiungerei: nella terza metà della giornata si leggono ROARS e si fanno delle grandi risate”
_______________________
Ancor di più ridono quando incrociano un altro funzionario dell’agenzia:
“Cato, qui Censor appellatus est, magnopere mirabatur quia non rideret haruspex, cum alium haruspicem videret”
Forse sarebbe meglio dire “culto misterico” o anche, e più francamente, superstizione. I “dati” delle grandi religioni monoteistiche, le Sacre scritture, sono infatti canonizzati e pubblicamente accessibili. Proprio la disponibilità di simili “dati” ha reso possibili, all’interno delle grandi religioni, movimenti di riforma difficili da reprimere, come quello promosso, cinque secoli fa, da un collega professore universitario :-)