VQR

Il mistero della VQR fantasma. Ovvero: se i risultati ci sono cacciateli fuori

Il presidente dell’ANVUR Andrea Graziosi ha fornito ad alcuni giornalisti, senza contraddittorio e domande scomode, la chiave di lettura dei risultati della VQR 2011-2014. Secondo ANVUR l’Italia starebbe convergendo verso una standard di qualità della ricerca più elevato, e le università del Sud starebbero avvicinandosi a quelle del resto del paese. Tutto questo grazie all’adozione della VQR. Graziosi ha cioè fornito una giustificazione delle costosissime attività dell’ANVUR e dei lauti stipendi del direttivo. Senza fornire al contempo nessun dato, se non una decine di slide. Si dice che i risultati della VQR saranno pubblicati addirittura intorno al 20 febbraio. La Ministra si accinge perciò ad usare una VQR-fantasma per la distribuzione del FFO premiale. Qualcuno al MIUR e alla CRUI i dati però deve averli visti e deve aver simulato le distribuzioni. Infatti nella bozza di DM di ripartizione sono introdotte modifiche agli indicatori ANVUR. E soprattutto, su richiesta CRUI, una compensazione per gli atenei maggiormente penalizzati dall’adesione alla protesta #stopvqr che dunque, adesso è certificato dal MIUR, ha colpito nel segno. L’Italia si candida così a divenire il primo paese al mondo a distribuire le risorse alle università sulla base di una valutazione che ancora non c’è. Per evitare al MIUR questo ridicolo primato, i dati VQR, se ci sono, dovrebbero essere immediatamente resi pubblici. (Testimoni oculari dicono di aver visto Peppe e Gedeone discutere animatamente delle slide del presidente dell’ANVUR. Stay tuned).

 

 

 

Child dressed up as ghost draped with white sheet that has facial features cut out, extending arms to the sides, front view.

Child dressed up as ghost draped with white sheet that has facial features cut out, extending arms to the sides, front view.

E dunque due giorni fa il presidente dell’ANVUR Andrea Graziosi ha convocato alcuni giornalisti, verosimilmente di quelli che non fanno troppe domande, ed ha presentato delle slide che conterrebbero la sintesi dei dati aggregati della VQR 2011-2014. La riunione, tenutasi intorno a mezzogiorno, non era stata annunciata sul sito ANVUR. E la notizia e le slide sono state messe sul sito a tarda sera, solo dopo che Corriere e Repubblica avevano già pubblicato i loro articoli.

Graziosi ha così potuto fornire la chiave di lettura dei risultati della VQR, senza alcun contradditorio. E la chiave di lettura è questa: l’Italia sta convergendo verso una standard di qualità della ricerca più elevato proprio grazie all’adozione della VQR. Le università del Sud stanno convergendo verso i risultati fatti registrare dal resto d’Italia. Alla fine una giustificazione delle costosissime attività dell’ANVUR e dei lauti stipendi del direttivo. Le cui attività starebbero promuovendo il miglioramento della qualità della ricerca. Ed una smentita dei gufi, in particolar modo di Gianfranco Viesti, che hanno documentato con dovizia di dati la questione meridionale dell’università.

Forse il documento era pronto da qualche giorno, altrimenti non si spiegherebbe l’enfasi data ai risultati della regione dell’ex-presidente del consiglio, Matteo Renzi. [Ma in quel caso, si badi bene, non delle università toscane: Firenze, Pisa e Siena, che non escono benissimo, ma delle tre istituzioni a “statuto speciale” della regione (IMT di Lucca, Sant’Anna e Normale)].

ghost-anvur

Le slide presentate da Graziosi mostrano una classifica e pochissimi dati. Noi non eravamo alla riunione con i giornalisti, e non sappiamo se qualcuno abbia osato domandare al presidente Graziosi quando verranno pubblicati i risultati della VQR, o peggio ancora se i risultati finali ci siano davvero. Voci di corridoio dicono che i Rapporti saranno pubblicati intorno al 20 febbraio.

Per l’intanto saranno usati per la distribuzione dell’FFO premiale. Saranno cioè usati dati che nessuno ha visto o controllato, se non l’eccellente direttorio anvuriano e i “super-esperti”, come li chiama il Corriere, membri dei GEV. A dire la verità quei dati dovrebbero anche averli visti al MIUR. E l’impressione è che i fogli excel siano stati oggetti di lunghe simulazioni prima di essere tradotti nella bozza di DM di ripartizione del FFO premiale.

Se mettiamo insieme le poche informazioni a nostra disposizione scopriamo alcune cose davvero interessanti.

Per esempio scopriamo che il MIUR ha modificato in modo sostanziale, rispetto alla definizione ANVUR,  la formula dell’IRFS, che è l’indicatore sulla base del quale viene distribuita il 65% dell’FFO premiale.

Scopriamo anche che il MIUR ha deciso di introdurre un fattore di correzione per l’indicatore IRAS1, quello commentato da Graziosi nelle sue slide, riferito alla “qualità” della ricerca. Questo fattore di correzione Ke è davvero interessante.

Si tratta infatti del rapporto tra la percentuale di prodotti conferiti sugli attesi nella VQR 2004-2010 e la percentuale di prodotti conferiti sugli attesi nella Vqr 2011-2014. Gli atenei che avranno avuto un quota di conferimenti più bassa nella VQR attuale che nella precedente, saranno perciò premiati (fino ad un massimo del 3%). Per quale ragione è stato introdotto questo meccanismo? Per tentare di sterilizzare i risultati della protesta #stopvqr.

irfs

Gli atenei che hanno avuto una quota più elevata di astensioni VQR, saranno compensati in tutto o in parte dal meccanismo previsto dalla bozza di DM. Questo significa che la protesta #stopvqr ha pesato eccome nel determinare risultati di questa VQR. Un piccolo granello di sabbia che ha messo in crisi l’intero meccanismo. Con buona pace di Corrado Zunino che si ostina a ripetere la versione di ANVUR: le astensioni sono state “contenute”.

E’ stata addirittura la CRUI a chiedere al MIUR di introdurre qualche forma di compensazione per gli atenei che hanno avuto maggiori quote di docenti che hanno aderito alla protesta:

stopvqr

Detto questo, resta il fatto che il MIUR si accinge a distribuire risorse sulla base di dati che nessuno ha visto. Perché in effetti le slide di Graziosi non contengono un dato grezzo o un indicatore su cui sia possibile fare qualche ragionamento sensato. La Ministra si accinge quindi a distribuire l’FFO sulla base di una VQR fantasma.

Delle due l’una. Se i dati ancora non ci sono e non sono definitivi, se ne prenda atto e si dichiari pubblicamente che l’Italia è il primo paese al mondo a distribuire le risorse sulla base di una valutazione che ancora non c’è. Se invece i dati ci sono, non possono continuare circolare nei ristretti circoli ANVUR-CRUI-MIUR, ma devono essere resi pubblici.

Una ultima nota. La  chiave di lettura ed i pochi dati presentati ieri da Graziosi hanno suscitato molte discussioni. Alcuni colleghi ci hanno detto di aver visto Peppe e Gedeone discutere animatamente al tavolo di un bar vicino al loro dipartimento. Peppe stava scrivendo su alcuni fogli dove si vedeva il logo dell’ANVUR. Che stessero parlando delle slide di Graziosi?

Send to Kindle
Tag: , , , , , , , ,

22 Comments

  1. Stavo aspettando un vostro commento, dopo aver visto le slides [per ora ci metterei la s finale]. E infatti, mi domandavo: ma se hanno fatto un riassunto, ci saranno pure i dettagli, no? Cosa riassumono e chi conosce le cose riassunte? E se ci sono i dettagli, perché non li pubblicano? Dunque, in parole povere, sceneggiata e fumo negli occhi. Magari tutto è corretto, ma non è possibile verificare; primo principio della ricerca: verificabilità (falsificabilità), dunque fornire correttamente tutti i dati necessari per seguire e ripercorrere il ragionamento.
    Commento n.2, che avevo fatto ad un collega che si lamentava di qualche nuovo aspetto idiota della burocrazia accademica: avete avuto l’occasione di dare uno scossone al meccanismo della vqr n. 2, e non l’avete sfruttata … ora di cosa vi lamentate? Questa debolezza si pagherà, non in eterno ma per un bel po’ di tempo. Le slides, e come sono state divulgate alla stampa prima e poi agli altri, ne sono una manifestazione.
    E poi non ci credo a quest’aumento alle volte vertiginoso della ‘qualità’ o quel che è; mi sa che è stata abbassata l’asta.
    E poi, ancora, avete visto il caso della Stranieri di Perugia, un 43% in più di non so cosa? Chi è dell’Univ. di Perugia?

  2. mauro.migliardi says:

    Dies iras{1, 2, 3, 4,…}

  3. Cosi chi ha conferito tutti i prodotti, impara a fare in virtuoso.

    L’Anvur va chiusa.

  4. green_baron says:

    L’ultima figura di m… dell’ANVUR, che per ora è costretta a pagare le spese legali di un sacco di ricorsi persi davanti al TAR Lazio (e in alcuni casi CdS) relativamente alla valutazione delle riviste (fascia A e altre cazzate del genere…).
    Ma che altro deve succedere per sciogliere questa agenzia????

  5. San Drinus says:

    i gev hanno chiuso da tempo… i risultati li conoscono benissimo! il motivo per cui non si divulgano fa pensare necessariamente a qualcosa di strano se non proprio di torbido. D’accordissimo con le considerazioni di Marinella L. Inoltre, dai risultati vqr dipendono, oltre all’FFO, anche i dottorati, sono proprio curioso di vedere cosa s’inventano….

  6. Beniamino Cappelletti Montano says:

    Mi ha molto infastidito la tesi della “convergenza” sostenuta da Graziosi.
    Siamo docenti universitari e quindi soprattutto dall’agenzia di valutazione dobbiamo esigere il massimo rigore metodologico.

    La convergenza NON c’è stata. Infatti le “regole” tra una VQR e l’altra sono cambiate: nella VQR 2004-2010, al contrario della VQR 2011-2014, ogni prodotto non conferito valeva -0,5 e ogni prodotto “penalizzato” valeva -1, e la distribuzione dei prodotti non conferiti o penalizzati si concentrava proprio nel Meridione.
    Questo significa che se la VQR 2004-2010 si fosse svolta con le regola della VQR 2011-2014 avremmo assistito, all’epoca, a ben altro risultato!

    Tornando al confronto tra le due VQR, per poterlo effettuare si dovrebbero attualizzare i risultati della VQR 2004-2010 con le medesime regole dell’ultima VQR e solo allora effettuare comparazioni.

    Mi sembra vergognoso che un’agenzia di valutazione del sistema universitario compia tali errori, talmente grossolani da apparire “voluti”.

    • Sottoscrivo.

    • C’è una convergenza con quello che gli fa comodo dire in questo momento. Bisogna apprezzare l’eclettismo. Dopo la revolution c’è la evaluación como nos gusta. Hasta siempre comandante !

    • Assolutamente d’accordo. Anch’io pensavo alla stessa cosa intanto che guardavo le slide. È un modo di commentare i dati “politico” (nel senso negativo del termine) anziché statistico; ma probabilmente non ci si poteva aspettare altrimenti…

  7. Ma qualcuno a mai sentito parlare di FOA? Dovrebbe entrare in vigore il 23…

  8. I risultati ci sarebbero già, ma la valutazione non è chiusa.
    Infatti, come si legge anche sul sito ANVUR, qui:
    .
    http://www.anvur.org/index.php?option=com_content&view=article&id=1113:conclusione-delle-valutazioni-vqr-new-it&catid=78&Itemid=456&lang=it
    .
    “Attualmente, i revisori selezionati da ANVUR sono impegnati nella valutazione con modalità peer di un campione pari a circa il 10% dei prodotti già valutati con metodologia bibliometrica. L’obiettivo di questo esercizio è quello di consentire un confronto tra le due metodologie di valutazione per esaminare il grado di corrispondenza dei risultati”
    .
    Per questa ulteriore fase di valutazione la scadenza è fine dicembre.
    .
    Questo chiaramente non influirà sui risultati, ma immagino che questa comparazione sarà oggetto di analisi nel famoso rapporto di febbraio.
    .
    Per il resto, senza aver però analizzato a fondo indicatori ecc per fare un’analisi più approfondita, mi chiedo come sia possibile confrontare i risultati di due VQR in cui il numero di prodotti conferiti è diverso, le stesse classi di merito sono diverse in numero, metodo di identificazione e punteggio relativo, e in cui tutti i prodotti del 2014 più quelli che cadevano in certe “grey areas” non sono stati valutati su base bibliometrica, ma tramite peer review – sapendo che anche nella VQR passata c’erano notevoli discrepanze fra i due processi.
    Anche in questo caso…boh!!

    • Dopo la percentuale dei votanti (pardon dei conferimenti) siamo alle exit poll. Attendiamo i risultati definitivi e, soprattutto, l’attenta analisi di Peppe e Gedeone.

  9. … ma quanto siete poco seri, sul vostro sito … nemmeno una pallina, un pensierino, una stellina, un alberello, una pecorella … Buon Natale a tutti !

  10. In ogni caso, si sarebbe dovuto aspettare a comunicare i dati l’ulteriore revisione. Poco seri è un eufemismo. Ma non aspettiamoci dall’alto un provvedimento, senza una protesta organizzata e proposte concrete condivise. Un forum per le proposte sarebbe necessario.

  11. Si, in effetti stanno ancora mandando richieste di revisione, la cui scadenza, ad oggi, è inizio gennaio.
    Buone feste

    • Io mi domando e mi chiedo: ma chi effettua le revisione per ANVUR ritiene di contribuire alla ricerca italiana ?
      L’ANVUR sta demolendo la ricerca italiana e l’università Italiana. Lo fa dietro un compenso non trascurabile per i membri del consiglio direttivo, ovvero per una taglia di > 100.000 Euro l’anno. Chi e’ complice dell’ANVUR perché’ lo fa ? Ogni risposa da parte di chi va il revisore, GEV, .. sarebbe gradita.

    • Giuseppe De Nicolao says:

      “una taglia di > 100.000 Euro l’anno”
      ___________
      Molto maggiore: 178.500 per i consiglieri, 210.000 per il presidente. Messo di fronte a queste cifre, (quasi) chiunque sarebbe disposto a sottoscrivere che 2+2=5 (ammesso che si renda conto dell’errore). Però, come creeper, mi domando perché gli altri dovrebbero accodarsi a titolo gratuito.

    • Voi state scherzando. Un revisore VQR prende 30 Euro lordi per articolo!
      Non vi accontentate mai.

  12. la cosa migliore da fare se via arriva un articola da fare è mettetegli la cravatta e rimandatelo indietro. 30 euro rubati 🙂

  13. “un articola da fare” sarebbe “un articolo da valutare”

Leave a Reply

Sostieni ROARS

Sostieni ROARS