La divisione per zero? Un falso tabù che la SUA RD potrebbe aiutarci a superare definitivamente.  Continuiamo e concludiamo l’analisi dell’acuto documento in cui Anvur spiega agli Atenei l’utilità della compilazione della SUA RD. In questo terzo capitolo,  ci occupiamo dell’inutilità di conoscere gli indicatori per la valutazione della ricerca in un esercizio che non è finalizzato alla valutazione della ricerca (ma che dovrebbe essere usato per ripartire la quota premiale dell’FFO). Indicatori che, per quel poco che ci è dato conoscere, sono all’insegna della trasgressione logico-matematica, uno dei marchi di fabbrica della valutazione fai-da-te dell’ANVUR. Dopo averci iniziato alle “frazioni superiori” e alle definizioni “univoche ma ambigue“, per l’ANVUR è giunto il momento di sdoganare definitivamente i piaceri proibiti della divisione per zero, non senza averci stupiti con l’invenzione di un dantesco “limbo valutativo”, riservato ai dipartimenti troppo produttivi.

 marcelduchamp

Cap. III: Sulla inutilità di conoscere gli indicatori per la valutazione della ricerca in un esercizio che non è finalizzato alla valutazione della ricerca

Punto 5 Nella VQR agli Atenei è stato chiesto di selezionare i prodotti migliori e per questo si è resa indispensabile la pubblicazione anticipata di linee guida e di criteri di valutazione tali da guidare tale selezione. Nella scheda SUA-RD, al contrario, la raccolta delle informazioni sui prodotti della ricerca non prevede alcuna selezione da parte degli atenei. Quindi, la conoscenza dei criteri che saranno adottati al momento della valutazione non è in questo caso indispensabile per selezionare le informazioni da fornire.

Certo! potrebbe essere ragionevole se non conoscessimo ANVUR, e se nelle linee guida non incappassimo ogni tre righe in riferimenti ad indicatori e valutazioni.

Vedi ad esempio le Linee guida, paragrafo 3.1.1 – Caratterizzazione disciplinare della produzione scientifica:

Poiché ogni prodotto sarà valutato in base ad una delle sedici aree CUN VQR, esso comparirà nell’elenco del Dipartimento con i SSD degli autori riconosciuti dal sistema come docenti dell’Ateneo. L’ANVUR effettuerà la valutazione per ogni SSD attribuendo al prodotto la valutazione migliore.

Qualora lo ritenga scientificamente più appropriato, il Dipartimento potrà selezionare un SSD non presente nell’elenco iniziale: in questo caso la valutazione sarà effettuata solamente sulla base del SSD selezionato.)

Ma allora esistono dei criteri e indicatori ? E se sì perché Anvur non li comunica come è stato fatto, ad esempio, con la terza missione?

Inoltre, dato che ciascun ateneo/dipartimento si è dato regole proprie rispetto a cosa definire scientifico e cosa didattico o divulgativo e che lo stesso è stato fatto rispetto ad altri aspetti problematici, ad esempio come considerare l’autorialità nel caso di appartenenza a gruppi di ricerca indicati come autore, o relativamente all’inserimento degli abstract di interventi a convegno, ci auguriamo che non ci sia l’intenzione di fare paragoni fra situazioni che, in assenza di definizioni stringenti e indicazioni precise su cosa e su come selezionare i lavori, e comunque in assenza di una validazione centrale, si saranno sviluppate in maniera anche molto diversa. Come si costruisce un indicatore quantitativo per SSD quando la base di dati è fornita da centinaia di Dipartimenti che ragionano ciascuno in maniera autonoma?

Prosegue ANVUR:

Inoltre, proprio in quanto la SUA-RD raccoglierà dati sull’intera produzione scientifica dell’anno di compilazione, e fornirà quindi una quadro nuovo e inedito dello stato dell’arte, l’elaborazione precisa dei criteri di valutazione potrà essere fatta con maggiore accuratezza solo dopo aver preso conoscenza di questo quadro, in termini di tipologia e peso dei diversi prodotti e della natura delle attività di ricerca.

Ma la sperimentazione fatta l’estate scorsa, che ha coinvolto parecchi dipartimenti in tutti gli atenei a cosa è servita? Non doveva essere utilizzata per l’elaborazione dei criteri? Per quale motivo gli atenei hanno lavorato se poi non c’è stata alcuna messa a frutto del lavoro svolto? Abbiamo raccontato ai dipartimenti che avrebbero sì lavorato molto prima, ma che poi a regime essi non avrebbero dovuto fare quasi nulla: e non era vero. Inoltre, siccome anche l’estate scorsa mancavano gli indicatori abbiamo raccontato ai dipartimenti sperimentatori che il loro feedback sarebbe servito per permettere l’individuazione dei criteri, che, insomma, essi stavano lavorando per tutti i colleghi: e anche questo non era vero.

Ora, in prossimità della chiusura della scheda siamo esattamente allo stesso punto dell’estate scorsa.

Anvur nel suo documento esplicativo ci dice anche che:

Tutte le informazioni raccolte rispetto a indicatori di attività saranno in ogni caso utilizzate ai fini della valutazione. Esse confluiranno nel Rapporto che, ai sensi della normativa AVA, deve essere prodotto dall’ANVUR entro il 31 luglio di ogni anno, insieme alle informazioni sui corsi di studio e sulla terza missione.

Quindi da quanto scritto si deduce che ci sarà sì una valutazione, ma sarà generale, di sistema, e verrà utilizzata come uno dei tasselli che costruiscono il rapporto annuale di Anvur.

L’ANVUR riconosce tuttavia la legittimità della richiesta di conoscere il prima possibile i criteri definitivi di valutazione, che saranno disponibili dopo il completamento delle operazioni di compilazione, previsto per il 30 aprile 2015. A tale fine fa presente che essi si baseranno, come punto di partenza, su quelli descritti nel documento sulla valutazione dei dottorati. Ciò allo scopo di rendere il più possibile omogenei e stabili i criteri attraverso le varie attività di valutazione. Le sezioni della scheda relative alla descrizione delle attività di ricerca, della organizzazione della ricerca e degli obiettivi sono invece da considerarsi uno strumento di autovalutazione dei dipartimenti e come tali saranno utilizzati principalmente nelle visite presso gli atenei, mentre ai fini della valutazione annuale saranno utilizzate come eventuale informazione di contesto.

Insomma alla fine ci siamo arrivati. Per essere un esercizio che non è di valutazione la parola valutazione esce parecchie volte nei documenti che lo descrivono. I criteri, per ragioni di omogeneità, saranno quindi simili a quelli presenti nel documento sulla valutazione dei dottorati.

Anvur però ci dà anche un’ulteriore informazione. Nelle linee guida ANVUR consultabili all’interno della SUA RD aggiornate al 19 11 2014 (le ultime disponibili) troviamo la seguente indicazione al punto 3.2.1. http://www.anvur.org/attachments/article/26/Linee%20Guida%20SUA_RD%20Parte%20I%20e%20II.pdf

L’indicatore finale terrà conto della qualità media delle pubblicazioni rapportate alla media nazionale e del numero di afferenti al Dipartimento dell’area. In altri termini, si costruirà un indicatore simile all’indicatore IRD1 della VQR 2004-2010. Prima della valutazione, verranno calcolate, per ognuno degli SSD presenti nel Dipartimento, la media e la deviazione standard del numero di pubblicazioni, distinte per categoria, per persona, inserite dai Dipartimenti di tutti gli Atenei. Se il numero di pubblicazioni per persona inserite dal Dipartimento per un dato SSD rientra in un intervallo di ampiezza pari al doppio della deviazione standard intorno al valor medio, esso sarà considerato nella norma e si procederà alla valutazione. Se risulta inferiore al valor medio diminuito di 2 volte la deviazione standard,l’indicatore finale verrà moltiplicato per un peso inferiore a 1 che dipende dalla distanza dal valor medio nazionale.

Proviamo a tradurre in termini operativi.

  1. Per ogni categoria di pubblicazioni (quali categorie? con che comparabilità da un’area all’altra?) e per ogni SSD presente nel dipartimento si conta il numero di pubblicazioni e lo si divide per il numero di membri afferenti all’SSD considerato, ottenendo quella che chiameremo PDS (produttività dipartimentale di SSD).

Problema: cosa succede se il dipartimento presenta pubblicazioni per un SSD non rappresentato nel dipartimento? Dato che il denominatore è zero il risultato non è definito (per inciso, non è la prima volta che le regole ANVUR contemplano divisioni per zero). Per coerenza, bisognerebbe attribure un valore infinito, una specie di asso pigliatutto.

  1. Facendo la media aritmetica di tutte le PDS dei dipartimenti di tutte le università si ottiene il valor medio M_PDS.

Problema: A meno di non introdurre dei correttivi nel calcolo della media, un dipartimento piccolo influenza la M_PDS tanto quanto un dipartimento grande. Per esempio, se ci sono 10 dipartimenti con un soggetto ciascuno, la cui produttività è elevata, e 5 dipartimenti con 10 soggetti ciascuno di produttività mediocre, la MPDS dipenderà più dai 10 soggetti sparpagliati nei 10 dipartimenti piuttosto che dai 50 concentrati nei 5 dipartimenti.

  1. Si calcola la deviazione standard SD_PDS delle PDS dei dipartimenti di tutte le università.

Problema: È noto che la stima della deviazione standard non è robusta nei confronti di valori anomali. Per esempio, la presenza di dipartimenti con un solo soggetto a produttività nulla (perché magari pubblica in un altro SSD) può influenzare eccessivamente  la stima della deviazione standard come pure può farlo la presenza di singoli soggetti dalla produttività eccezionale.

  1. Se la PDS è maggiore di M_PDS – 2 SD_PDS ed è anche minore di M_PDS + 2 SD_PDS, si procede alla valutazione (quale? con che pesi? con quali normalizzazioni che tengano conto delle differenze tra aree e SSD?).
  2. Se il PDS è minore di M_PDS – 2 SD_PDS, l’indicatore finale (quale?) viene moltiplicato per un numero minore di uno che dipende dalla differenza M_PDS – PDS. Una specie di coefficiente punitivo, i cui dettagli sono per ora ignoti.

Problema. La soglia di punizione basata sulle deviazioni standard sembra presumere una distribuzione statistica di tipo gaussiano, un’ipotesi soddisfatta in grado maggiore o minore al variare degli SSD. Di conseguenza il grado di severità della soglia sarà disuniforme al variare delle discipline, penalizzandone alcune a vantaggio di altre.

  1. Se il PDS è maggiore di M_PDS + 2 SD_PDS, ci si aspetterebbe un premio, ma paradossalmente si finisce in un limbo valutativo, dato che il caso non è contemplato.

Non per niente, su Roars questa traballante procedura simil-statistica era già stata ribattezzata SHITStochastic Heteroschedastic Index Test. In particolare, era stato osservato che, a parità di altre condizioni, questo test ha una maggiore probabilità di penalizzare ingiustamente gli SSD che in un dato dipartimento hanno una rappresentanza poco numerosa rispetto alla media nazionale.

In altri campi, c’è chi sostiene che la messa in pratica di fantasie trasgressive, purché tra adulti consenzienti, possa essere un utile antidoto alla monotonia. Perversi e felici si intitola un manualetto che, a quanto pare, ha riscosso un certo successo.

Non saremo noi a negare il fascino delle disinibite trasgressioni matematico-statistiche dell’ANVUR, ma – senza nulla togliere ai meriti creativi del direttivo – sono proprio sicuri che le loro vittime siano consenzienti?

perversi_e_felici

Send to Kindle

6 Commenti

  1. Che bello, quindi un SSD inesistente in dipartimento può avere produzione infinita. E’ il paradosso di Fantoni.
    .
    Qualcosa sembra cambiato rispetto alla sperimentazione. Inizialmente, nel luglio scorso cioè, c’era la possibilità di assegnare una data pubblicazione ad un SSD. La selezione andava fatta con un menu a tendina che includeva gli SSD dei vari autori. Il “piccolo” problema era che si poteva selezionare soltanto un SSD, e quindi, nelle pubblicazioni multidisciplinari, le alternative erano:
    – mettersi d’accordo
    – tirare a sorte
    – essere l’ultimo ad effettuare la selezione prima della chiusura della scheda.
    Quest’ultima possibilità prevedeva blitz di autori in disaccordo nei dintorni della mezzanotte del giorno di chiusura.
    Nella versione definitiva, qualcuno deve aver pensato che tutto ciò non fosse abbastanza perverso ed ora l’attribuzione agli SSD può includere altri SSD, estranei agli autori (ma che vor dì?).
    Dopodiché:
    “L’ANVUR effettuerà la valutazione per ogni SSD attribuendo al prodotto la valutazione migliore.”
    Anche questa è una frase sibillina, come lo quelle sulle ignote punizioni qualora si fosse sotto il limite inferiore della media meno due volte la deviazione standard.
    Si scoprirà tutto quando finalmente sarà pubblicato l’attesissimo “50 sfumature di ANVUR”.

  2. “PDS non valutabile se il numero dei docenti del SSD è 0”

    mi sembra il messaggio che la matematica suggerisce quando abbiamo finito/0.

    Solo un ingegnere può intestardirsi su una cosa cosi ovvia e scrivere:

    “Per coerenza, bisognerebbe attribure un valore infinito, una specie di asso pigliatutto”.

    “Coerenza” rispetto a che?

    • “Coerenza” rispetto a che?
      __________________________
      Rispetto al dadaismo burocratico dell’ANVUR 😉
      Per le stesse ragioni di coerenza, la foto di copertina ritrae Duchamp. Anche la follia esige il suo metodo.

  3. Leggendo quanto scritto dell’ANVUR vi chiedo, ma davvero il MIUR non potrebbe impieare diversamente i 10 milioni di euro, di cui 1.281.000 per i sette stipendi del Consiglio direttivo, per la valutazione dellla ricerca universitaria? Veramente si devono prendere sul serio queste indicazioni… mi sembra di sentir parlare il Conte Raffaello Mascetti

    • Marcello, ma ti sembrano critiche costruttive queste? E poi meglio una valutazione fatta in questo modo che nessuna valutazione. Hai forse paura della valutazione? E poi i soldi per la valutazione sono sempre comuqnue spesi bene. [Non vorrei essere frainteso per cui metto 🙂 🙂 e preciso che si tratta di un commento sarcastico. Riproduce gli argomenti dei difensori della valutazione italica… ]

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.