È ritornata l’ANVUR al canto del cucù

«Cu-cù, cu-cù, il file non c’è più / è ritornata l’ANVUR al canto del cu-cù». Questa filastrocca dovrebbe essere insegnata ai nostri bimbi per abituarli fin da piccoli alla “cultura della valutazione” in salsa italiana. Sulla soglia dell’anno nuovo, l’ANVUR pubblica la versione finale del documento sulla valutazione dei corsi di dottorato, ma, secondo il rito ormai consolidato dei “documenti a cucù”, basta aspettare una decina di giorni perché il file venga  sostituito da una nuova versione. Ma quante volte l’ANVUR ci ha già fatto cucù? Non poche e, per di più, in relazione a documenti cruciali come quelli sulle mediane, le liste di riviste di fascia A e le classifiche VQR. Ma non drammatizziamo. Come si dice? Canta che ti passa: «Il testo se n’è andato / il file non c’è più / è ritornata l’ANVUR / al canto del cucù».

1. È ritornata l’ANVUR al canto del cu-cù

Sulla soglia dell’anno nuovo, chi avesse consultato il sito dell’ANVUR avrebbe letto della pubblicazione della versione finale del documento sulla valutazione dei dottorati, la cui versione preliminare era stata sottoposta a consultazione pubblica senza raccogliere grandi consensi (Una risposta all’ANVUR sulla valutazione dei corsi di dottorato, CUN bacchetta ANVUR: non si valuta così un dottorato).

Trascorrono solo una decina di giorni e sul sito dell’ANVUR compare un avviso che comunica il ritiro del documento e la sua sostituzione con una nuova versione.

L’ANVUR informa che si è trattato di un errore:

Sostituzione del documento sulla valutazione dei corsi di dottorato

Sostituiamo il documento sulla valutazione dei corsi di dottorato. Il nuovo documento differisce dal precedente unicamente nella sezione 4.7.2, che era per errore una versione provvisoria nel documento precedente.

Che la distrazione sia da imputare all’imminenza del veglione?

2. ANVUR, i professionisti del cu-cù

Veglione o meno, questo episodio di documento a scomparsa è l’ultimo di una lunga serie, che – senza pretesa di completezza – proviamo a riassumere di seguito.

1. La FAQ sulla manipolazione dell’età accademica pubblicata il 12 luglio 2012  e rimossa il giorno dopo:
   Abilitazioni e ANVUR: mamma, mi sono perso la FAQ sulla manipolazione dell’età accademica!
2. La prima versione della FAQ sull’indice h-contemporaneo (il cosiddetto “Katsaros index”), pubblicata il 13 luglio 2012 e ritirata dopo meno di 24 ore:
   Abilitazioni: l’ANVUR scodella l’indice di Katsaros (e poi ci ripensa)
3. Le mediane dei settori bibliometrici, sono state pubblicate il 13 agosto 2012, ma poi ritirate perché errate e sostituite da una nuova versione due settimane dopo, il 27 agosto:
   Attenzione: mediane in movimento!
4. Vita ancor più breve ha avuto la prima versione delle mediane dei settori non bibliometrici, pubblicate venerdì 24 agosto 2012 e ritirate a tempo di record il lunedì successivo: un solo weekend di vita:
   Attenzione: mediane in movimento!
5. La revisione degli elenchi delle riviste scientifiche e di fascia A, pubblicati il giorno 1 marzo e scomparsi dopo poche ore senza alcuna spiegazione. Le liste rivedevano la luce il 6 marzo: erano spariti due titoli e se ne era aggiunto un centinaio di nuovi, con un ragguardevole record di 40 titoli in più nel settore concorsuale 14/A2 di un membro del gruppo di lavoro riviste e libri, Maurizio Ferrera:
   Abilitazioni: ecco le liste “last minute” per le riviste di classe A.
6. Analogo destino hanno avuto gli esiti della VQR: il 22 luglio l’ANVUR ha pubblicato un comunicato in cui ammetteva di aver diffuso alla stampa alcuni numeri diversi da quelli del Rapporto Finale VQR. In un secondo comunicato, datato 31 luglio, l’ANVUR ammetteva che le classifiche dei dipartimenti riportate nel Rapporto finale VQR e diffuse alla stampa erano diverse da quelle dei Rapporti di Area predisposti dai GEV. Dato che il GEV dell’Area 1 (Scienze matematiche ed informatiche) non acccettava di rinunciare alle sue classifiche, l’ANVUR avvisava di aver modificato le tabelle relative all’Area 1 nelle Parti 1 e 2 del Rapporto finale VQR. Venivano inoltre segnalati errori materiali. Nel settembre 2013, a meno di due mesi di distanza dalla pubblicazione, l’ANVUR aveva modificato 111 file su 243:
   Introvabile! L’edizione originale della VQR. Da conservare e collezionare!

3. Cosa è cambiato nel documento di valutazione dei dottorati?

Ma cosa è cambiato tra il 29 dicembre e l’8 gennaio? Per comodità del lettore riportiamo di seguito le due versioni.

VERSIONE 29 DICEMBRE 2014

4.7.2 L’indicatore finale IV7
L’indicatore finale IV7i,j,k del dottorato k-esimo della struttura j-esima dell’area i-esima si calcola in modo diverso per le aree bibliometriche (1-7, 8a, 9, 11b) e per le aree non bibliometriche (8b, 10, 11a, 12, 13,14). Per le aree bibliometriche l’indicatore è pari alla media pesata dei rapporti (uno per ogni area) tra l’Impact Factor medio delle riviste su cui sono pubblicati gli articoli dei dottorandi o dottori (nei 3 anni che seguono il conseguimento del titolo) su riviste indicizzate WoS e/o Scopus e l’Impact Factor medio degli articoli pubblicati da dottorandi o dottori (nei 3 anni che seguono il conseguimento del titolo) nei dottorati della stessa area. Per le aree non bibliometriche l’indicatore è la media di due sub- indicatori. Il primo è pari alla somma dei rapporti (uno per area) tra il numero medio di articoli pubblicati dai dottorandi o dottori (nei 3 anni che seguono il conseguimento del titolo) su riviste di fascia A e/o indicizzate WoS e/o Scopus e il numero medio degli articoli pubblicati su riviste di fascia A e/o indicizzate WoS e/o Scopus dai dottorandi o dottori (nei 3 anni che seguono il conseguimento del titolo) di tutti i dottorati nella stessa area. Il secondo è pari alla somma dei rapporti (uno per area tra il numero medio di monografie (sono esclusi i capitoli di libro) dotate di ISBN pubblicate dai dottorandi o dottori (nei 3 anni che seguono il conseguimento del titolo) e il numero medio di monografie (sono esclusi i capitoli di libro) dotate di ISBN pubblicate dai dottorandi o dottori (nei 3 anni che seguono il conseguimento del titolo) di tutti i dottorati nella stessa area.

VERSIONE 8 GENNAIO 2015

 4.7.2 L’indicatore finale IV7
L’indicatore finale IV7i,j,k del dottorato k-esimo della struttura j-esima dell’area i-esima si calcola in modo diverso per le aree bibliometriche (1-7, 8a, 9, 11b) e per le aree non bibliometriche (8b, 10, 11a, 12, 13,14). Per entrambe le aree bibliometriche e non bibliometriche si considerano fino a tre pubblicazioni dei dottorandi e neo-dottori (scelte dal Coordinatore del dottorato) e si utilizzano i seguenti due indicatori:
– Per le aree bibliometriche l’indicatore misura l’impatto delle riviste sede di pubblicazione2 degli articoli degli studenti di dottorato e neo-dottori. L’indicatore si calcola sommando i rapporti tra il valore dell’indicatore di ciascuna pubblicazione e il suo valore mediato sulla Science Category (o analogo insieme per Scopus) di appartenenza della rivista e dividendo la somma per il numero di dottorandi e neo- dottori dei cicli considerati (tre nel 2017 e sei a regime) moltiplicato per tre. Nel caso di riviste appartenenti a più Subject Category si sceglierà la soluzione più favorevole.
– Per le aree non bibliometriche l’indicatore è rappresentato da una valutazione delle pubblicazioni presentate da ogni dottorando-neodottore, opportunamente pesate in modo da tener conto delle specificità di ogni area. Verrà data preferenza, nell’ordine, alle monografie di ricerca e prodotti equivalenti; ai saggi, o prodotto equivalente, e in subordine agli altri contributi pubblicati in volumi; agli articoli e in subordine agli altri contributi in rivista di fascia A (ASN) rispetto ai prodotti equivalenti apparsi sulle riviste classificate come scientifiche (ASN); agli altri tipi di pubblicazione recensiti o discussi in riviste di fascia A (ASN) rispetto a quelli né recensiti né discussi. L’indicatore si calcola come rapporto tra la somma pesata delle pubblicazioni dei dottorandi-neodottori divisa per il numero di dottorandi e neo- dottori dei cicli considerati (tre nel 2017 e sei a regime) moltiplicato per tre, e la somma pesata delle pubblicazioni presentate da tutti i dottorandi-neodottori di quell’area divisa per il numero di dottorandi e neo-dottori dell’area dei cicli considerati (tre nel 2017 e sei a regime) moltiplicato per tre.

2 Tale indicatore potrà coincidere con uno di quelli adottati nella pratica bibliometrica (IF, Article influence, Eigenfactor, SJR, SNIP, …), oppure da una opportuna combinazione, ad esempio utilizzando la tecnica della Principal Component Analysis, degli stessi.

La due versioni, seppur accumunate dall’indigesto gergo biblio-anvuriano, presentano alcune significative differenze. La differenza più rilevante è che nella seconda versione l’ANVUR si tiene le mani libere nella scelta degli indicatori. Per esempio, relativamente alle “aree bibliometriche”, la prima versione menzionava l’Impact Factor, mentre nella nota (2) della seconda versione ci si limita a dire che “Tale indicatore potrà coincidere con uno di quelli adottati nella pratica bibliometrica (IF, Article influence, Eigenfactor, SJR, SNIP, …), oppure da una opportuna combinazione, ad esempio utilizzando la tecnica della Principal Component Analysis, degli stessi.“. Sembra un’allusione alla VQR in cui ciascun GEV delle “aree bibliometriche” aveva inventato i suoi indicatori fai-da-te. In particolare, Roars aveva mostrato che la tecnica della Principal Component Analyis, sviluppata dal  GEV 09, aveva prodotto classifiche paradossali. Per fare un esempio, INF TECHNOL CONTROL era inferiore ad  ASSEMBLY AUTOMATION sia come Impact Factor che come Eigenfactor. Eppure, per l’ANVUR, INF TECHNOL CONTROL finiva in classe 3, mentre ASSEMBLY AUTOMATION veniva collocata nella classe 4.

Insomma, potremmo assistere  al ritorno di sgangherati bricolage bibliometrici che si sperava fossere stati archiviati per sempre insieme agli inaffidabili risultati della VQR 2004-2010 (Messina meglio del Politecnico di Milano nell’Area 9 di Ingegneria industriale e dell’informazione).

Considerazioni del tutto analoghe valgono per le aree “non bibliometriche”. Infatti, nella seconda versione si parla di “somma pesata delle pubblicazioni“, evitando di specificare i valori dei pesi, il che lascia piena discrezionalità all’agenzia.

Rimandiamo ad altra sede un’analisi dei profili di inadeguatezza dei criteri e degli indicatori, limitandoci ad elencarne alcuni:

• la scienza bibliometrica e diversi autorevoli pronunciamenti (tra cui DORA, IEEE, HEFCE) mettono in guardia dall’uso di valutazioni automatiche del contenuto (articoli) in base al ranking dei contenitori (basati su Impact Factor o altro);
• il problema dell’inaffidabilità delle basi dati getta più di un’ombra sulla fattibilità tecnica;
• le aree, come riconosciuto anche dall’ANVUR in sede di accreditamento dei dottorati, sono troppo eterogenee al loro interno perché le normalizzazioni possano dare esiti sensati e minimamente confrontabili tra un settore scientifico e un altro;
• la valutazione bibliometrica automatica incentiva comportamenti opportunistici (particolarmente facili da realizzare nelle aree “non bibliometriche”), capaci di inquinare i dati complessivi.

4. Canta che ti passa

Torniamo a dove eravamo partiti, ovvero ai documenti “a cucù”, Oramai, vanno considerati alla stregua di un simpatico e folkloristico tratto della “valutazione all’italiana” inaugurata dall’ANVUR. E se mai qualcuno dovesse prendersela in nome di astratti standard di professionalità e correttezza, il nostro consiglio si riassume nel sempre valido

canta che ti passa

E adesso cantate tutti insieme: “Il testo se n’è andato / il file non c’è più …” Se non ricordate la giusta intonazione, niente paura. È quella del video qui sotto. E non scordatevi di tenere il tempo battendo le mani.

Il testo se n’è andato
il file non c’è più
è ritornata l’ANVUR
al canto del cucù

Cu-cù, cu-cù, il file non c’è più,
è ritornata l’ANVUR al canto del cu-cù.

Lassù nel loro sito
la bozza non c’è più
comincia a farci beffe
il perfido cucù

Cu-cù, cu-cù, il file non c’è più,
è ritornata l’ANVUR al canto del cu-cù.

Il prof alla finestra
la sfoglia in su e in giù
l’aspetta il riesame
al canto del cucù.

Cu-cù, cu-cù, il file non c’è più,
è ritornata l’ANVUR al canto del cu-cù.

Ti ho pur sempre detto
di ANVUR la virtù
di far sparire tutto
al canto del cucù.

Cu-cù, cu-cù, il file non c’è più,
è ritornata l’ANVUR al canto del cu-cù.
cu-cù, cu-cù.