Ieri sera sul canale digitale terrestre Cielo andava in onda “Pioggia infernale”, un thriller d’azione con Morgan Freeman e Christian Slater. Ma la vera pioggia infernale era quella che l’ANVUR aveva appena rovesciato sull’università italiana. Migliaia di file Excel, contenenti le Tabelle di valutazione bibliometrica per la VQR. Provo a scaricare quelli dell’Area 09 e cosa succede? «When the .zip file is attempted to be unzipped, it extracts into a .cpgz file, which then can also be launched only to then turn back into a .zip file, which then turns into a .zip.cpgz file, and basically the archive gets stuck in an infinite loop». Non sto a raccontarvi le successive peripezie, ma alla fine sono riuscito a spacchettare 1.024 fogli Excel infarciti di soglie, roba che neanche le schermate verdi di Matrix. Se quelle sul sito di Anvur sono difese da una specie di cintura di castità di cui non trovate il lucchetto, potete sempre scaricarle da Roars. E poi non veniteci a dire che siamo contro la valutazione e che non diamo contributi costruttivi.
Pioggia_Infernale2

Ieri sera sul canale digitale terrestre Cielo andava in onda “Pioggia infernale”, un thriller d’azione con Morgan Freeman e Christian Slater. Ma la vera pioggia infernale era quella che l’ANVUR aveva appena rovesciato sull’università italiana. Migliaia di file Excel, contenenti le Tabelle di valutazione bibliometrica per la VQR. Con una certa dose di ironia, nel Documento di accompagnamento, l’ANVUR scrive

La presentazione di queste tabelle rappresenta una importante innovazione rispetto al precedente esercizio di valutazione, nella direzione di una maggiore trasparenza e accountability del processo valutativo.

Un diluvio di numeri che non si era mai visto in nessun altra parte del mondo, una vera pietra miliare nella “road to hell” della valutazione anvuriana.

Difficile resistere alla tentazione perversa di controllare le tabelle che mi riguardano. Vado sulla pagina dell’Area 09 per scaricarmi tutte le soglie.

Tabelle09

Nella mia cartella di download atterra un file compresso da 5,6 MByte. In effetti, nel Documento di accompagnamento ero stato avvisato che:

Data l’elevata mole di dati elaborati, i file sono stati opportunamente compressi (formato zip), in modo che per ciascun GEV saranno disponibili un numero n di file compressi, ove n = numero di anni x numero di indicatori x numero di tipologie di prodotti x due banche dati di riferimento, ossia 32 file compressi per ciascun GEV, per un totale di 352 file.

Non vedo l’ora (si fa per dire) di aprire le agognate tabelle. Ma come in un gioco di scatole cinesi, mi ritrovo una lista di file compressi:

ScatolaCinese2

Poco male: l’attesa aumenta il piacere. Ancora pochi clic e si sveleranno le soglie davanti ai miei avidi occhi. Provo a cliccare sul primo file e cosa vedo?

ScatolaCineseCPGZ

Che sarà mai quel file .cpgz? Forse sarà un altro file compresso. Continuo a ripetermi che l’attesa moltiplica il piacere, e – sempre più grato nei confronti del GEV 09 – clicco con libidine sul file .cpgz

ScatolaCineseZIP2

Invece di aprirsi, il file .cpgz mi ha fatto marameo e si è trasformato in un altro file .zip

ZIP2

Sempre meno convinto dei benefici della procrastinazione del piacere, faccio clic su questo nuovo file .zip con l’unico risultato di ottenere un altro file .cpgz

CPGZ2

Mi viene il dubbio che CPGZ stia per

Cucù Poveri Gonzi Zucconi!

Mi ricordo che dopo tutto sono un ingegnere e non mi do per vinto. Una veloce ricerca su Google mi porta ad un articolo dal titolo promettente:

HowTo

Rimango un attimo perplesso. È vero che nel mio settore ci occupiamo dei sistemi in “closed-loop”.

Ma non in questo senso.

Che sia tutta una metafora del senso profondo della valutazione anvuriana? Un circolo infinito che non approda a nulla?

Cerco di distogliermi dalle elucubrazioni filosofiche – sono pur sempre un ingegnere. Non sto a raccontarvi le successive peripezie, ma alla fine sono riuscito a spacchettare il mio oggetto del desiderio.

Farei meglio a usare il plurale. Più che un singolo oggetto, mi sono trovato davanti a 1.024 fogli Excel infarciti di soglie, roba che neanche le schermate verdi di Matrix.

Dato che non è bello indulgere a piaceri solitari, mi sento in dovere di mettere a disposizione dei colleghi le preziosissime tabelle. Se quelle sul sito di Anvur sono difese da una speciedi cintura di castità di cui non trovate il lucchetto, potete sempre scaricarle qui sotto.

Tabelle di valutazione bibliometrica – GEV 9

Banca dati: Scopus; Anni 2011-2014; Indicatore: SJR, IPP; Tipologia di prodotto: article, review

E poi non veniteci a dire che siamo contro la valutazione e che non diamo contributi costruttivi.

Per concludere, quale migliore epitaffio per l’Area 09 (Ingegneria Industriale e dell’Informazione) di Road to Hell degli AC/DC? (AC = corrente alternata, DC = corrente continua). Tra gli interpreti del video e i valutatori che hanno partorito queste meraviglie bibliometriche è difficile dire chi sia più trasgressivo.

Post Scriptum: Le tabelle contengono le soglie per ogni anno, per ogni categoria ASJC, per ogni rivista e per ogni indicatore (IPP o SJR relativi a Scopus, ma non per quelli di Web of Science). Tuttavia sono state calcolate in base ad un’interrogazione eseguita il 31 ottobre scorso. Pertanto, non c’è garanzia che coincideranno con quelle effettivamente usate per la valutazione (basate sui dati aggiornati al 29 febbraio – anno bisesto anno …).

Print Friendly, PDF & Email

35 Commenti

    • Problem solving, critical thinking, capacità di comunicare: certo che all’Anvur la sanno lunga. Sono degli autentici maestri.

    • Da notare la spocchia con la quale risponde alle domande. La signora si può considerare una grande esperta di ‘Problem Solving’ nel senso di aver risolto abilmente i suoi problemi, con la soddisfazione anche di poter bellamente prendere in giro gli altri!

    • Il bello è che dietro campeggia la scritta “università di scienze gastronomiche”, e certo che lì le competenze trasversali e il problem solving, oltre le capacità di comunicazione, le vedo critiche. Se mi metti un vino rosso col pesce o il parmigiano sul brodetto, sei fuori.
      .
      Ma visto questo spiccato interesse, oltre che per il vino rosso, per i dati di Almalaurea, OCSE ecc… un commentino sul numero di laureati in Italia no? Perché lì il problem solving dei nostri politici e affini è come un colabrodo, per restare in cucina.

  3. L’area 02 è stata più umana: i files sono leggibili a prima vista. Ho solo una piccolissima perplessità: non sono riuscito a trovare una rivista (marginale, per carità…) che però per sfortuna nel mio Dipartimento è molto frequente: tale Physical Review Letters (PRL per i pochi che la leggono). Capisco che l’ANVUR incoraggia a pubblicare su riviste di qualità e questa forse non è considerata a livello di una Suinicultura o di Yacht Capital…però avrei avuto piacere a trovarla: può l’efficiente helpdesk di ROARS aiutarmi ?

    • Essendo multidisciplinare PRL viene spacchettata. Per avere una idea della classificazione, per esempio, di un articolo di Meccanica Statistica pubblicato su PRL, bisogna andare sulla tabella di Physics and Statistics, prendere una rivista con IPP pari a quello di PRL (se sono tutte più basse, si prende la prima per IPP) e confrontare le soglie citazionali di quella rivista con le citazioni del lavoro in questione.

    • facile, no? Come faceva Fambros a non saperlo? Quanta strada c’è ancora da fare perché la cultura della valutazione finisca per permeare ogni minuto della nostra giornata. Ma se ci applichiamo …

    • Sì, infatti. E’ una di quelle cose che si conoscono in modo innato, che sono controllate dal cervelletto, che anche un cucciolo di dinosauro conosceva, ai suoi tempi, assai bene.

    • Evvabbe’, quello e’ stato un asteroide: questi sono casi davvero estremi, dove anche una valutazione attenta e ben calibrata non può aiutare.

  6. Tu sei un ingegnere, ma qui serve un pro user, meglio se Mac user… L’iPad, comunque, con il solo WinZip e DocsToGo apre tutto, senza battere ciglio.
    Detto questo… Ora cosa i facciamo con quei numeri? C’è una legenda per capire cosa significano i numeri in corrispondenza delle colonne? Che vuol dire IR alto e IR basso? E quando non ci sono?
    È una cosa orribile, mostruosa, contorta.

  7. Trovata la legenda… a intuito avevo capito, ora sono tre volte che leggo la spiegazione…:
    “IR in Alto (Soglia alta IR): se il numero di citazioni è maggiore o uguale alla soglia, il prodotto pubblicato nella rivista identificata è considerato come IR e sottoposto quindi a valutazione peer (se compare l’indicazione “no IR alto”, si intende che in nessun caso un prodotto pubblicato nella rivista considerata può essere collocato come “IR alto” – NB: l’indicazione “IR in alto” prevale sempre sull’indicazione di assegnazione ad una specifica classe di valutazione. Di seguito vengono riportati due esempi:
    1) il numero minimo di citazioni per ricadere nella classe B è pari a cit1, mentre la zona di “IR in alto” è delimitata dal valore cit2>cit1. In questo caso, un prodotto con un numero di citazioni maggiore o uguale a cit1 verrà assegnato alla classe B fintanto che il numero di citazioni non sia almeno pari al valore cit2. Qualora questo dovesse
    succedere
    il
    prodotto
    verrebbe
    sottoposto
    a
    valutazione
    peer; 2) il numero minimo di citazioni per ricadere nella classe B è pari a cit1, mentre la zona di “IR in alto” è delimitata dal valore cit2≤cit1. In questo caso, un prodotto con un numero di citazioni maggiore o uguale a cit2 è sottoposto a valutazione peer e di fatto nessun prodotto verrà assegnato alla classe B.
    IR in basso (soglia IR bassa): se il numero di citazioni è compreso nell’intervallo tra zero e la soglia, il prodotto pubblicato nella rivista identificata è considerato come IR in basso e sottoposto quindi a valutazione peer (se compare l’indicazione “no IR basso”, si intende che in nessun caso un prodotto pubblicato nella rivista considerata può essere considerato come “IR in basso) – NB: l’indicazione “IR in basso” prevale sempre sull’indicazione di assegnazione a una specifica classe di valutazione. Ad esempio, se definiamo cit1 il numero di citazioni necessarie per ricadere nella Classe D e cit2 l’intervallo considerato per cadere in “IR in basso”, con cit1<cit2, allora un prodotto che ha un numero di citazioni cit1 sarà considerato “IR in basso” e non Classe D. "

    …

  9. Gli Italiani non hanno mai imparato che ad andare dietro ai buffoni la farsa si trasforma in tragedia. Eppure la lezione storica è bella chiara (sarà per questo che stanno cercando di far fuori gli insegnamenti di Storia dappertutto).

  10. Mi sembra strano che una agenzia che e’ in grado di concepire l’anamorfosi bibliometrica (https://www.roars.it/il-sonno-della-ragione-genera-anamorfosi-bibliometriche/) non sia in grado di produrre un normalissimo file .zip. Con una certa incredulita’ ho quindi scaricato il file GEV09-Scopus.zip e l’ho scompattato (da bravo informatico, da riga di comando sotto Linux) senza problemi. Quando pero’ ho tentato di fare lo stesso con uno degli archivi in esso contenuti, ho ottenuto questo messaggio d’errore:

    $ unzip 09-Scopus-2011-IPP-Ar.zip

    Archive: 09-Scopus-2011-IPP-Ar.zip
    End-of-central-directory signature not found. Either this file is not
    a zipfile, or it constitutes one disk of a multi-part archive. In the
    latter case the central directory and zipfile comment will be found on
    the last disk(s) of this archive.
    unzip: cannot find zipfile directory in one of 09-Scopus-2011-IPP-Ar.zip or
    09-Scopus-2011-IPP-Ar.zip.zip, and cannot find 09-Scopus-2011-IPP-Ar.zip.ZIP, period.

    Di solito questo accade quando si tenta di usare il comando unzip su un archivio che non e’ in formato .zip; in effetti pare che i file contenuti in GEV09-Scopus.zip siano in formato RAR (pur avendo estensione .zip):

    $ file 09-Scopus-2011-IPP-Ar.zip

    09-Scopus-2011-IPP-Ar.zip: RAR archive data, v1d, os: Win32

    Per questi e’ necessario usare un altro comando (unrar sotto Linux):

    $ unrar x 09-Scopus-2011-IPP-Ar.zip

    Extracting from 09-Scopus-2011-IPP-Ar.zip

    Creating GEV09-Scopus-anno2011-IPP-Article OK

    Extracting GEV09-Scopus-anno2011-IPP-Article/GEV09-scopus-1403-Business and International Management-anno2011-IPP-Article.xls OK

    […]

    Extracting GEV09-Scopus-anno2011-IPP-Article/GEV09-scopus-3108-Radiation-anno2011-IPP-Article.xls OK
    All OK

    Esistono comunque programmi in grado di accorgersi da soli del tipo di archivio (ignorando l’estensione del file), usando in automatico l’algoritmo di compressione appropriato. Questo spiega perche’ qualcuno non ha avuto problemi ad aprire i file.

    Detto cio’, e’ lecito domandarsi quanta fiducia si possa riporre nei numeri presenti nei tabelloni Excel calcolati da una agenzia che non sa creare un archivio .zip fatto come si deve.

  13. Una battuta fra noi… sarete anche ingegneri, ma avete dei mac d’epoca o siete un po’ imbranati. Il mio Mac Pro fa tutto da solo e mi scarica sul desktop le cartelle coi file Excel. Se per complicarmi la vita decido di scaricare il file compresso, poi con Stuffit (qualche programma a pagamento però compratelo…) estraggo tutto senza catch 22…

    ;-)

    • Abbiamo verificato che non funzionava su un Mac (non d’epoca) e nemmeno su un PC con sistema operativo Windows. Anche Marzolla ha incontrato qualche intoppo e ha dato una possibile spiegazione. Non insuperabile, tanto è vero che abbiamo spacchettato il tutto e lo abbiamo messo a disposizione dei colleghi. Il loop infinito sembrava un segno del destino e anche una metafora azzeccata della valutazione all’italiana: impossibile resistere alla tentazione di scriverci un instant post.

    • La mia era una battuta, ma resta la considerazione che creare cartelle compresse è un’operazione di una semplicitá tale che se all’anvur sono capaci di complicare anche questo… abbiamo detto tutto!

    • In effetti basta editare il file per vedere che l’header è quello di un RAR. La prossima volta suggerirei al GEV09 per rendere le cose più complesse di mascherare da ZIP un ARJ.

  14. Dopo l’h-index contemporaneo ora abbiamo scoperto l’IPiPì. Ma l’IPiPì a volte non è la cosa che l’articolo fa meglio, almeno non dove dovrebbe, e questo si deve sapere.
    Basta scaricarsi 352 file, scomprimere in maniera giusta, spacchettare, trovare l’IR (chi è?), vedere quante cit ci sono nell’IPiPì (meglio molte), se l’Esgeier batte l’IPiPì – non sempre l’IPiPì è la cosa migliore dell’articolo, a volte L’IPiPì in quell’Asgeici non viene poi troppo bene -, ripetere tutto per ognuno dei 4 anni in cui si la VQR si abbatte su di noi, moltiplicare per gli anni di esistenza dell’ANVUR (sempre troppi, comunque), dividere per l’età di Fantoni e normalizzare sul risultato della VQR precedente, dove però l’IPiPì non c’era… ma non importa.
    Fatto?
    Così si ottengono il proprio risultato e la prossima classifica degli atenei.

    • La spiegazione sta nel documento di accompagnamento:
      ______________________
      «per ciascun GEV sono state pubblicate le classificazioni delle ASJC di maggiore pertinenza. Le istituzioni potranno comunque presentare per la valutazione a ciascun GEV anche prodotti che afferiscano ad ASJC non presenti tra quelle indicate nell’elenco allegato.»
      ______________________
      Nonostante il diluvio di file, Anvur non ha nemmeno fornito le soglie per tutte le categorie (le ASJC). Chi sta in una ASJC non pubblicata deve andare a naso.

      Anvur non ce l’ha fatta a finire il lavoro. Che abbiano pubblicato quello che avevano pronto per cercare di placare la folla con i forconi? Da notare che nella fretta mancano ancora tutte le tabelle di Web of Science. Questa VQR assomiglia sempre più a una carretta del mare che arranca verso il porto. Ce la farà?

    • ASJC come “Artificial Intelligence”, “Information Systems” o “Software” non sono tra quelle di maggior pertinenza in area 9, che ha come nome “Ingegneria Industriale e dell’INFORMAZIONE”? Riviste quali le varie Transactions di ACM e IEEE non sono tra quelle di maggior pertinenza?
      Ed una valutazione che rivendichi una qualche briciola di serietà può lasciare che alcuni “addetti alla ricerca” sottomettano prodotti con l’aiuto di tabelle che gli predicono esattamente in quale classe di merito il prodotto ricadrà, mentre gli altri “addetti” devono andare A NASO?
      Complimenti vivissimi a chi sta conducendo questa operazione con tanta maestria.

    • Nell’indignazione del momento ho dimenticato di ringraziare Giuseppe De Nicolao per la precisa e puntuale risposta. Grazie.

    • Ringrazio e colgo l’occasione per segnalare che nel mio ateneo ciascuno di noi ha ricevuto un messaggio firmato dal prorettore alla ricerca a cui era allegato un elenco di nostri articoli messi in ordine di preferenza in vista della loro selezione per la VQR. Ma, nonostante ci venga detto che la miniclassifica è calcolata “sulla base dei criteri finora pubblicati dall’ANVUR” se si va a guardarla da vicino si scopre che …
      https://www.roars.it/okkei-paisa-ci-si-puo-fidare-della-valutazione-preliminare-per-la-vqr/

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.