Negare tutto, negare sempre. Questa sembra essere la linea ufficiale dell’agenzia di valutazione, a fronte dell’allarme internazionale sull’autocitazionismo dei ricercatori italiani, innescato dall’uso indiscriminato della bibliometria promosso dall’Anvur: “At the moment there are not enough elements to support the view of an Italian paradox in terms of self-citations, nor of a perverse effect of new regulation on this issue”.

È stata Physics Today (“the world’s most popular physics magazine”) a riportare la reazione dei vertici dell’Anvur che motivano così il loro scetticismo: “Given that inwardness started rising before 2010, one cannot say the trend is definitely a result of the regulations, write Paolo Miccoli and Daniele Livon, the president and the director of the agency, respectively.“. Si tratta di una solenne cantonata che Miccoli e Livon potevano facilmente risparmiarsi se solo avessero letto quanto scritto a pag. 12 dell’articolo di Baccini, De Nicolao e Petrovich: “The slight discrepancy between the starting year of the inwardness acceleration and the launch of bibliometric evaluation system, with the former occurring slightly earlier than the latter, is easily explained by the “backward effect” typical of citation measures. Any change in the citation habits taking place in a given year produces a backward effect on the citation scores of the previous years because researchers cite previously published papers, so that the change reverberates also on the citation scores of the past production.” Siamo di fronte all’ennesima dimostrazione dell’inadeguatezza dei vertici dell’agenzia nazionale di valutazione. Voi affidereste la valutazione dell’intera ricerca italiana a chi si azzarda a rilasciare dichiarazioni ufficiali su un articolo scientifico senza averlo nemmeno letto e capito?

 

Print Friendly, PDF & Email

15 Commenti

  2. Temo che all’ANVUR nemmeno abbiano contezza di quelli che sono gli indicatori adottati dall’agenzia stessa. Almeno questo è quanto si evince dalle dichiarazioni dell’allora presidente, Andrea Graziosi, alla giornalista di “Report”, che si occupava del caso del presidente di una commissione ASN che a furia di autocitarsi aveva raggiunto le soglie per essere tra i “sorteggiabili” (https://www.roars.it/anvur-attacca-report-con-un-taglio-capzioso-si-travisa-la-risposta-del-presidente/).

    Ecco cosa dice il presidente dell’ANVUR: “autocitazioni? no, noi escludiamo quelle sopra il 25%”. Fatto assolutamente FALSO, come sa chiunque ha fatto domanda per l’ASN. Inventato di sana pianta sul momento, non sapendo cosa rispondere alla giornalista (quindi mentire sapendo di mentire), oppure i vertici dell’ANVUR ignorano addirittura gli indicatori da loro stessi proposti?

    • Vorrei correggere quanto scrive Montano che pregherei di essere più gentile, più cauto nelle sue accuse, e più attento nella verifica delle sue informazioni:
      1. L’ASN non era (e non credo sia) responsabilità dell’ANVUR che vi svolge mere funzioni di supporto tecnico;
      2. L’ANVUR era invece (e credo sia ancora) responsabile della VQR e almeno nella VQR 2, di cui sono stato vice-coordinatore (con responsabilità per i settori non bibliometrici), si discusse a lungo della questione delle auto-citazioni. La decisione fu di mettere il dato, ottenibile, a disposizione dei GEV, suggerendo loro (i GEV VQR sono organi dotati di larga autonomia) di tenerne conto, scontandolo, nella determinazione della qualità dei “prodotti” (termine che anch’io non amavo finché non capii che non tutti gli studiosi si limitano a scrivere articoli e libri e che quindi era giusto usare un termine generale).
      In generale il problema delle auto-citazioni è quindi almeno dal punto di vista della valutazione un problema facilmente risolvibile, o meglio un non problema, visto che le le banche dati sono in grado di tenerne conto.
      cordialmente, ag

    • Direi che ormai siamo di fronte ad una nuova linea di pensiero. Propongo di chiamarla “negazionismo citazionale”.

    • Sono lieto di constatare che il direttivo anvur legga questo blog. Non capisco però perché interventi a rettifica si limitino a questioni secondarie eludendo le questioni primarie;

      1. anvur svolge un ruolo di mero supporto tecnico per ASN? Forse. Anche se il “proporre valori soglia” per conseguire le abilitazioni lo collocherei in una zona di confine tra il puro parere tecnico e un atto di indirizzo. Ma convengo che si possa avere sensibilità diverse a riguardo. Tuttavia mi sfugge perché i dati su cui si basa un mero parere tecnico (i dati da cui sono stati tratti i valori delle mediane) non siano di pubblico accesso. Questa è una decisione politica del direttivo di cui non è stata mai fornita una spiegazione a mia conoscenza e che fa nascere qualche domanda.

      2. Come dovrebbe essere chiaro dall’articolo, il problema non è quello delle autocitazioni, quanto della perturbazione evidente che i criteri puramente bibliometrici hanno indotto nel sistema. E questo dovebbe far riflettere.
      Se però vogliamo restare sul problema specifico delle autocitazioni, sono contento di sapere che è un non-problema perché le banche dati permettono di scorporarle. Ma il punto essenziale non direi sia quello di ottenere numeri con e senza le autocitazioni. Piuttosto che nascono due problemi che le banche dati non possono risolvere: i) il valore delle autocitazioni (non sono tutte uguali o ugualmente irrilevanti) e soprattutto ii) i valori soglia su cui anvur ha basato sia le proposte per l’ASN, sia i dati per VQR su cui il MIUR e le commissioni ASN hanno lavorato, assegnato abilitazioni, stabilito graduatorie etc. hanno utilizzato dati grezzi che hanno permesso una selezione darwiniana di chi si è più rapidamente adattato alle esigenze della numerologia citazionale. Non vedo come considerare positivo questo risultato.

    • Credo sia giusto accogliere il proponimento di basarci su fatti documentati, fatto da Andrea Graziosi (a cui devo rimproverare di non aver scritto correttamente il mio cognome). E allora:

      Fatto n. 1 – Puntata di Report Ottobre 2017. La giornalista chiede al presidente Graziosi lumi sulle autocitazioni (nella puntata si era parlato di un commissario ASN che aveva 405 autocitazioni su 533). Al minuto 3′:40” dell’audio diffuso dalla stessa ANVUR Graziosi dice testualmente: “le autocitazioni sopra il 25% sono escluse”.
      Ebbene, questa affermazione non è vera.
      – Non è vera nella ASN, come si evince agevolmente leggendo il DM sui valori soglia in vigore all’epoca (http://attiministeriali.miur.it/anno-2016/luglio/dm-29072016.aspx)
      – Non è vera nella VQR1. Nei criteri dei GEV infatti si legge: “Nella VQR 2004-2010 non verranno escluse le autocitazioni per motivi di ordine tecnico legati soprattutto all’uso di WoS, che non lo consente direttamente, e ai problemi legati alla disambiguazione dei nomi degli autori, se lo si volesse realizzare a partire dai dati grezzi” (https://www.anvur.it/attivita/vqr/vqr-2004-2010/gev/)
      – Non è vera nella VQR2. Nei criteri GEV infatti si legge: “Sulla base dei suggerimenti forniti dal Gruppo di lavoro sulla valutazione bibliometrica costituito in occasione della prima riunione plenaria dei Coordinatori GEV, di non escludere le autocitazioni ma di esaminare con particolare attenzione gli articoli con un numero di autocitazioni superiore al 50% del totale delle citazioni” (https://www.anvur.it/attivita/vqr/vqr-2011-2014/gev/)
      – Non è vera nel FFABR, come si evince agevolmente leggendo il documento redatto dall’ANVUR (https://www.anvur.it/wp-content/uploads/2017/10/La%20metodologia%20FFABR20171~.pdf)

      Fatto n. 2 – Se l’ANVUR avesse davvero voluto “escludere le autocitazioni sopra il 25%”, avrebbe benissimo potuto proporlo al MIUR nel suo parere sui “criteri e parametri” per la ASN, nella sua attività di “mero supporto tecnico”… E invece nel parere 10/2015, reperibile al sito dell’agenzia (https://www.anvur.it/wp-content/uploads/2015/09/Parere_1510_regol_ASN2015.pdf), l’allora Consiglio Direttivo, di cui Graziosi faceva parte, ben si è guardato dal sollevare il problema “autocitazioni” e proporre al MIUR di escluderle. E, invero, avrebbe potuto anche proporlo al MIUR successivamente, dopo il primo biennio, all’atto della “revisione” dei criteri e parametri; ma, anche in questo caso, l’ANVUR non ha ritenuto di proporre al MIUR di “escludere le autocitazioni sopra il 25%”.

    • Dal sito ANVUR: “All’ANVUR è attribuito il compito di valutare i Professori Ordinari che vogliono far parte delle Commissioni nazionali incaricate della valutazione dei candidati”. Non mi pare che valutare quali professori ordinari possono fare parte delle commissioni ASN si possa considerare una funzione di mero supporto tecnico.

  3. Ceterum censeo anvur delendam esse.

    Eppure di ridimensionamento dell’onnipotente agenzia ancora non c’e’ traccia.
    Invece si assiste a quste difese d’ufficio pietose su riviste specializzate internazionali.

    E nel frattempo vengo a scoprire solo ieri che per ben 20 giorni (fino ad oggi) l’ineffabile anvur ha aperto una consultazione pubblica sulle nuove linee-guida sui questionari per la valutazione della didattica da parte degli studenti. La solita consultazione per dimostrare un atteggiamento finto-partecipativo a scelte fatte autonomamente all’interno dell’agenzia. Immagino che ero il solo a non sapere di questa consultazione…

    • a me interesserebbero anche gli algoritmi che hanno usato i commissari per dire idoneo non idoneo…
      Delle consultazioni per questionari studenti non so niente…
      Che uso cattivo stanno facendo anche di quei questionari!!!

  4. Non e’ una bella storia, e ne vorrei raccontare un’altra che temo sia collegata a questa.

    Antefatto: Nel dopo terremoto, a L’Aquila, e’ stato messo in piedi una nuova scuola di dottorato. Si chiama GSSI e lo conosco perché mi e’ capitato di coordinare quello in fisica per sei anni. L’ANVUR ci interrogava e faceva gli esami, ma non vorrei parlare di questo, ma di una circostanza diversa e molto piu’ specifica.

    La nostra controparte per quanto riguardava la parte tecnica era un importante funzionario del ministero. Diciamolo pure, era il nostro “Minosse”: le procedure di spesa dovevano passare sotto di lui per essere approvate o meno.

    Avevamo ricevuto soldi per fare dei corsi integrativi all’universita’ di L’Aquila, come avevamo dichiarato di voler fare, ma costui non ce lo permise, adducendo la motivazione che non eravamo ancora una universita’. Per quello ci siamo limitati a pagare delle borse a studenti di quella universita’, senza poter erogare nessun corso integrativo.

    Pero’, ed eccoci al punto, potevamo erogare i corsi di dottorato e ovviamente l’abbiamo fatto. Non so se e’ chiaro a tutti la situazione, permettetemi di ribadirlo: erogare per conto dello stato istruzione universitaria superiore era permesso, erogare istruzione universitaria inferiore invece non lo era.

    Secondo me questo dice molto su la considerazione che c’e’ del dottorato in Italia, specie da parte di chi il dottorato non l’ha fatto, proprio come il suddetto “Minosse”.

    E dice anche molto, sempre a mio avviso, sulla natura di certe rigidità. Se manca l’indirizzo politico, e si lasciano ai c.d. tecnici le valutazioni e le decisioni, che comportamento terranno costoro? Ci si puo’ aspettare spirito di servizio o spirito di confronto?

    (E se pure faccio la figura del fissato, che dico sempre le stesse, cose lasciatemelo fare una volta di piu’) C’e’ speranza che si cominci ad avere considerazione per il dottorato anche in Italia, come in tanti altri stati moderni, dopo piu’ di 30 anni dalla sua istituzione?

  5. E’ molto lusinghiero che il prof. Graziosi tenga d’occhio Roars e che intervenga nella discussione. E’ interessante, di conseguenza, conoscere di prima mano e fino il fondo il ruolo dell’Anvur, che ora è supporto tecnico, ora non lo è. E’ anche interessante apprendere che, ad un certo punto della loro vita e carriera, dirigenti, seppur temporanei, dell’Anvur si rendono conto che “non tutti gli studiosi si limitano a scrivere articoli e libri” per cui è più utile ricorrere ad un iperonimo (nome cioè di rango semantico superiore e più generale) come “prodotto [dell’intelletto]”. Ma perché questi benedetti studiosi, non bibliometricizzabili, non si “limitano” e complicano così la vita del prossimo? Però, uno del mestiere, già da studente, sa che “libro” è soltanto un contenitore, che non dice niente sul contenuto. Un libro può essere una semplice e logica dilatazione di un articolo, nell’ambito della saggistica. Anche una narrazione può equivalere a un libro, se raggiunge quelle dimensioni e allora, di solito = romanzo. Poi ci sono le curatele, le edizioni critiche, generi ibridi tra saggistica e altro. La prefazione cos’è? La postfazione cos’è? Le bibliografie ragionate. I dizionari (pardon, sono libri!). Le opere collettive. Eh sì, ma tutto deve essere riducibile a degli standard, per cui, oh voi non bibliometricizzabili, non osate inventare dei generi testuali nuovi o innovativi, perché cadrete fuori dalla griglia e addio!

  6. Leggere che “L’ASN non era (e non credo sia) responsabilità dell’ANVUR che vi svolge mere funzioni di supporto tecnico” è veramente grottesco, per non dire peggio!
    Non è stata forse l’ANVUR con i suoi “saggi” a decidere di utilizzare la rigida bibliometria con “criteri e metodologie basati su parametri oggettivi e certificabili” (ah ah ah!) applicati sia all’ASN che alla VQR? Le commissioni ASN hanno avuto certo un loro ruolo, ma spesso anche quello di rimediare alle aberrazioni che derivano dall’applicazione automatica del metodo quantitiativo che può escludere dall’ablitazione anche studiosi di ottimo levello.
    Insomma, le anomalie e le alterazioni del sistema della ricerca causate dall’ANVUR sono sotto gli occhi di tutti, l’articolo di Baccini et al mette in evidenza a livello italiano il fenomeno clamoroso delle autocitazioni e dei citation club, quest’ultimo denunciato l’anno scorso anche da tre accademie scientifiche internazionali che si riferivano in generale al problema della bibliometria come sistema da non utilizzare per definire la qualità della ricerca.
    https://www.academie-sciences.fr/pdf/rapport/avis111217.pdf
    E’ incredibile che l’ANVUR non sia disposto a fare la benchè minima autocritica, ma si limiti sempre a negare o a fare a scaricabarile!
    Quando ho raccontato come funzionano ASN e VQR a ricercatori e docenti stranieri non potete immaginare i commenti. Quelli di alcuni membri della National Academy of Science USA (NAS), li ho anche pubblicati in un mio intervento su Roars di alcun anni fa.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.