Anvur / Bibliometria

ANVUR attacca Report: «con un taglio capzioso si travisa la risposta del presidente»

Anvur sbarca a sorpresa su Twitter e per prima cosa si scaglia contro la trasmissione televisiva Report: «Oggettività criteri: con un taglio capzioso si travisa la risposta del presidente Anvur». A quanto pare, l’agenzia non ha gradito il servizio che il noto programma di RaiTre aveva appena andato in onda, con interviste al Presidente dell’Anvur, Andrea Graziosi, e a Giuseppe De Nicolao, redattore di Roars. Durata? Poco più di dieci minuti, ma sufficienti a mettere a fuoco un po’ di anomalie della valutazione all’italiana. C’è il caso del Presidente di una commissione per l’Abilitazione scientifica nazionale che ha superato le asticelle imposte da Anvur grazie a ben 542 citazioni, di cui 394, però, erano autocitazioni. È grave? È lo stesso Graziosi a spiegare ai telespettatori che non è il caso di fidarsi troppo della bibliometria «le citazioni sono un criterio oggettivo per modo di dire». Pure due noti scienziati come Giorgio Parisi e Giuseppe Mingione hanno poca fiducia nelle classifiche della VQR. Se le cose stanno davvero così, vale la pena di spendere milioni di Euro per un’agenzia di valutazione che conferisce la medaglia d’oro della Fisica all’ateneo Kore di Enna? Dove, guarda un po’, il corso di laurea in Fisica non esiste nemmeno. Giuseppe De Nicolao, redattore di Roars, prova a rispondere mediante la metafora della torta e del pasticciere che ci chiede un sovrapprezzo alquanto esoso per dividerla in fette. “Per una fetta di torta” è appunto il titolo del servizio di Report, risultato così urticante per l’ANVUR. Il cui Presidente, però, sfodera un argomento decisivo a difesa dell’operato dell’agenzia: «Non è che prima nelle università italiane del ’90 i soldi venivano dati grandiosamente da Gesù Cristo che scendeva e faceva le parti, dando a ciascuno il suo». Che dire? Se Gesù proprio non scende, allora tanto vale Barabba.

 

 

Al Presidente dell’ANVUR, il servizio di Report non deve essere piaciuto proprio per niente. In particolare, non deve aver gradito questa vignetta.

Le parole nel fumetto sono riportate fedelmente, ma l’ANVUR per l’occasione sbarca su Twitter e inaugura il suo account attaccando Report proprio su questa citazione:

 

 

 

Non solo il tweet recrimina nei confronti di Report che “con un taglio capzioso … travisa la risposta del presidente Anvur”, ma fornisce anche il link ad un file audio che riporta un estratto dell’intervista.

Avendo ascoltato anche il contesto in cui è stata pronunciata, non sembra che la frase   “le citazioni sono un criterio oggettivo per modo di dire” sia stata estrapolata in modo capzioso. Anzi, nell’estratto audio, Graziosi ribadisce proprio quel concetto non meno di sette volte:

  1. L’oggettività pura non esiste
  2. tutti questi criteri sono criteri costruiti
  3. Quello delle citazioni è un criterio oggettivo per modo di dire
  4. È basato sulle citazioni che fanno dei soggetti.
  5. ogni valutazione bibliometrica deve esser confermata da un panel di persone
  6. se mi chiedessi: pensi che il criterio automatico vada meglio? No. Personalmente, io vorrei usare la bibliometria ma usare una bibliometria, nei settori dove è giusto, controllata.
  7. io vorrei che ogni valutazione bibliometrica fosse poi controllata da un occhio umano perché comunque può sfuggire

In ogni caso, affinché i lettori possano formarsi un loro giudizio, in fondo al post riportiamo il testo completo (in blu alcuni nostri commenti).

Non meno polemico è il secondo tweet di Anvur_ITA:

 

 

a cui rispondono per le rime sia ROARS che B CappellettiMontano

Vi lasciamo alla trascrizione dell’audio del Presidente dell’ANVUR. Il quale sfodera un argomento decisivo a difesa dell’operato dell’agenzia: «Non è che prima nelle università italiane del ’90 i soldi venivano dati grandiosamente da Gesù Cristo che scendeva e faceva le parti, dando a ciascuno il suo». Che dire? Se Gesù proprio non scende, ci tocca davero rassegnarci a Barabba?

_________________

Trascrizione dell’audio

Giulia Presutti (REPORT): L’altra domanda che mi viene è: abbiamo parlato dei criteri, abbiamo parlato dei criteri anche numerici. Voi avete utilizzato dei criteri numerici bibliometrici. Lei pensa che questi criteri numerici rendano oggettive le procedure di valutazione? O che magari non ci salvino dai soliti meccanismi …

Andrea Graziosi: Ho capito. L’oggettività pura non esiste. Tra l’altro, tutti questi criteri sono criteri costruiti. Quello delle citazioni è un criterio oggettivo per modo di dire. È basato sulle citazioni che fanno dei soggetti. Voglio dire: stiamo entrando in campi … detto comunque e diciamo, per intenderci, in certe discipline non li usiamo. Ripeto: nella storia, filosofia, archeologia, questi criteri non si applicano [non è vero: anche in queste discipline si adottano criteri numerici bibliometrici come il numero di monografie, di articoli scientifici e di articoli in riviste di classe A]. Anche nel campo delle discipline scientifiche tradizionali, come la medicina, la biologia, come avevo detto prima, la chimica, comunque, nella VQR ogni valutazione bibliometrica deve esser confermata da un panel di persone. Non c’è mai una cosa puramente meccanica [non è vero: gli elenchi degli aspiranti commissari ASN sono basati su criteri bibliometrici puramente meccanici come pure è puramente meccanica l’esclusione dalla valutazione ASN dei candidati che non superano le soglie bibliometriche].
È chiaro che quando ci viene chiesto, come ci è stato chiesto per questo fondo di finanziamento della ricerca di base, di produrre dei dati [incomprensibile], senza poter consultare esterni, rientra un certo automatismo. Una cosa a cui io in linea di principio sono contrario. Però, aggiungo subito [incomprensibile]. Anticamente le università ricevevano i fondi direttamente dal Governo. Riceveva, non so, cento milioni di Euro: pagavano gli stipendi, facevano … gli rimanevano dieci milioni per la ricerca. Come li distribuivano secondo lei? [qui inizia una rievocazione storica ad usum delphini, funzionale a dipingere il presente come “meno peggio”] Li distribuivano un po’, nei posti veramente primitivi, agli amici miei, a quello più potente, a quello più simpatico, a quello della stessa scuola, diciamo con dei criteri, diciamo così, personali. Va bene: se il despota è uno che distribuisce in modo intelligente va meglio che con i sistemi di oggi. Uno molto intelligente magari riesce … ma non è una garanzia …. Molto spesso, in generale, venivano distribuiti con criteri automatici molto più ridicoli di quelli che usiamo noi. Tutti i dipartimenti mandavano dati – molto spesso, lo dico per esperienza, vogliamo dire “gonfiati”? – all’amministrazione dell’università. Ciascun dipartimento ha prodotto tanto, tanto e tanto. Vale tanto, tanto e tanto. Datemi un X. Cioè, in realtà, non è che prima non c’era il criterio automatico, non so come dire. Prima, il criterio automatico era imperante nella distribuzione [incomprensibile]. Quello che abbiamo fatto è: abbiamo reso il criterio automatico un po’ più sofisticato. Dopo di che io [incomprensibile] se mi chiedessi: pensi che il criterio automatico vada meglio? No. Personalmente, io vorrei usare la bibliometria ma usare una bibliometria, nei settori dove è giusto, controllata. Perché, prima di farla valere, la guarda un occhio esperto, per capire se va bene [cosa che, come già visto, non accade per la selezione dei commissari ASN, e nemmeno per l’esclusione automatica dei candidati ASN che non superano le soglie bibliometriche].

Giulia Presutti (REPORT): Un esempio, criteri nelle scienze umanistiche: io mi autocito, vale lo stesso?

Andrea Graziosi: Ma non è vero. Ma non è vero. Nelle grandi banche dati internazionali che usiamo, tutto … cioè , ci sono dei gradi di sofisticazione [questo termine che ricorre più volte testimonia come lo storico Graziosi sia letteralmente soggiogato dai poteri taumaturgici degli algoritmi bibliometrici, espressione di un progresso scientifico, tanto più oggetto di devozione quanto meno lo si comprende; inutile dire che nessun cultore delle “scienze dure” si esprimerebbe in questi termini]  tali … sono escluse la autocitazioni oltre il 25% [nell’ASN le autocitazioni non sono escluse e nel Rapporto finale VQR viene menzionata una soglia del 50%]. Che il 25% uno si autociti è assolutamente lecito, perché se io sto scrivendo uno studio sull’Unione Sovietica, ho studiato la collettivizzazione dell’agricoltura nel ’33 e adesso sto studiando l’agricoltura dopo il ’33, che io citi una parte dei miei lavori, visto che c’è una linea di ricerca, è naturale. È possibile chiedere a queste banche dati di spostare questa soglia dove si vuole [incomprensibile] oppure chi si autocita più del 50%, sono citazioni personali. Non valgono. Ci sono strumenti assolutamente sofisticati che possono essere usati. Nelle discipline più avanzate da questo punto di vista, come in fisica, si riescono a fare cose abbastanza fantastiche, devo dire, e io al solito sono rimasto molto colpito. Al di là di questi grandi miglioramenti, io vorrei che ogni valutazione bibliometrica fosse poi controllata da un occhio umano perché comunque può sfuggire. Però, direi che il progresso dal punto di vista della sofisticazione rispetto ad una distribuzione cruda basata o sul potere o su indici costruiti localmente, eh insomma, è abbastanza notevole. Perché uno deve sempre criticare rispetto a quello da dove viene, non solo rispetto all’ideale [incomprensibile]. Non è che prima nelle università italiane del ’90 i soldi venivano dati grandiosamente da … Gesù Cristo che scendeva e faceva le parti, dando a ciascuno il suo [ragion per cui va bene qualsiasi cosa, anche sistemi di valutazione che trasgrediscono ogni possibile raccomandazione internazionale, fino al punto da aver indotto tre premi Nobel per la Fisica a scrivere una lettera alla Ministra Fedeli per chiedere di modificare il “cieco algoritmo bibliometrico” anvuriano prima che danneggi la scienza italiana]. Non era così. Se no non ci sarebbero stati [incomprensibile] precedenti. Abbiamo migliorato il sistema facendo degli errori e con ancora dei momenti in cui si guarda [incomprensibile] per migliorare

Se dovessi dare un giudizio … finale, diciamo, su questo sistema.

 

 

Send to Kindle
Tag: , , , , , , , , , , ,

14 Comments

  1. Ma quando mai si è vista un’agenzia “indipendente” mettersi a polemizzare su twitter con chi la critica? Robb de matt!

    • Il lato positivo è che, grazie all’incredibile ingenuità della scelta di rispondere via Twitter, sicuramente Report replicherà regalando ulteriore risonanza agli argomenti anti ANVUR.

    • L’Anvur, evidentemente, non legge: guarda solo la televisione.

      La velocità con cui rispondono alle critiche di un programma televisivo e la lentezza con cui rispondono – o, più spesso, non rispondono – alle critiche dei colleghi di cui pur, in sede di autogiustificazione, amano dirsi pari – indica che che riconoscono e temono solo i media simili a loro: centralizzati, non interattivi, e facilmente adattabili a progetti dispotici d’ogni sorta.

  2. Geometria e Algebra says:

    Dalla puntata di Report emerge un altro aspetto interessante.

    Il Presidente della Commissione per l’Abilitazione nel settore 01/A2 sostiene che la valutazione alla quale si è attenuta la commissione è stata determinata dal seguente criterio: <>

    Questo criterio confligge con i criteri che si è data l’ANVUR nella VQR. Se si va a guardare la valutazione ottenuta dai 22 articoli pubblicati su Discrete Mathematics e presentati per la valutazione VQR 2011-2014 (si veda il report finale http://www.anvur.org/rapporto-2016/files/Area01/VQR2011-2014_Area01_Tabelle.pdf) emerge che la valutazione di tali articoli è stata la seguente:
    Eccellente 1
    Elevato 2
    Discreto 10
    Accettabile 9
    con una media di 0.33 ad articolo, quindi tra Accettabile e Discreto cioè molto lontana dall’Ottimo assegnato dal presidente della commissione.

    È possibile che l’ANVUR per la VQR segua certi criteri e per l’ASN se ne seguano altri completamente diversi?

    • Geometria e Algebra says:

      Per un problema tecnico manca la frase tra . Di seguito trovate il commento con la frase mancante.

      Dalla puntata di Report emerge un altro aspetto interessante.
      Il Presidente della Commissione per l’Abilitazione nel settore 01/A2 sostiene che la valutazione alla quale si è attenuta la commissione è stata determinata dal seguente criterio: “Su che rivista è pubblicato? Si Discrete Mathematics, ottima rivista, l’articolo è buono”
      Questo criterio confligge con i criteri che si è data l’ANVUR nella VQR. Se si va a guardare la valutazione ottenuta dai 22 articoli pubblicati su Discrete Mathematics e presentati per la valutazione VQR 2011-2014 (si veda il report finale http://www.anvur.org/rapporto-2016/files/Area01/VQR2011-2014_Area01_Tabelle.pdf) emerge che la valutazione di tali articoli è stata la seguente:
      Eccellente 1
      Elevato 2
      Discreto 10
      Accettabile 9
      con una media di 0.33 ad articolo, quindi tra Accettabile e Discreto cioè molto lontana dall’Ottimo assegnato dal presidente della commissione.
      È possibile che l’ANVUR per la VQR segua certi criteri e per l’ASN se ne seguano altri completamente diversi?

  3. Filippo2017 says:

    Come gia’ detto piu’ volte, purtroppo solo nei commenti ai singoli post su Roars, gli articoli scientifici di informatica sperimentale (ma credo valga per molte altre discipline) sono accettati per la pubblicazione sulla base delle relazioni personali del candidato con gli editori e su quanto paga, nessun revisore e’ in grado in due settimane di leggere e valutare seriamente un lavoro di ricerca sperimentale portato avanti da anni da un autore: il revisore dovrebbe per lo meno rifare tutti gli esperimenti descritti almeno una volta. Quindi le pubblicazioni scientifiche non possono dare alcuna certificazione sulla ricerca descritta. Figuriamoci se da esse si puo’ determinare la qualita’ della stessa. Quindi a cosa serve Anvur? Semplicemente e’ uno schermo per la ripartizione di fondi pubblici e per l’esercizio del potere accademico, entrambe le attivita’ svolte in modo arbitrario.

  4. Non perché lo abbia mostrato un programma come Report ma proprio in base alle dichiarazioni dei professori intervistati, compreso e specialmente il Presidente dell’ANVUR Andrea Graziosi, l’ANVUR dovrebbe essere chiusa subito.
    Questo accadrebbe in una società politica e in una società civile decenti.

    Sono orgoglioso di essermi rifiutato, insieme ad altri amici e colleghi, di sottoporre i miei libri alla VQR, vale a dire a una valutazione costruita nel modo descritto qui con grande chiarezza.
    Una delle conseguenze è stata che sono rimasto fuori dai Collegi di Dottorato del mio Dipartimento, pur avendo tutti i requisiti per farne parte.
    Un’ingiustizia conseguenza del cattivo funzionamento di una procedura ha un solo nome: si chiama beffa. In questo caso però non siamo io e altri colleghi a subire direttamente le conseguenze di tale beffa ma le strutture didattiche e scientifiche alle quali apparteniamo.

  5. Dopo queste dichiarazioni, spero che qualcuno voglia considerare la possibilità di una class action contro l’ANVUR e il MIUR per risarcire il danno esistenziale causato a molti durante questi anni.

  6. marco sammartino says:

    Il solito servizio macchiettistico di Report sull’Università, con musichette da banda di paese, e inquadrature di sguincio per i cattivi designati (Graziosi e Gionfriddo) e normali per i buoni a priori (Parisi e De Nicolao).

    La metafora ideata da De Nicolao, quella del pasticcere e della torta, fa torto alla sua intelligenza e alla nostra pure: alcune decine di milioni sono un nulla, e sarebbero ben spesi, se servissero veramente ad allocare in modo ottimo le risorse.

    L’unico dato veramente rilevante e degno di approfondimento citato dal servizio, i 6.9 miliardi destinati all’Università, viene buttato lì, senza commenti, domande, risposte: sono molti? sono pochi? quanto spendono gli altri paesi paragonabili al nostro?
    Il telespettatore medio concluderà che per Parisi e De Nicolao, gli unici a meritare i finanziamenti, tutti quei miliardi sono troppi, e che per loro una paio dovrebbero bastare.

    In confronto rizzostella giganteggia.

    • Giuseppe De Nicolao says:

      marco sammartino: “La metafora ideata da De Nicolao, quella del pasticcere e della torta, fa torto alla sua intelligenza e alla nostra pure: alcune decine di milioni sono un nulla, e sarebbero ben spesi, se servissero veramente ad allocare in modo ottimo le risorse.”
      ______________
      Basta aver letto Roars per rendersi conto che la metafora è del tutto appropriata:
      https://www.roars.it/online/la-vqr-uno-spreco-il-premio-vale-58-mln-la-gara-ne-costa-almeno-30/
      _____________
      Non so se sammartino è disposto a pagare 30 Euro il suo pasticciere per dividere a fette una torta che costa 58 Euro. Magari, sammartino pensa che siano “ben spesi” se servono ad allocare in modo ottimo gli zuccheri. Quale tra le due opinioni fa più torto all’intelligenza?

  7. Eppure c’è qualche Rettore a cui ANVUR piace molto, tanto da invitare il Presidente Graziosi alla inaugurazione dell’anno accademico in corso.
    Evidentemente in qualche contesto, come l’Università di Verona, il premio alla mediocrità ha fatto comodo a tanti

  8. Massimiliano Giuseppe Rossi says:

    #balancetonGEV

Leave a Reply

Sostieni ROARS

Sostieni ROARS