In 2017, the President of Anvur, the Italian agency for research evaluation, was asked by journalist Giulia Presutti if bibliometrics-based research evaluation could harm innovative research. The answer was disconcerting, yet revealing: a scientific genius “will be rewarded twenty years from now, when he will become the most famous scientist in the world. In the meantime, he should be grateful that he maintained his academic position without being burned alive. Frankly speaking, we are not all Galilei and Newton”(1). And also: “the Italian state is not interested to that extreme point [research that is really innovative]”. No less worrying is the creeping effect of research evaluation on the public use of reason by academics. Linking administrative actions such as hiring, career, funding and wages to the outcomes of centralized research evaluation can subtly impair academic freedom in fields such as health, environment, economics, education and research policy. Herein, these issues are illustrated through the analysis of methods, outcomes and unintended effects of research evaluations run by Anvur.

Below, we publish the slides of Giuseppe De Nicolao’s talk at the Conference “Academic Freedom Today – Insights from Law, Philosophy, and Institutional Practice”, December 6-7, 2018, Free University of Bozen: https://academicfreedom.events.unibz.it/

____________________
(1) On October 30 the Italian TV magazine Report broadcast a brief interview to Andrea Graziosi, the then President of ANVUR, the Italian National Research Evaluation Agency. It was the initiative of the Agency itself to upload on its site the complete recordings of the interview (subsequently removed). Some parts of the interview were then transcripted and published by Roars. Here are the audio and the transcript [in Italian] of two responses explaining why evaluating research by bibliometric criteria that penalize innovative research is acceptable. In particular: (i) one should consider that very few produce excellent research and, in the past, “they have also been burned at the stake”; (ii) “frankly speaking, we are not all Galilei and Newton.

Giulia Presutti: Qualcuno dice che i criteri bibliometrici, cioè quelli del numero delle citazioni ricevute da un articolo, dell’impatto scientifico della rivista, scoraggino un po’ la ricerca innovativa, perché, chiaramente, se un criterio premia la popolarità di un articolo, può impedire a una persona di lanciarsi in strade intentate.

Andrea Graziosi: Io credo che sia una critica assolutamente infondata e anche un po’ ingenua, se uno conosce il mondo della ricerca. Prima di tutto la ricerca di eccellenza è sempre fatta da piccolissimi numeri di persone. È stata fatta – e chi la faceva è stato anche messo al rogo, oggi al massimo uno perde un po’ più di tempo per farsi riconoscere – ed è fatta per amore della scienza. Io credo che chiunque faccia questo mestiere sa benissimo che le persone fanno ricerca di punta … a parte che stiamo parlando dell’un per cento, l’un per mille, la vera ricerca di punta innovativa, originale, quanto può essere? Non è scoraggiata perché ha in sé la sua motivazione.
Nel mentre sono strumenti molto adatti a vedere la qualità media relativa della ricerca seria fatta in un paese. Siccome lo Stato italiano è interessato non a quella punta estrema, che comunque c’è, perché ha in sé il suo interesse, è molto solido e ragionevole pensare di fidarsi del giudizio delle comunità scientifiche. Quindi non è che le citazioni sono più popolari: è un segnale che in quel momento, quella comunità scientifica ritiene quella ricerca molto importante.
È chiaro che, per esempio, che i fisici in quel momento ritengono molto importante studiare questa scrivania. È l’opinione della comunità, non dei lettori di Novella 2000. Io non ho niente contro i lettori di Novella … È chiaro che uno ha scoperto che bisogna studiare quella poltrona. Non se ne accorgono per dieci anni, ma lui la studia lo stesso, perché gli interessa.

Giulia PRESUTTI: Ci sono dei criteri, come quello delle citazioni, che indicano più quanto un articolo venga recepito bene nella comunità scientifica e quindi quanto sia popolare che non …

Andrea Graziosi: Ma è il normale giudizio della comunità scientifica. Lei in quel momento si sottopone … se lei fa questa professione si deve sottoporre al giudizio della comunità scientifica, non può non sottoporsi al giudizio, non può credere a una professione … altrimenti arriva alla torre d’avorio totale. Io sono a favore della torre d’avorio, lo dico senza vergogna. Io penso che uno debba esser libero di chiudersi nella torre d’avorio e buttare le chiavi e studiare quello gli piace. Fa i conti con se stesso. Fa i conti con quello che lascia. Sono sue scelte, per carità di Dio. Però,

Se io faccio questo lavoro, non posso sottrarmi al giudizio della comunità. La cosa sbagliata sarebbe se al giudizio della comunità fosse sostituito il giudizio dello Stato. Devi studiare – non so – il pensiero fascista oppure il marxismo leninismo oppure il dogma cattolico dell’Immacolata Concezione, allora sì. Ma se io faccio fisica e studio le particelle, che il mio studio sulle particelle sia valutato dalla comunità scientifica che studia le particelle – posso dire? – non vedo altra soluzione.

Se poi c’è la persona straordinaria che ha capito che le particelle sono tutte fesserie e che bisogna studiare i particelloni, quello lì il suo premio lo avrà quando diventerà lo scienziato più famoso del mondo tra vent’anni. Dovrà ringraziare che nel frattempo è rimasto ricercatore e non l’hanno bruciato vivo. Cioè, francamente, non è che siamo tutti Galilei e Newton. Pure questa è una visione abbastanza stravagante. Le posso assicurare che, se la massa dei professori universitari fosse ritenuta dalla comunità internazionale – perché queste citazioni sono internazionali – al top, questo sarebbe un paese molto più ricco e aperto.

Send to Kindle

6 Commenti

  1. Allora siamo in attesa dell’amore gratuito per la ricerca di questo Graziosi, che fra 20 anni condividerà la sua mirabolante scoperta nel campo della fisica che lo consegnerà ai posteri come l’erede di Newton. E sarà oggetto di esibizione in musei e mostre internazionali.

    E a quel punto l’ANVUR sarà inarrestabile, perchè avrà anche inventato la macchina del tempo per fermare la presa di coscienza collettiva.

  2. <>

    Sanremo con il leitmotiv della sua canzone vincitrice non si discosta poi molto. Come se far parte di un sistema monetario o un altro fosse una variabile ininfluente… ciononostante si è fatto uno splendido autogol: siccome è vera la classifica fatta qui da ROARS sugli atenei più efficienti, allora lui si è contraddetto ammettendo che se i soldi contano da noi si risparmia di più con tassi di rendimento della ricerca elevatissimi e altrove si spreca.

    Infatti il valore stock della ricerca non conta realmente (il deprezzamento e l’ammortamento sono inevitabili). Infatti a primo impatto il suo errore è di giudicare implicitamente come migliori le comunità in UK e USA (che chissà come se la caveranno con Trump e Brexit)…

  3. Prima che dica spropositi, c’e’ mica qualcuno che disposto a spiegarmi che significa la conclusione “allora sì.” nel passaggio che riporto qua sotto?

    “Se io faccio questo lavoro, non posso sottrarmi al giudizio della comunità. La cosa sbagliata sarebbe se al giudizio della comunità fosse sostituito il giudizio dello Stato. Devi studiare – non so – il pensiero fascista oppure il marxismo leninismo oppure il dogma cattolico dell’Immacolata Concezione, allora sì. Ma se io faccio fisica e studio le particelle, che il mio studio sulle particelle sia valutato dalla comunità scientifica”

    Non piace a nessuno lo “stato totalizzante”, no? http://win.storiain.net/arret/num155/artic1.asp

    • Io interpreto così: se lo Stato dicesse “Devi studiare – non so – il pensiero fascista oppure il marxismo leninismo oppure il dogma cattolico dell’Immacolata Concezione, allora sì” che ci sarebbe da preoccuparsi. Non è invece il caso di recriminare sull’uso delle valutazioni bibliometriche che sono neutrali e si limitano a registrare il giudizio maggioritario della comunità scientifica degli studiosi. Se hai poco riscontro può darsi che tu sia Galileo, ma più probabilmente sei solo scarso e, nel dubbio, è ragionevole penalizzarti, dato che i novelli Galileo e Newton si conteranno sulle dita di una mano, ad essere ottimisti. Per rendersi conto che non siamo di fronte ad un’opinione personale di Graziosi, vale la pena di citare quanto Anvur scrisse in un documento ufficiale risalente al 2011, quando l’agenzia muoveva i primi passi:
      _____________
      “Gli errori che possono essere commessi con il criterio della mediana possono essere di due tipi, di segno opposto. Il primo errore è di escludere persone di valore che resterebbero al di sotto della mediana, ad esempio perché deliberatamente pubblicano poco. La storia della scienza offre una ricca aneddotica in tal senso. Tuttavia, il riferimento a singoli casi di scienziati famosi del passato che non sarebbero rientrati nei criteri proposti è del tutto fuorviante. Non è corretto infatti utilizzare quelli che tecnicamente si chiamano outlier (singoli individui che si collocano in posizioni estreme nelle distribuzioni) per discutere delle proprietà statistiche di una distribuzione, e quindi degli errori che si possono generare attraverso la misurazione. Va osservato poi che nessuno dei commenti critici è stato in grado di produrre evidenza su ampi gruppi di scienziati che sarebbero stati penalizzati nella loro carriera dalla adozione del criterio della mediana.
      Siamo dunque al secondo tipo di errore: che il criterio della mediana consenta di selezionare studiosi che hanno solo prodotto numerosi lavori, ma di bassa qualità. Questo errore è più serio, soprattutto per le candidature alla abilitazione dei giovani studiosi.”
      _____________
      https://www.roars.it/online/wp-content/uploads/2019/02/ANVUR-risposte-2011.pdf

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.