Nel fascicolo nel quale è stata pubblicata la lettera di Alessandro Figà Talamanca ripubblicata anche da Roars, erano apparsi anche un breve commento del direttore, prof. G. Anichini e una seconda lettera di M. Ferri.

Riportiamo più sotto entrambi i testi.

Sulla VQR e su come i dati raccolti in sede ANVUR possono essere, magari inconsapevolmente, manipolati e sull’uso, questo sì distorto con consapevolezza, degli indici bibliometrici in varie commissioni di abilitazione scientica nazionale, è aperto un grande dibattito sui media ed in rete. I colleghi Massimo Ferri ed Alessandro Figa-Talamanca, nelle lettere che riportiamo, focalizzano molto bene le conseguenze, sempre piu pericolose, dell’uso e dell’abuso di tali indici.

G. Anichini

 

Indici bibliometrici, concorsi, applicazioni

Caro Presidente,
gli indici bibliometrici non potranno mai dire se il Teorema A sia migliore del Teorema B. Però, bene o male, segnalano l’impatto sulla comunita scientifica. E’ per questo che sono rimasto sgradevolmente sorpreso dalla bocciatura in prima fascia del mio antico allievo XY, motivata prevalentemente da questo punto: “un approccio alla ricostruzione di immagini […] Questo è interessante, ma analizzando le citazioni agli articoli, in particolare usando MathSciNet, non appare che sia stato adottato da altri gruppi di ricerca, o che abbia avuto un sufficiente impatto sulla ricerca nel settore; risultati interessanti […] ma essi non hanno avuto un forte impatto sulla disciplina; impact and international recognition is not on the level of a full professor”.
Questi giudizi contrastano col fatto che per numero di citazioni normalizzato XY è al sesto posto fra i candidati e per indice H-C al quarto (fonte: MIUR); e col fatto che il suo h-index è in cima a quelli degli abilitati a prima fascia (e degli stessi commissari). E’ poi ampiamente riconosciuto che XY è l’antesignano di una branca applicativa della topologia: la cosiddetta  Persistent Homology.
Allora mi viene un dubbio: le citazioni all’esterno della ristretta cerchia matematica valgono meno? Sarebbe una posizione suicida e anche ipocrita, visto che noi matematici spesso magnifichiamo con zelo, all’esterno, l’applicabilità della nostra disciplina. Credo che sia ora di aprire un franco dibattito sulla matematica per le applicazioni. Certo, tutta la matematica
è applicabile, ma sempre più le nuove tecnologie sollecitano nuovi sviluppi, modelli, teoremi. Se si ritiene che questa fonte di ispirazione sia meno importante e da scoraggiare, è ora che lo si dica apertamente e ci si confronti su questo con la comunità scientifica e con la società in generale. Non si può farsene un fiore all’occhiello in giornali e televisione per poi bocciarla nel chiuso delle commissioni.
Massimo Ferri

Send to Kindle

23 Commenti

  1. L’endogamia di certi ambienti è nota.

    L’idea di usare MathSciNet come “primo filtro delle pubblicazioni” a me pare “agghiacciante”, come direbbe qualcuno.

    Ad esempio, uno dei miei lavori a singolo autore che risulta catalogato anche su MathSciNet appare su MathSciNet con 1 citazione, mentre secondo ISI Web of Knowledge ha 37 citazioni e secondo Scopus ha 36 citazioni.

  2. E infatti, gentile collega, tu ti occupi di fisica, non di matematica. Pensa se i fisici, con i loro standard bibliometrici molto più alti di quelli dei matematici, partecipassero a valutazioni comparative di matematica: vedremmo insegnare matematica soltanto a chi si occupa di fisica. Non solo: pensa se i fisici teorici (come te), dovessero confrontarsi con i fisici sperimentali: sarebbero rapidamente eliminati da ogni competizione. A ciascuno il suo. Ulteriore conferma quindi dell’opportunità di usare Mathscinet. E per favore, evitiamo di usare paroloni (endogamia). Si cerca soltanto una maggiore attenzione ai contributi che hanno carattere prettamente matematico, onde evitare di fare confusione.

    • Prendo atto che pensi che articoli su Journal of Mathematical Physics sono “prettamente matematici” solo se ricevono abbastanza citazioni su MathSciNet.

      Di fatto, spesso vedo lavori di fisici teorici (anche miei) “riformulati” dai matematici nelle loro riviste (in modo rigoroso, dicono). E si dimenticano pure di citare l’originale.

    • E’ vero che il confronto degli indici bibliometrici (con tutti i loro limiti) va fatto all’interno di ambiti disciplinari omogenei, e che i confronti tra ambiti differenti siano complicati a causa di differenti standard quantitativi di pubblicazioni e citazioni.
      Con cautela, pero’, soprattutto nel caso di ambiti culturalmente vicini, come potrebbero per esempio essere Fisica Teorica e Fisica Matematica.
      Infatti, da un lato e’ vero che le mediane di Fisica Matematica sono abbastanza piu’ basse di quelle di Fisica Teorica (sarebbe comunque interessante verificare se questa differenza e’ solo italiana o si riscontra anche in ambito internazionale).
      Dall’altro lato, Fisica Teorica e Fisica Matematica hanno forti sovrapposizioni, sia di tematiche che di metodologie. Credo pero’ che molte riviste di fisica non siano indicizzate in MathSciNet, nonostante vi si pubblichino regolarmente articoli di fisica teorica con una certa attinenza anche alla fisica matematica. Nell’ASN, la commissione di fisica matematica ha escluso buona parte dei fisici teorici sulla base della non attinenza delle pubblicazioni al settore, spesso giustificata anche da una loro scarsa presenza su MathSciNet, escludendo cosi’ molti aspetti interdisciplinari della fisica matematica. Credo sia stato un grande errore, anche per il settore stesso, che ha mostrato una forte e penso ingiustificata chiusura verso settori affini.

    • “e’ vero che le mediane di Fisica Matematica sono abbastanza piu’ basse di quelle di Fisica Teorica (sarebbe comunque interessante verificare se questa differenza e’ solo italiana o si riscontra anche in ambito internazionale)”

      per fare il confronto, occorrerebbe trovare un’altra comunità scientifica nel mondo che si rassegna a ragionare in termini di “mediane”. Ma non ce n’è (per fortuna), è una nostra esclusiva.

    • Le mediane sono solo italiane, ma le citazioni sono internazionali.

      Quale sia, a livello internazionale, la distinzione (if any) tra matematica applicata, fisica matematica e fisica teorica è difficile dirlo.

      Un mio laureato ha da poco iniziato un dottorato in “Applied Mathematics” in UK alla Newcastle Univ. Il gruppo coordinato si occupa di “quantum fluids” e pubblicano principalmente sulle riviste di fisica (ad esempio Nature Physics).

      Altro esempio: in UK c’è il Department of Applied Mathematics and Theoretical Physics (DAMTP) dell’Univ. di Cambridge. Anche li c’è un professore di “quantum fluids”.

      Il ragionamento finale di rp è simile a quello che ha fatto Paolo Rossi qualche tempo fa su ROARS.

  3. Si polemizza tanto senza mai focalizzare che il punto è proprio questo. Se usare Mathscinet è “aghiacciante” lo è per alcune cose, così come usare “Scimago” è aghiacciante per altre.

    Mathscinet riporta correttamente tutte ma proprio tutte le citazioni se ci si confronta sul “mainstream” della matematica, ma appena ci si avvicina al bordo fa acqua da tutte le parti. Esattamente come tutti gli altri servizi di questo tipo: ognuno più centrato e più funzionale su alcuni settori che altri e tutti estremamente delicati sui settori di frontiera.

    Se anche le commissioni volessero operare per il bene (è un’ipotesi) si troverebbero strette tra questi due problemi:

    a) uso principalmente la bilbiometria “tal quale” e dunque il mio settore viene “colonizzato” dai settori affini o dai sottosettori che hanno standard bibliometrici favorevoli.

    b) faccio una preselezione e cerco di fare le normalizzazione opportune (e allora vengo accusato di endogamia).

    Entrambe le soluzioni sono state usate e entrambe hanno mostrato i loro difetti. Questo perchè, secondo me, l’errore è di sistema ed è legato alla divisione in settori sceitnifico-disciplinari. Dovunque si tracci una riga si crea un problema di questo tipo.

    • Dopo tanti anni di ricerca, è la prima volta che sento l’espressione “Mainstream” applicata alla matematica. Vorrei allora ricordare, ad uso dei non esperti, che Mathscinet prende in considerazione non solo tutte, ma proprio tutte, le riviste di matematica, ma anche le riviste che ospitano articoli con contenuto matematico di un certo livello, come ad esempio Econometrica, J. Econom. Theory etc. Certo, se un matematico comincia improvvisamente a occuparsi per esempio di ingegneria delle infrastrutture (dove in molti articoli che ho visto pubblicare la parte matematica non va oltre l’equazione del calore in due dimensioni) c’è la possibilità che tali contributi non vengano considerati come gli altri dal punto di vista dell’analisi bibliometrica. A quel punto però non ci dovrebbe essere problema: tali contributi, se validi, saranno sicuramente apprezzati in quel campo. In generale, ogni ingegnere di un certo livello e anche ogni fisico, può essere considerato un matematico applicato, per la natura stessa della disciplina; se però si vuole usare la bibliometria, è necessario fare distinzioni elementari, onde non mischiare le pere con le mele. Vorrei infine ricordare la mia esperienza, che viene da quasi venti anni di insegnamento in una facoltà di ingegneria. L’atteggiamento che si ha verso la matematica che non viene considerata applicata (cioè quasi tutta), qualsiasi cosa questo voglia dire, è in generale di sufficienza e pare che tutto quello che non sia immediatamente applicabile non sia importante. Questo atteggiamento, scientificamente sbagliato e pericoloso, visto che la maggior parte delle applicazioni vere viene da sviluppi inaspettati di parti “teoriche”, è tipico di epoche assai oscure, ed è quello che purtroppo si incontra più facilmente di questi tempi. Quindi i pericoli per la matematica a me paiono venire da direzioni diverse.

  4. Infine aggiungo una piccola critica al gentile collega Anichini, direttore del NUMI. Sarebbe meglio limitarsi ad ospitare lettere nel notiziario senza aggiungere commenti preliminari, che altrimenti paiono essere espressione del sentimento condiviso dall’UMI e dai soci. Infatti, per quello che so io, molti tra i migliori matematici italiani non pensano che l’uso degli indici bibliometrici sia pericoloso, ma pensano che possa essere un utile ausilio alla valutazione quando fatto con discernimento. La “pericolosità sempre maggiore” degli indici bibliometrici andrebbe considerata quindi come opinione personale di Anichini e non come espressioni dei soci dell’associazione.

    • Giuseppe Mingione: “Sarebbe meglio limitarsi ad ospitare lettere nel notiziario senza aggiungere commenti preliminari, che altrimenti paiono essere espressione del sentimento condiviso dall’UMI e dai soci.”
      ============================
      A dire il vero, l’UMI si è già espressa in modo ufficiale con una mozione della sua commissione scientifica, di cui riporto l’inizio (per la versione completa: https://www.roars.it/online/mozione-della-commissione-scientifica-dellunione-matematica-italiana/)
      ____________________________
      Mozione approvata dalla UNIONE MATEMATICA ITALIANA del 26 giugno 2012 che è stata inviata al Ministro Profumo.

      Abilitazione scientifica nazionale L’Unione Matematica Italiana (UMI) prende atto che in data 26 giugno 2012 eè entrato in vigore il DPR 76/2012 Regolamento recante criteri e parametri per la valutazione dei candidati ai fini dell’attribuzione dell’abilitazione scientifica nazionale per l’accesso alla prima e alla seconda fascia dei professori universitari, nonché le modalità di accertamento della qualificazione dei Commissari.
      
      La Commissione Scientifica (CS) dell’UMI osserva con grandissima preoccupazione che il suddetto decreto introduce un uso automatico di parametri bibliometrici e strumenti statistici per la valutazione dei candidati e dei commissari di concorso. Tale pratica non è accettabile ed è stata condannata dalla comunità scientifica internazionale, al punto da essere ora bandita in molti paesi scientificamente all’avanguardia. L’uso automatico di tali parametri bibliometrici e degli strumenti statistici previsti nel decreto, oltre ad essere estremamente complicato al limite – in alcuni casi – della inapplicabilità, non è in grado di tenere nel debito conto la complessità dell’attività di ricerca. Per questo motivo è eticamente inaccettabile e rischia di arrecare gravi danni alle comunità scientifiche. I parametri bibliometrici possono essere uno strumento, anche utile, fra i tanti da usare in modo accorto e competente nella valutazione degli individui, specialmente a fini concorsuali. La loro applicazione però non può e non deve essere automatica, è indispensabile inserire nel contesto le informazioni date da questi strumenti, avendo ben presente le loro caratteristiche e i loro limiti, come indicato nel documento sulla valutazione approvato da questa CS il 15 maggio 2010 e nella recente mozione relativa al raggruppamento MAT04.

      A tale proposito, la CS segnala che nella prossima riunione del Consiglio della Società Matematica Europea (EMS), che si terrà a Kraków (Cracovia, Polonia) dal 30 giugno all’1 luglio 2012, verrà presentato ufficialmente un Code of Practice (codice etico), che stabilisce una serie di standard a cui i matematici europei sono tenuti a conformarsi nella ricerca e nella vita professionale (si veda la comunicazione ufficiale di Arne Jensen: The European Mathematical Society Ethics Committee, Newsletter of the European Mathematical Society 80, giugno 2011, pp. 11-12).

  5. Come ho già scritto altrove, e in particolare su ROARS, e come torno a ripetere qui, io sono contro l’uso automatico delle citazioni come unico metodo di valutazione, e infatti più sopra mi sono espresso in tale direzione, dicendo che gli indici bibliometrici vanno usati con discernimento. In particolare, nelle valutazioni comparative, non andrebbero usate le mediane, e andrebbero messi criteri meno restrittivi cui concorrenti e magari più restrittivi sui commissari. In particolare, non appare saggio usare le citazioni in concorsi in cui i candidati appaiono avere ancora una carriera non troppo lunga. In altre parole, per i giovani. Credo che questa sia anche la direzione dell’UMI, mentre invece sono contrario al boicottaggio assoluto degli indici bibliometrici che invece pare essere in atto. Mi limito però a rimarcare che se in passato si fossero usati *anche* gli indici bibliometrici, non avremmo assistito a certi esiti assai dubbi in certi concorsi locali, e non avremmo visto certe persone andare in commissione. Spero che anche ROARS prenda atto della realtà, e non prosegua in una linea che appare, ma forse mi sbaglio, di boicottaggio assoluto e che mi sembra di retroguardia.

    • Non sono per i boicottaggi assoluti. I dati non vanno idolatrati, ma nemmeno ignorati. Vanno analizzati e capiti.

    • Allora siamo perfettamente d’accordo. Ed è per questo che non trovo corretto che ogni volta si menzionino gli indici bibliometrici si parli sempre e solo di possibile pericolosità. Si parli anche di possibili benefici.

    • Caro Giuseppe,
      Roars non sta facendo nessuna battaglia di retroguardia sugli indici bibliometrici. Ha infatti sottoscritto DORA, la Dichiarazione di San Francisco sulla valutazione della ricerca: https://www.roars.it/online/dora/. Firmando quella dichiarazione si impegna a promuovere l’uso scientificamente corretto degli indici bibliometrici ed a combattere la cattiva valutazione. Vista la situazione italiana siamo sopratutto impegnati sul secondo fronte: a combattere la cattiva valutazione.
      Noi scriviamo da molto tempo che il sistema delle mediane non ha alcun senso; così come l’uso automatico dell’h-contemporaneo o di altre ricette bibliometriche fai da te nelle abilitazioni; o i quadrati magici bibliometrici della VQR e le meravigliose liste di riviste. Inascoltati. Che queste cose avrebbero potuto essere fatte in modo non perfetto, ma ragionevole. Qui da Roars constatiamo che troppi colleghi si svegliamo ora e scrivono e alzano la voce (e non mi riferisco ovviamnete a te); solo perché non hanno ottenuto i risultati che si aspettavano.

  6. Tale “Code of practice” è stato poi effettivamente approvato e lo trovate qui:

    http://www.euro-math-soc.eu/system/files/code_of_practice.pdf

    Contiene una sezione “Responsibilities of users of bibliometric data” in cui al comma 2 si dice:

    “It is irresponsible for institutions or committees assessing individuals for possible promotion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.”

    interessante, no?

  7. Segnalo che nel numero di maggio delle Notices of the American Mathematical Society è apparsa questa lettera di Massimo Ferri.

    Bibliometric indices and competition

    Bibliometric indices are tools. I totally agree that they cannot establish or rank the quality of theorems. Still, they do indicate something, even if they do so roughly: they indicate impact on the scientific community. As in many human problems, the danger lies in extreme attitudes: one is a blind use of the indices – completely disregarding a qualitative analysis – and the other is substantially neglecting the indices. The latter, for instance, is the policy recently followed in Italy by the Committee for the habilitation to full professor in the Geometry and Algebra sector, in some cases, invoking documents by the European Mathematical Society and the International Mathematical Union. Everything is officially documented, in Italian, at https://abilitazione.cineca.it/ministero.php/public/esito/settore/01%252FA2/fascia/1.

    One outcome was that a mathematician I know well (XY say) was refused the habilitation. This failure looks paradoxical to me: on the one hand it is based on an “insufficient impact on the research of the area,” on the other, XY’s indices show the opposite. The H-index and the contemporary H-index—based on Scopus and ISI and supplied to the committee by the Ministry itself—place XY near the top of the list of candidates. The paradox is solved by the explicit admission that the committee, at least in this case, focused on MathSciNet. Beyond the fact that this choice still gives XY an H-index not lower than the ones of most of the candidates that obtained the habilitation, this approach raises some important questions. Can we disregard the impact of our research outside our own community? Wouldn’t such disregard be antithetical to a widespread trend towards interdisciplinarity well represented, e.g., in the National Research Council document http://www.nap.edu/catalog.php?record_id=15269? I think that a sound scientific judgment should consider all citation data. As the IMU puts it, it is information which should not be hidden but illuminated (http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf, page 5).

    In my opinion, without a clear and consistent position about this issue, every statement of our community claiming the interdisciplinary role of mathematics runs a real risk of being perceived as unreliable or empty.

    Massimo Ferri
    University of Bologna

    • La Commissione in questione avrebbe dovuto motivare, per ciascun candidato, la valutazione positiva o negativa dell’impatto della produzione scientifica. Di tale motivazione non v’è traccia, almeno non nella maggior parte dei giudizi.

      Avrebbe dovuto altresì motivare, in ogni singolo caso, il ricorso ad indici/criteri bibliometrici tratti da database diversi da WoS e Scopus (quale, ad esempio, MathSciNet), secondo quanto esplicitamente previsto dall’art.6, co.5 del DM 76, 7 giugno 2012:

      “Qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione preventivamente, con le modalità di cui all’articolo 3, comma 3, e nel giudizio finale.”

      Invece, la frase che si legge un po’ ovunque nei giudizi finali è del tutto generica:

      “Quanto ai titoli da considerare secondo i criteri deliberati, la commissione ha tenuto presente i valori dei vari indicatori bibliometrici contenuti nel database fornito dal ministero.”

      Ho già segnalato il fatto in questo blog, molto tempo fa.

      Il problema non è circoscritto ad un singolo candidato. E mi pare che non sia (o non sia solo) quello segnalato dalla lettera su riportata.

      Il punto è il seguente: se è vero che degli indicatori bibliometrici si è “tenuto conto”, quale, precisamente, è l’uso che ne è stato fatto?

      Nei verbali non c’è modo di trovare la risposta. Molti candidati si sono dunque visti negare l’abilitazione senza essere messi in condizione di capire perché.

    • Quod Erat demonstrandum?
      (che è un modo per dire che mi sembra che il caso specifico non dimostri nulla che non sia già nella mente di chi si interroga)

      Da un lato appare evidente che ignorare completamente certi dati non è la soluzione ideale, dall’altro appare evidente che mettere sullo stesso piano dati che si riferiscono ad aree con standard bibliografici differenti è improprio.

      Le principali istituzioni, nel caso specifico matematiche, consigliano un “uso ben temperato” dei parametri bibliometrici e sottolineano l’assurdità degli automatismi.

      E dunque cosa, così chiaramente, è stato dimostrato?

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.