Nell’agosto scorso sono stati resi noti i vincitori della “Fields Medal” 2014 . Questo premio è attribuito ogni quattro anni, in occasione del congresso internazionale organizzato dalla Unione Matematica Internazionale, a non più di quattro matematici, che, alla data della premiazione, non abbiano superato i quaranta anni. La medaglia Fields è da molti considerata il maggiore riconoscimento scientifico che un matematico possa ottenere.
Può essere quindi interessante calcolare per i “Fields medalists” 2014 i valori dei parametri “Numero dei lavori”, “Numero delle citazioni” e “H-index” le cui “mediane” dovevano essere superate da chi aspirava a far parte delle commissioni per l’abilitazione scientifica nazionale.
Ecco il calcolo basato sui dati riportati oggi nella banca dati della “American Mathematical Society” MathSciNet
- ARTUR AVILA N. Articoli 60, N. Citazioni 524, H-index 12
- MANJUL BARGHAVA N. Articoli 25, N.Citazioni 286, H-index 10
- MARTIN HAIRER N. Articoli 59, N. Citazioni 582, H-index 13
- MARYAM MIRZAKHANI N. articoli 13, N.Citazioni 143, H- index 6
Può essere anche interessante confrontare questi dati con le “mediane” da superare per poter far parte delle commissioni nei diversi settori concorsuali della matematica. Con un certo grado di arbitrarietà , potremmo affermare che ARTUR AVILA apparterrebbe in Italia al settore concorsuale 01/A3 della analisi matematica e della probabilità, MANJUL BHARGAVA al settore concorsuale 01/A2 dell’algebra e della geometria , MARTIN HAIRER al settore concorsuale 01/A3 dell’analisi matematica e della probabilità e MARYAM MIRZAKHANI al settore concorsuale 01/A2 dell’algebra e della geometria.
Le “mediane” per i candidati commissari, con riferimento ai settori concorsuali interessati le seguenti.
- 01/A2 N. articoli 9, N. citazioni 92, H-index 5
- 01/A3 N. articoli 14, N. citazioni 222, H-index 8
Tutti i “field medalists” raggiungerebbero quindi le soglie per entrare a far parte delle commissioni, nei settori concorsuali cui li abbiamo assegnati. Ma sembrerebbe che i parametri “oggettivi” di questi matematici di eccezionale valore non riflettano pienamente la loro “eccellenza”. In particolare lo H-index di MARYAM MIRZAKHANI sarebbe di una sola unità superiore al valore mediano del settore concorsuale attribuitole. Non supererebbe invece le mediane relative al settore dell’analisi e probabilità nel cui ambito (e precisamente nell’area dei “Dynamical systems and ergodic theory” ) ha pure lavorato.
Osserviamo anche che i confronti che abbiamo fatto hanno valore solo indicativo perché per il calcolo delle “mediane” sono state utilizzate banche dati diverse MathSciNet. Quest’ultima banca dati non riporta le citazioni che appaiono su riviste non strettamente matematiche, e potrebbe sottostimare il numero delle citazioni per i matematici che hanno lavorato su temi suscettibili di immediate applicazioni al di fuori della matematica.
Si segnala per un approfondimento più completo lo studio sullo H-index come indicatore di eccellenza contenuto nel lavoro “Statistical inference on the h-index with an application to top-scientist performance di A. Baccini, L. Barabesi , M. Marcheselli e L. Pratelli JOURNAL OF INFORMETRICS, 6, (2012), 721-7288.
altri dati
TERENCE TAO, N. lavori 256, N. Citazioni 7591, H-index 42
39 anni, vincitore nel 2006
VILLANI CEDRIC, N. lavori 88, N. Citazioni 3406, H-index 27
40 anni, vincitore nel 2010
certo, bisogna anche dare un po’ di tempo al tempo. solo 5 anni fa io avevo un quinto delle mie citazioni
Sui limiti delle bibliometrie non credo ci sia possibilità’ di discutere, infatti oramai il meccanismo e’ sempre più inquinato dal fatto di essere usato per le valutazioni LA MISURA PERTURBA L’ESPERIMENTO.
Fenomeni di autoalimentazione del meccanismo citazione, sono per esempio
– editori che accettano articoli e chiedono una tassa di citazioni al loro giornale o un giornale “alleato” per alzare l’ Impact Factor
– clan di citatori professionali che si scambiano citazioni (un po come la compravendita dei voti per clan famigliare in certe zone del sud)
– giornali open access di qualità infima, dove in certi casi la gente si compra la pubblicazione, ma che essendo ISI servono solo a gonfiare l’ H-index
Eclatante e’ il caso di un matematico di scarso livello in una università meridionale (ma questo non e’ rilevante) che pur non avendo mai pubblicato su riviste di prestigio, solo per aver firmato 3/4 lavori negli ultimi anni con un professionista da 8mila citazioni (neanche una su giornali decenti), si e’ ritrovato improvvisamente negli highly cited ISI
con tanto di contratto di una nota università mediorientale che vuole scalare i ranking mondiali.
Nel frattempo quella università’ meridionale ha visto salire in modo incredibile il suo ranking internazionale in matematica (in siti commerciali come QS) e sono sparite da Highly Cited ISI la quasi totalità delle Fields Medals.
Questo non significa rinunciare a valutare, ma bisogna riportare le valutazioni nell’ ambito del peer review dove chi giudica ci mette la faccia, oppure l’alternativa sara’ un immondo mercato delle vacche.
Ovviamente in queste situazioni la battaglia contro l’uso di bibliometrie e altri “strumenti del demonio” trova per strada alleati che non aiutano ovvero quella parte di nullafacenti (magari politicamente potenti) che la valutazione non la vogliono.
Per questo le cose sono difficili, perché le persone serie sono strette da un lato dalla delegittimazione del sistema operata dai “poteri forti” che dicono “servono i numeretti perché gli attori del sistema non sono credibili”, dall’ altra dai cialtroni o “mariuoli” che in questi anni hanno fatto “carne di porco” del sistema universitario e che di valutazione seria non vogliono sentire neanche l’ odore.
Quanto ai numeri citati da Figa’ Talamanca sono veri, come quelli citati da Mingione, ma i numeri da soli non sono quasi mai significativi, in qualche caso solo “indicativi” e in qualche caso anche influenzati da vicende personali e private, che non cambiano il valore dello scienziato.
Piero, io che sono meridionale ho visto cose ben più gravi da quelle parti. Ti invito a riflettere su quelle, ma sono riflessioni che evidentemente possono procurare qualche fastidio. Come pure ti invito a riflettere sul fatto che circa il 90% delle persone che fanno parte della ISI highly cited list vengono da istituzioni come Harvard, Oxford etc. In ogni lista come anche nei lavori pubblicati dalle migliori riviste, ci può sempre essere qualcosa che non va, ma quello che conta é la maggioranza. Diciamo la verità, ad ogni livello l’uso di parametri freddi dà fastidio, poiché rompe la consuetudine di certi circoli all’arbitrarietà del giudizio, all’autoreferenzialità, alle abitudini consolidate; pone ombre sulla possibilità di dire che sono eccellenti persone che eccellenti non sono, di dare premi e riconoscimenti conoscendo solo il proprio lavoro e non quello degli altri. Capisco pure che la lista highly cited dia assai fastidio a chi non ci é finito (non mi riferisco a te, scrivo così perché sono stanco di ricevere e/o leggere osservazioni seccate su questo punto). PS dimenticavo: la classifica highly cited include vari field medalist degli ultimi anni ed é stata costruita guardando solo all’uno per cento dei lavori più citati. Un modo intelligente per escludere la maggioranza delle cattive abitudini di quelli che accumulano citazioni scrivendo masse di lavori irrilevanti etc. Ma evidentemente neanche quello va bene.
Una piccola addenda al mio intervento precedente: credo che sarebbe meglio su roars evitare riferimenti a casi personali, esprimendo giudizi, che, come tali, sono personali anch’essi.
Non sto negando che i sistemi bibliometrici intercettino anche le persone brave, ma sostengo che rischiano di legittimare una marea di mezze calzette il cui unico merito e’ di essere senza scrupoli. Se nella prima applicazione non si è visto ancora il peggio lo si vedrà nella prossima, perché oramai il giochino e’ svelato. Ho lavorato per i sistemi di valutazione di mezzo mondo (ovviamente non in Italia se non marginalmente…) e ne devo trovare ancora uno ( compreso ERC) che usi le bibliometrie. Ricorrere ai numeri serve a delegittimare la scienza italiana che nel suo complesso non lo merita. Una classe politica seria, se volesse valutare seriamente e non si fidasse di chi ha in casa non dovrebbe ricorrere a queste scemenze ma semplicemente internazionalizzare il processo.
Gli sciovinisti francesi quando funzionava AERES mettevano sistematicamente membri stranieri nelle commissioni.
Da quello che mi dicono vari partecipanti al bando, nelle domande ERC chiedono esplicitamente i parametri bibliometrici del candidato. Quindi internazionalizzarsi significa fare uso *anche* della bibliometria. Come d’altra parte ho potuto osservare nelle varie volte in cui mi è capitato di assistere a procedure di reclutamento in università non italiane. Per quanto riguarda la scienza italiana, e in particolare la matematica, io credo che i danni non vengano dalla bibliometria, ma da quella maledetta tendenza che hanno avuto, e spesso ancora hanno, le vecchie generazioni a non aiutare e supportare le nuove. Cosa che abbiamo, e che personalmente ho, ben visto nelle varie situazioni in cui si sono assegnati riconoscimenti internazionali e in cui c’erano italiani nel comitato di assegnazione. Sai, se certe nazioni vincono sempre certi premi e poi hanno produzione scientifica non superiore alla nostra, una ragione dovrà pur esserci, e, credimi, non è la bibliometria. Per quanto riguarda il resto, la bilbiometria deve essere solo dei fattori nell’analisi qualitativa, usata non tanto per affermante l’eccellenza, ma far suonare “campanelli d’allarme”, specialmente nei concorsi. Infine le mediane per i candidati mi sono sempre sembrate un criterio troppo rozzo e facilmente escludente.
“Da quello che mi dicono vari partecipanti al bando, nelle domande ERC chiedono esplicitamente i parametri bibliometrici del candidato. Quindi internazionalizzarsi significa fare uso *anche* della bibliometria.”
===============================
A livello di dichiarazioni ufficiali, anche l’ERC sembra andarci cauto. Ecco come si conclude il final report ERC relativo a “Development and Verification of a Bibliometric Model for the Identification of Frontier Research” (DBF).
_______________________________
Watching out for the problems
However, before bibliometric indicators could be implemented by ERC several problems would have to be solved. The first problem in achieving is the cross-domain disparities in publication culture and patterns. In particular the SSH domain would be difficult to fit into a general bibliometric model. A second problem is the concern that if bibliometric indicators became a part of the evaluation process, this would open a window for manipulation which could have a negative effect.
Measuring for decision making
The main issue here and this is perhaps one of the main conclusions that would need further re- search, is about how you interpret the things that are being measured. Just because things can be measured does not been that they should form the basis of decision making. More work need to be done on translating the conclusions of bibliometric indicators for use in policy making. This project and especially the final workshop revealed that this is perhaps still too little understood. This would again probably need an interdisciplinary focus to bring together people who understand the larger picture with those who measure the details.
___________________________
http://erc.europa.eu/sites/default/files/document/file/DBF_final_report.pdf
Giuseppe De Nicola, ti ribadisco che da vari anni è obbligatorio includere i dati bibliometrici nelle domande ERC e da quello che mi risulta, vengono considerati e come nelle valutazioni internazionali. Questa è la realtà, che può piacere o meno. Il resto è una insana ossessione per uno strumento che, se usato accortamente, può essere molto utile nelle valutazioni, e che rompe schemi di potere consolidati e autoreferenziali a più scale. Come tale, dà fastidio. Il sistema va rodato, e molti accorgimenti vanno presi, come per esempio quello dell’ISI che contare solo lavori nel primo 1%, e che infatti ha generato una highly cited list in cui il 90% delle persone viene da istituzioni di assoluta eccellenza. Ma è inutile non considerare che i dati bibliometrici qualcosa vogliono dire.
scusa, mi è scappata la o finale: De Nicola –> De Nicolao
Con l’introduzione del calcolo delle citazioni all’interno della valutazione scientifica è il caso di dire che negli ultimi anni “ho visto cose che voi umani” e parlo solo ed esclusivamente degli italiani.
– Il numero delle auto-citazioni è aumentato a dismisura. Pur di auto-citarsi all’interno degli articoli ci si arrampica sugli specchi e spesso si dichiara il falso.
– Il trading delle citazioni all’interno dei dipartimenti e tra gruppi di ricerca è all’ordine del giorno.
– Inviare un articolo ad una rivista senza aver citato alcuni lavori dell’editorial board e/o della stessa rivista equivale a farsi bocciare l’articolo.
– Lo stesso vale per le conferenze. I revisori suggeriscono direttamente quali articoli citare.
– L’accettazioni degli articoli e/o ‘inserimento di citazioni sono ormai moneta per lo scambio di favori.
– Gli articoli vengono inviati solo ed esclusivamente se quella rivista/conferenza è presente all’interno delle banche dati scopus/WoS penalizzando fortemente chi cerca di aprire nuove aree di ricerca anche attraverso Workshop o nuove riviste.
– Conferenza e/o riviste di quattro soldi presenti all’interno delle banche dati sono state prese d’assalto negli ultimi anni. Spesso con il sostegno di un membro del comitato di programma autori riescono a piazzare quantità incredibili di articoli.
Tutto questo grazie all’ASN.
Stiamo davvero migliorando grazie alla bibliometria; chissà come era possibile vivere, scrivere, studiare e insegnare prima di tutto quello che elenca Marcati:
– editori che accettano articoli e chiedono una tassa di citazioni al loro giornale o un giornale “alleato” per alzare l’ Impact Factor
– clan di citatori professionali che si scambiano citazioni (un po come la compravendita dei voti per clan famigliare in certe zone del sud)
– giornali open access di qualità infima, dove in certi casi la gente si compra la pubblicazione, ma che essendo ISI servono solo a gonfiare l’ H-index.
Quanta fatica che si deve fare. Prima bastava semplicemente andare in commissione e dire che persone dall’impatto nullo erano geni ed era fatta. Scherzi a parte, il sistema va rodato, e le citazioni non devono certamente assurgere a unico strumento di valutazione.
In tutto questo qui si pone un grande problema di falsa attestazione in un atto pubblico come può essere un concorso. Se presentare un cv è chiaramente un reato, fino a che punto questa pratica di aumentare il proprio h-index non si presenta più come un problema etico ma come un vero e proprio reato?
Perché riportare i dati di Mathscinet, tra l’altro dicendo esplicitamente che non sono affidabili, invece di quelli di Scopus o Web of Science (fonti ufficiali per l’abilitazione, e quindi direttamente confrontabili con le mediane)?
MatSciNet è un sistema molto più controllabile dai poteri forti che Scopus o Isi. Avete mai provato a chiedere a MatSciNet di aggiornare le citazioni o includere articoli pubblicati su riviste normalmente incluse nel database? Io si e non è cambiato assolutamente nulla sono stata completamente ignorata nonostante sia un suo reviewer ufficiale. MatSciNet non ha nessuna uniformità di trattamento a differenza di Scopus e Isi. Tuttavia moltissimi matematici non consultano altro che MatSciNet e ti classificano come di modesto impatto quando i numeri di MSN sono piccoli anche se su Scopus i Isi i numeri sono di tutto rispetto per un matematico…
Io penso che il numero di citazioni di un lavoro di matematica sia un elemento utile per giudicare il valore del lavoro stesso. La citazione dovrebbe testimoniare che i risultati del lavoro sono stati, se non determinanti, almeno utili per il conseguimento di ulteriori risultati da parte di altri autori. E’ difficile perciò dare molto valore ad una citazione che non chiarisca il ruolo del lavoro citato. Per i lavori di matematica è possibile, utilizzando MathSciNet, risalire alle citazioni che appaiono non solo nella bibliografia, ma anche e soprattutto nelle recensioni dei lavori. Le citazioni nelle recensioni (o nei sommari che le sostituiscono) non possono essere decine e decine come quelle della bibliografia, e una volta escluse le autocitazioni dirette o indirette, possono fornire una “stima” dell’”impatto” che il lavoro ha avuto sulle ricerche di altri matematici. Naturalmente anche il numero totale delle citazioni ricevute da un autore è un dato potenzialmente utile. Si tratta però di un dato molto grossolano che dovrebbe essere accompagnato da valutazioni più approfondite. Cosa dire ad esempio di un lavoro molto citato da lavori che a nessun titolo ne riconoscono l’utilità ?
A proposito, è vero che MathSciNet è (a mio parere per fortuna) controllato dai “poteri forti” della matematica americana.
Concordo con la penultima conclusione. Nel mio campo (scientifico ma non matematica) stanno proliferando gli articoli fatti per aumentare i numeri e che non aggiungono niente. Io scelgo di citarli per correttezza, cioè perchè esistono e sono pertinenti, ma li liquido con una citazione di gruppo — Refs. 1-50. Purtroppo così facendo ne aumento la credibilità, e questo è un problema dell’impiccarsi alla bibliometria.
per Figà Talamanca:
a parte il fatto che non si capisce perchè MR dell’AMS e non a questo punto Zentralblatt MATH: non è altrettanto autorevole? (è vero che alcune riviste ANVUR per la matematica applicata potrebbero essere neanche indicizzate…), se importanti sono le citazioni ancora di più dovrebbero essere le recensioni molto positive in MR; ma non mi risulta che se ne sia tenuto conto.
MathReviews è nata quando Zentralblatt ha cominciato ad essere controllata dal governo tedesco di allora. E’ molto improbabile che interferenze governative come quelle naziste, si manifestino come allora, ma Zentralblatt si sostiene con finanziamenti pubblici, e la tentazione di guidare dall’alto la scienza non è completamente scomparsa nei governi europei (cfr ANVUR, VQR, ecc.). Io preferisco affidarmi ai poteri forti di una comunità scientifica abituata a vivere in una società pluralista, dove nessuno, ad esempio, si sognerebbe di dettare i criteri di promozione e o assunzione nelle università diverse dalla propria. Così i “liberal arts college” che sono i diretti competitori di Harvard, Princeton e Yale nel reclutamento degli “undergraduates” si permettono di assumere e promuovere personale docente che l’ANVUR considererebbe “silente”, in altre parole “fannulloni”. Naturalmente una comunità scientifica non ha una struttura “democratica”. Ci sono “poteri forti” in competizione tra loro. Così è certamente possibile criticare la scelta delle riviste cui attinge la banca dati della MathReviews. Probabilmente riflette i gusti della leadership della comunità dei matematici americani. Ma che dire delle classifiche delle riviste imposte da una autorità statale come l’ANVUR?