Ormai i lettori di roars sanno che tre premi Nobel per la Fisica, insieme ad altri otto scienziati di altissimo profilo, hanno scritto una lettera alla Ministra dell’istruzione, che condanna gli assurdi automatismi della valutazione all’italiana, e contiene un accorato appello a ripensare la strada intrapresa in solitaria dal nostro Paese. La lettera ha fatto tornare di attualità un post di roars dell’ottobre 2013, dedicato all’assegnazione del Nobel per la fisica a Higgs. Il post-beffa chiedeva alla ministra Maria Chiara Carrozza di “farsi ambasciatrice in Europa” della bibliometria anvuriana, soprattutto presso l’Accademia delle Scienze svedesi che aveva deciso inopinatamente di premiare Higgs, un fisico che in Italia non avrebbe neanche passato le mediane per l’abilitazione al ruolo di associato. Molti presero sul serio il post, a testimonianza che già allora le acque erano un bel po’ inquinate. Lo riproponiamo oggi, accompagnato dalla riflessione che ormai la realtà ha superato la fantasia.
Il Nobel dei baroni, di Alberto Baccini, pubblicato su Roars il 9 ottobre 2013.
Riceviamo e volentieri pubblichiamo.
Per una volta possiamo affermare con orgoglio e senza paura di essere smentiti che in Italia non sarebbe potuto accadere. Ci riferiamo ovviamente all’assegnazione del Premio Nobel per la fisica da parte dell’Accademia delle scienze svedesi. Questa mattina tutti i giornali italiani si avventurano in lodi dei due vincitori, ma nessuno si è accuratamente documentato sul loro reale spessore scientifico. I dati oggettivi che presentiamo di seguito mostrano chiaramente che, ancora una volta, l’assegnazione del Nobel per la fisica ha seguito logiche che, spiace dirlo, sono chiaramente baronali.
Peter Ware Higgs copre la carica di professore emerito ad Edinburgh, una discreta università, ma non certo nelle posizioni di testa delle classifiche internazionali. Il prof. Higgs nella sua carriera accademica ha prodotto un numero così esiguo di lavori di qualità che il database ISI-WoS di Thomson-Reuter registra solo due articoli a suo nome. Per non essere ingenerosi abbiamo fatto la stessa ricerca su Scopus di Elsevier, database bibliometrico notoriamente meno selettivo, e possiamo documentare che il prof. Higgs in 50 anni di carriera scientifica ha prodotto solo 13 lavori. Come di può vedere i 13 lavori sono intervallati da lunghi anni di silenzio.
Come si può notare dalla tabella seguente, dei 13 lavori solo 9 sono articoli. Non è inoltre inutile notare che in una produzione tanto esigua il premio Nobel Higgs non si sia fatto mancare un erratum che, statisticamente, finisce per rappresentare il 10% della sua produzione scientifica complessiva.
Veniamo ora alla qualità delle riviste su cui sono stati pubblicati i lavori di Higgs. Come ben sappiamo, dalla qualità della rivista si evince la qualità degli articoli, perché le migliori riviste attuano procedure di revisione più severe e selettive. Solo tre degli articoli di Higgs, tutti ormai risalenti indietro nel tempo, sono stati pubblicati su riviste di qualità elevate, o più precisamente su una stessa rivista di qualità elevata: Physical Review Letters, che è nel top 20% delle riviste di fisica ordinate secondo l’Impact Factor (Fonte: Journal Citation Reports). Altri tre lavori, anche questi risalenti nel tempo, sono stati pubblicati da Higgs sul Journal of Chemical Physics, rivista che non entra nel top 20% delle poche riviste settoriali (Fonte Journal Citation Report). Questi lavori secondo le stringenti regole della VQR italiana, non potrebbero aspirare a raggiungere un giudizio superiore al buono.
I due lavori più recenti sono apparsi su riviste di scarsa qualità. Una è l’International Journal of Modern Physics A che sta nel 50% inferiore della distribuzione delle riviste per IF, con un IF di appena 1,13 modestissimo quando comparato -come sappiamo essere corretto fare – con le riviste di migliore qualità del campo della fisica. Poco migliore la qualità dei Comptes Rendus Physique rivista che con un IF di 1,8 non riesce ad emergere dal 50% delle peggiori riviste di fisica. Se poi guardiamo più a fondo, scopriamo che i due contributi più recenti non sono da considerarsi a tutti gli effetti articoli scientifici, visto che raccontano aspetti di contorno relativi alle “ricerche” del prof. Higgs. Se questi ultimi due lavori fossero stati presentati alla VQR italiana, sarebbero stati sicuramente penalizzati (punteggio -1) perché di tipologia non ammissibile: si tratta infatti di lavori didattici o al più divulgativi.
E veniamo infine al dato che riassume tutti i precedenti in modo oggettivo ed esemplare: l’h-index dell’emerito prof. Higgs, anche quando calcolato sulla base dei generosi dati Scopus, si ferma ad un modestissimo h=6, che, lo ricordiamo ai lettori più disattenti, indica che il professor Higgs in tutta la sua carriera accademica ha scritto solo 6 lavori che hanno ricevuto più di 6 citazioni.
E veniamo all’altro premio nobel per la fisica 2013, il prof. François Englert, anch’egli emerito di fisica all’Université Libre de Bruxelles –struttura, sia detto per inciso, fuori dalle top 100 della classifica ARWU. Certo la produzione scientifica del prof. Englert appare consistente se confrontata a quella del prof. Higgs. Se per Higgs ISI-WoS registrava solo due articoli, per Englert gli articoli sono ben 40. Ma anche in questo caso vogliamo essere generosi e utilizzare il database bibliometrico più favorevole al soggetto valutato. Scopus registra ben 89 prodotti di Englert.
Negli anni Settanta e Ottanta Englert ha sicuramente pubblicato alcuni contributi di qualità che sono apparsi infatti su riviste di qualità, in particolare Physics Letters B, rivista che con un IF di 4,57 sta nel top 20% delle riviste di fisica. Ed anche negli anni successivi al 2000 ha pubblicato qualche articolo di qualità perché apparso in riviste di qualità, in particolare Nuclear Physics Section B (IF: 5,62). Se ci concentriamo sui lavori che avrebbero potuto essere sottomessi al giudizio del GEV di fisica della VQR italiana, i risultati non sono però esaltanti. Come si vede nella figura seguente tre lavori –il primo, il secondo ed il quinto della lista, sarebbero con ogni probabilità stati giudicati di qualità limitata o al più accettabile, data la modesta qualità delle riviste che li hanno pubblicati. Gli altri tre lavori sul Journal of High Energy Physics, pur apparsi su rivista di ottimo livello, hanno ricevuto un numero di citazioni assai modesto, per cui difficilmente avrebbero potuto aggiudicarsi un Eccellente (1 punto) nell’esercizio italiano di valutazione.
Ma non c’è bisogno di tante parole. E’ sufficiente considerare l’indicatore per eccellenza della qualità della produzione scientifica di uno scienziato, l’h-index che anche nel caso di Englert si ferma al modestissimo h=10 come illustrato nella figura qua sotto.
A fronte di questi indicatori oggettivi della qualità scientifica –ma ne potremmo aggiungere di altri anche più complessi- non si può non restare stupiti della scelta dell’accademia delle scienze svedesi. Che d’altra parte non è affatto nuova a decisioni che non trovano riscontro nell’oggettività degli indicatori bibliometrici. Come documentato qua, i Nobel per la fisica sono stati attribuiti con logiche che appaiono inspiegabili se si adottano le migliori pratiche della comunità scientifica internazionale: nel 2009 il premio Nobel per la fisica fu attribuito a W.S. Boyle (h-index= 7), G.E. Smith (h=5) e C.K. Kao (h=1); nel 2008 a T. Maskawa (h=1) e Y. Namby (h=17); nel 2011 il Nobel per la chimica D. Shechtman si fermava ad un modesto, anche per la chimica, h=17.
Per una volta possiamo davvero essere orgogliosi del nostro paese. Se il Nobel venisse attribuito secondo le regole bibliometriche rigide che sono state adottate in Italia grazie alla meritoria opera dell’ANVUR, casi come quelli appena ricordati, ed in particolare vogliamo stigmatizzarlo, casi come quello di Higgs, non si verificherebbero. Sia detto per inciso: “scienziati” come Higgs e Englert con le regole attuali non solo non potrebbero mai diventare emeriti nell’università italiana, ma avrebbero ricevuto un sacrosanto “semaforo rosso” dall’ANVUR se solo si fossero candidati a far parte delle commissioni per l’Abilitazione Scientifica Nazionale; di più, in Italia non potrebbero neanche aspirare ad un posto di professore associato in fisica per cui sono previste mediane ben più alte in termini di numero di articoli e h-contemporaneo. L’università italiana è stata a lungo dominata da baroni autoreferenziali. Ma grazie alle nuove regole concorsuali e agli incentivi e disincentivi previsti dalla VQR, stiamo rapidamente cambiando la rotta. Ci auguriamo e con noi se lo augura la maggioranza sana, ma silenziosa della comunità accademica italiana, che i risultati della VQR diano luogo ad una distribuzione efficiente del FFO alle università, che penalizzi chi non fa ricerca di qualità. E ci auguriamo che la Ministra Carrozza voglia farsi ambasciatrice in Europa di questo nuovo corso dell’Italia, promuovendo le best practices bibliometriche italiane in tutte le sedi che contano, anche presso l’Accademia delle Scienze svedesi. E’ ora che ci si avvii sempre più speditamente in Italia ed in Europa verso l’abolizione della prassi per cui “si garantisce una cattedra a vita ai professori universitari” solo perché, e cito un recente articolo di Boeri, “non si vuole che si oppongano alle assunzioni di ricercatori più bravi per tema di perdere il posto” .
Non è accettabile che nel 2013 sopravviva e venga addirittura insignito di una onorificenza –diciamocelo francamente, sempre più screditata- un signore che dopo aver scritto alcuni articoli scientifici “non si dedicò più alla ricerca e non scrisse più articoli scientifici, continuando solo ad insegnare”. Per di più nella università dove ha svolto tutta la sua carriera accademica. (Ci meraviglia non poco che il fisico del CERN Gian Francesco Giudice sembri addirittura approvare questo comportamento di Higgs su La Repubblica di questa mattina). Le scelte rese pubbliche ieri dall’accademia svedese delle scienze dovrebbero essere stigmatizzate dalla comunità scientifica tutta. Non c’è un futuro per l’Europa senza meritocrazia nella ricerca.
La valutazione con metodi bibliometrici sta diventando sempre più dannosa e le contraddizioni insite nella debolezza scientifica di questa pratica esplodono sempre di più. Una pretesa neutralità vorrebbe superare (ovviamente senza minimamente riuscirci) tutti gli elementi non aggirabili di discrezionalità e soggettività insiti nella valutazione.
In realtà il problema dell’ ANVUR è la totale mancanza di un mandato politico che ne delimiti i compiti. Le metodologie finiscono per definire implicitamente un mandato politico che chiaramente esonda dai compiti attribuibili ad una agenzia. La stessa cosa accade con ANAC dove un intero capitolo dell’ ultima relazione, non si limita ad evidenziare alcune problematiche, ma riscrive una riforma di sistema (di natura molto centralistica) che ovviamente è compito del parlamento e non del Dr. Cantone.
La debolezza (nel senso di assenza di pensiero politico) delle attuali forze rappresentate in parlamento, il loro sostanziale abbandono di una elaborazione strategica ha finito per consentire ad agenzie che dovevano avere un ruolo puramente strumentale di espandersi su terreni impropri. Ovviamente questo comporta da un lato il pericolo di una potenziale penetrazione di lobbies trasversali, ma anche, nei casi migliori, una politica generata da una visione illuministica di singoli, assolutamente impropria poichè non sono definiti e definibili gli elementi di legittimazione.
Devo segnalare alcuni punti. In primo luogo, fra le due Universita’ tirate in ballo, l’ Universita’ di Edimburgo e l’ Universite’ Libre de Bruxelles, e dato che ci si riferisce alle classifiche internazionali, bisogna dire che l’ Universita’ di Edimburgo non solo e’ sempre rientrata fra le prime cento nelle classifiche internazionali, ma si e’ piazzata in posizioni di vertice, considerando il numero totale di Universita’ esaminate a livello mondiale. Ad es., nell’ultimo ARWU l’ Universita’ di Edimburgo e’ la 32-esima, nel QS e’ la 23-esima, nel THES e’ la 27-esima. Queste posizioni superano di anni luce quelle di qualunque Universita’ italiana(basta leggere le classifiche), anche se chiaramente cio’ non piace a voi di Roars che battete continuamente cassa. Secondo, l’ abilitazione scientifica italiana e’ ampiamente screditata a livello internazionale, un discredito gia’ esistente e che e’ stato ben amplificato dalle pratiche dei vostri tributaristi accademici; infatti, articoli su questo scandalo sono comparsi anche sulla stampa estera. Terzo, a mia conoscenza molte fra le top Universities non fanno la fuga ai propri docenti per aumentare il numero di pubblicazioni; dicono, invece, che cio’ che conta e’ la qualita’ (e la qualita’ si misura dall’ impatto, anche fuori dal mondo accademico). Sfido a trovare qualcuno del settore (meglio fuori dall’ Italia) che non conosca il bosone di Higgs e che neghi il suo contributo alla materia. Quarto, un emerito e’ qualcuno, in quelle Universita’, che ha gia’ concluso la sua carriera, che ha avuto riconoscimenti per il contributo che ha dato, e da cui non ci si attende ulteriori pubblicazioni; spesso, insegnano a titolo gratuito. Quinto, sarei curioso di conoscere la reazione delle due Universita’ chiamate in ballo al post di Roars.
@Euroricercatore
Ma… non ti sei accorto che e` un pezzo sarcastico?
C’e` scritto perfino nelle righe introduttive “Molti presero sul serio il post, a testimonianza che già allora le acque erano un bel po’ inquinate”
no, non si è accorto. La prima pubblicazione seminò una lunga scia di vittime. Non osavamo sperare che qualcuno ci sarebbe cascato di nuovo …
Complimenti sempre per l’anonimato.
Dobbiamo forse dedurre che un euroricercatore perde la capacità di capire il sarcasmo??
Sarebbe triste…
Forza su, andiamo, capita…
No, in realta’ avevo capito subito che era sarcasmo, ma ho voluto dare l’ impressione che non lo avessi capito e quindi ho voluto mandare il mio post come se il vostro su Higgs fosse serio. Per un semplicissimo motivo: secondo me non c’era bisogno di fare sarcasmo su Higgs, ne’ andrebbe fatto su nessuno che – lavorando in contesti accademici completamente diversi dal vostro – ha ottenuto riconoscimenti.
ah, certo, “ho voluto dare l’ impressione che non lo avessi capito” …
ok, provo a dire la stessa cosa con altre parole: Higgs lo conoscono tutti, nel suo settore e non solo. Il fatto di mettere in un sito web la sua fotografia con su scritto “rejected” si presta ad essere interpretato all’ istante – da chi dall’ estero vedesse il vostro sito e non avesse voglia di andare a sbirciare a fondo in tutte le vicende del vostro mondo accademico – come una negazione di tutto il contributo che egli ha dato. Apposta dicevo che sarei molto curioso di vedere come reagirebbe l’ Universita’ di Edimburgo se qualcuno li’, sopratutto nel dipartimento dove Higgs lavorava, notasse il vostro sito (ed a proposito dell’ Universita’ di Edimburgo, ha appena aggiunto altri due Premi Nobel ai precedenti, portando a 21 il numero totale di Nobel a cui questa Universita’ e’ legata). Concludo questo mio ultimo intervento (poi non mi leggerete piu’) con le risposte ad alcune domande che mi vengono in mente e che, secondo la mia modesta opinione, in Italia vi dovreste cominciare a porre. Esistono in UK (o anche negli USA ed in altri Paesi le cui Universita’ primeggiano nella reputazione a livello mondiale) procedure come l’ ASN o che in ogni modo prevedano commissioni nazionali per il reclutamento o per la promozione? No, non esistono. Senza commissioni nazionali, il tutto viene deciso a livello locale, dalle singole Universita’. Ma le singole Universita’ hanno un interesse ad assumere i migliori ? Si, hanno questo interesse, perche’ altrimenti calano sia la reputazione che i fondi di cui dispongono. Guardate come il sito web dell’ Istituto Universitario Europeo presenta il sistema britannico. Come fanno le Universita’ a sapere chi sono i migliori ? guardano sia il curriculum (che in genere deve avere una impronta internazionle) che le referenze dei candidati (referenze intese come cristalline e motivate spiegazioni del valore e del contributo di una persona
al suo campo, da parte qualcuno che si prende la responsabilita’ di cio’ che scrive), fanno valutare le pubblicazioni da propri esperti interni del settore, puntano a verificare sia le potenzialita’ di ricerca che le capacita’ didattiche. Cosa sono le singole Universita’ in quelle realta’ ? Sono Istituzioni completamente indipendenti le une dalle altre. Non sono imprese private a scopo di lucro, ma organismi del terzo settore (es.: “charities”), che pero’ hanno il senso di compiere una importante missione di pubblico interesse (in genere, ogni Universita’ ha un proprio “mision statemement”) e che per questa ricevono finanziamenti pubblici. Vi saluto sperando di aver lasciato qualche utile motivo di riflessione.
Nel mondo dell’accademia si dice tutto e il contrario di tutto sui colleghi che si vogliono screditare per invidia o per trarne vantaggio.
Ovviamente la maggior parte si frequenta e solo qualcuno viene escluso. In barba agli appunti, qualcuno che ha un gruppo di sostegno prosegue e alcuni sono bloccati: non sempre, ma il loro demerito è difendersi dalle accuse, porre in luce storture e chiederne la riparazione.
Riguardo all’articolo, ritengo che il post volesse porre in evidenza l’assoluta irrazionalità delle procedure di valutazione italiane: il male fatto all’istituzione, agli studenti, alle vite degli studiosi, si vedrà con il tempo.
Un rank analogo a quello usato da google riconoscerebbe il valore di certi lavori (e autori) relativamente poco citati, ma eccellenti. La bibliometria è uno strumento utile, basterebbe farla gestire a persone di buon senso e buone capacità
Nel caso di Higgs il problema non sono le citazioni, ma la produttività individuale. E quindi pagerank non può farci proprio nulla. Concordo: la bibliometria è utile, non basta il buon senso, si deve saperla un poco maneggiare.
E visto che la bibliometria è utile, Roars faccia una bella battaglia per eliminare i ridicoli settori non bibliometrici per rendere tutto bibliometrico.
Ecco la furbata del giorno. È ben noto che, relativamente alle scienze umane e sociali, nemmeno la letteratura in lingua inglese è coperta adeguatamente dai database bibliometrici:
________________
“Butler and Visser examined bibliographies from nine Australian universities in 1997 and 1999. While 90% of chemistry output was covered in the Web of Science database, the database covered only 25% of the output of economics and 17% of the output of policy & politics.” (Diane Hicks, http://works.bepress.com/diana_hicks/33)
Ho raccolto i dati: in una classifica per citazioni, fra i fisici delle alte energie, Peter W Higgs è il 135o al mondo. Ed è 26o in una analoga classifica per rank. Quindi gli indicatori bibliometrici seri riescono a riconoscere che, pur avendo scritto pochi lavori, Higgs ha fatto cose importanti.
Suggerisco a MarcelloGA di usare i dati che ha faticosamente raccolto per sperimentare un altro “indicatore bibliometrico serio”*. Sono pronto a scommettere che Higgs è nelle primissime posizioni, altro che solo 26°, se si usa l’h-index medio per pubblicazione. https://www.roars.it/con-il-bricolage-bibliometrico-gli-ultimi-alloccorrenza-possono-diventare-primi/
* Un indicatore bibliometrico serio è un indicatore che conferma le credenze di chi lo usa.
C’e’ poco da girarci attorno: la bibliometria (non in astratto) ma come metodo unico o principale per confrontare e valutare le persone (per reclutamento, avanzamenti,…) è stupidità allo stato puro che solo in Italia è diventata prassi consolidata (e forse questo dice qualcosa più di qualsiasi ranking sul livello medio degli addetti alla ricerca in questo Paese).
Dai, lo sanno tutti che sei tu mnemonico … De Nicolao non fare il furbo :-)))
Uno degli innumerevoli danni della bibliometria è che ormai quasi nessuno, anche a livello internazionale, non lavora su problemi “impossibili”. Un esempio viene dal commento di ‘t Hooft, premio nobel, “…Is it ‘Superstring Theory’? The problem here is that this theory hinges largely on
‘conjectures’. Typically, it is not understood how most of these conjectures should be
proven, and many researchers are more interested in producing more, new conjectures
rather than proving old ones, as this seems to be all but impossible.”