Riceviamo e volentieri pubblichiamo.

Per una volta possiamo affermare con orgoglio e senza paura di essere smentiti che in Italia non sarebbe potuto accadere.

Ci riferiamo ovviamente all’assegnazione del Premio Nobel per la fisica da parte dell’Accademia delle scienze svedesi. Questa mattina tutti i giornali italiani si avventurano in lodi dei due vincitori, ma nessuno si è accuratamente documentato sul loro reale spessore scientifico. I dati oggettivi che presentiamo di seguito mostrano chiaramente che, ancora una volta, l’assegnazione del Nobel per la fisica ha seguito logiche che, spiace dirlo, sono chiaramente baronali.

Peter Ware Higgs copre la carica di professore emerito ad Edinburgh, una discreta università, ma non certo nelle posizioni di testa delle classifiche internazionali. Il prof. Higgs nella sua carriera accademica ha prodotto un numero così esiguo di lavori di qualità che il database ISI-WoS di Thomson-Reuter registra solo due articoli a suo nome. Per non essere ingenerosi abbiamo fatto la stessa ricerca su Scopus di Elsevier, database bibliometrico notoriamente meno selettivo, e possiamo documentare che il prof. Higgs in 50 anni di carriera  scientifica ha prodotto solo 13 lavori. Come di può vedere i 13 lavori sono intervallati da lunghi anni di silenzio.

Come si può notare dalla tabella seguente, dei 13 lavori solo 9 sono articoli. Non è inoltre inutile notare che  in una produzione tanto esigua il premio Nobel Higgs non si sia fatto mancare un erratum che, statisticamente,  finisce per rappresentare il 10% della sua produzione scientifica complessiva.

Veniamo ora alla qualità delle riviste su cui sono stati pubblicati i lavori di Higgs. Come ben sappiamo, dalla qualità della rivista si evince la qualità degli articoli, perché le migliori riviste attuano procedure di revisione più severe e selettive. Solo tre degli articoli di Higgs, tutti ormai risalenti indietro nel tempo, sono stati pubblicati su riviste di qualità elevate, o più precisamente su una stessa rivista di qualità elevata: Physical Review Letters, che è nel top 20% delle riviste di fisica ordinate secondo l’Impact Factor (Fonte: Journal Citation Reports). Altri tre lavori, anche questi risalenti nel tempo, sono stati pubblicati da Higgs sul Journal of Chemical Physics, rivista che non entra nel top 20% delle poche riviste settoriali (Fonte Journal Citation Report). Questi lavori secondo le stringenti regole della VQR italiana, non potrebbero aspirare a raggiungere un giudizio superiore al buono.

I due lavori più recenti sono apparsi su riviste di scarsa qualità. Una è l’International Journal of Modern Physics  A  che sta nel 50% inferiore della distribuzione delle riviste per IF, con un IF di appena 1,13  modestissimo quando comparato -come sappiamo essere corretto fare – con le riviste di migliore qualità del campo della fisica. Poco migliore la qualità dei Comptes Rendus Physique rivista che  con un IF di 1,8 non riesce ad emergere dal 50% delle peggiori riviste di fisica. Se poi guardiamo più a fondo, scopriamo che i due contributi più recenti non sono da considerarsi a tutti gli effetti articoli scientifici, visto che raccontano aspetti di contorno relativi alle “ricerche” del prof. Higgs. Se questi ultimi due lavori fossero stati presentati alla VQR italiana, sarebbero stati sicuramente penalizzati (punteggio -1) perché di tipologia non ammissibile: si tratta infatti di lavori didattici o al più divulgativi.

E veniamo infine al dato che riassume tutti i precedenti in modo oggettivo ed esemplare: l’h-index dell’emerito prof. Higgs, anche quando calcolato sulla base dei generosi  dati Scopus, si ferma ad un modestissimo h=6, che, lo ricordiamo ai lettori più disattenti, indica che il professor Higgs in tutta la sua carriera accademica ha scritto solo 6 lavori che hanno ricevuto più di 6 citazioni.

E veniamo all’altro premio nobel per la fisica 2013, il prof. François Englert, anch’egli emerito di fisica all’Université Libre de Bruxelles –struttura, sia detto per inciso, fuori dalle top 100 della classifica ARWU. Certo la produzione scientifica del prof. Englert appare consistente se confrontata a quella del prof. Higgs. Se per Higgs ISI-WoS registrava solo due articoli, per Englert gli articoli sono ben 40. Ma anche in questo caso vogliamo essere generosi e utilizzare il database bibliometrico più favorevole al soggetto valutato. Scopus registra ben 89 prodotti di Englert.

Negli anni Settanta e Ottanta Englert ha sicuramente pubblicato alcuni contributi di qualità che sono apparsi infatti su riviste di qualità, in particolare Physics Letters B, rivista che con un IF di 4,57 sta nel top 20% delle riviste di fisica. Ed anche negli anni successivi al 2000 ha pubblicato qualche articolo di qualità perché apparso in riviste di qualità, in particolare Nuclear Physics Section B (IF: 5,62). Se ci concentriamo sui lavori che avrebbero potuto essere sottomessi al giudizio del GEV di fisica della VQR italiana, i risultati non sono però esaltanti. Come si vede nella figura seguente tre lavori –il primo, il secondo ed il quinto della lista, sarebbero con ogni probabilità stati giudicati di qualità limitata o al più accettabile, data la modesta qualità delle riviste che li hanno pubblicati. Gli altri tre lavori sul Journal of High Energy Physics, pur apparsi su rivista di ottimo livello, hanno ricevuto un numero di citazioni assai modesto, per cui difficilmente avrebbero potuto aggiudicarsi un Eccellente (1 punto) nell’esercizio italiano di valutazione.

Ma non c’è bisogno di tante parole. E’ sufficiente considerare l’indicatore per eccellenza della qualità della produzione scientifica di uno scienziato, l’h-index che anche nel caso di Englert si ferma al modestissimo h=10 come illustrato nella figura qua sotto.

A fronte di questi indicatori oggettivi della qualità scientifica –ma ne potremmo aggiungere di altri anche più complessi- non si può non restare stupiti della scelta dell’accademia delle scienze svedesi. Che d’altra parte non è affatto nuova a decisioni che non trovano riscontro nell’oggettività degli indicatori bibliometrici. Come documentato qua, i Nobel per la fisica sono stati attribuiti con logiche che appaiono inspiegabili  se si adottano le migliori pratiche della comunità scientifica internazionale: nel 2009 il premio Nobel per la fisica fu attribuito a W.S. Boyle (h-index= 7), G.E. Smith (h=5) e C.K. Kao (h=1); nel 2008 a T. Maskawa (h=1) e Y. Namby (h=17); nel 2011 il Nobel per la chimica D. Shechtman si fermava ad un modesto, anche per la chimica, h=17.

Per una volta possiamo davvero essere orgogliosi del nostro paese. Se il Nobel venisse attribuito secondo le regole bibliometriche rigide che sono state adottate in Italia grazie alla meritoria opera dell’ANVUR, casi come quelli appena ricordati, ed in particolare vogliamo stigmatizzarlo, casi come quello di Higgs, non si verificherebbero. Sia detto per inciso: “scienziati” come Higgs e Englert con le regole attuali non solo non potrebbero mai diventare emeriti nell’università italiana, ma avrebbero ricevuto un sacrosanto “semaforo rosso” dall’ANVUR se solo si fossero candidati a far parte delle commissioni per l’Abilitazione Scientifica Nazionale; di più, in Italia non potrebbero neanche aspirare ad un posto di professore associato in fisica per cui sono previste mediane ben più alte in termini di numero di articoli e h-contemporaneo.

L’università italiana è stata a lungo dominata da baroni autoreferenziali. Ma grazie alle nuove regole concorsuali e agli incentivi e disincentivi previsti dalla VQR, stiamo rapidamente cambiando la rotta. Ci auguriamo e con noi se lo augura la maggioranza sana, ma silenziosa della comunità accademica italiana, che i risultati della VQR diano luogo ad una distribuzione efficiente del FFO alle università, che penalizzi chi non fa ricerca di qualità. E ci auguriamo che la Ministra Carrozza voglia farsi ambasciatrice in Europa di questo nuovo corso dell’Italia, promuovendo le best practices bibliometriche italiane in tutte le sedi che contano, anche presso l’Accademia delle Scienze svedesi. E’ ora che ci si avvii sempre più speditamente in Italia ed in Europa verso l’abolizione della prassi per cui “si garantisce una cattedra a vita ai professori universitari” solo perché, e cito un recente articolo di Boeri, “non si vuole che si oppongano alle assunzioni di ricercatori più bravi per tema di perdere il posto” . Non è accettabile che nel 2013 sopravviva e venga addirittura insignito di una onorificenza –diciamocelo francamente, sempre più screditata- un signore che dopo aver scritto alcuni articoli scientifici “non si dedicò più alla ricerca e non scrisse più articoli scientifici, continuando solo ad insegnare”. Per di più nella università dove ha svolto tutta la sua carriera accademica. (Ci meraviglia non poco che il fisico del CERN Gian Francesco Giudice sembri addirittura approvare questo comportamento di Higgs su La Repubblica di questa mattina). Le scelte rese pubbliche ieri dall’accademia svedese delle scienze dovrebbero essere stigmatizzate dalla comunità scientifica tutta. Non c’è un futuro per l’Europa senza meritocrazia nella ricerca.

Send to Kindle

236 Commenti

  1. (sospiro)

    Un intervento lungo, ma, sospetto, prodotto proceduralmente col comando emacs:

    > fallacia_h_index_einstein[ luminare = Higgs ]

    Ok, su emacs non c’è; ma da qualche parte deve esserci un programma autoamtico che produce questi pezzi. Altrimenti non si spiega come possano essere così numerosi e ripetitivi, tutti con la medesima pretesa di grande trovata e impareggiabile ironia.

    Eppure sulle valutazioni varrebbe sarebbe davvero il caso di discuterne in modo serio, con pro e contro veri, lasciando perdere queste critiche sterili perché immediatamente smontabili.

    • Ma davvero? Le smonti. Lo sterile e ripetitivo articolo in realtà ripropone (fra le righe) tesi scritte e riscritte in carriolate di letteratura scientometrica. Capisco che in Italia la scientometria si pratica da parte di apprendisti stregoni e non si studia, però ci faccia la cortesia, smonti, forza, e lasci perdere EMACS che non impressiona nessuno.

    • Temo che le sia sfuggito che su più di 1200 articoli apparsi su Roars ce ne saranno almeno 300 che discutono di valutazione in modo serio valutando i pro e i contro.

    • L’argomento fallace di questo e una schiera di articoli fotocopia recita così (al netto dell’ironia): “i parametri avrebbero valutato male [un luminare indiscusso a caso], dunque sono completamente fallati.”

      L’ho visto fare con forse due dozzine di luminari, da Fermi a Einstein. Persino con Aristotele.

      Ma su scopus si legge chiaramente: “Any citation information or metrics, such as the h Index, are from 1996 forward.”.
      Dunque il fatto che non funzionino bene con Higgs, che ha cominciato la sua attività esattamente mezzo secolo prima di quella data, è del tutto irrilevante. Punto.

      Insomma considerazioni come quelle dell’articolo sono del tutto inutili ai fini di comprendere quanto strumenti come quelli considerati siano adeguati, o meno, alla valuazione della performance, in *questo* secolo, di un ricercatore o di un ateneo (ai fini della progressione della carriera e della distribuzione dei fondi). Perchè di questo si tratta.

      (e non certo di capire se i parametri sarebbero adatti a determinare l’assegnazione di un Nobel; è scontato che non lo siano, per un sacco di ovvi motivi, fra cui quello citato)

      (il che non significa che io accetti acriticamente il sistema ANVUR, ma vorrei che se ne discutesse al netto del fastidioso rumore di fondo di articoli come questo)

    • Chiedo venia per la pedanza e la lunghezza del mio ultimo post. Rileggendo, mi accorgo di stare davvero dissezionando l’ovvio.

      x Giuseppe: hai ragione, e mi scuso se ho dato l’impressione di buttare il bambino roars con l’acqua sporca. Certo però bisogna ammettere che la percentuale di articoli che “valutano seriamente i pro e i contro” è molto più bassa di quanto sarebbe auspicabile, anche nella tua stima, che pure sospetto essere molto ottimista.

      GC: sta per tarini, il mio cognome. Chiedo scusa per la sciatteria ma non ho voglia di rifare l’account.

    • x Francesco:
      come no? se scopus fosse più completo, potrebbe superare 9. Ma non importa. La cosa, come dicevamo, è irrilevante.

      A costo di essere pedante, voglio esplicitare.

      Higgs ha avuto i suoi anni gloriosi nei 50 e 60, ed è stato in pensione gli ultimi 20 anni. I parametri calcolati da Max{isi,scopus} non gli rendono giustiza, vuoi perchè il coverage di quegli anni è dichiaratamente (su scopus) o implicitamente (su isi) sparsissimo, vuoi perchè anche nella scienza c’è stato un fenomeno infalzionatorio esponenziale.

      Benissimo. Significa solo che miusrare coi parametri le persone che hanno fatto ricerca mezzo secolo fa e sono state in pensione negli ultimi 20 anni (come higgs), e poi paragonare i numeri con le persone che in quei 20 anni si suppone siano sono state attive, è bislacco e da’ risultati un tantino sballati. Che sorpresa.

      Zero. Rilevanza.

      Ora, se potessimo passare alle cose rilevanti, dovremmo chiederci se sia possibile e opportuno, rispetto alle alternative, sfruttare quel blend di parametri misurabili, o un altro al suo posto, nel contesto della valutazione comparativa della performance di persone che si suppone abbiano tutte parimenti lavorato in prima linea in *questo* secolo, come lo sono ad esempio i nostri più o meno giovani ricercatori e associati (ma non gli ordinari) che ambiscano a scatti di carriera.

      Su questo punto l’articolo non pare fornire alcun elemento. Solo conclusioni nette, nascoste dall’ironia ma non suffragate da alcun argomento.

    • marco tar: Ma su scopus si legge chiaramente: “Any citation information or metrics, such as the h Index, are from 1996 forward.”.
      Come la mettiamo allora con l’età accademica coniata dall’ANVUR? Non bisogna essere 80enni per avere cominciato a pubblicare prima. Qualcosa dell’ANVUR si può criticare?

    • @Francesco SL: voglio assumere che tu sia solo un po’ distratto, e non lo stia facendo apposta. Allora: se Scopus fosse più completo, allora, “per costruzione”, vederebbe alcuni papers di Higgs in più dei 9 che invece vede (oltre a ulteriori citazioni). Già Google Scholar, per es, che pure non è certo completo sugli anni ’50 e ’60 del 900, gliene accredita 49 (con coeff di citaz normalizzata di 152, che è strepitoso considerato l’eta). Ma lo dico per pura pedanteria; insisto che niente di tutto questo è neanche lontanamente rilevante. La constatazione che i parametri siano inadatti a misurare chi è a mezzo secolo dai suoi exploit, e in pensione da vent’anni, come abbiamo più volte ripetuto, è tanto pacifica quanto inutile.

      – – – – –

      @thor: sì! Certo che si può. Si può e si deve. Per farlo seriamente (di criticare) bisogna però mettere da parte gli attacchi come “i parametri vanno male perchè persino prenderebbe poco”, che sono solo panzane.

      Ad esempio, concordo con te che l’età accademica sia uno degli elementi criticabili, ma, secondo me, non per il motivo che sembri intendere tu; cioè non perché i nostri meriti al 96 non vengano appieno riconosciuti. Da questo punto di vista, a me non pare affatto insensato che, al fine di ottimizzare la distribuione di fondi e promozioni da dare in futuro, ci si concentri quello che è successo negli ultimi due decenni. Un limite temporale ci deve essere, chiaramente, e un bel paio di decenni sembra, a me, abbastanza ragionevole. Soprattutto considerando che non si tratta di distribuire premi alla carriera, ma avanzamenti (dunque, i candidati non sono full professors arrivatissimi, ma tuttalpiù associati che si suppone essere nel pieno delle proprie attività).

      Da come la vedo io, i problemi col computo dell’età accademica sono due, anche se entrambi abbastanza piccoli in pratica (ci sono storture più grandi sec me). Il primo dei due prob è questo: come da più parti hanno fatto notare, avere un articolo precoce (es scritto prima della laurea) può generare una decurtazione di merito invece che un premio (poichè annacqua uno dei tre criteri, quelle delle citaz totali normalizzate). Questo infrange la monotonicità e chiaramente rappresenta una piccola stortura. Il secondo: se uno ha lavori diciamo anni 70 o 80, e solo un sottoinsieme molto stretto di questi viene visto da isi/scopus, allora è possibile che l’effetto sia, nuovamente, l’annacquamento artificiale del parametro cite/years (gli altri paramteri non hanno nessuno di questi problemi).

      Secondo il mio modesto parere, questo aspetto del problema si appiana se solo si consente al candidato di decurtare liberamente, se ciò è conveniente, gli articoli che ritiene. E’ già così? Si può fare? Io non sono sicuro ma mi sembra di aver capito che la risposta sia: “in teoria nì, ma in pratica sì”. La questione è in buona parte squisitamente… accademica perchè, mi sembra di capire, i casi effettivi in cui sia conveniente togliere articoli sono piuttosto rari e le differenze piccole.

      ((Sec me, ma non è questo post la sede, la cosa andrebbe addirittura automatizzata: il sistema dovrebbe automaticamente evidenziare il valore più alto del parametro cites/year ottenible ignorando il più conveniente sottoinsieme di aricoli vecchi, così da rendere anche il terzo parametro strettamente monotonico col numero di articoli.))

    • Vista la supponenza mi permetto di rispondere a tono. Io non discuto di bosoni perché non ne so nulla. Il problema è che in Italia tutti discettano di bibliometria dimostrando di saperne quanto me di bosoni. Io penso che sarebbe bene studiare un po’ prima di sparare a caso. Non sono cose difficili. Ma molto noiose. Io credo che non riuscirei mai a studiare i bosoni ormai, ma forse con un po’ di impegno la bibliometria la si può anche imparare. Qua ci sono tre manuali per iniziare.
      Moed, H. F., Citation Analysis in Research Evaluation , Dordrecht: Springer, 2005
      Vinkler, P., The Evaluation of Research by Scientometric Indicators, Chandos 2010
      De Bellis, Bibliometrics and Citation Analysis, Chandos 2009
      Ce n’è uno anche in italiano, ma non lo consiglio.

      Poi ci sono una cinquantina di riviste scientifiche classificate come Library and Information Science ed a volte come Computer science su cui si trovano molti articoli sul tema.
      ____________

      Detto questo: trovo esilarante la discussione sulla copertura di Scopus. Capisco che questo potrebbe destabilizzare le sue certezze, ma provi a leggere il cv di Higgs sulla sua bella homepage che trova qua http://www.ph.ed.ac.uk/higgs/peter-higgs. Beh nel suo cv Higgs elenca se non ho contato male 22 lavori complessivi in totale. Chissà perché Higgs nasconde dal suo cv circa 27 articoli dei 49 che secondo lei GS gli accredita. Tra l’altro è sicuro di aver contato bene “l’accreditamento”? Perché a me Publish or Perish (ricerca “Peter w Higgs”) me ne dà 8!
      Eppoi ma davvero crede che allo stato attuale GoogleScholar “accrediti” qualcosa. Una che di queste cose se ne intende parecchio (Diane Hicks) pensa questo “[Google Scolar] is not in a form usable for structured analysis. Basically this is beacause GS is not built from structured records, that is from metadata fields. Rather that using the author, affiliation, reference etc. data provided by publishers, GS parses full text to obtains its best guess for these items.”
      Comunque in Italia è in buona compagnia: anche tutti quelli del GEV 13 (economisti) ci credono a Google Scholar. E all’ANVUR per un bel po’ di tempo hanno dato ascolto a quelli che hanno fatto la lista dei Top Italian Scientists adulando a destra e a manca.

      Su GS ho scritto tanto tempo fa un paio di post che sicuramente non le piaceranno, ma tant’è li ricordo lo stesso.
      https://www.roars.it/online/classifiche-incredibili/
      https://www.roars.it/online/primo-capitolo-e-il-suo-h-index/

      Vista la popolarità del thread forse qualcuno li leggerà.

    • @marco tar:
      siamo alle solite, ci sono gli indicatori delle persone e le mediane. Quando questi due dati vengono confrontati e le due cose sono calcolate diversamente non si fa una cosa buona. Purtroppo questo è stato fatto. Per il resto, se vogliamo restare a discutere di descrittori bibliometrici il numero sum(i) cit(i)/eta(i) avrebbe avuto molti meno problemi di quello usato per la seconda mediana (se ometti perdi e se aggiungi guadagni e non ci sono interazioni irrazionali fra lavori e autori).

    • Thor: perfettamente d’accordo sul miglioramento che descirvi sul indicatore “citazioni normalizzate”. Così si toglierebbe dal computo l’età accademica, che è davvero poco convincente. Cmq, sec me, i problemi più grandi degli indicatori sono altri.

      Invece non ho capito la tua prima parte.

      Comunque, sul fatto che concentrarsi sugli ultimo paio di decenni non sia irragionevole, siamo d’accordo?
      ———————-
      Per Francesco e Alberto.

      L’articolo originale dice che Higgs ha un HI di 6 su Scopus e dunque gli indicatori sono da buttare. Panzana. Scopus non ha i dati per scoprire quanto un autore è stato bravo negli anni 50 e 60 e nessuno ha mai proposto di usarlo per questo scopo.
      Francesco dice e ribadisce (e poi ribadisce ancora) che no, anche se Scopus avesse i dati Higgs non potrebbe avere più di 9, perchè ha solo 9 articoli, giusto? Ri-panzana. Higgs non *ha* solo 9 articoli, è scopus ad essere incompleto e non vederne che 9. Il numero di articoli è molto più alto: la stima di Alberto, che è più precisa della mia (grazie Alberto) ma è comunque imprecisa, per difetto (neanche lui li hai contati bene), conferma in pieno questo semplice concetto.
      ————–
      Sono il primo ad riconoscere gli enormi limiti di GS. Figuriamoci. Fa benissimo l’ANVUR a non usarlo, e ho sempre dissentito fortemente da chi afferma il contrario (e, come sapete, ci sono). Ma persino la scarsa accuratezza di tale strumento è stata abbondantemente sufficente agli scopi di questa discussione, cioè stabilire con ampi margini di sicurezza (se ce ne fosse stato bisogno) che gli argomenti “HI di Higgs = 6” e “HI di Higgs <= 9", proposti nell'articolo e da Francesco rispettivamente, sono fuori bersaglio. Possiamo andare avanti?
      ————–
      Andando avanti, devo insistere: tutto ciò è vero, ma solo un dettaglio secondario. Il punto è un altro. E' pacifico che le misurazioni Anvur non sono adatte a misurare, comparativamente a quelle moderne, la performace di un individuo attivo nel dopoguerra e in pensione da 20 anni. La domanda, del tutto indipendente, e quanto siano adatte (o meno) a giudicare comparativamente la performace degli addetti alla ricerca attivi in questo secolo. Ai fini di questa domanda, gli articoli del tipo "si ma Einstein prende un votaccio, ah-ah", sono rumore, sono inutili, sono irrilevanti, e ce ne sono davvero troppi. Proporrei di smettere di scriverne.

    • marco tar: “L’articolo originale dice che Higgs ha un HI di 6 su Scopus e dunque gli indicatori sono da buttare. ”
      ____________________________
      Non riesco a trovare in quale parte dell’articolo venga scritto che “gli indicatori sono da buttare”. Uno dei vantaggi dell’ironia è che consente di comunicare messaggi un po’ più articolati, sempre che i lettori siano in grado di intendere.
      =============================
      marco tar: “Ai fini di questa domanda, gli articoli del tipo “si ma Einstein prende un votaccio, ah-ah”, sono rumore, sono inutili, sono irrilevanti, e ce ne sono davvero troppi. Proporrei di smettere di scriverne.”
      _____________________________
      Siamo tremendamente addolorati di avere aggiunto un esemplare agli articoli irrilevanti e inutili che già popolano il web. Purtroppo, il danno è già stato fatto con l’aggravante che l’articolo di Baccini è stato letto da più di 33.000 persone ed è stato ripreso anche da siti internazionali. D’altronde, se Bogart fosse ancora vivo, a chi gli proponesse di smettere di scrivere, direbbe: è internet bellezza!

      http://www.youtube.com/watch?v=u3WpqsgTXUQ

    • Come ho già scritto il dato di Scopus, che è sicuramente incompleto, è del tutto coerente con il dato di ISI expanded che invece è molto più completo. Venire a riportare il dato Scholar Google implica l’assenza di ogni minima conoscenza di database e di cultura bibliometrica: e sei tu che l’hi fatto non io né Alberto.

      Comunque il punto dell’articolo è che i bassi numeri bibliometrci di Higgs e Englert non sono dovuti al fatto che hanno 80 anni ma che hanno pubblicato poco perché hanno pubblicato solo le cose che hanno ritenuto importanti. Sarebbero serviti a qualcosa piu’ lavori? Avrebbero preso due/tre premi Nobel grazie ai lavori fatti sotto gli incentivi tipo Anvur? La risposta è no, come universalmente noto, perché la qualità, la quantità e la popolarità (solo queste due misurate dagli indici bibliometrici) sono cose completamente diverse. Mettere criteri solo sulla quantità e sulla popolarità è sbagliato e infatti non si fa da nessuna parte al mondo.

    • Giuseppe Calabrò, ENEA. Scusami Francesco, se da un lato son d’accordo con te sul fatto che gli indici di popolarità e di quantità non danno il giusto peso al lavoro scientifico di un ricercatore, a quel punto dovrebbero contare i criteri che le commissioni scelgono. Non ho letto tutti gli articoli di Roars, ma perchè non cambiare il modo di selezione dei commissari più che quello dei candidati all’ASN?

    • Sono sbagliati i criteri di selezione dei candidati e i criteri di selezione dei commissari perché sono basati sulle stessa ideologia.

      Per una introduzione ad uno uso civilizzato degli indici bibliometrici (che danno una informazione che va usata in maniera ragionevole) consiglio, oltre al libro di Alberto che è una pietra miliare (https://www.roars.it/online/valutare-la-ricerca-scientifica/) questo articolo dell’accademia delle scienze francese in cui viene presentato una sorta di decalogo https://www.roars.it/online/on-the-proper-use-of-bibliometrics-to-evaluate-individual-researchers/

      La ragione per cui in nessun paese al mondo si adottano criteri del genere è ovvia: sono criteri sbagliati e pericolosi perché costringono i ricercatori a comportamenti insensati (moltiplicazione di pubblicazioni, ricerca di consenso, ecc.).

    • “Sarebbero serviti a qualcosa piu’ lavori? Avrebbero preso due/tre premi Nobel grazie ai lavori fatti sotto gli incentivi tipo Anvur?”
      ————————————————
      La risposta a questa domanda non la si puo’ sapere ovviamente dato che non si puo’ ripercorrere il passato. Non credo si possa dire sia necessariamente no (Bardeen, per es.). Forse si sarebbe cercato altri argomenti “importanti”, chi lo sa?
      Higgs ha potuto non produrre un tubo (come ricercatore) per anni perche’ e’ vissuto in un sistema accademico che glielo consentiva.
      Una domanda alla quale invece si potrebbe rispondere usando database disponibili e’:”dato che gli e’ stato consentito, quanti ricercatori ci sono che non hanno prodotto un tubo per anni, e non prenderanno mai il Nobel?”

    • Giuseppe: <>

      mi sembra che stiamo nascondendoci dietro un dito. Dietro un sottile velo di ironia, questa è la tesi dell’articolo. Che gli indicatori vanno male perchè anche Higgs avrebbe preso un votaccio. E ha ragione, internet amplifica il ruomore e la casciara, e riprende tutto perchè è divertente che il premio nobel sia cassato dall’accademia italiana. Invece l’argomento si meriterebbe un tattamento più serio. Proprio per questa caratteristica di internet caldeggieri che non si scrivano panzane.

      ——–

      Alberto, questa volta cercherò di esprimermi con la massima chiarezza. Per favore cerchi di seguirmi.

      Sommario: il tuo insistere è doppiamente sbagliato perche (1) stai avendo torto e (2) torto o ragione, la questione è irrilevante. Ora tento di spiegare.

      (1) Dici “il dato di Scopus, che è sicuramente incompleto, è del tutto coerente con il dato di ISI expanded che invece è molto più completo. ” ma hai torto, mi dispiace. Entrambi i dati sono gravemete incompleti. Uno registra DUE articoli, l’altro NOVE, invece sono VENTICINQUE. Se avessi usato GS, sui difetti del quale concordiamo pienamente, avrebbe sbagliato, proporzionalmente, meno. Punto. Per favore non isista su questo, tantopiù che è irrilenante, come sto per tentare di speigare (per l’ennesima volta — si vede che mi spiego davvero male).

      (2) La cosa è irrilevante perchè siamo d’accordo sul punto “gli indicatori valutano Higgs molto al ribasso”. Questo è vero considerando 2, 9, o 25 articoli. Il punto è che a quanto pare non siamo daccordo su come intepretare questo fatto. Sec me il fatto che gli indicatori siano inadatti a valutare persone che (a) sono alla fine della loro carriera (b) sono casi eccezionali, addirittura nobel (c) sono stati attivi nel secolo scorso, quando i modi della ricerca erano completamente diversi (d) sono in pensione da 20 anni non significa nulla ai fini di cercare di capire quanto siano utili per valutare ricercatori e associati attivi in questo secolo.

    • La bellezza dell’articolo di Baccini è che rende evidente a tutti ciò che è già noto a chi legge la letteratura internazionale. Tutta la scientometria seria concorda sulla non utilizzabilità degli indicatori bibliometrici per la valutazione individuale di articoli e ricercatori. Articoli e prese di posizione sono sempre più numerosi. Ne cito di seguito alcuni per rendere più chiaro che Roars non sta con i Mohicani, ma piuttosto sono gli h-adoratori a doversi fare delle domande:
      ==============================
      1. Articles in scientific journals
      ____________________________
      [1.1] D.L. Parnas, “Stop the Numbers Game – Counting papers slows the rate of scientific progress,” Communications of the ACM, Vol. 50, No. 11, 2007, pp. 19-21.
      http://ce.sharif.edu/%7Eghodsi/PaP/stop_the_number_game.pdf
      “The widespread practice of counting publications without reading and judging them is fundamentally flawed for a number of reasons: It encourages superficial research … overly large groups … repetition … small, insignificant studies … publication of half-baked ideas.
      Evaluation by counting the number of published papers corrupts our scientists; they learn to “play the game by the rules.” Knowing that only the count matters, they use the following tactics: Publishing pacts. … Clique building … Anything goes … Bespoke research …Minimum publishable increment (MPI). ….Organizing workshops and conferences …
      Those who want to see computer science progress and contribute to the society that pays for it must object to rating-by-counting schemes every time they see one being applied”
      ____________________________
      [1.2] D.N. Arnold (past president of the Society for Industrial and Applied Mathematics), “Integrity under attack: The state of scholarly publishing”, SIAM News. Vol. 42, No. 10, December 2009, pp. 1-4.
      http://www.siam.org/news/news.php?id=1663

      “The next time you are in a situation where a publication count, or a citation number, or an impact factor is brought in as a measure of quality, raise an objection. Let people know how easily these can be, and are being, manipulated. We need to look at the papers themselves, the nature of the citations, and the quality of the journals.”
      ____________________________
      [1.3] D.N. Arnold and K. K. Fowler, “Nefarious Numbers”, Notices of the American Mathematical Society, Vol. 58, No. 3, March 2011, pp. 434-437.
      http://www.ams.org/notices/201103/rtx110300434p.pdf
      “Despite numerous flaws, the impact factor has been widely used as a measure of quality for jour- nals and even for papers and authors. This creates an incentive to manipulate it. Moreover, it is possible to vastly increase impact factor without increasing journal quality at all. … The cumulative result of the design flaws and manipulation is that impact factor gives a very inaccurate view of journal quality. More generally, the citations that form the basis of the impact factor and various other bibliometrics are inherently untrustworthy.”
      ____________________________
      [1.4] A. Molinié and G. Bodenhausen, “Bibliometrics as Weapons of Mass Citation”, Chimia 64 No. 1/2 (2010) 78–89
      http://www1.chimie.ens.fr/Resonance/papers/2010/Molinie-Bodenhausen-Bibliometrics-Chimia-64-78-2010.pdf
      “Just as the ‘value’ of financial products is assessed by irresponsible ranking agencies, the value of scientific research is as- sessed by ill-conceived parameters such as citation indices, h-factors, and worst of all, impact factors of journals… ‘Judging the ability of a scientist by his h- factor amounts to choosing wine according to the price of the bottle, Swiss cheese by measuring the size of its holes, and choco- late by its sugar content.’”
      ____________________________
      [1.5] R.R. Ernst (Nobel prize in Chemistry), “The Follies of Citation Indices and Academic Ranking Lists A Brief Commentary to ‘Bibliometrics as Weapons of Mass Citation’,” Chimia, Vol. 64, No. 1/2, 2010, p. 90.
      http://www.chab.ethz.ch/personen/emeritus/rernst/publications
      “The present hype of bibliometry made it plainly obvious that judging the quality of science publications and science projects by bibliometric measures alone is inadequate, and reflects the inadequacy of science man- agement regimes staffed by non-scientific administrators or by pseudo-scientists who failed to develop their own personal judgment.”

      ==============================
      2. Articles in newspapers
      ____________________________
      [2.1] D.D. Guttenplan, Questionable Science behind Academic Rankings, New York Times, November 14, 2010
      http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html?pagewanted=all
      “.. the list [the 2010 Times Higher Education ranking of world universities] also ranked Alexandria [the Egyptian university] fourth in the world in a subcategory that weighed the impact of a university’s research — behind only Caltech, M.I.T. and Princeton, and ahead of both Harvard and Stanford. … Dr. Hazelkorn also questioned whether the widespread emphasis on bibliometrics — using figures for academic publications or how often faculty members are cited in scholarly journals as proxies for measuring the quality or influence of a university department — made any sense. “I understand that bibliometrics is attractive because it looks objective. But as Einstein used to say, ‘Not everything that can be counted counts, and not everything that counts can be counted.”
      ____________________________
      [2.2] D. Colquhoun, “Publish-or-perish: Peer review and the corruption of science,” The Guardian, September 5, 2011
      http://www.guardian.co.uk/science/2011/sep/05/publish-perish-peer-review-science?fb=optOut
      “To have “written” 800 papers is regarded as something to boast about rather than being rather shameful. … The way to improve honesty is to remove official incentives to dishonesty.”

      ==============================
      3. Institutional reports and statements
      ____________________________
      [3.1] Joint Committee on Quantitative Assessment of Research, Citation Statistics – A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Robert Adler, John Ewing (Chair), Peter Taylor, released: 6 November 2008, corrected version: 6 December 08
      http://www.iciam.org/QAR/CitationStatistics-FINAL.PDF
      “Thus, while it is incorrect to say that the impact factor gives no information about individual papers in a journal, the information is surprisingly vague and can be dramatically misleading….Once one realizes that it makes no sense to substitute the impact factor for individual article citation counts, it follows that it makes no sense to use the impact factor to evaluate the authors of those articles, the programs in which they work, and (most certainly) the disciplines they represent.”
      ____________________________
      [3.2] Higher Education Funding Council for England (HEFCE), Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework , released: September 2009.
      http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
      “Key points. 8. Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review. 9. The robustness of the bibliometrics varies across the fields of research covered by the pilot, lower levels of coverage decreasing the representativeness of the citation information. In areas where publication in journals is the main method of scholarly communication, bibliometrics are more representative of the research undertaken.“
      ____________________________
      [3.3] House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
      http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
      “David Sweeney [Director HEFCE]: With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.
      Sir Mark Walport: I would agree with that. Impact factors are a rather lazy surrogate. We all know that papers are published in the “very best” journals that are never cited by anyone ever again. Equally, papers are published in journals that are viewed as less prestigious, which have a very large impact. We would always argue that there is no substitute for reading the publication and finding out what it says, rather than either reading the title of the paper or the title of the journal.
      Professor Rylance: I would like to endorse both of those comments. I was the chair of an RAE panel in 2008. There is no absolute correlation between quality and place of publication in both directions. That is you cannot infer for a high-prestige journal that it is going to be good but, even worse, you cannot infer from a low-prestige one that it is going to be weak. Capturing that strength in hidden places is absolutely crucial.
      Q256 Stephen Mosley: … a concern that the Research Excellence Framework panels in the next assessment in 2014 might not operate in the same way. Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
      David Sweeney: I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used. I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way.”
      ____________________________
      [3.4] Kim Carr (Australian Minister for Innovation, Industry, Science and Research), Ministerial statement to the Senate Economics Legislation Committee – Improvements to Excellence in Research for Australia (ERA), May 30, 2011.
      http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx
      “There is clear and consistent evidence that the [journal] rankings were being deployed inappropriately within some quarters of the sector, in ways that could produce harmful outcomes, and based on a poor understanding of the actual role of the rankings. One common example was the setting of targets for publication in A and A* journals by institutional research managers.In light of these two factors – that ERA could work perfectly well without the rankings, and that their existence was focussing ill-informed, undesirable behaviour in the management of research – I have made the decision to remove the rankings, based on the ARC’s expert advice.”
      ____________________________
      [3.5] Code of Practice – European Mathematical Society, p. 5
      http://www.euro-math-soc.eu/system/files/COP-approved.pdf
      “1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people.
      2. It is irresponsible for institutions or committees assessing individuals for possible promo- tion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.”
      ____________________________
      [3.6] On the use of bibliometric indices during assessment – European Physical Society, p. 2
      http://www.eps.org/news/94765/
      “The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.”
      ____________________________
      [3.7] Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”- Institut de France, Académie des Sciences, p. 5
      http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
      “Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.”
      ____________________________
      [3.8] DORA (la San Francisco Declaration on Research Assessment – http://am.ascb.org/dora/) è stata sottoscritta da 407 organizzazioni (comprese riviste come Science, Plos e PNAS) e 9.492 individui, vedi anche https://www.roars.it/online/dora/.
      “1. Avoid using journal metrics to judge individual papers or
      individuals for hiring, promotion and funding decisions.

      2. Judge the content of individual papers and take into
      account other research outputs, such as data sets, software
      and patents, as well as a researcher’s influence on policy
      and practice.”

      Di seguito alcune delle 407 organizzazioni che hanno sottocritto DORA:
      – American Association for the Advancement of Science (AAAS)
      – American Society for Cell Biology
      – British Society for Cell Biology
      – European Association of Science Editors
      – European Mathematical Society
      – European Optical Society
      – European Society for Soil Conservation
      – Federation of European Biochemical Societies
      – Fondazione Telethon
      – Higher Education Funding Council for England (HEFCE)
      – Proceedings of The National Academy Of Sciences (PNAS)
      – Public Library of Science (PLOS)
      – The American Physiological Society
      – The Journal of Cell Biology
      – Institute Pasteur
      http://www.roars.it 🙂
      – CNRS – University Paris Diderot
      – INGM, National Institute of Molecular Genetics; Milano, Italy
      – Université de Paris VIII, France
      – University of Florida
      – The European Association for Cancer Research (EACR)
      – Ben-Gurion University of the Negev
      – Université de Louvain

    • @FSL: e allora?
      E allora, per questi l’universita’ risulterebbe un datore di lavoro che mantiene chi non produce un tubo (e prendere il Nobel e’ ovviamente solo una metonimia, produrre idee che la propria comunita’ di riferimento ritiene importanti e’ una metrica piu’ generale). Mi pare che questo sia migliorabile. Non credo sia strano chiedersi che cosa abbia fatto Higgs in tutti i suoi lunghi anni di silenzio per meritarsi lo stipendio (posto che i doveri di un professore universitario sono molteplici e la ricerca e’ solo uno di questi).
      Un aspetto positivo dell’introduzione di incentivi, e’ che magari scienziati brillanti che in mancanza di tali incentivi sarebbero stati “one-trick ponies” dovranno sforzarsi a trovare nuove idee che ritengono importanti e continuare a contribuire per tutta la loro carriera accademica. Se non scientificamente almeno per altre vie (lezioni, amministrazione, ecc…).

    • “E allora, per questi l’universita’ risulterebbe un datore di lavoro che mantiene chi non produce un tubo ”

      Quanti luoghi comuni senza alcun tipo di supporto empirico. Gli inattivi sono una percentuale minimale come mostrato anche dalla VQR (vedi commento di De Nicolao qui sopra da qualche parte – bisogna ammettere che ripetere sempre le stesse cose è piuttosto tedioso).

      Comunque è noto a tutti che Higgs “in tutti i suoi lunghi anni di silenzio per meritarsi lo stipendio” ha aperto un bar a Tahiti ed ha mangiato a sbafo della collettività.

    • Per quanto riguarda la percentuale di inattivi, è possibile farsi un’idea dall’esame della percentuale di prodotti mancanti nella VQR. Dato che alcuni valutati potrebbero aver presentato uno o due lavori, gli universitari completamente inattivi sono meno del 5,3% secondo un documento ANVUR del 5 luglio 2012 (vedi https://www.roars.it/online/vqr-i-prodotti-presentati-sfiorano-il-95-del-tetto-massimo-sono-pochi-o-sono-tanti/) oppure meno del 5,1% secondo il Rapporto finale VQR (Tabella 2.5, http://www.anvur.org/rapporto/files/VQR2004-2010_Tabelle_parteprima.pdf).

    • Quanti luoghi comuni senza alcun tipo di supporto empirico. Gli inattivi sono una percentuale minimale come mostrato anche dalla VQR (vedi commento di De Nicolao qui sopra da qualche parte – bisogna ammettere che ripetere sempre le stesse cose è piuttosto tedioso).
      ————————–
      Se per lei sostenere che un lavoratore inattivo va incentivato a contribuire di piu’ alla comunita’ accademica oppure va “incentivato” ad andarsene e’ un luogo comune…allora sara’ pure vero che non ci sono piu’ le mezze stagioni…
      Noti che non ho mai detto che gli inattivi erano pochi o tanti quindi su questo ha ragione non ho citato nessun supporto empirico… Il contributo di De Nicolao (che risponde a un commento di Risitano che evidenzia la presenza di “grappoli” di inattivi la cui esistenza e’ difficile negare) poi paragona l’Italia al resto del mondo, ma a me non pare di aver menzionato l’Italia. Credo peraltro che uno dei punti chiave sul quale ci si accapiglia sia la definizione di “inattivi”.
      Quanto farebbe piacere a un ricercatore giovane vedersi bloccata la promozione da un ordinario che ha avuto un’idea brillante nel 1975 ma da allora non ha fatto nulla? Quanto danno fa questo singolo “inattivo”?

    • Davvero qui è logica elementare che manca: “Quanto danno fa questo singolo “inattivo”?” cosa c’entra con i criteri anvur? cosa c’entra con Higgs? A parte che nella vita di una persona ci possono essere momenti diversi, in cui si è creativi scientificamente e in cui lo si è meno, in cui si preferisce insegnare ecc., poi in che senso i criteri Anvur – che sono il punto della discussione – migliorano o peggiorano la situazione? La conclusione è ovviamente che la peggiorano come mostrano il caso “Higgs & Englert” e altri N casi recenti e passati della storia della scienza (che le farebbe bene studiare) e come mostra il fatto che alla stessa conclusione sono arrivati tante altri (vedi post di De Nicolao qui sopra) nonché tutte le altre agenzie di valutazione sul pianeta Terra che non hanno mai adottato tali criteri di valutazione.

    • La conclusione è ovviamente che la peggiorano come mostrano il caso “Higgs & Englert”
      ———————-
      Come si fa a sapere come si sarebbero comportati Higgs & Englert se criteri di valutazione (Anvur o altri) fossero stati in voga durante la loro carriera accademica?
      ——————————————-
      A parte che nella vita di una persona ci possono essere momenti diversi, in cui si è creativi scientificamente e in cui lo si è meno, in cui si preferisce insegnare ecc.,
      —————————————
      Perfettamente d’accordo, infatti ho scritto che se non si fa ricerca si dovrebbe contribuire per altre vie (insegnamento, amministrazione). Se poi a voi 5% di completamente inattivi paiono pochi…

    • Federico: “Se poi a voi 5% di completamente inattivi paiono pochi…”
      =========================
      Scusandomi della pignoleria, i completamente inattivi sono sicuramente meno del 5%. Purtroppo, non mi sembra che l’ANVUR fornisca il dato, ma potrebbero essere meno del 2,5% dato che una parte dei prodotti mancanti sono attribuibili a “parzialmente inattivi” (presentano 1 prodotto su tre) e “parzialmente attivi” (presentano 2 prodotti su 3). Non sono al corrente di statistiche internazionali che consentano confronti sensati. Nel RAE inglese, per esempio, non esiste l’obbligo di sottoporre a valutazione tutti i ricercatori.
      Gli inattivi italiani sono pochi o sono tanti? Non è facile pronunciarsi e, in particolare, risulta difficile dichiararsi soddisfatti di una percentuale – fosse anche piccola – di inattivi, perché in Italia a tutti i docenti universitari è richiesto un impegno di ricerca oltre a quello didattico. Tuttavia, se teniamo conto dei docenti impegnati in cariche istituzionali (rettori, prorettori, direttori di dipartimento, presidi, etc) e quelli a fine carriera (l’età media è notoriamente elevata), le percentuali rilevate dall’ANVUR sono lontane dall’Armageddon che qualcuno si aspettava. D’altronde, sempre i dati ANVUR della terza parte del Rapporto Finale VQR evidenziano una buona produttività pro-capite rispetto alle altre nazioni. Eviterei di sbilanciarmi troppo, ma verrebbe da pensare che le percentuali di inattività italiana non sono così alte (comparativamente parlando). Altrimenti, la nostra produttività media dovrebbe essere inferiore a quella delle altre nazioni.


    • Federico lei è un altro di quelli che continuano a ricommentare essendo anonimi. Comunque dice
      .
      “Come si fa a sapere come si sarebbero comportati Higgs & Englert se criteri di valutazione (Anvur o altri) fossero stati in voga durante la loro carriera accademica?”
      .
      Capisco che dopo vent’anni di berlusconismo e una decina di gelminismo le capacità intellettive sono ridotte ai minimi ma la risposta a questa domanda è ovvia. Davvero crede che se ci fosse stata l’Anvur avrebbero prodotto più articoli che avrebbero davvero di qualità? Lei ha mai scritto un articolo scientifico? Se lo domandi, si risponda e la prossima volta si firmi.

    • E se mi firmo posso essere villano quanto lei?
      Guardi questa e’ casa sua e lei applica le regole che preferisce. Peraltro se vuole sapere il mio cognome, essendo lei un animatore del forum non credo che avra’ alcuna difficolta’ ad ottenerlo. Non mi firmo (e’ una mia scelta) e lei puo’ scegliere di non leggere, non rispondere oppure farmi bannare dal forum. Credo che in tutti i casi sopravviveremo (seppur dolorosamente) entrambi.
      Comunque questa fisima dell’asimmetria sinceramente non la capisco:
      1- ho sempre scritto educatamente e rispettosamente (mi pare, al contrario di altri che firmano) e senza flaming. Si vede che per lei e’ piu’ importante essere noti che essere civili. Che cosa aggiunge alla mia opinione il mio cognome? Finora non ho raccontato aneddoti personali che lei potrebbe avere voglia di verificare (per la prima volta lo faro’ piu’ sotto dato che lei me lo domanda). Certo mi perdo un po’ il gusto di dirle “lei non sa chi sono io!” ma peggio per me. Comunque le posso dare la mia parola d’onore che,come lei, sono un uomo di mondo e anch’io ho fatto il militare a Cuneo.
      2- anche se firmo, mi posso inventare l’identita’ che voglio. Se conosce il mio cognome come fa a sapere se le ho detto la verita’? Una ricerca su google per vedere chi sono? E’ un’abitudine un po’ malsana, i giovani d’oggi lo chiamano stalking…
      Per entrare nel merito, lei dice:
      Capisco che dopo vent’anni di berlusconismo e una decina di gelminismo le capacità intellettive sono ridotte ai minimi ma la risposta a questa domanda è ovvia. Davvero crede che se ci fosse stata l’Anvur avrebbero prodotto più articoli che avrebbero davvero di qualità? Lei ha mai scritto un articolo scientifico?
      ————
      a parte l’eleganza dell’attacco ad hominem, per qualcuno che si picca di chiedere sempre evidenze empiriche mi pare che lei non faccia granche’ per portarne in favore alla sua risposta “ovvia”. Perche’ non fare l’esperimento allora?
      Siccome lei e’ dell’opinione che scrivere articoli scientifici mi conferisca autorita’ le posso raccontare che di articoli scientifici ne ho scritti in passato. E malgrado abbia il cervello in pappa a causa dei decenni di berlusconismo, li ho dovuti scrivere facendo ricerca su argomenti diversi perche’ purtroppo al contrario della struttura di cui fa parte lei, il mio datore di lavoro non mi consentiva di avere crisi di creativita’ lunghe anni. Forse se non mi ci constringevano prendevo anch’io il Nobel… Peccato…
      Buona domenica!

    • Giuseppe s N: grazie per il lungo post. Mi confermi che è possibile parlare di uso dei dati bibliometrici in modo serio, con argomenti che non siano irrilevanti. Bene, questo bisognerebbe fare. Alcuni degli argomenti contro che riporti (grazie, sempra essere stato un lavoraccio) sono molto seri, e vanno soppesati con quelli pro. Mi piacerebbe approfondire, ma un thread infinto e flat di risposte a una ripsota non è certo il luogo.

      Per restare in tema, il mio rammarico è che l’articolo qui sopra invece appartiene ad una folta schiara di articoli su un argomento immediatamente smontabile che si basa su un fatto irrilevante, e non fa nemmeno ridere perché e la trentesima volta (in più, apprendiamo grazie a Francesco, è anche bugiardo, proprio fattualmente). Come hai fatto già notare tu, internet fa da cassa di risonanza a questi argomenti panzana e tutto questo è a grande detrimento di ogni tentativo di ragionare davvero sulle cose.

      Insomma gli argomenti del tipo “Misurazione obiettiva della performance? me se neanche Higgs supera le soglie, ahahah” secondo me non rendono evidente proprio alcunche’, tuttalpiù possono far dubitare dell’onestà intellettuale di chi li propone (cosa che è sempre spiacevole).

      Davvero mi auguro di non vederne più, ma qualcosa mi dice che rimarrò deluso. Domani un altro avrà la grande idea di misurare l’H index di Cartesio e dichiarare che, oh, ma lo sai? neanche lui otterrebbe la cattedra in Italia, ahahah.

      ————

      Francesco SL: ah, allora l’articolo, che riporta:
      “Il prof. Higgs nella sua carriera accademica ha prodotto un numero così esiguo di lavori di qualità che il database ISI-WoS di Thomson-Reuter registra solo *due* articoli a suo nome.”,
      oltre ad essere irrilevante, è anche semplicemente inventato, e le spara sbagliate di un intero ordine di grandezza. Non male per un pezzo che, ci dice Francesco, viene riportato di continuo su internet. Suvvia smettiamola di farci del male da soli per favore.

    • Trovo l’ultimo commento di Marco Tar inaccettabile nei toni. Rispondo solo perché credo di dover rispetto a tutti coloro che hanno letto il mio post e l’hanno commentato.

      Scrivo letteralmente nel post: “Il prof. Higgs nella sua carriera accademica ha prodotto un numero così esiguo di lavori di qualità che il database ISI-WoS di Thomson-Reuter registra solo due articoli a suo nome.” Spiego a Marco Tar, che evidentemente non riesce a cogliere nessuna delle allusioni dell’articolo: questa frase sottende il pregiudizio così diffuso nella comunità accademica italiana che i lavori di qualità siano soltanto quelli contenuti nei database di WoS. Non rimando alla letteratura sul tema perché non ho lo spirito pedagogico (anche questa è una citazione anvuriana, meglio scriverlo a scanso di equivoci) di Giuseppe de Nicolao che ripete con calma su Roars migliaia di volte le stesse cose. Secondo Marco Tar quella frase è “irrilevante”. Sono d’accordo con lui che la frase è assolutamente “irrilevante”. Era stata messa lì apposta. Mi illudo che la stragrande maggioranza dei lettori l’abbiano capito. E spero che Marco Tar sia uno tra i pochi che non l’hanno capito. “Irrilevante”, ma utile. Perché alla frase successiva ho potuto scrivere “Per non essere ingenerosi […] prendiamo Scopus”. “Ingenerosi” l’ho ricavato (al contrario) dal gergo utilizzato dal GEV13 nel suo rapporto finale VQR. [Per Marco Tar ancora a scanso di equivoci: “Ingenerosi” è un concetto non-sense quando applicato alla bibliometria; io lo uso nel post perché lo usa ANVUR]. Capisco che questi giochetti possano trarre in inganno il lettore disattento, ma spero che qualcuno li abbia apprezzati].

      Veniamo al secondo punto, più delicato: Marco Tar dice che la seconda parte della frase è “semplicemente inventata”. Per cui l’articolo (e l’autore) è “bugiardo fattualmente” Purtroppo per Marco Tar, la frase è vera. Allora si prenda il database ISI-WoS e si cerchi “Higgs P*”; poi si ripuliscano i risultati; si scopre così che di articoli attribuiti ad Hicks ce ne sono 3. Io ho scritto *due* perché ho considerato il terzo articolo registrato come non scientifico (si tratta di una intervista a The New Scientist; anche qui siamo dalle parti delle discussioni anvuriane…). Se avessi scritto “Il prof. Higgs nella sua carriera accademica ha prodotto un numero così esiguo di lavori di qualità che il database ISI-WoS-expanded di Thomson-Reuter registra solo due articoli a suo nome.” [per Marco Tar: questa frase differisce dalla precedente perché ho aggiunto expanded] allora la frase sarebbe stata fattualmente falsa. Perché sulla versione expanded –come ha scritto prima Sylos Labini ci sono più di tre articoli (10 credo, ma non ho l’accesso e non posso controllare).
      Anche qua devo svelare il trucco a beneficio di Marco Tar: ho giocato su due livelli del discorso che sono ben noti in bibliometria: i “fatti bibliometrici” cambiano radicalmente passando da un database ad un altro. Perché database diversi raccolgono informazioni diverse sia in relazione ai “prodotti” che alle “citazioni”. [Sul tema credo che quello che ho scritto nel 3° capitolo del libro Valutare la ricerca scientifica (IL Mulino, 2010) passando in rassegna la sterminata letteratura sul tema non sia ancora particolarmente invecchiato]. Ed allora è del tutto normale che da un database ad un altro cambino gli ordini di grandezza.

      A proposito di falsità fattuali. Marco Tar scrive che io sosterrei che gli indicatori citazionali sono da buttare. Veda se riesce a trovare una mia sola frase in tutto quanto ho scritto su Roars ed altrove su questi temi dove si sostiene questo. Se non la trova è lui a sostenere falsità su di me. Non direi -come lui dice di me- per disonestà intellettuale. Semplicemnete per la completa naiveté che dimostra su questi temi.

      (Un consiglio: Non perda tempo a cercare la frase, non la troverà. Troverà scritto invece molte volte che gli indicatori bibliometrici utilizzati da ANVUR per VQR ed ASN sono pressoché interamente da buttare. Ma questo glielo abbiamo scritto prima che iniziassero le procedure, per vedere di minimizzare i danni. Ma se c’è una rivoluzione da fare, non si può badare tanto per il sottile. Sostenere che la bibliometria anvur è da buttare non significa sostenere che la bibliometria è da buttare. La prima sta alla seconda come l’alchimia alla scienza moderna)

    • @Federico: come ho già scritto più volte è piuttosto scocciante dover replicare tante volte ad una persona che usa uno pseudonomino. Niente di personale anche perché sarebbe impossibile. Comunque penso di averle già risposto: il punto riguarda l’utilizzabilità degli indicatori bibliometrici per la valutazione individuale di articoli e ricercatori. Non è imponendo regole che si forzano i ricercatori a fare più articoli di qualità – ma sicuramente si aumenta la quantità. Misurare la qualità scientifica con la produzione di articoli sta distruggendo la ricerca e appelli del tipo DORA sono proprio fatti perché nel mondo c’è una certa consapevolezza di questo fatto. Comunque a mio avviso la maniera più efficace di valutare gli effetti dei criteri di valutazione rimane quello di studiare la storia della scienza e delle scoperte scientifiche cercando di fare un esperimento ideale applicando i criteri valutativi di oggi ai casi passati per capire quale sarebbe stato il risultato. Come ha ben spiegato Donald Gillies:
      .

      Per spiegare in modo più semplice la distinzione tra un errore di tipo 1 e di tipo 2 Gillies introduce una analogia. “Supponiamo di avere un sistema di separazione dai diamanti ordinari dei diamanti rosa che hanno un valore, diciamo, mille volte superiore ai primi. Supponiamo che questo sistema funzioni in modo molto efficiente nell’eliminare diamanti difettosi senza valore, ma abbia anche un difetto fondamentale: ogni tanto invece di eliminare il diamante imperfetto, elimina i diamanti rosa. Si può ben suppore che una volta scoperto questo difetto i produttori di diamanti smetterebbero subito di usarlo. Un’organizzazione sbagliata della ricerca può avere lo stesso difetto: buttare via il diamante rosa, i ricercatori che si ostinano a lavorare su ricerche di minoranza, magari impopolari per il momento, ma che sono destinati a produrre brillanti risultati in futuro”.
      .
      (https://www.roars.it/online/sullimprevedibilita-delle-scoperte-scientifiche/)
      .

      Detto questo mi asterrò dal replicare ad ogni sua altra replica da ora in poi. Se vuole interloquire con me si firmi con nme e cognome (quelli veri).

    • Non per essere anche io pedante, ma vedere quelle tabelle e quei grafici in quel modo non da una vera idea degli “inattivi”. I dati che ho io, per quel che riguarda il mio ateneo, dimostrano che ci sono aree in cui gli “inattivi” o gli “attivi che è meglio che rimangano inattivi” sono, sommati insieme, ben oltre il 5%…molto, ma molto, ma molto ben oltre. Vi prego di leggere i dati ateneo per ateneo e settore per settore. Quel 5% non torna per niente. La cosa bella è che o ha ragione ROARS o ha ragione il nostro Rettore che ha deciso di fare una sonora “cazziata” a quei settori che avevano percentuali di inattività molto alti. La bellezza dei dati!

  2. Rispondo in ritardo perche’ ho avuto da fare, mi si scusi.
    Ho fatto, e continuerò a fare, revisioni anonime perché questo è l’attuale standard delle riviste internazionali, che sulla base dei propri protocolli non permettono di firmarle, e poiche’ credo (cum grano salis) nella peer review (per la quale vale ciò che si dice della democrazia, ovvero che e’ il sistema peggiore eccettuati tutti gli altri) mi pare che rifiutare di fare revisioni solo perche’ non posso firmarle sarebbe lievemente incoerente (e dannoso per il sistema)

  3. La risposta era prevedibile. Tutti conosciamo lo “standard”.
    È tuttavia singolare il concetto di coerenza che adotti. Invece che essere coerente con te stesso — fautore del “doppio vedente” — ti coarti a essere coerente con il sistema — praticante planetario dell’anonimato nella scienza.
    Tuttavia: al “sistema” non succederebbe nulla se ti tirassi fuori dal gioco, e magari fondassi una rivista (“internazionale”) basata sul “doppio vedente”. Potrebbe essere contagiosa. (Il paragone con la democrazia non regge — per tante ragioni che qui non possono essere discusse.)

    P.S. Credi nella peer review — bene. Resta da chiarire quale sia il corretto significato di questa prassi. A me pare che la revisione paritaria si sia ormai trasformata: era un “aiuto al sapere” e oggi è divenuta “controllo aziendale di qualità della produzione (scientifica)”. Tutto questo non deve farci pensare?

  4. Non vedo casi in cui potrebbe essere necessario scrivere cose che il diretto interessato non puo’ leggere. Si puo’ essere franchi senza insultare (e’ anche un suggerimento per certi politici dell’ultima ora). Anche nei casi in cui il diretto interessato e’ un perfetto deficiente esistono sempre modi garbati di indicare che e’ questa la tua opinione.

  5. Per p.b.: ho scritto che credo (cum grano salis) nella peer review . Non pensavo servisse la traduzione. Ringrazio comunque per l’esegesi e l’opera ermeneutica. Quanto all’invito a pensare, provero’ a pensarci su.

  6. Caro baccini,
    quello che e’ stupefacente e’ che molti, Colleghi e non, non si sono accorti dell’ironia.
    Non si sono accorti della profonda critica al sistema dei criteri bibliometrici che questo articolo analizza con profondita’.
    Perche’ molti colleghi sono malati di bibliometria, si confrontano sugli indici e non sulla capacita’ di cambiare o migliorare il mondo.
    Non si accorgono che il sistema bibliometrico e’ un sistema commerciale al quale ci siamo svenduti per le nostre carriere.
    Abbiamo oggettivizzato i conteggi al punto tale che possiamo abolire le commissioni e metterci un ragioniere, quando non direttamente il computer: lo abbiamo fatto per evitare soggettivita’ nelle scelte.
    La realta’ e’ che quello che ne viene fuori e’ quella triste fotografia che ha tratteggiato nell’articolo

  7. Chiedo scusa: replico a Thor in ritardo (Thor: starebbe per ?) no avenbdo visto il suo post di ieri sera; e replico solo con un chiarimento forse inutile. Ho toccato il tema “anonimato”, o meglio, “pseudonimia”, senza alcuna intenzione di riferirmi alle questioni peer review, Anvur, doppio cieco, doppio vedente e simili. Mi riferivo – e continuo a riferirmi – solo alla gestione del blog di Roars. E nemmeno per invocare chissà che, ma solo per rilevare come ora qualche illustre suo esponente impartisce affilate reprimende pur non avendo in passato dato (non lui personalmente, ma il collettivo Roars per bocca di Banfi) alcuna risposta a una richiesta simile. Non c’entra la valutazione, c’entra la simmetria o trasparenza (se io mi dichiaro nome e cognmome vorrei avere a che fare con interlocutori che fanno lo stesso, anche per la strada [infatti vado in bestia con vigili urbani, controllori dei treni et similia])

    • (10) I commenti sul sito sono moderati per evitare che la discussione prenda una piega non consona ad un sito in cui si discutono temi di politica universitaria e della ricerca (insulti e/o insinuazioni di carattere personale, linguaggio offensivo, volgarità gratuite, illazioni reiterate, accuse diffamatorie etc. non sono ammessi).
      ….
      Credo di stare tranquillamente nei limiti delle regole della sezione commenti. Per me non c’è nessuna asimmetria e questo spazio non è usato per parlarsi ma per commentare qualcosa. Personalmente non guardo il nome dei commentatori con l’interesse di sapere chi è. Mi capita invece spesso di andare a leggere con particolare interesse il commento di alcuni che si firmano con il nickname. Mi interessano i contenuti e solo quelli.

  8. Non ho capito niente.
    L’articolo vuole dire che Higgs non meritava il Nobel perchè ha una h bassa ?

    Quindi neanche Marconi meritava il Nobel, mi vuole dire questo ?

    O forse vuole dimostrare che la h non è l’unico parametro con cui va giudicato uno scienziato ?

    Tanto per dare un’idea, tantissimi scienziati della vecchia generazione hanno pubblicato pochissimo e sono anche stati citati pochissimo: non c’erano riviste, non c’era la smania publish or perish, non c’era internet cui attingere per citare.

    Non tutti erano baroni incapaci assurti alla cattedra per clientela.

    • L’articolo vuole semplicemente dire che è scandaloso che ancora non sia stato assegnato all’Anvur la direzione dell’Accademia di Stoccolma e la gestione dell’assegnazione dei premi Nobel. Ma raccoglieremo delle firme per far cambiare le cose.

  9. E’ interessante notare che nell’articolo originale in cui è stato proposto l’indice di Hirsch (Hirsch, J. E. , PNAS 2005, 102,16569–16572.) l’autore esaminava specificamente il caso dei vincitori di premio Nobel per la fisica:
    —————————
    “….As an interesting sample population, I computed h … for the physicists who obtained Nobel prizes in the last 20 years…h index ranges from 22 to 79… It is interesting that Nobel prize winners have substantial h indices (84% had an h of at least 30), indicating that Nobel prizes do not originate in one stroke of luck but in a body of scientific work…”
    —————————–
    Mi sa che a Stoccolma non hanno letto l’articolo di Hirsch…

  10. Mi rendo conto di stare intrecciando una questione relativamente secondaria al thread sui Nobel e connessi criteri di valutazione/assegnazione, ma i commenti che si sono susseguiti a un mio intervento mi spingono a un’osservazione ulteriore. Le regole che Sylos Labini richiama dimostrano che è stata ritenuta non rilevante la questione dell’uso di pseudonimi. Così Thor è contento, mentre gli altri, poveretti, guardano prima il nome e solo dopo il contenuto. Ma questo non fa che confermare quel che dicevo: a che pro ora Sylos Labini se la prende con un commentatore scaricandogli addosso la colpa di usare uno pseudonimo ? Infine: vorrei vedere che si esercitassero censure ideologiche sui contributi. Ci manca pure questo. Purtuttavia, come sa bene chi studia la censura come fenomeno storico-sociale, l’adozione di toni, espressioni, atteggiamenti che si colgono perfettamente nel phrasing di certi interventi finisce per indurre autocensura, ossia rinuncia ad esprimere la propria opinione in un ambiente che scoraggia o peggio. Questo in generale: non è il caso di Roars, naturalmente. Quasi mai, almeno.

    • Abbattista mi scusi ma qui non ci stiamo capendo eppure penso di averlo già scritto. La linea della redazione è la seguente. Sono ammessi commenti anonimi fin tanto che non entrano in polemiche prolungate perché nel caso la discussione diventa asimmetrica. Non penso non sia chiaro.

    • Perché commentare anonimamente? Molti non vogliono esporsi, come quei supertestimoni televisivi con il cappuccio e la voce distorta…

    • Questo non è un sito generalista ma si discute di università e ricerca e la gran parte sono docenti universitari e ricercatori e i commenti sono pure moderati dunque la discussione non può degenerare più di tanto. Ma ognuno ha le sue ragioni e se si preferisce non apparire va anche bene ma non va bene fare discussioni polemiche prolungate e magari provocatorie stando nella parte dell’anonimo. Questo non va bene e per questo lo faccio notare.

    • La mia non era una critica contro l’anonimato. Facevo un’osservazione in merito al fatto che – forse – molti temono di esporsi, in un sistema in cui anche la libera opinione può costare, e la critica al sistema può essere malvista (in quanto, criticando il sistema, vado a criticare i suoi protagonisti)

  11. Ormai sembra che questa interessantissima discussione abbia mostrato chiaramente la natura del problema;

    Vi sono e vi sono sempre stati buoni (buoni, non eccellenti) ricercatori prolifici e buoni ricercatori meno prolifici: soggetti ugualmente validi, ma con maniere diverse di analizzare e criticare i propri risultati; magari con maniere diverse di analizzare e studiare la letteratura.
    Ora per quanto ne so vi è un buon numero di ricercatori (buoni ricercatori) del secondo tipo tra i non abilitati ASN. Questa è una distorsione evidente causata da un approccio stupidamente ideologico…

    Volevo poi far presente che se è vero che gli indicatori non sono adatti a giudicare i ricercatori anziani, quelli che hanno il meglio della produzione diciamo tra gli anni 70 e 80, è pur vero che essi sono stati applicati a diversi importantissimi (nel senso scientifico) prof. vicini alla pensione, che sono stati tenuti fuori dalle commissioni. Questo è ancora più grave, perchè per giudicare un ricercatore non ci vogliono i “numeri”, ma piuttosto erquilibrio ed esperienza.

    Saluti

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.