ovvero se i top italian scientists hanno h-index superiori ai premi Nobel

 

Un archeologo di fama internazionale era solito raccontare che lui faceva uno dei pochi mestieri che le persone svolgono come hobby domenicale. “Immaginate – aggiungeva- i danni se quelle persone avessero come hobby di fare i chirurghi”. Se vi capiterà di passeggiare durante la basse marea sulle coste del Dorset nell’Inghilterra del Sud vedrete una folla alla ricerca di fossili. Ma non si tratta di paleontologi. Anche queste persone appassionate di fossili non provocano danni particolari.

In modo del tutto analogo, da qualche tempo tra i professori universitari di lingua italiana si è diffuso l’hobby della bibliometria. Cosa è la bibliometria? E’ una disciplina scientifica nata non più di 70 anni fa con cattedre, corsi di phd, decine di riviste internazionali, e che studia con tecniche quantitative i prodotti della ricerca scientifica. Due ambiti particolari di studio sono l’analisi della produttività scientifica (quanti lavori vengono pubblicati) e della diffusione del sapere scientifico attraverso l’analisi delle citazioni.

Uno dei passatempi preferiti di molti professori di lingua italiana è dunque produrre classifiche di scienziati, misurando il loro h-index. Non ci sarebbe nulla di male, se le classifiche bibliometriche dei migliori scienziati fossero compilate e fossero oggetto di pettegolezzi e maldicenze tra accademici.

Il problema è quando le classifiche fai-da-te diventano lo strumento per mostrare con l’obiettività dei numeri all’opinione pubblica le malattie del sistema universitario occupato dai baroni. Circolano in rete due classifiche dei migliori scienziati italiani, che ogni tanto vengono anche citate dalla stampa. Sono entrambe basate sul più famoso degli indicatori bibliometrici l’indice h: se uno scienziato ha un indica h di 25 significa che ha pubblicato almeno 25 articoli che hanno ricevuto almeno 25 citazioni ciascuno. Valori dell’indice h più elevati dovrebbero quindi individuare scienziati più produttivi e più citati. Una di queste due classifiche mette insieme scienziati delle più differenti discipline, confrontando l’h index di un medico con quello di un fisico con quello di un economista. Tra chi si occupa professionalmente di bibliometria è conoscenza comune che questo modo di procedere è sbagliato. Per la ragione che le modalità di pubblicazione e citazione sono molto diverse nelle diverse discipline. Nella fisica delle alte energie un articolo scientifico può avere centinaia di autori e il capo di una laboratorio produce centinaia di pubblicazioni in un anno che danno luogo ad una quantità molto elevata di citazioni. Che senso ha fare un confronto con uno storico che produce un ponderoso libro frutto di 5 anni  di lavoro? I confronti vanno tra scienziati appartenenti allo stesso campo di ricerca.  Quindi la classifica non ha molto senso perché elimina dall’elenco scienziati produttivi e citati nel loro campo disciplinare, ma che non possono aspirare a valori elevati di h. Una delle frontiere della ricerca bibliometrica è proprio la comparazione corretta tra ambiti disciplinari diversi, ma allo stato attuale non sono disponibili soluzioni semplici e condivise.

Secondo problema di queste classifiche: sono basate sul database Google Scholar disponibile liberamente su Web. Si tratta di un database che allo stato attuale non è affidabile. Come mostrato in un alytro post, il noto scienziato italiano Primo Capitolo risulta autore di ben 285 articoli; mentre il suo collega inglese V Chapter di pubblicazioni ne ha più di mille! Ed i sistemi di interrogazione, come ha documentato Antonio Banfi aggiungono errori ad errori.

Ma c’è un problema più delicato. Ed è quello del significato di classifiche di questo tipo, quand’anche fossero sviluppate su database più robusti.

Ecco alcuni scienziati che se fossero italiani non figurerebbero nella classifica dei TIS (dati Scopus). Charles K. Kao ha un modestissimo h=1, poco più alto quello di George E. Smith che ha un h=5 mentre si ferma a 7 quello di Willard S.  Boy[le] [refuso corretto il 23/06/2012]. Questi apparentemente modesti studiosi sono stati indigniti del Premio Nobel per la Fisica nel 2009. Nel 2008 Toshinida Maskawa veniva premiato con il Nobel per la fisica: h-index pari ad 1. Tutti i premi Nobel per l’economia degli ultimi 5 anni hanno un valore di h inferiore a 30, addirittura Leonid Hurwicz (Nobel 2007) si ferma a 7. I tre premi Nobel del 2010 hanno valori di h di 12 (Mortensen), 17 (Pissarides) e 19 (Diamond). Sicuramente Grigori Perelman non entrerebbe nella classifica dei TIS; ha un modestissimo 1. Ha vinto la medaglia Fields nel 2006, l’equivalente del Nobel per i matematici, per aver risolto la congettura di Poincaré. Non ha bisogno di entrare nalla TIS perché è già in buona compagnia: nel 2002 la medaglia Fields fu assegnata ad altri due modesti, si fa per dire, matematici: Laurent Lafforgue (h=2) e Vladimir Voevodsky (h=6). E nel 2010 non è andata meglio perché la medaglia Fields è stata assegnata a 3 matematici con h index pari a 8.

Se il problema fosse quello che questi scienziati non trovano posto in una classifica poco credibile, potremmo francamente chiudere qua. Ogni cercatore di fossili pensa ad un certo punto di aver fatto la scoperta del secolo. Il problema è che scienziati come quelli elencati sopra potrebbero essere esclusi sistematicamente dai concorsi. E’ un po’ come se i cercatori di fossili si presentassero in spiaggia con delle ruspe. Bisognerebbe cominciare a preoccuparsi dei danni. La bibliometria è una disciplina seria. Dando spazio a chi la coltiva per hobby l’Italia rischia di produrre danni ad un sistema universitario che proprio non ne avrebbe bisogno.

Print Friendly, PDF & Email

23 Commenti

    • Proposta pratica: affidare la valutazione a persone competenti che abbiano studiato la letteratura scientifica e le corrispondenti esperienze internazionali. Tre esempi.

      1. In Australia, hanno usato le classifiche delle riviste impiegando più di un anno per costruirle e affidando il compito a comitati di esperti diversi da chi avrebbe gestito la valutazione. Avendolo fatto, hanno infine riconosciuto che le classifiche potevano essere risultate dannose e le hanno abbandonate (maggio 2011):

      “There is clear and consistent evidence that the rankings were being deployed inappropriately … in ways that could produce harmful outcomes”
      http://theconversation.edu.au/journal-rankings-ditched-the-experts-respond-1598

      Ebbene, l’ANVUR ha adottato le classifiche delle riviste facendole preparare affrettatamente in pochi mesi dagli stessi GEV che avrebbero condotto la valutazione.

      2. Per il REF britannico si è studiata la possibilità di usare la bibliometria nella valutazione dei singoli articoli. Ci si è presi tutto il tempo necessario per varare uno studio pilota e alla fine si è concluso che:

      “Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”
      http://www.hefce.ac.uk/pubs/hefce/2009/09_39/

      Ebbene, l’ANVUR ha deciso di valutare i singoli articoli mediante inedite regole bibliometriche non validate scientificamente e con soglie variabili persino all’interno della stessa area scientifica (https://www.roars.it/?p=6280).

      3. Alla luce di quello che scrive, il coordinatore della VQR non è nemmeno al corrente della qualità bibliometrica degli atenei italiani. Ritiene che la qualità della loro produzione sia comparabile a quella mondiale mentre solo uno degli atenei statali sta sotto la media mondiale (https://www.roars.it/?p=4391). Forse questa idea distorta della ricerca nazionale spiega l’indulgenza di Benedetto verso se stesso e i GEV nell’uso di metodologie rudimentali, un po’ come sentirsi autorizzati ad operare un moribondo con un coltellaccio da cucina. Ma nel suo complesso la ricerca italiana non era propriamente moribonda (https://www.roars.it/?p=8305) anche se le “cure” messe in atto hanno buone speranze di ucciderla.

      Dare una ricetta pratica è facilissimo: utilizzare uno schema di valutazione già collaudato altrove sarebbe stato comunque meglio di questa VQR.

      Se poi qualcuno desidera delle ricette pratiche immediate per una riduzione del danno, non ha che da leggere le nostre:

      Sette proposte per la VQR
      https://www.roars.it/?p=9079

      Sono tutte proposte molto concrete e facilmente realizzabili.

      Chi è contro la valutazione? Chi la fa al di fuori di ogni rigore scientifico ed ignorando le esperienze internazionali o chi esige rigore scientifico e trasparenza?

    • Di proposte pratiche ne abbiamo scritte parecchie in questi mesi. Purtroppo gli ultimi venti anni ci hanno abituato alle soluzioni semplici, o almeno all’idea che per tutto esistano soluzioni semplici, immediate e senza controindicazioni.
      Roars sta scrivendo da mesi che i problemi di Università e ricerca richiedono lavoro duro, analisi seria dei problemi, sperimentazione. E fine tuning delle politiche.
      Per la VQR abbiamo scritto 7 proposte https://www.roars.it/?p=9079. Più dure da leggere, capire e digerire della formula (vuota ohinoi) che guida tutti da un bel po’ di anni: “premiamo l’eccellenza”.

    • MI è capitato di recente di vedere le pubblicazioni di qualche rettore in carica italiano. Decine di pubblicazioni annue durante il mandato… Al di là delle questioni etiche -che sono un problema serissimo-, si tratta di problemi noti e documentati nella letteratura bibliometrica. Il problema è che le regole attuali (quelle VQR e soprattutto quelle del decreto criteri e parametri) daranno una spinta enorme a comportamenti opportunistici sia per quanto riguarda le firme sugli articoli, sia per quanto riguarda le citazioni.

    • Sì. Ho ricontrollato Lafforgue…
      Il caso di Maskawa è interessante: articolo del ’73. Troppo vecchio per Scopus.
      Tutto questo per dire che i risultati dipendono dal database che si usa…

  4. Premesso che penso anche io che il valore di un ricercatore non si possa ridurre a un numero non ho potuto non strabuzzare gli occhi di fronte all’affermazione che che Maskawa abbia h=1. Andando a controllare su Inspire infatti trovo h=15 (http://inspirehep.net/author/T.Maskawa.1/ ) non altissimo, ok, ma non certo 1.

    Se avessi un po’ di tempo mi spulcerei anche gli altri numeri che dai perche’ alcuni mi sembrano davvero poco probabili.

    • Gentile Muzzle,
      Il caso Maskawa era già stato sollevato sopra da Renzo Rubele.
      Le confermo, come può vedere qua https://www.roars.it/wp-content/uploads/2012/06/maskawa.jpg, che su Scopus l’h-index di Maskawa è quello indicato nel mio post.
      Su WoS il risultato è lo stesso, come si può vedere qua https://www.roars.it/wp-content/uploads/2012/06/maskawa-isi-wos.jpg.
      Interrogando Google Scholar con PoP Maskawa risulta avere un h-index di 17 (totale articoli 47).
      Non molto diverso da quello calcolato su Spires (dove però il totale degli articoli è 30).
      La morale della storia è che tutti i risultati bibliometrici dipendono dal database che si utilizza!
      Autocitazione: ho dedicato un intero capitolo di Valutare la ricerca scientifica a questo tema. Non ho scoperto nulla di nuovo, ma ho fatto una rassegna credo esauriente della letteratura internazionale per lettori italiani.

  5. Lo sappiamo tutti come vanno le cose all’universita’, ci sono gli studiosi seri impegnati che fanno ricerca, pubblicano e se fanno studi interessanti vengono citati da altri colleghi e cosi’ incrementano il proprio h-index, altri invece usano la posizione carismatica di prof universitario e di ricercatore (ora non piu’, visto la decadenza delle Universita’ Italiane) per fare politica e per raggiungere una qualche posizione sociale. Se andate a vedere h-index dei parlamentari o managers accademici, scoprirete che non hanno fatto ricerca e non pubblicato quasi niente a parte la tesi. Questi ora iniziano a fare brutta figura con ANVUR e cercano di denigrare i metodi di valutazione. Sembrano gli studenti universitari che contestano il 18 al proprio professore!!! Non e’ giusto prof. ho studiato!!!

    Ora uno dei tanti e’ Alberto Baccini che scrive questo articolo da ‘guru’ delle bibliometria ed infatti ha un h=index di 5!!! Cosa fa tutto il giorno all’Universita’? Scrive cazzate sul web? Ed infatti fa dei calcoli (dice con SCOPUS) di certi fisici Nobel recenti che sono completamente sbagliati: 1 contro >10 (per CK Kao, che in realta’ e’ un tecnologo con una caterva di super patents per fibre optics) e George E Smith cui gli da’ un h-index di 5, mentre ha almeno >=21 con Google Scholar (PorP). Sbaglia pure il nome di Willard BOYLE (lo abbrevia “Boy”!) e gli stima un h-index = 7 mentre Google Scholar gli da = 20!

    La classifica dei TIS ovvero dei Top Italian Scientists (http://www.topitalianscientists.org/) e’ la prima in Italia che separa gli accademici seri dai cialtroni che hanno distrutto l’accademia Italiana!!! Non a caso l’ANVUR la presa in considerazione. Ovviamente Baccini e soci cercheranno di denigrare anche l’ANVUR…

    • Gentile Dott. Boscolo,
      premetto che io non ho alcun legame col sito roars, ma sono solo un lettore registrato. Per giunta, non sono nemmeno del tutto d’accordo con quanto qui si scrive.
      Sul sito “topitalianscientsts” avrei da farle lo stesso commento che ho avuto occasione di fare a voce al prof. Mauro delgi Esposti quando ha tenuto presso il mio istituto un talk sulla sua classifica: non ha alcun senso mettere nella stessa graduatoria scienziati che appartengono a campi differenti.
      Si rischia di passare un messaggio alla stampa: in italia i piu’ bravi sono i medici e i biologi. Il che e’ equivalente a dire: le pesche e le mele sono piu’ buone delle banane e delle pere.
      Che senso ha mettere in una stessa classifica Alberto Alesina e Giorgio Paris, assegnando (pari merito con altri) la primo la posizione 21 e al secondo 20 ?
      Saro’ grato di una spiegazione sensata.
      Su google scholar, poi, stenderei un velo pietoso. Assegna come citazione a dei miei lavori la tesi di laurea di una mia tesista!
      Quanto all’ANVUR, diciamo che l’idea generale e’ buona, ma e’ stata implementata molto male, e senza tenere in conto esperienze precedenti, es. quella britannica. Un esempio: gli elenchetti di riviste suddivisi in 4 classi. E se uno fa ricerca interdisciplinare ? Che senso ha definire una lista chiusa di riviste di riferimento al fine di valutare un ricercatore attivo in piu’ settori ?
      Cordiali saluti,
      Alberto d’Onofrio

  6. Il precedente commento di Luca Boscolo è stato autorizzato dalla Redazione solo perché ritenuto utile a illustrare alcune posizioni estreme (nei contenuti, nei toni, nella scarsa o nulla padronanza degli strumenti bibliometrici, oltreché nel caso in questione della lingua italiana) emerse nel recente dibattito sulla valutazione della ricerca in Italia.

  7. Il signor Boscolo essendo un consulente telco evidentemente bramoso di emulare altri consulenti che sono riusciti a occupare posizioni di rilievo nella ricerca italiana senza averne la minima esperienza, probabilmente non è a conoscenza dell’esistenza di Scopus e WOS.

  8. La cosa disarmante non è solo la palese ignoranza di questi signori affiancata da una buona dose di arroganza. La cosa disarmante è sopratutto che qualcuno nell’ “accademia” li prenda anche sul serio.

  9. Oggi “domenica” stavo lavorando con Google Scholar (GS) quando ho avuto la segnalazione di questo articolo del collega Baccini. Sebbene ne io ne la nostra analisi (ScholarSearch) siano esplicitamente nominati voglio prendere la difesa d’ufficio dei “bibliometri della Domenica”, o almeno di alcuni di essi, ed in parte di GS. Al di fuori dei luoghi comuni e della ripetizione di argomenti triti e ritriti credo che la discussione dovrebbe mirare a capire se sia possibile sviluppare metodi sostenibili aperti e “democratici” che forniscano dati utili a valutare istituzione e dipartimenti. Non mi interessa verificare come mi classifico nel mio SSD.

    Assumo qui che tutti siamo ormai convinti che non si può più sfuggire ad una valutazione “oggettiva” e che l’auto-referenzialità non paga più.

    Non voglio entrare oggi nel confronto peer review/bibliometria sebbene abbia opinioni precise su questo argomento ed un’esperienza di valutazione di Istituti di Ricerca a livello internazionale, ma credo che ormai tutti (quasi) concordano che non si possa fare a meno, almeno come supporto, di un uso “giudizioso” dei dati bibliometrici.

    Per dati bibliometrici intendo pubblicazioni e citazioni. La discussione degli indici che si possono ricavare da questi dati primari mi porterebbe troppo lontano ed ha già un’ampia letteratura.

    Tre anni fa sono stato motivato dalla necessità di capire se fosse vero che il Dipartimento di Biologia di Tor Vergata era tra i migliori in Italia come asseriva il mio direttore di Dipartimento. Ho fatto una rapida ricerca in Google e non ho trovato NESSUNA analisi che mi aiutasse a rispondere a questa domanda in maniera oggettiva. Se qualcuno fosse a conoscenza di qualche strumento che mi sia sfuggito sarei grato se me lo segnalasse.

    A questo punto non potendo organizzare un costoso sistema di peer review internazionale, mi sono chiesto se fosse possibile ottenere informazioni sulle pubblicazioni e sulle citazioni degli (allora 60000; oggi 55000) docenti universitari.
    Sono editor di un giornale di Elsevier quindi ho accesso a Scopus, ma questo strumento non mi permette di interrogare automaticamente il suo database per ottenere informazioni su un gran numero di individui. Devo digitare 55000 nomi e cliccare 55000 volte “cerca” e salvare 55000 volte i dati della ricerche.
    Non ho accesso ad ISI ma sono sicuro che, se anche pagassi il costoso abbonamento, avrei gli stessi problemi. Inoltre questi due database hanno una scarsissima copertura dei “prodotti” delle aree non scientifiche.
    Quindi è inutile insistere a dire che bisogna utilizzare Scopus ed ISI senza dimostrare che esiste un metodo che permetta di raggiungere lo scopo e si metta a disposizione una banca dati pubblica che descriva chiaramente il metodo ed i risultati ottenuti utilizzando questi due strumenti.

    Con GoogleSholar (GS) invece questo è possibile (con alcune limitazioni superabili). Ho quindi incrociato i dati dell’anagrafe del Cineca con quelli di GS ed ho estratto il numero di pubblicazioni e citazioni dei docenti Universitari Italiani. Tutto qui. Allora non ero cosciente che stato facendo bibliometria, me l’hanno detto alcuni dei critici aggiungendo l’epitopo “della domenica”. Ma vorrei sapere quali sono i metodi utilizzati dai bibliometri professionisti per raggiungere lo stesso scopo e perché i bibliometri professionisti non si espongono producendo lo strumento perfetto che mostri i dati “corretti” che noi stiamo cercando di estrarre con i nostri metodi dilettanteschi.
    Non essendoci alcun’altra analisi del genere (onnicomprensiva e “aperta”) con cui confrontarsi ho messo i dati in rete, con una precisa descrizione di cosa avevamo fatto, per stimolare la discussione.
    Naturalmente la qualità dei dati dipende dalla qualità e “copertura” delle banche dati di partenza, soprattutto le banche dati bibliografiche. Ma anche l’anagrafe del Cineca non è esente da errori. C’è un’ampia letteratura sul confronto di GS, ISI e Scopus e GS non ne esce sempre perdente … anzi.

    Come descritto nella documentazione e disclaimer sul sito di ScholarSearch, e come in parte riportato nell’articolo di Baccini, alcuni dei problemi possono essere facilmente identificati. Alcuni non sono risolvibili, o quasi, per altri .. ci stiamo provando. Ci sarà sempre però un Prof Bianchi che protesterà perché il suo libro non è “trovato” da GS (ma nemmeno da Scopus o da ISI) mentre l’H index del collega Rossi trae beneficio dall’omonimia con un Fisico della stessa Università. Il problema è il livello d’imprecisione che può essere tollerato ai fini di una valutazione accettabile di istituzioni di ricerca. Non sono interessato a capire chi sono i dieci migliori economisti italiani … o se i fisici sono più bravi degli storici.

    In Biologia sviluppiamo metodi predittivi e li valutiamo confrontandoli con il “golden standard’, la ‘verità’. Un golden standard della valutazione universitaria non esiste. Inoltre non esistono altri metodi predittivi quindi non possiamo confrontarci con nulla se non con le critiche qualitative. Sappiamo però dai riscontri dei colleghi, soprattutto umanisti, che la nostra prima analisi aveva dei problemi e che può essere migliorata, magari aumentando la copertura a scapito della precisione. Stiamo cercando di rimediare.

    Insomma ScholarSearch è impreciso perché è, al momento, difficile recuperare da GS le informazioni bibliografiche per le aree non scientifiche. Ma GS è in continua crescita e miglioramento. Per esempio se tutti usassero 2 minuti del loro tempo per attivare l’opzione “le mie citazioni” o “my citations”
    https://accounts.google.com/ServiceLogin?service=citations&continue
    si potrebbero evitare una buona parte dei problemi
    Avrei altro da dire ma sono già stato troppo lungo.

    • Ringrazio il collega Cesareni per aver letto il mio post e per aver mostrato che non tutti quelli che di domenica si danno alla bibliometria fanno dei danni! Scrivendo il mio post non pensavo certo a lui e Google Search. Piuttosto a chi usa i dati di Scholar per fare classifiche improbabili.
      Ho un paio di punti da sottolineare:
      1. la differenza principale tra GS e Scopus e WoS sta nella struttura del database. Gli ultimi due sono costruiti a partire da metadati bibliografici. Scholar no. I risultati di Scholar sono una scommessa: che i robot di google abbiano classificato correttamente stringhe di testo. E spesso non lo fanno. Certo i dati sono utili per fare cose del tipo suggerito da Cesareni. Non certo per fare classifiche di individui, riviste etc. etc.
      2. Scopus e WoS sono nati per fare altro. Se si ha accesso ai dati elementari le cose che Cesareni vuole fare (statistiche sui settori disciplinari/dipartimenti) etc. si possono fare. Il gruppo Tor Vergata/CNR che fa capo ad Abramo sta facendo proprio questo mestiere sui dati WoS.
      3. Non si dimentichi che Google Scholar, come WoS e Scopus è un prodotto commerciale. La differenza, effettivamente non di poco conto, è che non si paga per l’accesso. Quindi il tema della democrazia e dell’open access in relazione a Google Scholar è a mio avviso mal posto.
      La democrazia è solo apparente: chi decide cosa indicizzare, come e quando? Chi decide cosa non indicizzare? Se un giorno oltre a far sparire dai database Ike Antkare decidessero di far sparire letteratura scomoda? A quando la discussione su un database istituzionale non commerciale aperto e controllato dalla comunità scientifica internazionale con metodo democratico?

    • “A quando la discussione su un database istituzionale non commerciale aperto e controllato dalla comunità scientifica internazionale con metodo democratico?”

      Un tale database esiste per la matematica si chiama “MatSciNet” ed è curato dalla American Mathematical Society. La sua caratteristica principale è che è basato su un database degli autori come individui e non come nomi. Per ogni autore vengono identificati i diversi nomi con i quali ha firmato i lavori. Nel dubbio si interpella l’autore stesso. Le riviste consultate sono quelle i cui articoli sono recensiti da Math Reviews. Naturalmente nemmeno MatSciNet è completo: se un lavoro di matematica viene citato in un articolo pubblicato in una rivista di ingegneria, la citazione non viene rilevata. Inoltre pur essendo MatSciNet non commerciale, l’accesso non è gratuito.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.