Dopo la buona novella del 63° posto della Normale nei World University Rankings del Times Higher Education, si fanno i conti per capire meglio come si sia prodotto questo risultato. ROARS ha già segnalato le osservazioni di uno dei più quotati commentatori indipendenti di ranking, il quale ci fornisce dei suggerimenti per dipanare la matassa. Che ci sia dietro «la mano di Dio», come nel famoso gol di Maradona nel Mondiale del 1986? O forse una… «particella di Dio»…?

methodology-pie-chartCitazioni all’indice. Il fatto è noto: la Normale di Pisa entra di prepotenza nella Top 100 delle Università mondiali, secondo la classifica del THE – uno dei 3 ranking “storicamente” più rilevanti in materia di World-Class Universities. Lasciamo da parte i dubbi sulla soddisfazione dei “requisiti d’ingresso” che il settimanale britannico pone per prendere in considerazione le singole Università, e approfondiamo la prestazione dell’istituto di Piazza dei Cavalieri, sulla base degli indicatori che definiscono i criteri per l’assegnazione dei punteggi di merito. Seguiamo essenzialmente i suggerimenti di Richard Holmes, che da tempo commenta sul suo blog “University Ranking Watch” i dettagli di questo “gioco di società”.

Holmes è intervenuto lo scorso sabato nel dettaglio, puntando l’indice – ancora una volta – contro l’indicatore citazionale (che vale il 30% del punteggio complessivo), e accusandolo di essere il responsabile di una serie di risultati che spiccano per “singolarità”, analogamente a ciò che successe nel 2010 con il caso “El Naschie”; tra questi inserisce anche il caso della Normale:

«Scuola Normale Superiore di Pisa is 63rd in the world with an overall score of 61.9 but a citations score of 96.4.

Royal Holloway, University of London is 118th in the world with an overall score of 53 but a citations score of 98.9.

The University of California Santa Cruz is top of the world for citations with an overall score of 53.7 and 100 for citations.

Bogazici University is 139th in the world with an overall score of 51.1 and a citations score of 96.8.

Federico Santa Maria Technical University in Valparaiso is in the 251-275 band so the total score is not given although it would be easy enough to work out. It has a score of 99.7 for citations.»

Calcolo sublimato. Ricordiamo, dal dettaglio della metodologia, che i punteggi di merito ottenuti da ciascuna Università per i singoli indicatori sono espressi in termini della rispettiva distribuzione cumulativa normale standardizzataΦ(z) (con l’eccezione di quelli derivanti dalle survey reputazionali). Questo significa che, se xi è il dato grezzo dell’indicatore X per l’ i-esima Università, si definisce la sua Z-normalizzazione

zi=(xi-μ)/σ

(μ media dei valori dell’indicatore X, σ deviazione standard), e poi il punteggio relativo ad X

ΦX(zi)≡Prob(z<zi).

Detto in altre parole, se per l’Università i-esima il punteggio dello specifico indicatore è, ad esempio, 96,4, allora c’è una probabilità del 96,4% che la generica Università del campione (composto di quasi 800 istituzioni) possegga una valore inferiore a quello della i-esima.

Non importa se avete rischiato di perdervi, questo è solo il dettaglio matematico per gli interessati; i nodi al pettine vengono dopo. L’importante è tenere a mente che un valore di 96 o 97 per uno degli indicatori del ranking equivale ad avere ottenuto una prestazione decisamente eccellente relativamente al campione di Università di esame, e questo è il caso della Normale e degli altri indicati da Holmes per quanto riguarda le citazioni.

Ma come si contano le citazioni, per una Università (cioè il valore xi)? Qui entrano in gioco alcune caratteristiche della definizione dell’indicatore “grezzo”, secondo i criteri del THE. Sinteticamente:

  1. L’indice è intensivo, cioè il numero totale delle citazioni ottenute da articoli dove figura un autore affiliato all’Università viene diviso per la numerosità del personale accademico e ricercatore (dichiarata al momento della specifica survey annuale di Thomson Reuters);
  2. L’indice procede ad un conteggio pieno di tutte le citazioni anche per gli articoli a più autori, indipendentemente dal numero (1 o più) di quelli affiliati all’Università; questo vale, in particolare, anche per le c.d. mega-collaborazioni;
  3. L’indice è “normalizzato” per settore di ricerca; questa è una pratica ormai abbastanza diffusa negli ambienti scientometrici, al fine di tenere conto delle specifiche pratiche citazionali nei diversi campi del sapere;
  4. L’indice è “normalizzato” per anno di pubblicazione, in modo da tenere conto delle diverse finestre temporali a disposizione per le citazioni di articoli pubblicati in anni diversi.

A proposito del punto (4), ricordiamo che il periodo di pubblicazione fissato dal THE per questo ranking (2014-15) corrisponde al quinquennio 2009-2013, tuttavia le citazioni prese in considerazione – presenti nelle basi di dati del Web of Science™ – potevano essere state fatte fino al 2014 (immaginiamo ad un certo momento, tipo la fine di Agosto – tuttavia su questo punto c’è un baco informativo). Per quanto riguarda il punto (3), il numero delle aree di ricerca in cui “affettare” lo scibile pubblicato dipende dai vari rankers, e comunque il THE si attiene ad una divisione in 6 aree (schema GIPP di Thomson Reuters). Il combinato disposto di (3) e (4) produce un indice effettivo che va pertanto letto in relazione ai valori medi calcolati per area e per anno.

Per familiarizzarsi con gli indicatori sopra menzionati, è possibile fare riferimento al Ranking di Leida, un’altra importante Classifica Mondiale di Università, che però si basa solo – appunto – sui dati citazionali (che utilizza con qualche elemento tecnico diverso rispetto a Thomson Reuters). Con l’ultima edizione (2014) sono state implementate diverse funzionalità, incluso una interfaccia utente che permette di scegliere a quale specifico indicatore citazionale fare riferimento e con quali caratteristiche di dettaglio. Ad esempio, è possibile richiedere il conteggio frazionario per quelle citazioni relative ad articoli con più autori appartenenti a diverse istituzioni.

Galeotto fu il Bosone (di Higgs). Ed ora torniamo alla Normale ed al suo exploit citazionale: a cosa è dovuto? Holmes non ha dubbi: si tratta delle conseguenze di alcuni articoli dovuti a mega-collaborazioni e citati in modo massiccio; e qui la mente è andata subito alla scoperta del Bosone di Higgs, evento accaduto nel 2012 in seguito ad esperimenti effettuati nel laboratorio ginevrino del CERN, e per i quali – come sappiamo – si utilizza il lavoro di un numero enorme di ricercatori affiliati a parecchie istituzioni, non solo Europee. Per rendere più chiara la comprensione a coloro che sono meno familiari con la ricerca nell’ambito della fisica delle particelle elementari (o fisica delle alte energie) ricordiamo che al CERN è un funzione da alcuni anni un (nuovo) anello di collisione denominato Large Hadron Collider (LHC) sul cui percorso sono stati costruiti dei (mega)rivelatori di particelle che consentono lo studio degli “scontri ad alta velocità” tra fasci opposti di particelle “pesanti” (rispetto agli elettroni) come protoni e antiprotoni. Da qui la necessità, per questo tipo di ricerche – e ormai da molto tempo -, di costituire consorzi su larga scala per gestire l’intero processo di ideazione, costruzione, messa in opera, e presa dati per i singoli esperimenti, volti ad indagare specifici aspetti della realtà fisica. Tali collaborazioni durano lustri e anche decenni, e la composizione dei “mega-gruppi di ricerca” può addirittura variare col tempo, in dipendenza dall’apporto dei singoli in ogni “nodo locale”.

Candidate_Higgs_Events_in_ATLAS_and_CMSAlla caccia del Bosone di Higgs c’erano, e continuano a lavorare, due diversi esperimenti, che differiscono per le tecniche di rivelazione adoperate, e che quindi impiegano due mega-collaborazioni totalmente diverse, ambedue consistenti di circa 3.000 persone: ATLAS (A Toroidal LHC ApparatuS) e CMS (Compact Muon Solenoid). Quando ATLAS (quella diretta da Fabiola Gianotti, per intenderci) fece trapelare la notizia della “osservazione” del bosone di Higgs, l’agognata particella predetta dal Modello Standard e fino a quel momento mai rivelata, anche CMS “arrivò a confermare” la rivelazione con i propri mezzi, e così entrambe le collaborazioni giunsero a dare l’annuncio ufficiale lo stesso giorno, il 4 luglio 2012. La prima pubblicazione di un articolo con il report scientifico completo ebbe luogo in Settembre, sulla stessa rivista, Physics Letters B: “Observation of a new particle in the search for the Standard Model Higgs boson with the ATLAS detector at the LHC” per ATLAS, e “Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC”, per CMS. A causa dell’importanza della scoperta, e del relativo ma diverso contributo dei due lavori, entrambi questi articoli sono stati citati massicciamente durante questi 2 anni, contribuendo pertanto a far salire gli indici citazionali delle Entità a cui risultano affiliati gli autori. Ma non per tutte allo stesso modo!

Benché, infatti, l’apporto istituzionale possa essere qualitativamente differenziato, sia in termini di risorse umane che materiali, ciò che conta ai fini degli indicatori era “esserci”. E la Normale c’era (in CMS)! Come molte altre Università italiane, ovviamente, il cui impegno al CERN è sempre stato cospicuo e di qualità, e ben organizzato da 50 anni attraverso l’INFN (Istituto Nazionale di Fisica Nucleare).

Ma se i 5 ricercatori della Normale che hanno co-firmato l’articolo di CMS (lo 0,17% del totale) consegnavano un contributo citazionale relativamente elevato alla propria piccola istituzione – che conta 99 tra Professori e ricercatori, alla data odierna -, non così è stato possibile per tutti gli altri. Paolo Azzurri, Giuseppe Broccolo, Raffaele Tito D’Agnolo, Lorenzo Foà (che purtroppo ci ha lasciati all’inizio del 2014) e Franco Ligabue (unico strutturato, attualmente, come Ricercatore) hanno rappresentato quindi la leva umana con cui far sollevare la Normale nella classifica del THE fino al 63° posto. Per essere più precisi e realistici, diciamo che la “leva” dipende anche da tutti gli altri articoli pubblicati (prima e dopo) da CMS, che dal 2010 beneficia di un oligopolio (con ATLAS) dell’offerta informativa mondiale su un tema di ricerca così peculiare e rilevante, al centro dell’attenzione. L’Università di Pisa, per dire, era presente molto più massicciamente della Normale in CMS, e pure in ATLAS, ma non ha potuto capitalizzare allo stesso modo. A spingere in alto l’indicatore citazionale per la Normale (ma anche per gli altri casi “singolari” individuati da Holmes) hanno contribuito non solo le caratteristiche (1) e (2), ma anche la (3) e la (4), ed una ulteriore regola per una normalizzazione degli indici a livello di singolo Paese (particolarmente utile per le Università di Paesi come la Turchia).

Ovviamente questa sottolineatura del peso delle mega-collaborazioni sugli indicatori citazionali non può oscurare la buona qualità della ricerca effettuata da tutti i docenti-ricercatori della Normale, e certamente una eccellente “base di partenza” per gli indici è stata fornita da un nucleo ben più ampio di articoli (di sicuro quelli dell’area delle scienze fisiche), come si può verificare con uno sguardo più fine sui dati grezzi. Non vorremmo dare l’impressione che, a causa di queste osservazioni tecniche, si finisca col trarre deduzioni parimenti errate sul giudizio di qualità da attribuire alla Normale. Non era questo lo scopo di questa segnalazione, ma piuttosto quello di far riflettere sul rapporto fra Sociologia della Scienza – ben rappresentata attraverso i casi specifici delle ricerche di cui abbiamo parlato – e consultazione di fondi del caffè statistico-matematici, che possono nascondere o modificare l’essenza dei fenomeni e dei significati che si desiderano veramente cogliere.

Send to Kindle

1 commento

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.