I vertici delle università italiane sono soggetti a cadere vittime di una particolare sindrome, il “rankismo“, noto anche come “febbre dei ranking”. Essa è facilmente diagnosticabile dai suoi sintomi, un’incauta euforia ed un appannamento del senso critico, osservabili in coincidenza con la pubblicazione di qualche classifica nazionale o internazionale degli atenei. La prognosi, fortunatamente, tende ad essere benigna. Le conseguenze, di natura essenzialmente reputazionale, si riducono al rilascio di dichiarazioni prive di riscontri, destinate ad essere smentite da un semplice fact-checking. L’ultima vittima in ordine di tempo è stato il prorettore alla ricerca dell’Università di Bologna che, tratto un inganno dalla svista di diversi organi di informazione, ha attribuito a Bologna (che era solo sesta) la palma di migliore ateneo nella classifica ARWU, attirandosi la smentita del Rettore della Sapienza di Roma (un altro soggetto a rischio?). Ma non è un episodio isolato. Un paio di mesi fa, un ateneo del centro Italia aveva vantato il primo posto nella classifica della Qualità della produzione scientifica pubblicata dal Sole 24 Ore, senza prendere atto che nella pagina web del quotidiano erano state invertite due colonne. Ancora prima, il rankismo aveva colpito un ateneo del nord Italia, che sulla sua home page aveva vantato un balzo in avanti nelle liste di una classifica da poco pubblicata, nella quale … non era nemmeno incluso. Ma guarire dal rankismo si può? Da soli non è facile, come d’altronde accade per tutte le forme di dipendenza. Però, alcuni studiosi francesi hanno suggerito un possibile percorso di riabilitazione basato sull’astinenza, vigilata da colleghi pronti ad intervenire quando i soggetti a rischio si avvicinano pericolosamente a dei ranking appena pubblicati.
Due esempi di “infortunio da ranking”. Il primo riguarda l’università di Macerata, che vanta la prima posizione nella classifica della Qualità della produzione scientifica stilata dal Sole 24 Ore, un primato dovuto all’accidentale inversione di due colonne sull’edizione web del quotidiano (refuso prontamente corretto dal Sole dopo che Roars l’aveva scoperto). Per non rinunciare all’ambita medaglia d’oro, il comunicato dell’ateneo finge che ad essere errata fosse la versione cartacea. Nel secondo caso, il prorettore alla ricerca dell’Università di Bologna, sulla scia di una svista commessa da diversi mezzi di informazione, rivendica per Bologna la palma di migliore delle italiane nella classifica ARWU 2014, ma come prontamente notato da Roars e dalla vera prima in classifica (Roma Sapienza), Bologna era solo sesta.
1. Prologo
E’ ormai assodato come i ranking internazionali siano uno strumento di marketing, delle classifiche assolutamente non scientifiche il cui scopo è quello di influenzare l’opinione di studenti e famiglie su quali siano le migliori istituzioni al mondo. Secondo criteri fissati dall’editore del ranking.
Agli atenei questi ranking piacciono molto, soprattutto quando, per motivi spesso inspiegabili si ritrovano in alto nella classifica o scoprono di aver guadagnato posizioni rispetto all’anno precedente. Che questo poi avvenga perché i dati sono stati forniti in una diversa aggregazione, perché si è collaborato alla raccolta dei dati o perché si è lavorato per ottenere una performance migliore when a measure becomes a target … poco importa, se l’effetto finale è qualche gradino più in alto verso gli irraggiungibili atenei americani o inglesi.
Da uno studente o dalla sua famiglia che cerca un ateneo a cui iscriversi ci si può aspettare che tenga conto anche di queste classifiche, ma dall’amministrazione di un ateneo ci si aspetta che conosca bene il valore di questi ranking e quali siano le (inconsistenti) basi metodologiche su cui sono costruiti. Da una amministrazione ci si aspetta che quando annuncia un risultato ottenuto sappia rappresentare la cosa in maniera credibile, perché comunque il pubblico non è fatto solo dagli studenti e dalle loro famiglie, ma anche da chi, di fronte a dichiarazioni roboanti si incuriosisce e indaga più a fondo….
2. Il “balzo in avanti” di Pavia: realtà o immaginazione?
Lo scorso aprile, sulla home page dell’Università di Pavia, oltre al riferimento ad una “miglior miscela stimolante” di secolare tradizione, era apparso in “Primo Piano” il seguente annuncio:
Balzo in avanti dell’Università di pavia nel Ranking THE
Il link rimandava alla seguente comunicazione
Ecco il testo:
E’ stato pubblicato il World Reputation Rankings 2014, la classifica delle università mondiali elaborata dalla rivista inglese Times Higher Education.
L’Università di Pavia ottiene un ottimo posizionamento, classificandosi quinta tra le 15 università italiane presenti, guadagnando 76 posizioni rispetto al 2013.
La classifica è, come di consueto, dominata dalle università anglosassoni che monopolizzano anche la top ten con l’autorevole Harvard salda al primo posto forte di una percentuale del 100% dei consensi espressi dagli accademici interpellati.
La classifica si base sui 5 parametri: Teaching, International Outlook, Industry Income, Research and Citations.
È degno di nota che il Rettore Fabio Rugge, nel suo discorso di inaugurazione dell’anno accademico (11 dicembre 2013) aveva manifestato un certo distacco nei confronti dei ranking internazionali:
Penso infatti che occorra su queste graduatorie fare un discorso assai franco. Io credo che la capacità di siffatte classifiche di restituirci lo stato di salute reale e di reputazione effettiva del nostro ateneo sia nel complesso modesta. Credo che dovremo in futuro farci orientare dai risultati di una nostra scrupolosa e critica autovalutazione, molto di più che da rilevazioni, spesso sommarie e imprecise, compiute da agenzie la cui distanza dall’oggetto valutato è al tempo stesso una garanzia, ma anche un limite. Si dirà che si tratta di valutazioni capaci di incidere sulla reputazione dell’ateneo. Mi pare che sia vero solo in parte. È ovvio che una prima posizione in qualsiasi classifica aiuta la nostra immagine più di una terza, di una decima o di una centesima. Sono convinto però che la costruzione o la conferma di una reputazione della nostra università debbano affidarsi soprattutto ad una buona comunicazione dei nostri punti di forza che valorizzi realtà solidamente e inequivocabilmente di primato. Parlo di una comunicazione che raggiunga davvero in modo selettivo quanti sono interessati ai nostri risultati, gli studenti che debbono scegliere, le loro famiglie, le istituzioni scientifiche ed economiche con cui dialoghiamo e con cui vogliamo iniziare attività comuni, le aziende e i nostri potenziali donatori. A tutti costoro la notizia estiva di un posto in graduatoria giunge come un’eco lontana che si dissolve nell’arco di pochi giorni. […]
Né possiamo seriamente concentrarci su classifiche internazionali le quali, per la loro stessa struttura e finalità, ci condannano a posizioni che comunque presentate non possono risultare esaltanti. E quanto alla trecentoottantesima o trecentocinquantaduesima posizione di qualsivoglia classifica, riparliamone quando l’avremo scalata almeno fino al duecentesimo posto.
Meno di cinque mesi dopo, per dare comunicazione del “balzo”, l’ateneo pavese pubblica un filmato in cui il rettore commenta soddisfatto:
… qui si tratta di un salto in avanti nella graduatoria molto importante, si tratta di quasi 80 posizioni, quindi c’è della sostanza.
In realtà, chi conosceva i Rankings di Times Higher Education aveva qualche ragione per essere perplesso del comunicato sulla home page dell’ateneo. Infatti, la classifica dei World Reputation Rankings include solo 100 università e mai nessun ateneo italiano è riuscito ad entrarvi. Come ognuno può verificare (link), nella classifica 2014, uscita il 6 marzo scorso, non c’è alcuna traccia di atenei italiani e tanto meno di Pavia.
3. Un “balzo” a scoppio ritardato
Che la comunicazione istituzionale non fosse stata priva di sbavature era confermato dal commento su Harvard, la quale otterrebbe il
100% dei consensi espressi dagli accademici interpellati.
Infatti, se è vero che il punteggio di Harvard è pari a 100, basta leggere la “methodology“ per capire che “100” non significa avere il 100% dei consensi, ma è il punteggio convenzionalmente assegnato al primo ateneo in classifica.
The scores are based on the number of times an institution is cited by respondents as being the best in their field. The number one institution, Harvard University, was selected most often. The scores for all other institutions in the table are expressed as a percentage of Harvard’s, set at 100.
Lasciando da parte le sbavature, rimane però da capire l’origine dell’infortunio comunicativo.
La spiegazione, abbastanza semplice, è desumibile dall’audio e dalle immagini del filmato, come pure dall’accenno ai “5 parametri” presente nel comunicato. Era stata fatta confusione tra due diversi ranking, entrambi pubblicati da Times Higher Education:
Quella in cui Pavia si era classificata tra la 251- e la 275-esima posizione non era la prima classifica (da 100 atenei), ma la seconda, che include 400 atenei e si basa effettivamente su 5 parametri, (link):
Tutto bene allora? Solo una piccola svista, tutto sommato perdonabile?
Non del tutto, perché la classifica THE World University Rankings non esce in contemporanea con i THE World Reputation Rankings, pubblicati nel mese di marzo 2014. La classifica THE World University Rankings, che vede Pavia nelle prime 400 università, era stata pubblicata sette mesi prima, agli inizi di ottobre 2013, come si può verificare da questo annuncio sul sito del magazine Times Higher Education.
L’uscita di questi ranking era stata ampiamente coperta anche dal sito Roars (Classifiche, che (insana) passione!) che il 3 ottobre 2013, il giorno stesso della loro uscita, aveva pubblicato la seguente tabella che evidenziava posizioni e punteggio degli atenei italiani.
Il risultato non era sfuggito ai vertici dell’ateneo pavese. Se si riascolta il discorso di inaugurazione dell’anno accademico, il rettore spiegava puntualmente che
Per quanto riguarda le classifiche internazionali registriamo che la valutazione Times Higher Education ci colloca quest’anno tra la 251-esima e la 275-esima posizione con una crescita marcata rispetto allo scorso anno.
[da 9′ o4″]
A questo punto, invece di suonare le fanfare, aveva proseguito con quel franco ridimensionamento del valore delle classifiche stesse che abbiamo già menzionato.
Ad Aprile, però, si cambia musica e l’ateneo pavese riesuma la notizia vecchia più di sei mesi, per esibirla in vetrina, facendo però confusione tra due diverse classifiche. Un po’ come esibire a scoppio ritardato di un trofeo di cui si confonde anche la denominazione.
4. Should you believe in the “THE Rankings”?
A prescindere dal caso specifico, viene anche da domandarsi se tra i meno competenti – dentro e fuori le mura dell’accademia – non ci sia una forma di sudditanza psicologica nei confronti di ranking a cui viene attribuita un’autorità tanto maggiore quanto meno se ne comprendono funzionamento e limiti. È una domamda sensata, soprattutto alla luce delle fragili basi scientifiche su cui poggiano World University Rankings di Times Higher Education.
Infatti, questa classifica è la stessa che nel 2010 aveva collocato l’Università di Alessandria di Egitto al quarto posto mondiale per impatto citazionale, davanti a Stanford e Harvard.
L’exploit degli egiziani, oltre che essere propiziato dall’uso di indicatori bibliometrici del tutto fragili, era frutto delle straordinarie performance di un unico ricercatore che faceva incetta di citazioni grazie alla rivista (edita da Elsevier) di cui era Editor in Chief. Una volta spiegato l’arcano, il New York Times aveva pubblicato un articolo dal titolo eloquente: “Questionable science behind academic rankings”.
Che la classifica citazionale di THE (che pesa per il 30% nella classifica finale) sia scientificamente poco affidabile è testimoniato anche dalle analisi del blog University Ranking Watch che svolge una meritoria opera di monitoraggio di queste classifiche. Per fare un altro esempio, nella classifica 2012 dell’impatto citazionale, il Moscow Engineering Physics Institute (MEPhi) arriva secondo dietro a Rice Univ. battendo MIT, Princeton, Caltech, Stanford, Berkely, Harvard e via dicendo.
Sono precedenti che suggerirebbero una certa prudenza prima di vantarsi di un balzo pavese che, secondo quanto riferito nel filmato, ha proprio a che vedere proprio con la classifica citazionale.
5. “Stop being naive”
Parlando degli indovini, Cicerone citava un famoso detto di Catone il vecchio:
Cato mirari se aiebat, quod non rideret haruspex haruspicem cum vidisset
Più prosaicamente, Jean-Charles Billaut, Denis Bouyssou e Philippe Vincke al termine del loro articolo “Should you believe in the Shanghai rankings?“, in cui demoliscono pezzo a pezzo le basi metodologiche della classifica di Shanghai, danno alcune raccomandazioni – applicabili anche alle classifiche di Times Higher Education. I ricercatori francesi suggeriscono quello che potrebbe diventare un percorso di riabilitazione per i vertici degli atenei che sono schiavi del rankismo. Per favorire la disintossicazione, è necessaria una pressione collettiva dal basso perchè i ranking non vengano mai utilizzati nelle comunicazioni istituzionali. Solo se costretti all’astinenza, i vertici degli atenei potranno guarire dalla “febbre dei ranking”, risparmiandosi altri infortuni, incresciosi per la loro reputazione e per quella dei loro atenei.
… stop being naive. ‘‘What is the best car in the world?’’, ‘‘Where is the most pleasant city in Europe?’’, ‘‘What is the best wine in the world?’’, etc. All these questions may be interesting if your objective is to sell many copies of a newspaper or a book. However, it is clear that all these questions are meaningless unless they are preceded by a long and difficult structuring work. Clearly the ‘‘best car in the world’’ is a meaningless concept unless you have identified stakeholders, structured their objectives, studied the various ways in which attributes can be conceived to measure the attainment of these objectives, applied meaningful procedures to aggregate this information and performed an extensive robustness analysis. Doing so, you might arrive at a model that can really help someone choose a car, or, alternatively, help a government to prepare new standards for greenhouse gas emissions. Without this work, the question is meaningless. If the question is meaningless for cars, should we expect a miracle when we turn to incredibly more complex objects such as universities? Certainly not. There is no such thing as a ‘‘best university’’ in abstracto. Hence, a first immediate step that we suggest is the following. Stop talking about these ‘‘all purpose rankings’’. They are meaningless. Lobby in our own institution so that these rankings are never mentioned in institutional communication. This is, of course, especially important for our readers ‘‘lucky’’ enough to belong to institutions that are well ranked. They should resist the temptation of saying or thinking ‘‘there is almost surely something there’’ and stop using the free publicity offered by these rankings.
Questo articolo è una rielaborazione della lezione aperta
“Quell’oscuro oggetto del desiderio: le classifiche internazionali degli atenei”
organizzata dal Circolo Universitario Errera nell’ambito della settimana UniPerTutti presso l’Aula Grande del Dipartimento di Scienze Politiche e Sociali dell’Università di Pavia (Giovedì 15 maggio 2014).
Le slide del seminario sono disponibili sul sito del Circolo Universitario Pavese “Giorgio Errera”: link
http://data3.whicdn.com/images/16891288/thumb.jpg
A proposito di “classifiche, che passione!”, l’UE sta finanziando uno strumento per fare classifiche multidimesionali personalizzate delle università mondiali:
http://www.u-multirank.eu/
L’ho visto e non mi ha commosso. Ma forse dovrei dargli una seconda occhiata.
[…] politici, intellettuali e gente comune. E i rettori, affetti da una nuova sindrome – il rankitismo, ovvero la “febbre da ranking” a sbracciarsi ed esaltare le performance dei propri atenei anche per poche posizioni scalate. Con […]
Aggiornamenti:
http://uilrua.uilafam.it/index.php/universita/item/443-cgil-cisl-uil-lettera-ai-rettori-su-situazione-universita
http://www.unica.it/pub/7/show.jsp?id=26945&iso=-2&is=7
“Mi sembra doveroso rimarcare l’attenzione data dagli studiosi dell’ateneo di Shangai alla qualità della nostra ricerca”. Il rettore Giovanni Melis incassa con soddisfazione il plauso firmato dalle analisi degli specialisti cinesi … “Se su settantacinque università italiane entrano nel ranking internazionale solo ventuno, significa che stiamo percorrendo la strada giusta”
__________________
Ovviamente, se l’anno prossimo Cagliari uscisse dalle prime 500, sul sito dell’ateneo uscirà un comunicato un cui il rettore riconoscerà “che stiamo percorrendo la strada sbagliata”. Sento odore di rankitismo …
Grazie per l’articolo di Ales(s)andra G. Le cose che si scoprono… La sua autobiografia p. es.: http://www.alessandragraziottin.it/it/biografia.php
Sarà il nostro nuovo ministro? Anzi, nostro capitano? A capo di un’università composta di adolescenti? Altro che rottamazioni (selettive, MOLTO selettive, detto en passant).
Il livello della stampa italiana e’ così basso che su un grosso giornale regionale la notizia del ranking era commentata con acceso sdegno antiaccademico da una nota ginecologa.
Temo di averlo letto.
Io no. Posso avere il link? Grazie.
Anche la ginecologa/sessuologa Alessandra Graziottin ora sale in cattedra e ci spiega una serie di banalità sconcertanti, intrise dei soliti triti e ritriti luoghi comuni.
Mi chiedo perché ne sentisse la necessità.
Ho aperto anche il link alla sua biografia e, certo, si vede tutto quel suo “umore dominante: sereno, con un mattino limpido di settembre dentro al cuore. E la scintilla che sorride.”
La scintilla deve essere quella con cui darebbe fuoco all’università. In un mattino limpido di settembre, s’intende.
.
Mi è piaciuta la storia degli uomini ciechi e dell’elefante.
Io invece ne ricordo una sui “falsi miti”, giapponese, che sono andata a cercare e che ho ritrovato. L’articolo della graziosa Graziottin, ad esempio, avrebbe poco da invidiare a “L’importanza del gatto nella meditazione zen”.
.
“Un grande maestro zen, responsabile del monastero buddista di Mayu Kgi, aveva un gatto; per lui, quella bestiola era un’autentica passione. E così, durante le sedute di meditazione la teneva accanto a sé – per godere il più possibile della sua compagnia. Una mattina il maestro – ormai piuttosto vecchio – fu rinvenuto morto. Il discepolo di più alto grado ne prese il posto “Che cosa ne facciamo del gatto?” domandarono gli altri monaci. In omaggio alla memoria del suo antico insegnante, il nuovo maestro acconsentì che il gatto continuasse a presenziare alle sedute di meditazione. Alcuni discepoli dei monasteri vicini, che spesso viaggiavano in quella zona, scoprirono che in uno dei templi più famosi un gatto partecipava alle sedute di meditazione. La storia cominciò a diffondersi. Trascorsero molti anni, e l’animale morì. Ma gli allievi del monastero erano talmente abituati alla sua presenza che, quasi subito, si procurarono un altro gatto. Nel frattempo, anche negli altri templi i monaci avevano incominciato ad introdurre i gatti nelle sedute di meditazione: erano convinti che il felino fosse il vero responsabile della fama e della qualità dell’insegnamento impartito a Mayu Kagi, dimenticando che l’antico maestro era un eccellente insegnante. Dopo una generazione, iniziarono a comparire trattati sull’importanza del gatto nella meditazione zen. Un professore universitario elaborò una tesi – accettata dalla comunità accademica – secondo la quale la presenza di un felino aumentava le capacità di concentrazione degli esseri umani ed eliminava le energie negative. E così, per un secolo, il gatto fu considerato una componente essenziale nello studio del buddismo zen in quella regione. Fino a quando si insediò un maestro che, essendo allergico agli animali domestici, decise di eliminare il gatto dalle pratiche quotidiane con gli allievi. Ci fu una forte reazione negativa, ma lui perseverò nella sua scelta. Poiché era un eccellente insegnante, i praticanti continuarono ad avere il medesimo rendimento, malgrado l’assenza del gatto. A poco a poco, i monasteri – sempre in cerca di idee originali e ormai stanchi di nutrire tanti gatti – eliminarono gradatamente gli animali dalle lezioni. Nel giro di vent’anni, si diffusero nuove tesi rivoluzionarie, dai titoli esplicativi come L’importanza della meditazione senza il gatto, o Equilibrare l’universo zen con il solo potere della mente, senza l’aiuto di animali. Passò oltre un secolo, e il gatto scomparve dai rituali della meditazione zen di quella regione. Ma ci vollero duecento anni prima che la situazione tornasse alla normalità giacchè, durante tutto quel tempo, nessuno si domandò mai perché quel gatto stesse lì.”
Splendida storia. Sono solo un po’ turbato da un particolare: “Ma ci vollero duecento anni prima che la situazione tornasse alla normalità”.
E pontifica, la dotta ginecologa, sul fatto che “il termine università deriva dal latino ‘universum’, ‘tutto intero’, a indicare l’internazionalità del sapere fin dal Medioevo”. Qualcuno le spieghi – generalmente se ne occupa la suora in terza elementare – che “universitas” studiorum altro non vuol dire se non “corporazione” dei maestri e degli scolari, così come universitas tonsorum era la corporazione dei barbieri. Stupisce solo che il buon Renzi non l’abbia ancora reclutata nel suo governo di intellettuali prestati alla politica. Lì, senza dubbio, si troverebbe a suo agio.
Non ne sono già passati 150? Deve essere un effetto spisicologico.
Quelli con gli stipendi bloccati sembrano già una ventina, ad esempio.
E’ un fenomeno strettamente collegato allo studio di Karl Halvor Teigen, dell’Università di Oslo, il quale provò a capire perché, nella vita di tutti i giorni, la gente sospira.
Uno studio che gli valse l’IgNobel in psicologia nel 2011.
A proposito, nessuno ha mai fatto un ranking delle università che hanno il più grande numero di Ignobel?! Una sclassifica?
Ho l’impressione che US e UK dominino anche in questo campo:
http://it.wikipedia.org/wiki/Vincitori_del_premio_Ig_Nobel
.
Chicche da Harvard e dal MIT:
Psicologia (1993) – John E. Mack, della Harvard Medical School, e David M. Jacobs della Temple University, per la loro ricerca per cui le persone che pensano di esser state rapite dagli alieni probabilmente lo sono state, e specialmente per la loro conclusione che “lo scopo del rapimento è la produzione di bambini”.
Fisica (2007) – Lakshminarayanan Mahadevan dell’Università di Harvard ed Enrique Cerda Villablanca dell’Università di Santiago del Cile, per il loro studio teoretico su come le lenzuola si spiegazzano.
Economia (2005) – Gauri Nanda del Massachussetts Institute of Technology, per aver inventato Clocky, una sveglia che scappa e si nasconde ripetutamente, così da costringere le persone ad alzarsi dal letto, aumentando le ore di lavoro in una giornata.
.
E’ tutta invidia la mia, lo so.
Ma Clocky sarà presto distribuita da ANVUR a tutti gli universitari italiani, con grande soddisfazione di tanti, compresa la Graziottin.
Piccoli commenti da ignorante qual io sono.
1) Qualcuno si è preso la briga di controllare i calcoli del buon Frati?
2) Se comprendo bene quello che c’è scritto nel sito ARWU, gli indicatori non sono pesati per dimensione dell’ateneo (eccetto il Per Capita Performance, che vale solo il 10%). Chiunque converrà che un ateneo di cento docenti con due premi Nobel è sicuramente di miglior qualità di un ateneo con duemila docenti e tre premi Nobel (dando per scontato che la presenza di un Nobel sia correlata alla qualità dell’ateneo etc., e con simili discorsi riguardo gli alumni etc.)
3) Infatti mi sembra che le università italiane “migliori” siano grosso modo le più grandi (o, per lo meno c’è una significativa correlazione)…
4) Sono penalizzate le università più nuove (il calcolo dei Nobel arriva fino al 1911, anche se pesato – in contrasto gli articoli su Scienze e Nature contano solo dal 2009???)
5) Bisogna dare atto all’ARWU che descrivono con buona chiarezza la loro metodologia; e mi pare pure sensato, dopo le prime cento, il dividere in grossi gruppi senza classifica, che dipenderebbe solo da minime variazioni statistiche; mi sembra dunque comunque inopportuno andare a fare i calcoli “per un pugno di posti”. Però: intanto, non trovo l’elenco delle 1200 università. Quindi come si fa a sapere se io, piccola università, “faccio schifo” secondo il ranking, oppure invece non sono nemmeno stata presa in considerazione dall’inizio? E la frase “In addition, universities with significant amount of papers indexed by SCI are included” è decisamente troppo vaga (e, poi, di nuovo, non sembra esserci un peso rispetto al numero di ricercatori)
Rispondo dove posso.
____________________
1. I conti di Frati sembrano giusti. Quanto meno, coincidono con i risultati del mio spreadsheet.
____________________
2. Essenzialmente corretto. Solo l’ultimo indicatore (performance pro-capite) è normalizzato per le dimensioni, ma pesa solo il 10%.
____________________
3. Osservazione sensata in considerazione del punto 2. Un esercizio di qualche interesse potrebbe essere quello di immaginare delle fusioni (che ne so, tutte gli atenei romani, oppure tutti quelli milanesi) e vedere il risultato in termini di classifica. Non diciamolo troppo ad alta voce, perché non è nuova (all’estero) l’idea di aggregazioni finalizzate alla scalata delle classifiche.
____________________
4. Che per i newcomers la scalata sia difficile è pure cosa nota.
____________________
5. Non so se e dove sia possibile reperire l’elenco delle 1.200 università. Sulla chiarezza della metodologia, in realtà, qualche pecca c’è. In particolare non tutte le università sono valutate su tutti e sei i criteri. Non sembra disponibile la lista delle eccezioni e c’è qualche dubbio anche su come venga “neutralizzata” la mancanza di qualche criterio. Come scrivono Billaut et al.:
____________________
Institutions are evaluated in the Shanghai ranking using six criteria… but not all of them. In fact we have seen that there are several possible cases:
– institutions not specialized in Social Sciences and for which FTE academic staff data could be obtained are evaluated on 6 criteria: ALU, AWA, HiCi, N&S, PUB, and Py.
– institutions not specialized in Social Sciences and for which FTE academic staff data could not be obtained are evaluated on 5 criteria: ALU, AWA, HiCi, N&S, and PUB.
– institutions specialized in Social Sciences and for which FTE academic staff data could be obtained are evaluated on 5 criteria: ALU, AWA, HiCi, PUB, and Py.
– institutions specialized in Social Sciences and for which FTE academic staff data could not be obtained are evaluated on 4 criteria: ALU, AWA, HiCi, and PUB.
This raises many questions. First MCDM [Multiple Criterion Decision Making] has rarely tackled the situation in which alternatives are not evaluated on the same family of criteria. This raises many interesting questions. For instance the right way to meaningfully ‘‘neutralize’’ a criterion does not seem to be entirely obvious. Second, the authors of the ranking do not make publicly available the list of institutions that they consider to be specialized in Social and Human Sciences. They neither give the precise list of institutions for which criterion Py could be computed. Hence not only the family of criteria varies but it is impossible to know which family is used to evaluated what.
http://www.lamsade.dauphine.fr/~bouyssou/BillautBouyssouVinckeScientometrics.pdf
Paolo b.: “non trovo l’elenco delle 1200 università. Quindi come si fa a sapere se io, piccola università, “faccio schifo” secondo il ranking, oppure invece non sono nemmeno stata presa in considerazione dall’inizio? ”
====
se ho capito bene, la lista del pool delle 1200 università da cui poi si stila la classifica Shanghai è estraibile paese per paese dalla sezione Universities raggiungibile dal link http://www.shanghairanking.com/Search.jsp
selezionare il paese e compare la lista delle università presumibilmente dentro le top 1200 da cui poi viene stilata la classifica delle top 500.
Prendiamo il grafico del top 1% di articoli molto citati
https://www.roars.it/wp-content/uploads/2014/08/UKresearchbaseHighlyCitedVsPapers.png
usato da De Nicolao per affermare che
“L’Italia sta sopra la linea bisettrice e pertanto la sua quota mondiale di top 1% highly cites è maggiore della sua quota mondiale di “global articles”.”
Questo è certamente vero, sulla base del grafico.
Se però tracciamo delle rette che passano tra l’origine degli assi ed i punti dove sono UK e ITA, si veda qui
ci si accorge di varie cose:
UK e DEU sono “migliori” (nel senso che la retta ha pendenza più alta) rispetto ad USA.
ITA è sostanzialmente uguale a FRA e CAN, ma “peggiore” di UK, DEU e USA.
Mancano inoltre nel grafico “piccole” (per numero di abitanti) nazioni che secondo me hanno performance migliori anche di UK (tra queste secondo me ci Israele ed Olanda).
Infine, va osservato che la produzione complessiva di articoli di USA, UK e DEU e FRA è di molto superiore a quella di ITA, tenendo anche conto del numero di abitanti ed addetti alla ricerca. Al riguardo, è piuttosto triste il confronto tra UK e ITA. La produzione di lavori di UK è sostanzialmente doppia di quella di ITA, con un numero di abitanti comparabili.
Secondo questo sito (sempre che i dati siano veritieri)
http://noi-italia.istat.it/index.php?id=7&user_100ind_pi1%5Bid_pagina%5D=4
gli addetti alla ricerca in ITA sono 3.8 su mille ed in UK 5.6 per mille.
Salasnich: “UK e DEU sono “migliori” (nel senso che la retta ha pendenza più alta) rispetto ad USA.”
____________________________
Ci sono due indicatori:
1. percentuale mondiale di articoli
2. percentuale mondiale di articoli nel top 1% più citato
La pendenza è proporzionale alla frazione di articoli highly cited rispetto al totale degli articoli. Non meraviglia che USA, UK e DEU facciano meglio. Va anche detto che questa pendenza fornisce un’interessante caratterizzazione della produzione scientifica nazionale, ma non è un indicatore adatto a fare classifiche. Per assurdo, se le isole Tonga pubblicano un solo articolo highly cited vanno in vetta alla classifica mondiale (non così assurdo, se nel 2012 la nazione che vinceva la classifica delle citazioni per paper era l’arcipelago Chagos nell’Oceano Indiano: https://www.roars.it/universita-cio-che-bisin-e-de-nicola-non-sanno-o-fingono-di-non-sapere/). Anch’io sono convinto che NL abbia una pendenza più alta di noi, ma si tratta di una realtà dimensionalmente più piccola, ad alto investimento e ad alta qualità media (anche se non batte Tonga). Per quanto la pendenza non sia un indicatore particolarmente significativo, essere alla pari con con FR e CAN testimonia che la ricerca italiana non funziona molto diversamente da alcuni nostri “competitors” per nulla disprezzabili
============================
Salasnich: “la produzione complessiva di articoli di USA, UK e DEU e FRA è di molto superiore a quella di ITA, tenendo anche conto del numero di abitanti “
____________________________
Certo che sì, dato che la nostra spesa per ricerca rapportata agli abitanti è assai bassa
============================
Salasnich: “la produzione complessiva di articoli di USA, UK e DEU e FRA è di molto superiore a quella di ITA, tenendo anche conto del numero di … addetti alla ricerca”
____________________________
Certo che no, se tengo conto dei ricercatori quella italiana è più alta:
____________________________
https://www.gov.uk/government/publications/performance-of-the-uk-research-base-international-comparison-2013
____________________________
Oddio, CAMPIONI DEL MONDO! (sembra di sentire il Nando Martellini del 1982)
No, sto scherzando. Non siamo campioni del mondo. Abbiamo commesso un grosso errore. Infatti, non bisogna dividere per il numero dei ricercatori, ma solo per il numero di ricercatori del settore pubblico (quelli del settore privato non hanno come scopo principale pubblicare articoli). Nel rapporto UK, non troviamo questo dato, ma per fortuna ci pensa l’ANVUR nel suo Rapporto sullo Stato dell’Università e della Ricerca:
____________________________
http://www.anvur.org/index.php?option=com_content&view=article&id=644&Itemid=569&lang=it
____________________________
L’ANVUR considera anche Svizzera e Paesi Bassi. Non siamo più campioni del mondo ma conquistiamo un terzo posto davanti a UK, DEU, FR, Svezia, … Niente male.
Beh, non è il caso di gasarci troppo, Come il nostro lettore Lovecchio a più riprese ha fatto notare (ma lo sapevamo anche prima), le statistiche sul numero dei ricercatori accademici hanno dei margini di incertezza e non c’è da giurare che tutte le nazioni usino convenzioni paragonabili tra loro (quanti ricercatori full-time-equivalent vale uno studente di PhD? Tutte le nazioni li contano allo stesso modo? etc). Nel rapporto UK ritengono che il dato italiano sia sottostimato rispetto alle altre nazioni ed anche ANVUR si ripromette di approfondire l’argomento.
Che fare allora? Conoscendo il problema, io considero sempre la produttività in termini di spesa, che mi sembra un indicatore meno incerto. Ma quale spesa? ANVUR considera la spesa pubblica (in gergo, HERD + GOVERD, ovvero Higher Education + Government):
____________________________
____________________________
In questo caso l’Italia è quarta dietro Svizzera, UK e Svezia. Un commento a latere. Nel rapporto UK, Svizzera, NL, Svezia non sono considerate. Come mai? Forse per semplicità. Forse per non mettere in cattiva evidenza UK, malignerà qualcuno. Una terza ipotesi è che sia ritenuto più appropriato considerare nazioni dimensionalmente comparabili. Essere superati da Svizzera e NL (e dalla Svezia, per certi indicatori) è in qualche modo inevitabile persino per UK.
Invece di considerare la produttività del settore pubblico, potremmo esaminare quella accademica. Troviamo il dato nel solito rapporto UK:
____________________________
____________________________
Cosa scopriamo? Che la Cina ci batte, ma che siamo praticamente secondi a pari merito con UK. Come mai raggiungiamo UK? Faccio una congettura: l’ANVUR non sembra aver classificato le pubblicazioni in base alla provenienza, ma ha dato per scontato che vengano tutte dal settore pubblico. Nel rapporto UK sembra esserci il tentativo di isolare le pubblicazioni accademiche dalle altre ed il risultato viene poi diviso per l’HERD (Higher-education Expenditure in R&D). Cambierebbe pertanto sia il numeratore che il denominatore.
Un caveat. Come a tutte le classifiche, anche a quelle tra le nazioni non va attribuita una precisione assoluta. Però, tutti i dati convergono a mostrarci che il sistema della ricerca italiano potrà stare un po’ più in alto o un po’ più in basso ma non è staccato dai suoi competitors naturali (anzi, per alcuni indicatori di efficienza sembra competere testa a testa o stare persino un po’ davanti ad alcuni di loro). Insomma, per avere queste performance oltre che ai fancazzisti e ai corrotti deve esserci parecchia gente che lavora e che lavora bene. E quindi, evitiamo i pogrom, ma anche i guaritori e le pozioni magiche. C’è molto da migliorare, ma anche molto da preservare e valorizzare.
Ecco, credo che Salasnich mi sia in debito almeno di uno spritz per questa piccola lezione di Bibliometric Country Ranking, piena di grafici colorati :-)
De Nicolao, lo spritz te lo offro volentiere.
Però faccio notare che non ho la possibilità di inserire grafici sul post come fai tu. Ne ho la possibilita’ di scegliere quando quello che scrivo viene pubblicato.
Non mi sembra una interazione molto paritaria.
Qui c’e l’editor che scrive gli articoli, commenta quelli degli altri, decidendo come e quanto far vedere i commenti degli altri ed i suoi.
Comunque sono abituato: quando giocavo nella squadra di calcio amatoriale due dirigenti erano anche giocatori e decidevano l’allenatore.
E’ l’Italia!!
Ho inserito io a mano il codice che permette di visualizzare la figura con le pendenze (prima di leggere il commento di Salasnich). Compatibilmente con i vincoli di tempo, cerco di farlo tutte le volte che posso.
Durante le ferie, credo che i lettori possano tollerare un ritardo maggiore nell’approvazione dei commenti. Nonostante sia agosto stiamo continuando a pubblicare articoli, alcuni scritti a caldo. Ci autofinanziamo il costo del sito (per fortuna con il contributo delle vostre donazioni), ma soprattutto riversiamo una quantità enorme di lavoro redazionale e di risposta ai commenti.
Mandiamo avanti questa (folle) iniziativa perché pensiamo ce ne sia una grande necessità e perché vediamo l’università italiana con un piede oltre l’orlo del burrone. L’impressione è che ci cadrà dentro comunque, ma ci si prova fino all’ultimo.
Sì, lo riconoso, non è un’interazione paritaria. La redazione ci mette sangue e sudore tutto l’anno, vacanze incluse. I lettori la pazienza per aspettare la pubblicazione dei commenti.
Io non faccio mai ferie. Ed i tuoi grafici, come ho mostrato, posso ribaltarli come voglio. Ma le lo impedisci.
Solo se lo decidi tu un mio grafico viene reso visibile direttamente sul post.
Non mi sembra proprio il caso di ringraziare una persona che, appofittando della sua posizione di forza, cerca di aver ragione anche quando ha torto.
Una persona che negli ultimi 20 giorni ha voluto sempre avere l’ultima parola. Come mai i miei post sono immediatamente seguiti dai tuoi e mai viceversa?
Se vuoi, puoi pubblicare i miei post e solo dopo 1 giorno rispondere. Ma non l’hai mai fatto. Non perche’ non hai tempo, ma perche’ vuoi avere l’ultima parola.
Ribadisco che i giocatori che fanno anche i dirigenti ed anche gli allenatori ed anche gli arbitri non mi piacciono.
[…] le quantità misurate sono degli indici definiti in modo arbitrario. Ad esempio misurare la “qualità” di un ateneo attraverso la classifica di Shanghai è sbagliato in quanto le basi metodologiche di questa classifica sono state mostrate essere completamente fallaci . […]