Quanta ricerca produce l’università italiana? Risposta a Bisin

Bisin e Perotti: nemici della patria o colleghi che sbagliano?

In un mio precedente articolo, Quello che Bisin e De Nicola non sanno (o fingono di non sapere), ho contestato la seguente affermazione contenuta in un articolo apparso su Repubblica:

“L’università [italiana produce] poca ricerca”.

Inoltre, avevo anche contestato l’idea che fosse facile “salvare denaro”, dal momento che le statistiche mostrano che l’università italiana è decisamente sottofinanziata rispetto alla media delle nazioni OCSE. Pochi giorni fa Bisin, ha pubblicato una replica in cui discute alcuni aspetti che dimostrerebbero la “pochezza” della ricerca italiana. Bisin tocca sei punti:

1. Concorsi
2. Flusso in entrata di dottorandi stranieri
3. Produzione scientifica in termini di articoli e citazioni
4. Produttività scientifica in relazione alla spesa
5. Ranking delle università italiane nelle classifiche internazionali
6. Percentuale di docenti scientificamente inattivi.

I punti che riguardano direttamente le contestazioni che avevo sollevato sono il terzo e il quarto, per la produzione scientifica, ed il sesto, per il sottofinanziamento. Gli altri argomenti riguardano ulteriori aspetti che non erano stati toccati dal mio articolo. Per tale ragione, mi limiterò a discuterli brevemente in un’appendice.

La perfida Albione

Bisin sostiene che il confronto con il Regno Unito dimostra che l’università italiana produce poca ricerca. Da un lato è incontestabile che il Regno Unito produce più articoli dell’Italia ed è anche incontestabile che il loro impatto, misurato dal numero delle citazioni, è mediamente migliore di quella degli articoli italiani. Se si ricorre alla metafora dell’automobile, l’università del Regno Unito percorre più chilometri. Inoltre, come evidenziato dai grafici riportati di seguito il suo motore macina più Km per litro di benzina (ha una migliore efficienza) dato che il rapporto tra articoli ed HERD (spesa accademica per ricerca e sviluppo (1)) è ai vertici mondiali. Lo stesso vale per il rapporto tra citazioni ed HERD. Da molti punti di vista, il Regno Unito è tra i primi della classe e credo che tutti riconoscano che l’Italia ha una produzione ed una produttività inferiore.

Se Bisin e De Nicola avessero scritto su Repubblica che “l’università italiana produce meno ricerca e meno efficientemente del Regno Unito”, nessuno li avrebbe contestati. Tuttavia, l’oggetto della discussione è diverso, ovvero se nel panorama internazionale la produzione scientifica italiana sia talmente poca e di poco impatto da poter affermare insieme a Roberto Perotti che

l’università italiana non ha un ruolo significativo nel panorama della ricerca mondiale.

Desumere l’insignificanza della ricerca italiana dal semplice confronto con il Regno Unito significa cancellare dal confronto tutte le altre nazioni. In termini grafici, è come se Bisin considerasse solo i pannelli di sinistra dei seguenti due grafici. Certamente, se le uniche due nazioni al mondo fossero Italia e Regno Unito, le valutazioni di Perotti e Bisin apparirebbero meno irragionevoli.

I grafici di sinistra sono stati ottenuti rielaborando i grafici di destra in modo da illustrare visivamente la decontestualizzazione dovuta ad un confronto ristretto a Italia e UK, coerentemente con quanto suggerito da Bisin.

Se l’unico metro di giudizio fosse il Regno Unito, Bisin e De Nicola avrebbero dovuto scrivere “L’università italiana, non diversamente da quella statunitense, canadese, francese, tedesca e giapponese, produce poca ricerca”. Tuttavia, messa in questa forma, la valutazione della produttività italiana desta poco o nessuno scandalo e non si presta alla perorazione di ulteriori tagli.

È opportuno fare una precisazione riguardo ai dati. Bisin scrive:

Anche se i miei commenti riferiranno all’universita’, gli articoli e le citazioni nei dati includono quelli prodotti dai centri di ricerca  al di fuori dell’universita’, che hanno un ruolo importante nella produzione di ricerca in Italia (si pensi al CNR) ma hanno un ruolo essenzialmente irrilevante nel Regno Unito. Se li togliessi dall’analisi (non lo faccio; si possono produrre buone argomentazioni pro e contro) il risultato sarebbe un peggioramento del giudizio sulla produttivita’ relativa dell’universita’ italiana in termini di ricerca.

In effetti, specificando che si stava parlando di Italia nel suo complesso, nel mio articolo avevo iniziato con una tabella tratta da SCImago i cui dati si riferivano all’intera produzione scientifica nazionale senza escludere enti di ricerca non universitari come il CNR. Subito dopo, avevo proseguito con la valutazione dell’impatto normalizzato che faceva esplicito riferimento agli atenei. Infine, per quanto riguarda l’aspetto più importante, ovvero la produttività, i dati da me presentati, e ora ripresi da Bisin, erano tratti dall’International Comparative Performance of the UK Research Base 2011 (ICP-UK-2011). Riguardo ai dati bibliometrici, tale rapporto fornisce la seguente spiegazione (pag. 65):

Poiché il CNR e gli altri enti di ricerca non universitari non rilasciano diplomi, i dati bibliometrici erano tutti pertinenti alla sola ricerca universitaria ed il peggioramento della produttività paventato di Bisin non ha ragione di essere.

Va detto che lo stesso Bisin ammette che limitare il confronto al solo Regno Unito significa misurare quanto l’Italia sia lontana dalla frontiera più avanzata della ricerca e accenna alla possibilità di un confronto con le altre nazioni, spiegando che bisogna però “normalizzare i dati, per il totale della popolazione e/o per una misura del reddito del paese”, rimandando a un contributo di Andrea Moro pubblicato sul blog noiseFromAmerika. Questo aspetto della “normalizzazione” merita un chiarimento a parte ed è oggetto della sezione seguente.

Una guida alle normalizzazioni tramite la metafora dell’automobile

Un modo semplice ma efficace per comprendere le statistiche relative alla produzione scientifica è fare ricorso alla metafora dell’automobile. Se confrontiamo le prestazioni di diverse autovetture viene naturale porsi le seguenti domande:

• Quanta benzina ho consumato in un anno?
• Quanti chilometri ho percorso?
• Quanti Km percorre la mia auto con un litro di benzina?

Da notare che questa analisi è solo esplorativa. Per poter affermare che la mia auto consuma meno delle altre dovrei anche tener conto del contesto, ovvero del tipo di percorso. A parità di di chilometri percorsi, chi viaggia su percorsi extraurbani consuma meno di chi si muove in città.

Il report ICP-UK-2011 segue un approccio analogo. Dedica un capitolo ai “Research Inputs”, in cui riporta l’entità del finanziamento alla ricerca, che nel caso dell’università è la cosiddetta HERD. Un altro capitolo è dedicato ai “Research Outputs” che includono in particolare gli articoli scientifici e le citazioni. A questo punto è finalmente possibile procedere alla valutazione dell’efficienza che è trattata nel capitolo “Research Productivity”, da cui erano tratti i grafici che documentano l’efficienza dell’università italiana. In questa analisi esplorativa, la stima dell’efficienza è ottenuto dividendo l’uscita (numero di articoli o di citazioni) per l’ingresso (la spesa accademica per ricerca e sviluppo espressa attraverso l’HERD)

L’operazione di normalizzazione effettuata da Moro, pur essendo anch’essa una divisione, non misura un’efficienza ma piuttosto è un modo diverso di esprimere l’uscita. Si vede immediatamente che ciò non influisce sul calcolo dell’efficienza. Tornando alla metafora dell’automobile, immaginiamo che i Km percorsi in totale dall’automobile siano 30.000 all’anno e che in famiglia ci siano tre guidatori. Se normalizzo l’uscita dividendo i Km percorsi per il numero dei guidatori, ottengo 30.000/3 = 10.000 Km a testa. Supponiamo che l’auto consumi 1.500 litri di benzina all’anno. Se normalizzo allo stesso modo anche l’ingresso, i consumi medi di benzina pro capite sono pari a 1500/3 = 500 litri a testa e il calcolo dell’efficienza (Km per litro) rimane immutato:

efficienza automobilistica = 30.000/1.500 = 10.000/500 = 20 Km/litro

Vale esattamente lo stesso discorso anche per la produttività della ricerca. Se normalizzo l’output dividendo il numero di articoli per il PIL, nel calcolo dell’efficienza dovrò considerare come input il rapporto HERD/PIL:

efficienza scientifica = (n. articoli/PIL) / (HERD/PIL) = n. articoli/HERD

Insomma, il valore del PIL, che compare sia al numeratore che al denominatore, si semplifica e si ottiene la stessa efficienza che giustificava la mia contestazione delle affermazioni di Bisin e De Nicola sull’improduttività dell’università italiana.

Le normalizzazioni proposte da Bisin e Moro, se da un lato sono ininfluenti per quanto riguarda l’analisi dell’efficienza scientifica dell’università italiana (che rimane comparativamente più che normale), dall’altro lato sono istruttive perché permettono di evidenziare il ritardo scientifico del nostro paese e identificarne la causa.

Moro considera 40 nazioni e mostra che nelle quattro classifiche ottenuto normalizzando articoli e citazioni rispetto a PIL e popolazione l’Italia non arriva mai più in sù della ventesima posizione ed è persino trentesima nella “classifica articoli/PIL”. In termini comparativi, un basso rapporto articoli/PIL è tipico di una nazione che, in rapporto alla sua ricchezza economica, produce poca innovazione scientifica. Ma di chi è la colpa se macino pochi chilometri? Di un motore inefficiente o di un serbatoio semivuoto? Il rapporto articoli/PIL è il prodotto di due fattori:

n. articoli/PIL = (n. articoli/HERD) x (HERD/PIL)

Il primo fattore tra parentesi è la produttività scientifica dell’università italiana che ormai sappiamo essere più che normale. Il secondo fattore è dato dal rapporto HERD/PIL e rappresenta la cosiddetta “intensità di R&D accademica”, una misura di quanto una nazione investe nella ricerca universitaria in proporzione alla sua ricchezza. Se il risultato di un prodotto è piccolo ed il primo fattore (la produttività scientifica) è più che normale, vuol dire che il secondo fattore (l’input finanziario rapportato al PIL) è insufficiente. Nel seguente grafico viene riportato il rapporto HERD/PIL per le nazioni considerate nel rapporto ICP-UK-2011 (il grafico è ottenuto a partire da questi dati).

Il grafico mostra che la spesa accademica in R&D dell’Italia è tra le più basse nel gruppo di confronto. Insomma, rispetto alle nazioni europee del gruppo di confronto, il serbatoio della benzina è semivuoto. Gli Stati Uniti, pur avendo un HERD/PIL simile all’Italia, hanno anche una quota molto maggiore di ricerca e sviluppo svolti al di fuori delle mura dell’accademia.

Per l’istruzione universitaria vale un discorso analogo, ricordato più volte su Roars. La bassa percentuale di laureati (l’Italia è 34-esima su 36 nazioni nella fascia 25-34 anni secondo l’OCSE) dipendono  più da una scarsa spesa in formazione universitaria rapportata al PIL (31-esima su 34 nazioni) che da una presunta inefficienza del sistema (la spesa cumulativa per studente è inferiore al 75% della media OCSE).

In conclusione, le normalizzazioni dell’output scientifico (articoli o citazioni) in base al PIL o alla popolazione facilitano comparazioni tra nazioni che differiscono per popolazione e/o ricchezza. Va da sé che una volta adottata una certa normalizzazione per i dati di output, si debba adottare la medesima normalizzazione anche per quelli di input. In tal caso, le misure di produttività (efficienza) sono insensibili alle normalizzazioni.

L’Italia produce in assoluto una quantità di ricerca tutt’altro che trascurabile (è ottava a livello mondiale), ma se si normalizza si vede che, a parità di popolazione e di ricchezza, sarebbe lecito attendersi maggiore innovazione scientifica (output). Tuttavia, i dati mostrano chiaramente che ciò non può essere ascritto ad una scarsa produttività scientifica (efficienza), ma piuttosto che le risorse destinate allo scopo (input) sono al di sotto di quelle che sarebbe giusto attendersi a parità di popolazione e ricchezza.

La leggenda dei trenta fannulloni

Nella sua risposta Bisin, spiega come si possa risparmiare senza finire nel terzo mondo con le seguenti parole:

Mi permetta di spiegarle come si fa. E’ davvero molto semplice. Michele Ciavarella  e Vito Ricci hanno calcolato, per gli  anni 2004-2010,    una misura della percentuale dei docenti italiani del tutto improduttiva, sia come citazioni, sia persino come pubblicazioni [segue tabella] Il 30% di docenti italiani ha zero pubblicazioni. Speculo: il 50% produce ricerca minima e/o irrilevante.

È chiaro che se il 30% dei docenti universitari italiani fosse scientificamente inattivo, in assenza di straordinari carichi didattici e/o gestionali, ci troveremmo di fronte ad un esercito di “fannulloni” che meriterebbero non solo il congelamento degli scatti (toccato a tutti, produttivi e improduttivi), ma anche un taglio dello stipendio. Bisin fonda la sua stima su dati pubblicati e diffusi da  Michele Ciavarella e Vito Ricci che si sono serviti di Scholar Search, uno strumento bibliometrico che fungeva da interfaccia per l’interrogazione del database bibliometrico Google Scholar. Scrivo “fungeva” al passato perché il 2 maggio scorso, prima che Bisin inviasse l’articolo a Roars (5 maggio), gli stessi sviluppatori di Scholar Search ne avevano sospeso l’accesso web con le motivazioni riportate nella seguente figura.

Cosa era accaduto? Scholar Search,  tra le altre cose, forniva una comoda interfaccia che consentiva di interrogare Google Scholar per estrarre in un colpo solo i dati bibliometrici di tutti i docenti di un settore scientifico disciplinare. In questo modo era possibile compilare rapidamente statistiche bibliometriche comparative contando anche il numero di docenti per cui non erano rintracciabili pubblicazioni. Più che naturale ritenere “inattivi” tali docenti e procedere alla compilazione di liste di SSD “canaglia” in cui le percentuali di inattività arrivavano persino al 100%. Anche la classifica delle Aree CUN era sconfortante, con l’Area 12 (Scienze giuridiche) che presentava più del 75% di docenti inatttivi.

Tutto giusto? Non proprio. Prima di tutto, Scholar Search si basava su Google Scholar le cui limitazioni bibliometriche sono ben note, come discusso in alcuni articoli apparsi su Roars, vedi qui e qui. Il colpo di grazia, però, viene da un articolo di Antonio Banfi, “Scholar Search: all’inferno andata e  ritorno”, apparso su Roars il 27 aprile scorso. Banfi mostra in primo luogo che la procedura di disambiguazione dei cognomi ha delle notevoli falle: le interrogazioni bibliometriche di un docente possono facilmente restituire articoli di docenti omonimi, pubblicati in settori del tutto diversi. Ma ancora più decisiva è la dimostrazione inequivocabile che la modalità con cui Scholar Search interroga Google Scholar può cancellare interi settori scientifici, soprattutto nelle aree umanistiche. Ecco spiegati i settori canaglia con il 100% di inattivi e l’inquietante percentuale nazionale del 30% di inattivi. Di fronte all’evidenza che Scholar Search può produrre statistiche del tutto inaffidabili e che qualcuno le sta diffondendo su larga scala, gli sviluppatori ne sospendono l’uso pubblico in attesa di porre rimedio alle falle ormai palesi. Se il dato del 30% è leggendario, appare inutile commentare il 50% di “ricerca minima o irrilevante” dato che lo stesso Bisin la definisce una sua speculazione e non fornisce riscontri statistici affidabili o meno.

Di fronte alla fiducia accordata a dati così fragili, viene da domandarsi se fosse possibile capire in anticipo che Scholar Search non dava garanzie di scientificità e ancor meno ne fornivano le statistiche allarmistiche diffuse da Ciavarella e Ricci. Per puro caso, verso metà marzo mi era stato chiesto un parere informale sull’utilizzabilità di Scholar Search nella valutazione della ricerca del mio ateneo. La mia procedura di verifica aveva seguito questi passi:

• Individuazione della base informativa sottostante (Google Scholar)
• Ricerca di un’eventuale validazione scientifica nella letteratura bibliometrica (assente)
• Controllo delle avvertenze poste dagli stessi sviluppatori (presenti e sostanziali)
• Verifica sperimentale in un settore scientifico a me noto (evidenza di omonimie non risolte)

Questo il mio responso finale: “Nel complesso Scholar Search appare un prodotto interessante, ma non sembra raggiungere la soglia della scientificità né mi risulta che abbia ricevuto qualche validazione scientifica. … non mi sembra uno strumento professionale”. Se fossi stato al corrente della successiva analisi di Antonio Banfi, il mio giudizio sarebbe stato più netto, ma anche ad un esame sommario le riserve sulla scientificità emergevano con chiarezza. Nei commenti all’articolo di Banfi si è venuto a sapere che anche gli atenei di Milano Statale e di Trieste avevano rinunciato ad usare Scholar Search e Google Scholar a causa delle loro debolezze intrinseche.

A questo punto, qualcuno si chiederà se sia possibile avere dati più affidabili sulla percentuale di docenti scientificamente inattivi. Non sembrano esistere dati affidabili a livello nazionale e dobbiamo accontentarci di statistiche a livello locale. Per esempio, nel suo Rapporto Annuale di Ateneo, il Nucleo di Valutazione dell’Università di Padova fornisce una tabella dettagliata per i trienni 2007-09 e 2008-10.

Globalmente, nel triennio 2008-10, la percentuale di inattivi è pari al 9% con picchi nelle Scienze Giuridiche (23%) e nelle Scienze Matematiche (18,3%). Si noti che il dato 2008-10 di Scienze e Giuridiche (23%) presenta una variazione anomala (+8,1%) rispetto a quella del triennio 2007-09 (14,9%) la cui origine andrebbe indagata. Presso l’Università di Siena (dati 2010) gli inattivi sono l’11,3%.

È bene notare che la percentuale di inattivi è inevitabilmente stimata per eccesso, a meno che non esistano forti incentivi a registrare i propri prodotti nelle anagrafi della ricerca degli atenei. In mancanza di dati certi a livello nazionale, è meglio attendere gli esiti della VQR che dovrebbe costituire un incentivo efficace alla raccolta delle informazioni necessarie al censimento degli inattivi. In ogni caso, alla luce dei dati parziali in nostro possesso, sembrerebbe che il loro numero sia decisamente minore del 30% citato da Bisin.

Dell’uso retorico dei numeri

Nella discussione parallela che si è svolta sul blog noiseFromAmeriKa, ad un lettore che contestava la normalizzazione per PIL o popolazione, Andrea Moro ha risposto nel seguente modo:

Il riferimento ai dati che ho trovato velocemente e che servono a confutare chi dice di essere ‘settimi al mondo’ offre lo spunto per alcune riflessioni.

Un’analisi scientifica basata su riscontri fattuali richiede particolare attenzione nel reperimento di dati pertinenti, aggiornati e provenienti da fonti affidabili. Per quanto sia inevitabile che la stessa ricerca dei dati sia in qualche modo influenzata dalle ipotesi di lavoro che si vogliono sottoporre a verifica, l’analisi deve essere fondata sui dati e non viceversa. In alcuni casi, messi di fronte a un’evidenza inaspettata, sarà anche necessario rivedere le proprie ipotesi di lavoro e i propri pregiudizi.

Tuttavia, esiste anche un uso retorico dei numeri. Chi è già convinto di conoscere la giusta interpretazione di un fenomeno cerca “velocemente” qualche dato che serve a confermare la sua chiave di lettura (o a confutare quella dell’interlocutore) e lo usa per rendere più convincente la propria argomentazione, non diversamente da una citazione in latino aggiunta a scopo retorico. E come la citazione è tanto più efficace quanto più l’ascoltatore non è pratico del latino, allo stesso modo il numero è tanto più convincente quanto più l’ascoltatore non è in grado di verificarne la correttezza e confida nella reputazione di chi sta argomentando.

Quando si fa uso retorico dei numeri, essi perdono il ruolo centrale che dovrebbero avere nell’analisi scientifica e, anche solo per distrazione o pigrizia, gli infortuni tecnici diventano più probabili. Provo ad elencarne alcuni.

Decontestualizzazione. Esempio 1: per mostrare che l’università italiana è poco produttiva, Bisin nella sua risposta, considera solo i dati del Regno Unito accantonando tutte le altre nazioni del gruppo di confronto del rappporto ICP-UK-2011. Esempio 2: Perotti cita una classifica pubblicata su Nature menzionando solo le nazioni europee che seguono l’Italia senza informare che l’Italia è alla pari con la Francia e precede Australia, Israele e Giappone (2).

Svista. Esempio 1: Bisin sostiene che gli articoli e le citazioni nei dati del rapporto ICP-UK-2011 includono quelli prodotti dai centri di ricerca  al di fuori dell’università senza accorgersi che nel rapporto era specificato che articoli e citazioni si riferivano alle sole università. Esempio 2: Uno dei redattori del blog noiseFromAmeriKa in un suo commento afferma che nel 2010 il CNR ha prodotto il 42,4% della produzione scientifica italiana, senza accorgersi che la fonte dei dati faceva riferimento ad un quinquennio e non ad un solo anno.

Fonte inaffidabile. Esempio: Come già spiegato, Bisin nella sua risposta denuncia un 30% di docenti scientificamente inattivi citando una statistica ottenuta da un sito, privo di validazione scientifica, che si era già autosospeso da alcuni giorni a causa dei problemi di affidabilità evidenziati da Banfi in un articolo apparso su Roars.

Dati obsoleti. Esempio: per mostrare che la ricerca italiana vale poco, Bisin cita il flusso in ingresso degli studenti di dottorato stranieri relativo al 2000 senza controllare il dato più recente  del 2009/2010 che è più di quattro volte maggiore (vedi Appendice 2 più sotto).

Non pertinenza. Esempio 1: Andrea Moro usa gli articoli e le citazioni normalizzati rispetto al PIL e alla popolazione per sostenere la scarsa produttività dell’università italiana, quando queste sono misure di produzione e non di produttività. Esempio 2: Perotti, fa riferimento alla spesa media per studente quando l’OCSE dice chiaramente che non va usata a scopo comparativo perchè non tiene conto delle diverse durate e intensità dei corsi di studio (3).

Omissione. Esempio 1: nel discutere l’articolo di King, Perotti omette di riportare la classifica delle pubblicazioni ad alto impatto scientifico (Table 1: top 1% of highly cited publications), in cui l’Italia si colloca al settimo posto. Esempio 2: Perotti omette di riportare la classifica OCSE della spesa media per studente nell’intero arco degli studi, la più adatta alle comparazioni internazionali, dal momento che è normalizzata rispetto alle diverse durate degli studi (e anche rispetto al fenomeno dei fuori corso).

Ritocco “fai-da-te”. Esempio: Perotti, per mostrare che la spesa italiana media per studente universitario è alta, nella statistica OCSE ritocca il solo il dato italiano, con la giustificazione che non teneva conto dei fuori corso (4).

Tutti questi infortuni, non implicano necessariamente la malafede di chi, troppo convinto delle proprie ragioni, trascura però il dovuto rigore nell’analisi dei dati. Per questo motivo, il minaccioso epiteto di “nemico della patria” evocato da Bisin non si addice a chi è inciampato nei numeri. Alla luce della nostra comune militanza nei ranghi della comunità scientifica, le vittime di questi infortuni saranno piuttosto da considerare meno severamente come “colleghi che sbagliano”. Pur precisando che “a Roars” nessuno ha nostalgia del socialismo reale, quando gli errori diventano palesi, sarebbe anche auspicabile una qualche forma di “autocritica” di fronte alla comunità scientifica.

Per evitare gli infortuni di cui sopra è necessario esercitare la massima cura nella raccolta e nella verifica dei dati. Anche in tal caso, i numeri non potranno mai essere esenti da una dose di rumore statistico, ma almeno si saranno evitati gli errori più gravi. Insomma, se si lavora scrupolosamente, in molti casi si può ottenere un dato interpretabile e

il resto è rumore

Appendice 1: Concorsi

L’oggetto della discussione è se l’università italiana produca poca ricerca. Avendo a disposizione i dati bibliometrici relativi a pubblicazioni e citazioni, allargare la discussione alla questione dei concorsi sembra più un espediente per cambiare discorso che per venire a capo della questione principale. Le analisi sulle omonimie all’interno dell’accademia, per quanto degne di attenzione, ma anche di attenta interpretazione, trovano il loro posto in un’altro tipo di analisi che non potrà che essere svolta a parte. È giusto ricordare che, proprio riconoscendo la gravità e la complessità del deprecabile fenomeno, nel mio articolo non avevo contestato Bisin e De Nicola su questo punto, lasciando ad una prossima indagine la verifica di quanto risponda al vero l’affermazione sulla “disarmante regolarità” dei concorsi farsa.

Appendice 2: Dottorati di Ricerca

Il flusso di dottorati stranieri è una misura della qualità della ricerca assai più indiretta dei dati bibliometrici. Inoltre, è lecito sospettare che Bisin abbia fatto un uso retorico di questo numero per confermare ciò di cui era già convinto, a prescindere da un esame spassionato dei numeri. Infatti, ha citato la percentuale di studenti di dottorato dall’estero riferita al 2000, prendendola da un articolo che presumibilmente gli era già noto, senza cercare il dato più aggiornato. Il dato più recente, riferito all’anno accademico 2009/2010, è immediatamente reperibile dal sito statistico del MIUR ed è più di quattro volte maggiore del dato di Bisin: 8,9% invece che 2%.

Come osservato da più di un commentatore, la capacità di attrazione dell’università italiana nei confronti degli studenti stranieri deve fare i conti con diversi handicap: (i) la lingua che favorisce le nazioni anglofone, francofone e ispanofone, (ii) la scarsità dei fondi per la ricerca rispetto alle nazioni concorrenti (vedi il rapporto HERD/PIL già citato), (iii) un contesto legislativo e sociale che pone diversi ostacoli di natura pratica. Alla luce di tutto ciò, la cifra dell’8,9% non sembra deporre contro la qualità della ricerca italiana.

Appendice 3: Ranking delle università

Le classifiche internazionali degli atenei, per quanto si prestino molto bene a diversi usi retorici, non hanno validità scientifica e, in particolar modo, sono inadatte a misurare la produttività scientifica delle nazioni. Come spiegato da David King, proprio in relazione alla classifica di Shanghai citata da Bisin:

The Shanghai Institute of Education has recently published a list of the top 500 world universities. The order is based on the number of Nobel laureates from 1911 to 2002, highly cited researchers, articles published in Science and Nature, the number of papers published and an average of these four criteria compared with the number of full-time faculty members in each institution. I believe none of these criteria are as reliable as citations.”

D. A. King, “The scientific impact of nations – What different countries get for their research spending”, Nature, vol. 430|15, July 2004, www.nature.com/nature

Le classifiche delle università sono dei cocktail in cui diversi ingredienti vengono mescolati in proporzioni empiriche. Al contrario, un’analisi scientifica della produttività scientifica deve basarsi sui dati bibliometrici originali, non contaminati da pesature arbitrarie. Chi fosse interessato ad una brillante spiegazione divulgativa dei trabocchetti e delle inconsistenze delle classifiche accademiche, può leggere  “The order of things – What college rankings really tell us” di Malcolm Gladwell, famoso editorialista del New Yorker. Chi invece fosse interessato ad aspetti più tecnici può leggere “Higher Education Rankings: Robustness Issues and Critical Assessment – How much confidence can we have in Higher Education Rankings?” di M. Saisana and B. D’Hombres. Si tratta di un documento di un centinaio di pagine che utilizza metodologie statistiche per valutare la robustezza della classifica di Shanghai (Jiao Tong) e di quella del Times Higher Education Supplement (THES). Le risultanze tecniche non sono favorevoli a queste classifiche:

Robustness analysis of the Jiao Tong and THES ranking carried out by JRC researchers, and of an ad hoc created Jiao Tong-THES hybrid, shows that both measures fail when it comes to assessing Europe’s universities (pag. 3).

Post Scriptum. Vorrei dedicare una menzione a tutti i lettori che hanno partecipato alla discussione in modo pertinente e attento postando i loro commenti sia su Roars che su noiseFromAmeriKa. Sotto molti aspetti, questa mia controreplica era quasi superflua dato che i lettori avevano già anticipato la grandissima parte delle osservazioni che ho raccolto in questo  articolo. Mi scuso per non averli citati in dettaglio e li ringrazio di cuore.

—–

(1) La spesa globale per ricerca e sviluppo – GERD: Gross Expenditure in Research and Development – è a sua volta disaggregata in funzione del settore in cui si effettua la spesa. In particolare l’HERD, Higher education Expenditure in Research and Development identifica “R&D performed in the higher education sector; includes both publicly and privately funded R&D”.

(2) “… lo stesso articolo di Nature mostrava l’Italia al tredicesimo posto; in Europa era davanti solo a Irlanda, Spagna, Portogallo, Grecia e Polonia” scrive Perotti a pag. 51 del suo libro “L’università truccata” (Einaudi 2008).

(3)  “Both the typical duration and the intensity of tertiary education vary among OECD countries. Therefore, the differences among countries in annual expenditure on educational services per student (as shown in Chart B1.2) do not necessarily reflect the variation in the total cost of educating the typical tertiary student.” OCSE Education at a Glance 2007, pag. 178.

(4) Roberto Perotti discute il ritocco della spesa italiana per studente alle pagine 37-38 del suo libro “L’università truccata” (Einaudi 2008).