Rispetto all’Istituto Italiano di Tecnologia, il Politecnico di Bari assomiglia ad un “paghi uno, prendi due”: con i 100.000 Euro che servono all’IIT per produrre un articolo, il Politecnico di Bari, non solo produce un articolo ma impartisce didattica anche a 23 studenti. E per di più, l’impatto citazionale dell’articolo del Politecnico è in media 1,6 volte maggiore. Un affarone, soprattutto in questi tempi di spending review permanente. Se, per qualche ragione, Renzi ritiene sbagliato consegnare il dopo Expo ai campanilismi, lo affidi almeno al Politecnico di Bari. Il quale, come e meglio dell’IIT di Genova, non può essere sospettato di campanilismo milanese o lombardo. Ma, soprattutto, rispetto all’IIT garantisce un’efficienza almeno doppia in termini di produzione scientifica e più che tripla in termini di impatto presso la comunità scientifica internazionale. L’unico punto debole dell’ateneo barese è che, a differenza dell’IIT, non può vantare ai primissimi posti delle sue collaborazioni internazionali la King Abdullah University of Science and Technology.
1. Niente campanilismi: Renzi scommette sull’IIT
Per l’area Expo, il governo pensa in grande:
La proposta che fa il governo è quella di un grande centro di ricerca mondiale sulla genomica, il big data, la nutrizione, il cibo, l’eco-sostenibilità … Lo Stato è pronto a investire 150 milioni l’anno per i prossimi 10 anni. Dobbiamo evitare che questa diventi l’area del nostro rimpianto.
Siamo in condizione di accettare ogni suggerimento ma l’unica cosa che non sono disposto a fare è lasciare questo progetto in mano ai campanili. È inaccettabile per l’Italia e particolarmente inaccettabile per Milano. Sarebbe sbagliato consegnare il dopo Expo ai campanilismi, perché Milano per il suo ruolo capitale culturale dovrà essere non solo la locomotiva d’Italia, ma d’Europa.
Sullo sfondo sembra esserci la certezza che per le università – incluse quelle lombarde – sia impossibile competere con l’eccellenza dell’IIT.
2. Chi è più efficiente? IIT o Politecnico di Bari?
Ma destinare un bel “gruzzolo” all’IIT è veramente il modo migliore di spendere i soldi dei contribuenti? Qualcuno si meraviglierà della domanda, ritenendo che l’eccellenza scientifica dell’IIT, soprattutto se messo a confronto con le università italiane, sia fuori da ogni dubbio. Tuttavia, l’esperienza ci ha insegnato che esercitare un rigoroso fact checking dei luoghi comuni che caratterizzano il dibattito sul mondo dell’università e della ricerca può riservare delle sorprese.
Ma come è possibile verificare l’eccellenza di un istituto di ricerca, senza prendere come oro colato gli elogi di un Giavazzi e di un Abravanel, che già tante volte hanno preso abbagli piuttosto clamorosi? Ebbene, possiamo prendere esempio dal Regno Unito, che tanto spesso ci viene additato come modello proprio da questi maìtre à penser nostrani.
Ogni due anni, il Department of Innovation and Skills pubblica un dettagliato rapporto intitolato International Comparative Performance of the UK Research Base (UKRB), che fa il punto delle prestazioni della ricerca britannica mettendola a confronto con il resto del mondo e anche con alcune delle nazioni più importanti. Il rapporto, redatto dall’Elsevier, utilizza le statistiche bibliometriche del database Scopus. In particolare, ci interessano due misure di efficienza, che mettono a confronto:
- articoli scientifici per milione di dollari spesi;
- citazioni ricevute da questi articoli per milione di dollari spesi.
La logica è molto semplice. Per paragonare l’efficienza degli autoveicoli si è soliti confrontare il numero di chilometri percorsi con un litro di carburante. Per valutare l’efficienza della ricerca scientifica, al posto dei chilometri consideriamo gli articoli scientifici pubblicati in sedi qualificate (e che, come tali, sono indicizzati in qualche database bibliometrico internazionale) e al posto del carburante i soldi spesi per finanziare la ricerca. Nel caso dell’università, bisogna tenere conto che solo una parte del suo finanziamento è destinata alla ricerca, mentre il resto serve a coprire i costi della didattica. Per fortuna, le statistiche dell’OCSE forniscono in forma disaggregata la spesa che le istituzioni accademiche destinano alla ricerca, dandole il nome di HERD (Higher education Expenditure on Research & Development). Pertanto, si può definire un primo indicatore di efficienza come
- Efficienza di produzione = articles/million dollars HERD.
Si potrebbe obiettare che non tutti gli articoli sono ugualmente rilevanti. Come fare a distinguere tra articoli che non sono letti da nessuno e quelli che esercitano un grande impatto sulle loro discipline? I database bibliometrici consentono di tener traccia di quante volte è stato citato un articolo. Sebbene in Italia, sia invalsa la (cattiva) abitudine di considerare le citazioni come una misura di “qualità scientifica”, esse vanno piuttosto considerate una misura dell’impatto sulla comunità scientifica. Sebbene, non sia il caso di disprezzare ricerche che – magari temporaneamente – hanno scarso impatto, su larga scala è sensato attendersi che i soldi spesi per università e centri di ricerca favoriscano la pubblicazione di articoli con un impatto significativo sulla comunità scientifica internazionale. Risulta pertanto ragionevole definire un secondo indicatore di efficienza come
- Efficienza di impatto = citazioni/million dollars HERD.
Per chi fosse curioso di vedere come si posiziona l’Italia, di seguito riportiamo i grafici che nel rapporto UKRB riassumono il confronto tra le principali nazioni in termini di efficienza.
In quanto a efficienza di produzione, tra le nazioni considerate solo la Cina supera l’Italia, mentre come efficienza di impatto abbiamo raggiunto gli USA e siamo preceduti solo da UK e Cina. Un risultato che potrà sorprendere alcuni, ma che rispecchia una situazione da tempo nota agli esperti. Basterà ricordare un articolo, significativamente intitolato “The Italian Paradox“, apparso nel 2009 in una pubblicazione on line del CNRS francese che esordiva così:
Mentre le risorse di ricerca e sviluppo del paese in ritardo significativamente inferiori a quelli di altre grandi economie, la sua produzione, in termini di pubblicazioni scientifiche, non è solo uno delle più prolifiche del mondo, ma anche altamente riconosciuta in diversi settori.
Ma non divaghiamo. In questo articolo, vogliamo usare un approccio simile a quello dell’UKRB per mettere a confronto l’efficienza dell’IIT con quella di un’istituzione anch’essa votata alla ricerca tecnologica, ovvero il Politecnico di Bari (1). È stato scelto l’ateneo barese anche per dissipare ogni sospetto di campanilismo, dato che la redazione di Roars è composta per 5/11 da milanesi. Per confrontare i “Km per litro” delle due istituzioni, abbiamo bisogno di tre ingredienti:
- numero di articoli prodotti;
- numero di citazioni ricevute da questi arrticoli;
- spesa destinata alla ricerca.
3. Quanti articoli e quante citazioni?
Per ricavare il numero di articoli scientifici pubblicati dall’IIT, facciamo anche noi ricorso al database Scopus.
L’IIT è nato nel 2003 e solo dopo alcuni anni l’attività scientifica ha superato la fase di avviamento. Come è noto, i database bibliometrici sono soggetti a ritardi di registrazione. Per fare un esempio, il National Science Board USA nel suo report del 2010, non usava i dati 2008 e 2009 perché riteneva assestati solo i dati fino al 2007. Per questa ragione, scegliamo il 2012 come anno di riferimento, dato che è abbastanza lontano dall’anno di nascita dell’IIT e consente anche di ritenere assestati gli esiti delle interrogazioni bibliometriche.
Nel 2012, gli articoli che il database Scopus associa all’IIT sono 983. Possiamo anche recuperare il numero di volte che sono stati citati dal 2012 a oggi.
Complessivamente, abbiamo:
- 983 articoli
- citati 10.296 volte (in media 10,5 citazioni per articolo).
Passiamo ora al Politecnico di Bari.
Per il Politecnico di Bari, risultano:
- 491 articoli
- citati 8.259 volte (in media 16,8 citazioni per articolo).
A prima vista, si nota che l’IIT percorre più kilometri del Politecnico di Bari (maggior numero di articoli e anche di citazioni). C’è però un dato degno di nota: l’impatto medio degli articoli dei docenti del Politecnico è decisamente più alto (16,8 contro 10,5 citazioni per articolo). Una piccola sorpresa per chi credeva che l’eccellenza dell’IIT dovesse riflettersi in una produzione mediamente più visibile di quella degli atenei italiani. Una sorpresa soprattutto per chi presta fede a Roberto Perotti, secondo il quale “l’università italiana non ha un ruolo significativo nel panorama della ricerca mondiale“.
Ma non basta macinare kilometri. A noi interessa sapere se i soldi sono ben spesi. Quanti euro consumano IIT e Politecnico di Bari per produrre un articolo? E quanti ne consumano per ogni citazione che ricevono questi articoli?
4. Il costo dell’eccellenza
Per valutare quanta benzina bevono le due istituzioni, esaminiamo i loro bilanci. Nel caso dell’IIT, la lettura dello statuto sembra promettere bene.
Ma, a dispetto di quanto scritto nello statuto, nel sito dell’IIT non siamo riusciti a trovare i bilanci. Per ottenere il bilancio 2012, siamo dovuti ricorrrere alla relazione della Corte dei Conti sulla gestione finanziaria IIT per l’esercizio 2013.
Come si può leggere in basso a destra, il totale dei “costi della produzione” è 98.2. MLN di Euro. A rigore, la “benzina” dovrebbe essere immessa nel serbatoio un anno o due prima di vederne gli effetti sotto forma di articoli (e loro impatto citazionale). Per ragioni di semplicità e reperibilità dei dati, faremo invece riferimento a spese e articoli riferiti al medesimo anno. Si tratta di un’imprecisione che non sarebbe comunque in grado di alterare in modo sostanziale i risultati.
Passando al Politecnico di Bari, il suo bilancio è facilmente reperibile sul sito dell’Ateneo.
I 48.6 MLN di Euro di uscite correnti del Politecnico sono un po’ più del 50% dei costi dell’IIT (98,2 MLN €). Se ricordiamo che la produzione 2012 del Politecnico ammontava a 491 articoli che è un po’ più di 50% della produzione dell’IIT (983 articoli), sembra profilarsi un clamoroso pareggio, dato che la produttività del Politecnico, ovvero
491/48,6 = 10,1 articoli per MLN €
supera di un soffio quella dell’IIT:
983/98,2 = 10,0 articoli per MLN € (100.000 € ad articolo).
Ma, anche senza tirare in ballo l’efficienza delle citazioni (dove vincerebbe il Politecnico), il verdetto è tutt’altro che un pareggio.
Stiamo dimenticando un fatto fondamentale. Le spese del Politecnico di Bari non sono destinate alla sola ricerca scientifica e tecnologica ma devono coprire il servizio didattico reso ad una popolazione di studenti che nell’A.A. 2011/12 ammontava a 11.433 iscritti (fonte: Anagrafe Nazionale Studenti).
Insomma, rispetto all’IIT, il Politecnico di Bari assomiglia ad un “paghi uno, prendi due“: con quello che all’IIT serve per produrre un articolo, il Politecnico di Bari, non solo produce un articolo ma impartisce didattica anche a 23 studenti. E per di più, l’impatto citazionale dell’articolo del Politecnico è in media 1,6 volte maggiore. Un affarone, soprattutto in questi tempi di spending review permanente.
Ma se volessimo portare il duello fino in fondo, qual è il divario di efficienza tra Politecnico e IIT? Per valutarlo, dovremmo sapere quale parte delle spese del Politecnico è destinata alla ricerca. Non sembra facile rispondere, ma viene in nostro aiuto il rapporto OCSE Education at a Glance 2014, che nella Tabella B2.4 disaggrega per ogni nazione la spesa delle istituzioni universitarie, stimando quale parte sia classificabile sotto la voce Research & Development.
Nel caso dell’Italia, la stima è pari al 35% della spesa. Naturalmente, tale spesa varia da ateneo ad ateneo e per un università politecnica potrebbe essere maggiore della media. In via cautelativa, assumeremo per il Politecnico un valore che è verosimilmente sovrastimato, ovvero ipotizzeremo che il 50% della uscite sia classificabile come spesa per R&D. In tal modo, l’efficienza del Politecnico sarà sottostimata, a tutto vantaggio dell’IIT.
5. And the winner is … POLITECNICO DI BARI!
A questo punto, abbiamo tutti gli ingredienti necessari per stimare e confrontare l’efficienza delle due istituzioni.
In particolare, l’efficienza della produzione scientifica del Politecnico di Bari è almeno doppia di quella dell’IIT.
- Politecnico di Bari: 20,2 articoli per MLN €
- IIT: 10,0 articoli per MLN €
Il divario di efficienza citazionale è persino maggiore, dato che l’efficienza del Politecnico è più di tre volte maggiore:
- Politecnico di Bari: 340 citazioni per MLN €
- IIT: 105 citazioni per MLN €
L’IIT esce talmente malconcio dal confronto, che viene voglia di accorrere in suo aiuto. Per esempio, potrebbe essere che i maggiori costi siano giustificati dal fatto che gli articoli “di punta” dell’IIT hanno un impatto eccezionale. Ma neanche questo è vero. Gli articoli più citati di IIT nel 2012 hanno al massimo 160 citazioni. Il Politecnico di Bari, avendo partecipato ai lavori di scoperta del bosone di Higgs, ha un articolo da 2.460 citazioni, mentre il suo secondo migliore articolo ha 343 citazioni e il terzo 193.
Sembrerebbe giunto il momento di calare il sipario, ma l’analisi bibliometrica della produzione scientifica dell’IIT ci riserva ancora qualche scoperta degna di nota.
6. Nel nome di Re Abdullah
Il database Scopus permette anche di avere l’elenco delle “collaborating affiliations“. Di seguito riportiamo le più importanti di ciascuna delle due istituzioni.
Per IIT, la prima collaborazione internazionale in ordine di importanza è la University of California at Irvine (14°, con 134 articoli), seguita dalla King Abdullah University of Science and Technology (22°, con 79 articoli). Per il Politecnico di Bari, le prime collaborazioni internazionali per importanza sono:
- École Polytechnique (6°, con 486 articoli)
- Ohio State Univ. (8°, con 478 articoli)
- University of Maryland (9° con 470 articoli)
- Purdue Univ. (10° con 453 articoli)
- Rice Univ. (11° con 444 articoli)
e così via.
È un quadro che non sorprende chi è al corrente del fatto che l’IIT agisce in buona parte come un’agenzia di finanziamento di gruppi di ricerca italiani. Già nel 2010 Francesco Sylos Labini formulava delle domande, rimaste purtroppo senza risposta:
Se alla fine l’IIT agisce come un’agenzia di finanziamento, non si poteva direttamente creare un’agenzia di finanziamento seria, basata su procedure di peer-review trasparenti, senza mischiare la produzione della ricerca con l’assegnazione dei finanziamenti? L’obsoleto MIT non ha un ruolo d’agenzia di finanziamento, che invece negli Stati Uniti è svolto dalla National Science Foundation.
Inoltre, le nostre indagini mostrano che, diversamente dal Politecnico di Bari, vengono attribuiti ad IIT molti articoli in virtù della doppia affiliazione di ricercatori che hanno la loro principale affiliazione in università estere ed italiane. Nella lista degli autori di molti degli articoli più citati del 2012, l’IIT compare come affiliazione secondaria di uno solo degli autori, la cui affiliazione primaria riconduce gruppi già consolidati fuori da IIT. Altre volte, IIT non compare nemmeno come seconda affiliazione di un autore, ma come “present address” di un autore con affiliazione diversa da IIT (per esempio qui).
7. Area Expo: diamola al Politecnico di Bari
«Siamo in condizione di accettare ogni suggerimento ma l’unica cosa che non sono disposto a fare è lasciare questo progetto in mano ai campanili. È inaccettabile per l’Italia e particolarmente inaccettabile per Milano. Sarebbe sbagliato consegnare il dopo Expo ai campanilismi, perché Milano per il suo ruolo capitale culturale dovrà essere non solo la locomotiva d’Italia, ma d’Europa» ha detto Renzi.
Ecco, noi un suggerimento ce l’abbiamo. Se, per qualche ragione, Renzi ritiene sbagliato consegnare il dopo Expo ai campanilismi, lo affidi almeno al Politecnico di Bari. Come e meglio dell’IIT di Genova, non può essere sospettato di campanilismo milanese o lombardo. Ma, soprattutto, rispetto all’IIT garantisce un’efficienza almeno doppia in termini di produzione scientifica e più che tripla in termini di impatto presso la comunità scientifica internazionale.
Affidare il dopo Expo all’IIT farebbe invece nascere il sospetto che si voglia lasciare il progetto (e i finanziamenti) ad altri tipi di campanili.
___________
Note
(1) Il ricorso ad analisi bibliometriche è soggetto a diverse limitazioni, dovute tra l’altro al diverso grado di copertura della produzione delle discipline scientifiche da parte dei database bibliometrici, soprattutto nelle human and social sciences. Inoltre, l’uso automatico di valutazioni bibliometriche per valutare singoli ricercatori o singoli articoli è considerato inadeguato (si vedano, per esempio, la dichiarazione DORA e lo statemente dell’IEEE). Ciò nonostante, con le dovute cautele, è ritenuto possibile effettuare confronti bibliometrici su scala aggregata, come nel caso di intere nazioni o istituzioni scientifiche che non siano di piccole dimensioni.
“Per IIT, la prima collaborazione internazionale in ordine di importanza è la University of California at Irvine (14°, con 134 articoli)”. Per chi non lo sapesse Daniele Piomelli, è professore Louise Turner Arnold Chair in the Neurosciences alla University of California at Irvine e contemporaneamente direttore del Dipartimento Drug Discovery and Development dell’IIT! Che bel genere di collaborazione!
Credo che ci sia un errore piuttosto grossolano nell’ultima parte del vostro articolo. Non per ciò che riguarda la comparazione tra IIT e Politecnico di Bari, ma per quanto riguarda la parte relativa all’accostamento all’università saudita. Quel che IIT indica come collaborazione con la King Abdullah University of Science and Technology (KAUST) si deve al fatto che diversi ricercatori prima attivi in IIT hanno lasciato quest’ultimo per spostarsi al KAUST, dove hanno assunto posizioni diverse. KAUST è una università giovane (ha pochi anni di vita) e non consente affatto di pubblicare con propria affiliazione a persone che lavorino fuori dalla suddetta, essendo che tutti i suoi contratti sono full time. Quel che invece è accaduto è che molti lavori di ricercatori ex IIT siano stati conclusi quando essi facevano già parte di KAUST, da cui la doppia affiliazione. Questo detto, siete passati dal KAUST alla King Abdulaziz University di Gedda, che è UN’ALTRA università rispetto al KAUST, ed è quella che viene citata nell’articolo del Foglio da voi riportato. Nulla a che vedere con KAUST, che invece risulta tra le collaborazioni di IIT. Concordo in pieno con la necessità di fare sempre le bucce al sistema, ma nel farlo dovreste essere quantomeno precisi. Non avete verificato adeguatamente l’origine della collaborazione (doppia affiliazione) col KAUST citata da IIT e per aumentare il contenuto polemico dell’articolo avete pure confuso due diverse università e utilizzato la seconda per dare vigore alla cosa. Il che, spiace dirlo, rende il vostro articolo scritto in maniera poco seria. Peccato, perché nella sua prima parte sollevavate questioni invece degne di dibattito.
Grazie per la segnalazione. In effetti, la KAU (King Abdulaziz University) e la KAUST (King Abdullah University of Science and Technology che prende il nome da Abdullah bin Abdulaziz Al Saud) sono università diverse, intitolate al padre King Abdulaziz e al figlio King Abdullah. Abbiamo provveduto a rimuovere i riferimenti alla KAU, le cui strategie accademiche (https://liorpachter.wordpress.com/2014/10/31/to-some-a-citation-is-worth-3-per-year/), messe in discussione anche da Science (http://www.sciencemag.org/content/334/6061/1344.full), appaiono essere assai diverse da quelle della KAUST. Un veloce controllo ci ha mostrato che non siamo i primi a confondere le due istituzioni (http://nghoussoub.com/2011/12/11/unethical-science-or-just-another-gold-rush/) che hanno entrambe sede a Jeddah (per la precisione,la KAUST ha sede a Thuwal, sotto il governatorato di Jeddah, ragion per cui le schede degli autori affiliati a KAUST indicano Jeddah come indirizzo). Magra consolazione. Non cè dubbio che avremmo dovuto verificare con più attenzione. Ci scusiamo con i nostri lettori.
Finalmente si inizia a parlare di produttività rapportandola alle risorse utilizzate per ottenerla. Sarà anche vero che attrarre risorse è un merito, ma d’altra parte si tratta di un costo per la società. Se attraggo le risorse e le uso male devo essere penalizzato, non premiato. Riuscire ad attrarre risorse è già di per se un premio, e deve diventare anche una “responsabilità”.
Segnalo la replica di Cingolani ad un precedente post inerente l’IIT pubblicato sulla rubrica Italians di Severgnini:
http://italians.corriere.it/2015/11/17/38125/
Noto con dispiacere che i tanto criticati database e la bibliometria siano adesso utilizzatati per una valutazione per la quale spesso si e’ detto essere quantomeno incompleta.
Detto questo, non posso che notare (come gia’ fatto da Cingolani nella sua replica a Severgnini & co.) l’errore metodologico da penna rossa in quanto non si tiene conto ne della “giovane” eta’ dell’IIT, ne soprattutto della progressione temporale del suo personale che e’ aumentato gradualmente negli anni.
Da revisore avrei suggerito “reject”…
Plymouthian: “Noto con dispiacere che i tanto criticati database e la bibliometria siano adesso utilizzatati per una valutazione per la quale spesso si e’ detto essere quantomeno incompleta.”
___________________
A questo tipo di obiezione (a cui non è la prima volta che rispondiamo, vedi: https://www.roars.it/e-se-fosse-vero-che-in-italia-ci-sono-troppi-laureati/comment-page-1/#comment-41382) si è già risposto nella nota in fondo all’articolo:
___________________
“Il ricorso ad analisi bibliometriche è soggetto a diverse limitazioni, dovute tra l’altro al diverso grado di copertura della produzione delle discipline scientifiche da parte dei database bibliometrici, soprattutto nelle human and social sciences. Inoltre, l’uso automatico di valutazioni bibliometriche per valutare singoli ricercatori o singoli articoli è considerato inadeguato (si vedano, per esempio, la dichiarazione DORA e lo statemente dell’IEEE). Ciò nonostante, con le dovute cautele, è ritenuto possibile effettuare confronti bibliometrici su scala aggregata, come nel caso di intere nazioni o istituzioni scientifiche che non siano di piccole dimensioni.”
===================
Plymouthian: “non posso che notare (come gia’ fatto da Cingolani nella sua replica a Severgnini & co.) l’errore metodologico da penna rossa in quanto non si tiene conto ne della “giovane” eta’ dell’IIT, ne soprattutto della progressione temporale del suo personale che e’ aumentato gradualmente negli anni.”
___________________
Anche questa obiezione ha già la sua risposta nell’articolo:
___________________
“L’IIT è nato nel 2003 e solo dopo alcuni anni l’attività scientifica ha superato la fase di avviamento. Come è noto, i database bibliometrici sono soggetti a ritardi di registrazione. Per fare un esempio, il National Science Board USA nel suo report del 2010, non usava i dati 2008 e 2009 perché riteneva assestati solo i dati fino al 2007. Per questa ragione, scegliamo il 2012 come anno di riferimento, dato che è abbastanza lontano dall’anno di nascita dell’IIT e consente anche di ritenere assestati gli esiti delle interrogazioni bibliometriche.”
___________________
A differenza del lettore di Severgnini, abbiamo considerato solo la produzione di un singolo anno, avendo prima esaminato (e riprodotto a beneficio del lettore) il grafico dell’andamento temporale della produzione scientifica dell’IIT, proprio per evitare di essere tratti in inganno da fenomeni transitori.
Onestamente non basta dire in una nota che la bibliometria e’ soggetta a limitazioni per far si che queste possano essere ignorate. In altre parole, la sola bibliometria genera una distorsione che una nota non puo’ compensare.
Che dire della qualita’ dei lavori?
IIT si e’ sottoposta volontariamente all’ultima VQR, sarebbe interessante vedere comparati anche questi dati (per quanto questi siano relativamente attendibili).
Che dire dell’attrazione dei finanziamenti? Brevetti? Etc…
Il personale non a progetto di IIT era nel 2012 di 167 unita’, che in una normale universita’ italiana potrebbe esser racchiusa in un solo dipartimento, non mi sembra questo grande campione.
Infine, per esperienza personale e di altri colleghi, SCOPUS e’ totalmente inaffidabile nell’assegnazione delle affiliazioni ed anche degli articoli e delle citazioni. Con un personale in stragrande maggioranza a contratto a progetto (IIT 76% nel 2012) la possibilita’ di doppie affiliazioni o successivi movimenti e’ altissima.
Riguardo all’arco temporale sinceramente non mi aspettavo un tale commento da voi. Dall’ANVUR forse, ma da voi no.
Qualunque ricercatore sa che gli articoli pubblicati nel 2012 sono frutto del lavoro degli anni precedenti e quindi la relazione con il budget del 2012 e’ poca o nulla.
Il problema e’ che quel budget non e’ stabile, ma in “movimento”. Dalla tabella 3 della relazione della corte dei conti, si evince che dal 2010 al 2012 il costo del personale (e le unita’) e’ aumentato di quasi il 50%. Impossibile non pensare che questo abbia un impatto significativo sulla produzione.
Il problema di fondo qui e’ che viene confrontato un ente “in transitorio” e uno gia’ “a regime” e, soprattutto, due realta’ con finalita’ diverse, quindi comunque si rigira la frittata i due soggetti non sono comparabili. Per cui nessuna analisi degna dell’attributo scientifico puo’ concludere alcun che.
Domanda finale, da dove si evince che il 100% del budget IIT e il 50% del PoliBA sianp dedicato alla ricerca che produce articoli?
La corte dei conti riporta un costo di quasi 600K per brevetti all’IIT, e’ questo ricerca inclusa nella vostra valutazione bibliometrica?
Plymouthian: “Qualunque ricercatore sa che gli articoli pubblicati nel 2012 sono frutto del lavoro degli anni precedenti e quindi la relazione con il budget del 2012 e’ poca o nulla.”
____________________
Se si volesse anche tenere conto del ritardo, basta far riferimento alle pubblicazioni del 2014. Si vede che l’esito del confronto non cambia dato che la crescita di produzione dal 2012 al 2014 è uguale sia per IIT che PoliBA (+17%), come si desume dai profili temporali che abbiamo riportato.
====================
Plymouthian: “da dove si evince che il 100% del budget IIT e il 50% del PoliBA sia dedicato alla ricerca che produce articoli?”
____________________
Come spiegato nell’articolo, l’OCSE stima che la quota di spesa dedicata a R&D nelle Tertiary education institutions italiane sia in media pari al 35% (come visibile nell’estratto della Tabella B2,4 di Education at a Glance 2014, appositamente riportato nell’articolo). “Arrotondando” tale percentuale al 50% abbiamo usato una stima estremamente sfavorevole al Politecnico di Bari che nel 2012 doveva farsi carico di tutti i costi connessi alla didattica offerta a più di 11.400 iscritti. L’effetto di tale arrotondamento compensa più che ampiamente i 572K per brevetti dell’IIT. Brevetti il cui valore, tra l’altro, richiederebbe qualche valutazione supplementare, alla luce di quanto scrive la Corte dei Conti:
____________________
“la struttura dell’Istituto a ciò deputata procede alla verifica della convenienza al mantenimento in vita dei brevetti depositati, verifica che ha portato nel corso del 2013 alla revoca di sei brevetti già concessi e all’interruzione dell’iter di concessione di diciotto domande di brevetto presentate dalle strutture di ricerca.
Pur in presenza di tale procedura, attraverso la quale si verificano le invenzioni che presentano un più elevato valore tecnologico e di mercato, appare opportuna una attenta analisi delle potenzialità economiche dei prodotti della ricerca nel momento del loro impiego pratico.”
==================
Plymouthian: “Che dire della qualita’ dei lavori? IIT si e’ sottoposta volontariamente all’ultima VQR”
__________________
La VQR (che per le aree di interesse di IIT è stata essenzialmente bibliometrica) fa riferimento al periodo 2004-2010, quando l’ente era effettivamente in transitorio (5 articoli nel 2006 e 76 nel 2007). Valutazione bibliometrica per valutazione bibliometrica, ha più senso la valutazione complessiva. E se diamo per buona l’equiparazione tra qualità e impatto citazionale fatta propria dalla VQR, si vede che IIT perde non solo per efficienza dell’impatto citazionale (quello del Politecnico di Bari è il 340% di quello dell’IIT), ma anche se ci concentriamo sugli “highly cited papers”, come osservato nell’articolo:
__________________
“Gli articoli più citati di IIT nel 2012 hanno al massimo 160 citazioni. Il Politecnico di Bari, avendo partecipato ai lavori di scoperta del bosone di Higgs, ha un articolo da 2.460 citazioni, mentre il suo secondo migliore articolo ha 343 citazioni e il terzo 193.”
==================
Plymouthian:”SCOPUS e’ totalmente inaffidabile nell’assegnazione delle affiliazioni ed anche degli articoli e delle citazioni. Con un personale in stragrande maggioranza a contratto a progetto (IIT 76% nel 2012) la possibilita’ di doppie affiliazioni o successivi movimenti e’ altissima.”
__________________
Questo significa che gli indicatori bibliometrici di IIT sono verosimilmente più sovrastimati di quelli del Politecnico di Bari, il che rafforza le nostre conclusioni sul confronto di efficienza.
La bibliometria è uguale per tutti o è più uguale per certi anziché per altri? I campi di ricerca dell’IIT sono tutti campi bibliometrici, l’IIT è una istituzione di medie dimensioni e dunque l’analisi bibliometrica fornisce indicazioni sensate. Per quanto riguarda la qualità, questa è misurata (sempre nel senso bibliometrico e sempre nello stesso senso che per altre istituzioni) dalla quantità di citazioni. Queste analisi sono stardard per quanto riguarda la performance delle istituzioni. Per il resto dieci anni di rodaggio ci sembra un un periodo ragionevole per fare un bilancio di un istituto che quando era stato lanciato aveva l’obiettivo di avere il budget quasi interamente finanziato dai privati proprio in un tempo scala di dieci anni. Il tempo è passato e come ho discusso nell’altro post la quota di finanziamento che viene dal privato è il 3% (3 milioni di euro):
https://www.roars.it/expo-chi-finanziera-la-ricerca-dellavveniristico-human-technopole/
Dunque anche in questo caso possiamo concludere di non avere di fronte una particolare eccellenza ma, come avevo già concluso qualche anno fa :
http://www.scienzainrete.it/contenuto/articolo/enti-di-ricerca-e-iit-dove-leccellenza
—–
“Alla luce dell’analisi riportata sembra possibile concludere che l’IIT non è «un angolo d’America che ad alcuni fa storcere il naso» ma un’operazione che sinora ha prodotto risultati inferiori a quelli degli altri enti di ricerca italiani, malgrado il generoso finanziamento proprio nel momento in cui tutti gli altri enti, e soprattutto i giovani che vi lavorano, si trovano in una condizione di grandissima difficoltà per effetto dei tagli di bilancio e del blocco nelle assunzioni. Non si potevano utilizzare queste risorse per migliorare la situazione degli enti di ricerca che già esistevano, visto anche che le discipline sviluppate nell’IIT erano già parzialmente coperte in altri enti? Era proprio necessario creare un nuovo ente da nulla? E soprattutto, si poteva fare di meglio? Probabilmente sì se nella costruzione dell’IIT si fosse coinvolta tutta la comunità scientifica del paese, e soprattutto le eccellenze, scelte con un trasparente criterio meritocratico.”
Usare come riferimento il 2014 anziche’ il 2012 e’ piu’ sensato (perche’ non l’avete fatto?). Se i risultati non cambiano, aggiornate l’articolo e lo rendete un po’ piu’ plausibile.
Resto pero’ dell’idea che “il cavallo buono si vede a corsa lunga”, quindi c’e’ poco da dire al momento su IIT. Come in tutti gli istituti ci sono realta’ di altissimo livello e altre meno, vedremo se saranno in grado di valorizzare di piu’ le prime e tagliare i rami secchi (cosa che e’ impossibile in qualunque altra realta’ italiana).
Altro punto, non dico che la bibliometria sia diversa, ma che SCOPUS come database non e’ affidabile sia nel tracciamento degli articoli che nell’assegnazione dell’affiliazione.
Se IIT sia avvantagiato o svantaggiato non e’ possibile dirlo, ma la mia sensazione e’ che la frequente mobilita’ del personale sia una svantaggio.
Infine, riguardo alle percentuali di spesa, le stime sono difficili a farsi, ma secondo me state usando due pesi e due misure.
Si dice “i costi connessi alla didattica offerta a più di 11.400 iscritti.”, ma quali sono?
Fare stime e’ difficile, visto che la stessa persona e gli stessi oggetti sono usati per finalita’ diverse.
Per contratto l’impegno didattico incide 350 ore “massimo” su 1500 ore (o piu’) che vuol dire il 23.3%.
A questo va sommato il personale tecnico-amministrativo dedicato alla didattica (segreterie studenti) e manutenzione aule (sia personale che altri costi connessi).
Visto che oltre il 75% del tempo del personale accademico dovrebbe essere dedicato alla ricerca, se vogliamo essere onesti, tutte le restanti spese vanno assegnate almeno per il 75% alla ricerca. Incluse le spese di personale tecnico-amministrativo generico (finanze, biblioteca, etc.) e manutenzione di uffici, computer etc..
In piu’ ci sono le spese per assegni di ricerca, dottorandi e i loro spazi che vanno al 100% alla ricerca.
Ovviamente considero i ricercatori RTI come docenti a tutti gli effetti, anche se andrebbero stimati come 100% ricerca…
Non so come faccia i calcoli l’OCSE, magari potete illiminarmi voi dato che non ho trovato questo calcolo, ma la stima del 50% mi sembra molto bassa a meno che non si imputi alla ricerca solo quello che e’ esplicitamente legato ad essa e si consideri tutto il resto come “extra”.
Ma se togliamo dalla ricerca tutto il personale tecnico-amministrativo, i costi legati ai beni mobili e immobili, e quant’altro non esplicitamente legato alla ricerca, allora dovreste farlo anche per IIT per essere un confronto “fair”.
“Usare come riferimento il 2014 anziche’ il 2012 e’ piu’ sensato”: non e’ piu’ sensato e’ molto meno sensato perche’ i dati bibliometrici ci mettono un paio d’anni ad assestarsi. “il cavallo buono si vede a corsa lunga”: aspettiamo la fine del prossimo secolo e vedremo. Magari troveremo pure lo stesso direttore scientifico (a proposito ma all’IIT le cariche scadono a un certo punto o sono a vita?).
Plymouthan: “Usare come riferimento il 2014 anziche’ il 2012 e’ piu’ sensato (perche’ non l’avete fatto?). Se i risultati non cambiano, aggiornate l’articolo e lo rendete un po’ piu’ plausibile.”
========================
I risultati non cambiano come può verificare chiunque, dato che abbiamo riportato le schermate di Scopus con i numeri della produzione dal 2005 al 2014, che riproduco di seguito per chi non ha la pazienza di leggere l’articolo.
Come già osservato (https://www.roars.it/iit-un-eccellenza-da-100-000-e-ad-articolo-due-volte-meno-efficiente-del-politecnico-di-bari/comment-page-1/#comment-53480) “l’esito del confronto non cambia dato che la crescita di produzione dal 2012 al 2014 è uguale sia per IIT che PoliBA (+17%)”. Si tratta di un conto (una proporzione) alla portata del nostro lettore medio, credo.
Riguardo al motivo della scelta del 2012, la spiegazione è fornita nel testo:
____________
“il National Science Board USA nel suo report del 2010, non usava i dati 2008 e 2009 perché riteneva assestati solo i dati fino al 2007. Per questa ragione, scegliamo il 2012 come anno di riferimento.”
____________
Chi tra qualche anno rileggerà l’articolo troverà che i dati bibliometrici 2014 della schermata Scopus da noi riportata saranno un po’ più bassi (per entrambe le istituzioni) di quelli che potrà estrarre dal database, che nel frattempo avrà completato gli aggiornamenti. Invece, i dati 2012 saranno circa uguali a quelli da noi riportati. Ci era sembrato meglio fornire un dato che sarebbe rimasto stabile nel tempo (anche per non dover riaprire la discussione con qualche commentatore convinto di aver scoperto a due-tre anni di distanza che avevamo usato dati errati).
Plymouthian: “SCOPUS come database non e’ affidabile sia nel tracciamento degli articoli che nell’assegnazione dell’affiliazione”.
_______________
Scopus non è infallibile, ma per questo tipo di analisi l’unica alternativa è Web of Science (WoS) che temo sia ancor meno favorevole a IIT.Dovendo scegliere tra i due, va detto che Scopus è utilizzato da:
– UK Department of Business and Skills
– Times Higher Education (che ha abbandonato WoS)
– Quacquarelli Symonds (che pure ha abbandonato WoS)
– SCImago
– ANVUR (che usa anche WoS).
Forse non è del tutto corretto dire che siamo in buona compagnia, ma l’impressione è che la scelta di WoS sarebbe stata più difficile da giustificare.
Plymouthian: “riguardo alle percentuali di spesa, le stime sono difficili a farsi, ma secondo me state usando due pesi e due misure.”
=========================
Non siamo i primi a porci il problema di valutare quale parte delle spese dell’istituzione universitaria siano imputabili alla ricerca. Ci siamo documentati e quella dell’OCSE è una stima fornita da un ente internazionale che segue definizioni concordate a livello internazionale (il Manuale di Frascati). Non ci risulta che si siano in circolazione altre stime più affidabili. Per l’Italia, l’OCSE indica una percentuale del 35% ma abbiamo comunque voluto essere così cauti e favorevoli all’IIT da usare una stima per eccesso pari a 50%. È anche vero che in Italia è già capitato che quando un dato OCSE non risponde ai propri pregiudizi qualcuno (Roberto Perotti) abbia provveduto ad una “correzione fa da te”. Non ci sembra un esempio da imitare.
Per chi non ha la pazienza di leggere l’articolo, riproduco di seguito l’estratto dalla tabella di Education at a Glance.
Ringrazio la redazione per le risposte, anche per lo piu’ ripetono gli elementi dell’articolo che trovo poco o nulla convincenti.
Sull’uso della bibliometria mi sa che sia detto abbastanza, la si e’ criticata abbastanza e non penso sia il caso di dilungarsi molto di piu’.
Sul budget, avevo chiesto il dettaglio del calcolo dell’OCSE, ma mi e’ stata riproposta la stessa tabella dell’articolo. Gli autori prendono questo per buono, senza spiegare come viene calcolato (nel documento dell’OCSE non l’ho trovato).
Andando a vedere i dati online (http://stats.oecd.org/Index.aspx?DatasetCode=RFIN2#)
si vede chiaramente che la spesa per “teachers” e’ chiaramente del tutto attribuita alla didattica. Il che’ e’ plausible nel contesto dei calcoli OCSE (spesa per studente) perche’ in effetti ogni professore e’ a disposizione dello studente al quale trasmette anche la sua ricerca.
Ma se facciamo un confronto su R&D, allora il costo del personale docente (Tabella B6.2 pari al 33%) andrebbe imputato al 75% alla ricerca (+25%) dato che questa e’ la percentuale impegnata su attivita’ non didattiche per contratto. Quindi la stima 50% non e’ per niente ottimistica come pretendono gli autori, ma una stima di minimo, in quando andrebbero computato ancora la quota parte del restante personale o andrebbe eliminato dal conteggio tutto il personale non addetto direttamente a attivita’ di R&D.
“Ringrazio la redazione per le risposte, anche per lo piu’ ripetono gli elementi dell’articolo che trovo poco o nulla convincenti.”
——-
E’ vero e’ molto piu’ convincente credere che “il cavallo buono si vede a corsa lunga”, d’altronde studiare serve proprio a questo.
Plymouthian: “Andando a vedere i dati online (http://stats.oecd.org/Index.aspx?DatasetCode=RFIN2#)
si vede chiaramente che la spesa per “teachers” e’ chiaramente del tutto attribuita alla didattica”.
===============
Forse bisognerebbe guardare più attentamente. L’OCSE, ove possibile, fa riferimento a docenti e ricercatori FTE (full-time-equivalent), come è noto a chiunque abbia un po’ di consuetudine con i report OCSE. In effetti, bastano un paio di clic per trovare questa spiegazione:
http://stats.oecd.org/Index.aspx?DatasetCode=RFIN2#
================
Il criterio è coerente con quanto riportato nel documento “OECD Main Science and Technology Indicators”:
_______________
“Resources devoted to R&D can also be measured in labour terms as shown for researchers and for total R&D personnel. R&D personnel data are expressed in full-time equivalent (FTE), i.e. a person working half-time on R&D is counted as 0.5 person years, and headcount.”
Pymouthian: “andrebbe imputato al 75% alla ricerca (+25%) dato che questa e’ la percentuale impegnata su attivita’ non didattiche per contratto”
==================
Non so a quale istituzione Plymouthian appartenga, ma non risulta che per contratto (quale? siamo una categoria non contrattualizzata) i docenti universitari siano impegnati per il 75% su attività non didattiche. Piuttosto, come ricordato anche nel Rapporto Anvur sullo Stato del sistema universitario e della ricerca, la stima fornita dall’ OCSE deriva dall’ISTAT, secondo il quale il tempo dedicato alla ricerca risulta essere in media il 56,8%.
__________________
La stima dell’attività di ricerca accademica viene elaborata dall’ISTAT. A partire dal 2001 è stata utilizzata una nuova metodologia che si basa sui dati di bilancio annuale delle università, rilevati dallo stesso istituto, e sulla quota del tempo di lavoro del personale docente e non docente dedicato alla ricerca. Quest’ultima informazione, seguendo le indicazioni internazionali, viene desunta da un’apposita indagine condotta su un campione di docenti universitari delle diverse aree disciplinari. In base alla rilevazione, la quota del tempo dedicato alla ricerca da parte dei docenti varia, a seconda delle discipline, tra il 30% e l’80% e risulta essere in media il 56,8% del totale del loro tempo di lavoro.
http://statistica.miur.it/ustat/Documenti/Pub2005/u01.pdf
___________________
Il dato OCSE sulla quota di spesa destinata alla ricerca (35%) si può considerare basato sulla quota media di tempo fornita da ISTAT (56,8%). Se per i docenti del Politecnico di Bari la quota di tempo destinata alla ricerca invece che 56,8% fosse 80% (il massimo valore possibile!) il costo del personale sarebbe 1,4 volte maggiore. Sebbene sia poco verosimile, applichiamo questa correzione moltiplicativa all’intera quota di spesa per ricerca dell’ateneo desunta dal dato medio italiano (35%) fornito da OCSE. Ebbene, si ottiene:
1,4 x 35% = 49%
che è ancora inferiore al 50% da noi impiegato in via cautelativa.
Plymouthian. “Sul budget, avevo chiesto il dettaglio del calcolo dell’OCSE, ma mi e’ stata riproposta la stessa tabella dell’articolo. Gli autori prendono questo per buono, senza spiegare come viene calcolato (nel documento dell’OCSE non l’ho trovato).”
===========================
Il budget e le spiegazioni si trovano facilmente sul documento citato, cioè su su Education at a Glance 2014 (da ora in poi EAG).
Ma possiamo provare a spiegare anche qua.
Nella Tabella B1.2 p. 216 di EAG, nelle colonne con intestazione “Tertiary education”, sono riportate le spese per educazione terziaria (in dollari a PPP), suddivise in tre macro voci: Educational core services, Ancillary services e R&D.
A partire da quei dati, OECD calcola le percentuali riportate nel post di Roars, che sono quindi dati medi di spesa del sistema di eduzione terziaria italiano. Questo significa che in Italia per ogni euro speso in educazione terziaria in media 61 centesimi pagano Educational core services, circa 4 centesimi pagano ancillary services (residence halls, dining halls and health care,) e 35 centesimi pagano le funzioni di R&D svolte dalle università.
Cosa sta dentro quelle voci è spiegato a p. 215 di EAG:
La metodologia di calcolo ed i dati usati sono spiegati sommariamente a p. 215-216 di EAG e nell’Annex 3 del rapporto disponibile sul sito OECD. In particolare ai nostri fini è rilevante questo:
OECD calcola la spesa per “core educational services” come residuo delle altre due tipologie di spese.
La spese per core educational services comprende quindi la quota parte delle retribuzioni del personale educativo, delle altre spese correnti e delle spese in conto capitale, che non è classificata direttamente tra le spese per ancillary services e per R&D. Come si vede dalla tabella qua sotto che riporta i dati OECD su cui è basato il calcolo del 35% che teniamo a riferimento nel post.
Ne segue che attribuire il 50% delle spese complessive di PoliBA a R&D significa assumere che PoliBA spende per ricerca molte più risorse (15%) di quelle spese in media dal sistema universitario italiano.
Ne segue anche che le seguenti affermazioni del nostro insistente critico sono frutto di una incomprensione di fondo dei dati OECD.
=======================
Plymouthian: “Andando a vedere i dati online (http://stats.oecd.org/Index.aspx?DatasetCode=RFIN2#) si vede chiaramente che la spesa per “teachers” e’ chiaramente del tutto attribuita alla didattica”.
Abbiamo appena mostrato che “i dati online” mostrano “chiaramente” che “la spesa per ‘teachers’” è attribuita in parte alla didattica ed in parte alla R&D.
==================
Plymouthian “Quindi la stima 50% non e’ per niente ottimistica come pretendono gli autori, ma una stima di minimo, in quando andrebbero computato ancora la quota parte del restante personale o andrebbe eliminato dal conteggio tutto il personale non addetto direttamente a attivita’ di R&D.”
Plymouthian: “A questo va sommato il personale tecnico-amministrativo dedicato alla didattica (segreterie studenti) e manutenzione aule (sia personale che altri costi connessi). Visto che oltre il 75% del tempo del personale accademico dovrebbe essere dedicato alla ricerca, se vogliamo essere onesti, tutte le restanti spese vanno assegnate almeno per il 75% alla ricerca. Incluse le spese di personale tecnico-amministrativo generico (finanze, biblioteca, etc.) e manutenzione di uffici, computer etc..
In piu’ ci sono le spese per assegni di ricerca, dottorandi e i loro spazi che vanno al 100% alla ricerca. Ovviamente considero i ricercatori RTI come docenti a tutti gli effetti, anche se andrebbero stimati come 100% ricerca…”
Anche queste obiezioni cadono: parte della spesa corrente e in conto capitale delle università italiane (quindi anche quella del “restante personale”, delle biblioteche, degli assegnisti etc.) confluisce nel 35% OECD. Il 50% non è “ottimistico” (chissà da dove viene l’aggettivo), significa assumere che PoliBA spende per ricerca il 15% in più della media dal sistema universitario italiano.
================================
Plymouthian: “Per contratto l’impegno didattico incide 350 ore “massimo” su 1500 ore (o piu’) che vuol dire il 23.3%.”
Forse Plymouthian confonde il “contratto” con il comma 16 dell’art. 1 della Legge 4 novembre 2005, n. 230, dove si fissa l’impegno per i professori “per il rapporto a tempo pieno in non meno di 350 ore annue di didattica”. Le 1.500 ore complessive non stanno scritte da nessuna parte. E in italiano “non meno di 350 ore” non significa certo “massimo”, come sembra credere Plymouthian.
==========================
Plymouthian: “da revisore avrei suggerito reject” per il post di Roars.
E’ del tutto probabile che l’editor non avrebbe incaricato Plymouthian di fare il revisore.
Scusate una considerazione ovvia che mi e’ sfuggita: avendo a disposizione entrambi i bilanci, e’ cosi’ difficile sommare le voci per la ricerca in modo che si confrontino le stesse spese anziche’ ricorrere a stime da parte di enti internazionali riferiti all’intero paese?
Beh, a dire la verità, la redazione di Roars, così come tutti i cittadini italiani, non hanno a disposizione i bilanci di IIT. Perché, malgrado quello che c’è scritto nello statuto, a noi non pare che i bilanci di IIT siano pubblicati. A differenza delle università pubbliche, IIT non ha una sezione del sito “amministrazione trasparente”. I pochi dati di bilancio disponibili per i contribuenti italiani sono quelli che troviamo nelle relazioni della corte dei conti su IIT. Quelle sì pubbliche. La redazione sarà ovviamente grata a Plymoutian se vorrà indicarci dove trovare i bilanci di IIT. (I bilanci di PoliBA sono invece pubblici, ma basta darci una rapida occhiata per vedere che non è possibile calcolare le spese per ricerca se non a costo di imputazioni verosimilmente più fantasiose dell’applicazione di un dato macro OECD).
Concordo che l’editor non mi avrebbe certamente assegnato la revisione, visto che e’ uno di essi che me lo dice.
Mi dispiace quindi aver impegnato gli autori in una lunga discussione che per altro non e’ riuscita a convincermi della bonta’ scientifica dell’approccio usato (problema mio ovviamente e me ne dispiace).
Resto anche dell’idea che e’ prematuro valutare le performance di un ente in assessamento ed poco indicato farlo in confronto con altri soggetti ormai consolidati. Oltretutto farlo con la bibliometria e mi sembra grottesco.
La discussione e’ andata avanti troppo a lungo (colpa mia anche questo) e rischia di diventare semplice ed inutile polemica visto che non si trova accordo su alcune ipotesi di base, vedi allocazione del budget, sicuramente opinabile visto che, giustamente, non e’ possibile scindere nettamente ricerca e didattica. Non credo proprio che IIT sia il male, ma anzi una buona iniziativa che va pero’ inserita in un contesto di maggiori risorse per tutti (e non solo per IIT).
Grazie per la considerazione. Alla prossima.
Se IIT è ancora troppo “giovane” per competere con un soggetto consolidato come il Politecnico di Bari, Renzi ha una ragione in più per non farne il fulcro di Human Technopole. Se dopo 10 anni (e diverse centinaia di milioni di soldi dei contribuenti) l’istituto genovese è ancora nella sua infanzia, quanti anni ci toccherà aspettare perché la nuova avveniristica impresa sui terreni di Expo cominci a fruttare meglio di quanto non stanno già facendo gli enti di ricerca pubblici e le università (del sud e del nord)?
Riguardo all’allocazione del budget ricordo che serve solo a stimare di quante volte IIT sia meno efficiente, ma è ininfluente sul verdetto di chi sia più efficiente. Infatti, con la stessa spesa che occorre a IIT per produrre un articolo, il Politecnico di Bari produce un articolo (mediamente 1,6 volte più citato) ed eroga didattica a 28 studenti.
Se poi l’eccellenza di IIT non è misurabile con la produzione scientifica, diventa una specie di atto di fede. Ma, fede per fede, meglio riporla in “soggetti ormai consolidati”.
La corte dei conti non è affatto d’accordo con l’idea che IIT sia troppo giovane. Già dal bilancio 2010. Cito testualmente:
“ritenuto che dall’esame della gestione e della documentazione relativa all’esercizio 2010 è risultato:
1) il definitivo superamento della fase dello “start-up” tramite il raggiungimento
degli obiettivi enucleati dal piano strategico;…”.
Nessuno all’epoca, da IIT o tra gli osservatori, ha eccepito su questo.
IIT sarebbe inoltre troppo giovane per la bibliometria di ROARS.
Ma quando ANVUR ha applicato la sua bibliometria-fai-da-te nella VQR, nessuno ha eccepito. Forse perché i risultati erano favorevoli: “Ottimi risultati per IIT nella valutazione della ricerca di ANVUR“.
“non e’ riuscita a convincermi della bonta’ scientifica dell’approccio usato (problema mio ovviamente e me ne dispiace).”
—
Io rimarrei alla scientificità della corsa dei cavalli, così tanto per dare una idea della bontà delle argomentazioni degli accademici italiani anno 2015.
Sylos Labini: “Io rimarrei alla scientificità della corsa dei cavalli, così tanto per dare una idea della bontà delle argomentazioni degli accademici italiani anno 2015.”
Ringrazio Sylos Labini per avermi eretto a modello degli accademici italiani, ma mi permetto di sottolinare che le considerazioni da me espresse sono personali e non penso siano rappresentative degli accademici italiani di qualunque anno.
Detto questo, per cercare di riabilitare gli accademici italiani anno 2015, riassumo le motivazioni che mi fanno dubitare dell’articolo, che ho evitato di ripetere ad ogni post, ma visto che alla fine si riduce tutto ad un proverbio che ho citato:
– uso della sola bibliometria per il confronto. Esempio IIT ha prodotto iCub, http://www.icub.org/, come viene valutato questo dalla bibliometria? I brevetti? E’ vero che un articolo più citato è migliore di uno meno citato? (leggere altri post degli stessi autori che spiegano bene i pericoli di usare solo la bibliometria per i confronti).
– calcolo fatto usando il database SCOPUS che è relativamente poco affidabile e tende a sbagliare l’affiliazione di coloro che hanno due affiliazioni o che non sono strutturati stabilmente (caso molto più frequente per IIT). E lo dice uno che al momento esiste “doppio” su SCOPUS con le pubblicazioni divise casualmente tra due affiliazioni diverse, ma nessuna completa.
– si confronta un istituto giovane di età operativa, con la stragrande maggioranza di personale non strutturato e temporaneo, con uno operante da 30 anni ed a maggioranza di personale strutturato a tempo inderminato. Mi aspetterei almeno una compensazione per questo dato che questi fattori producono indubbiamente una distorsione.
– l’errore di calcolo fatto notare da sergioluciano (anche lui 2015, ma sembra non accademico) sposta a favore di IIT la produzione di articoli a parità di investimento e di fatto si pareggiano quasi le citazioni (bosone a parte). Si dice, giustamente, che il politecnico con gli stessi soldi produce anche laureati che servono tanto al paese. Ma questo è un ulteriore argomento al fatto che la bibliometria da sola non basta!
– La maggiore efficienza del politecnico si basa su una stima dell’OCSE, la quale a piacimento degli autori viene modificata perchè “il politecnico probabilmente spende di più in ricerca delle altre università italiane”. Ora lasciando perdere i calcoli in cui ingenuamente mi sono imbarcato, faccio notare che il bilancio del politecnico è disponibile e che quindi è possibile fare una stima migliore di prender e il dato OCSE e sommare arbitrariamente 15%. Mi viene risposto che non è così facile. Concordo, perché dividere le spese tra didattica è ricerca non possibile dato che tutti gli accademici fanno queste due cose inscindibilmente (es. tesista bravo che fa un lavoro di ricerca e si pubblica). Un dottorando è un ricercatore ma anche uno studente!
In sintesi, con buona pace delle corse dei cavalli, l’articolo non è convincente perché l’unico risultato plausibile è che considerando tutte le risorse IIT sia efficiente dal punto di vista bibliometrico quando le università italiane che però sfornano anche studenti e quindi sono migliori. Ma considerando gli studenti nell’equazione implicitamente si ammette che la bibliometria da sola non basta e che ci sono altri fattori che vanno presi in considerazione, alcuni dei quali non sono quantificabili, es. ritorno di immagine per l’Italia e i suoi contribuenti quando IIT esporta nel mondo iCub.
Infine, vorrei che fosse chiaro che l’unico punto che penso sia rappresentativo degli accademici italiani del 2015 è che questi sono pagati poco e in modo slegato dalla loro produzione. Il vero punto è che gli universitari italiani sono pagati meno dei competitori internazionali e dei ricercatori IIT (che ha salari un po’ migliori per attrarre persona dall’estero) per questo le vostre analisi di “rendimento” sono facili. Penso che sia più giusto pagare di più gli accademici italiani e renderli meno efficienti nel rapporto bibliometria/spesa visto che producono anche laureati, ma poi enti come l’IIT avranno vita facile a reclamare una supremazia nella ricerca (e si avvererà la mia predizione equina).
P.S. Mi dispiace non aver tenuto fede alla proposta di chiudere la polemica, perdonatemi.
Plymouthian: «La maggiore efficienza del politecnico si basa su una stima dell’OCSE, la quale a piacimento degli autori viene modificata perchè “il politecnico probabilmente spende di più in ricerca delle altre università italiane”.»
==============================
Plymouthian riporta tra virgolette un testo che non è presente nell’articolo di Roars. La Redazione ha scritto questo:
______________
«Nel caso dell’Italia, la stima è pari al 35% della spesa. Naturalmente, tale spesa varia da ateneo ad ateneo e per un università politecnica potrebbe essere maggiore della media. In via cautelativa, assumeremo per il Politecnico un valore che è verosimilmente sovrastimato, ovvero ipotizzeremo che il 50% della uscite sia classificabile come spesa per R&D. In tal modo, l’efficienza del Politecnico sarà sottostimata, a tutto vantaggio dell’IIT.»
______________
Se a Plymouthian sembra la stessa cosa, vuol dire che ha dei problemi di comprensione testuale. E riportare tra virgolette quello che altri non hanno scritto non è un buon indice di rigore scientifico (e nemmeno di correttezza). Credo che basti questo per capire lo spessore di argomentazioni a cui la redazione ha risposto con estrema pazienza, fornendo riferimenti tecnici e spiegazioni puntuali, nemmeno ci fossimo trovati di fronte a qualcuno dei nostri studenti.
Mi sbaglio o circa un quarto delle citazioni attribuibili ad articoli “prodotti” dal politecnico di Bari riguardano un singolo articolo cui ha collaborato un docente del politecnico? Come si modificano le conclusioni se non consideriamo gli articoli relativi agli esperimenti del CERN, o se teniamo conto del numero dei coautori?
Come osservato nell’articolo, il Politecnico di Bari beneficia delle ricadute bibliometriche delle ricerche sul bosone di Higgs. Forse è giusto che per le università del meridione si debba essere severi e non contare queste ricadute che invece negli anni scorsi hanno aiutato qualche ateneo del centro nord a scalare un po’ di posizioni nelle classifiche internazionali (e invero bisogna riconoscere che a partire da quest’anno THE e QS si sono posti il problema di rendere le loro classifiche meno sensibili ai bosoni). Ma è davvero colpa di Higgs “cinico e baro” se l’istituto genovese non primeggia per efficienza? A fronte della difficoltà di individuare quali articoli “annullare” perché con troppi autori (o di ricorrere al “fractional counting” che sarebbe stato operativamente non banale), avevamo eseguito i calcoli anche per l’Università Politecnica delle Marche che, per quanto ci è dato di sapere, non beneficia di bosoni. Ebbene, di nuovo IIT è meno efficiente.
Inutile dire che abbiamo dato un occhio anche ai numeri dei due Politecnici del nord.
All’articolo sul bosone di Higgs, che ha ricevuto 2459 citazioni hanno collaborato, se non ho contato male 7 affiliati del politecnico di Bari. In effetti pesa molto sul totale delle citazioni del Politecnico Barese. Non c’è una soluzione semplice per trattare il tema delle grandi collaborazioni internazionali in termini di citazioni. Eliminare l’articolo dal computo dei dati bibliometrici non appare una soluzione ragionevole: significa infatti cancellare in un sol colpo il lavoro di un intero gruppo di ricerca. E adottando lo stesso ragionamento, gli indici bibliometrici del CERN andrebbero vicini allo zero.
La soluzione di eliminare gli articoli con molti autori è stata adottata per esempio da QS per il suo ranking; ma è contestata da molti critici. Il problema è come si definisce la soglia di autori oltre la quale un articolo deve scomparire dai calcoli. Gli articoli sul bosone hanno migliaia di autori. In altre comunità disciplinari ci sono articoli con centinaia di autori, si tolgono? Ed in altre comunità, byline con una decina di autori sono considerate sospette; si tolgono? L’alternativa del fractional counting pone problemi del tutto simili: di tecniche di calcolo ne esistono in letteratura oltre una ventina, di cui sono stati studiati pro e contro. Quale usare tra queste? Per il fractional counting, come notava Giuseppe De Nicola, non ci sono solo problemi metodologici, ma anche operativi.
________________________
Un modo semplice per neutralizzare l’effetto delle citazioni da bosone, potrebbe consistere nel calcolare l’h-index delle due istituzioni nel 2012.
L’h-index di un istituzione in un anno è il numero di articoli pubblicati nell’anno da affiliati all’istituzione, che hanno ricevuto un numero di citazioni pari o superiore ad h. In questo modo si elimina l’effetto bosone: l’articolo sul bosone di Higgs aumenta di una unità il valore dell’indice h di Poliba. E vale quanto l’articolo più citato di IIT.
Il Politecnico di Bari nel 2012 ha un indice h=37, cioè PoliBA ha prodotto 37 articoli ciascuno dei quali ha ricevuto almeno 37 citazioni (si può notare che l’effetto citazionale del bosone di Higgs è scomparso).
IIT nel 2012 ha un indice h=40, cioè IIT ha prodotto 40 articoli ciascuno dei quali ha ricevuto almeno 40 citazioni.
Dal punto di vista dell’indice h, IIT nel 2012 ha avuto risultati che appaiono appena migliori di quelli del Politecnico di Bari. (Se calcolassimo gli insiemi di confidenza di h, essi sarebbero verosimilmente sovrapposti , cioè le due istituzioni non risulterebbero statisticamente diverse l’luna dall’altra.)
Se adottiamo il gergo ormai in voga, frutto della meritori a opera di diffusione della cultura della valutazione di ANVUR e MIUR, possiamo affermare che IIT e Politecnico di Bari sono due istituzioni che se confrontate sulla base di indicatori oggettivi producono ricerca di qualità pressoché identica.
Quanti soldi spende il contribuente italiano per due istituzioni di ricerca che hanno indice h pressoché identico?
Nel 2012 il finanziamento diretto dello stato italiano ad IIT fu di 74.145.319€ (fonte: p. 25 n. 18 della relazione della corte dei conti).
Nel 2012, il Politecnico di Bari ricevette un FFO pari a 39.823.080€ (fonte: http://attiministeriali.miur.it/media/193347/i_assegnazione_ffo%202012.pdf).
Direi che dal punto di vista del contribuente italiano non c’è alcun dubbio che finanziare POLIBA è molto più conveniente che finanziare IIT.
Il Politecnico di Bari costa al contribuente italiano poco più della metà di IIT. Produce ricerca che sulla base di indicatori oggettivi è di qualità del tutto simile a quella di IIT. In più, compreso nel prezzo, produce 1.003 laureati triennali e 558 laureati alla specialistica, fornendo servizi didattici a 10.964 iscritti (fonte ANS anno accademico 2012-13).
PS. In corsivo nel commento si leggono parole tratte dalla neolingua ANVUR. Mai mi sognerei di sostenere che h è un indicatore oggettivo che misura la qualità della ricerca. La sostanza del ragionamento resta: basta sostituire “oggettivo” con “quantitativo”, ed eliminare da tutto il commento “qualità” sostituendo con parafrasi opportune.
Gentile redazione,
ho letto con attenzione l’articolo ed ho apprezzato l’intenzione dell’autore di compiere un’analisi “rigorosamente oggettiva” e non viziata da campanilismi o altro.
Non posso però esimermi dal segnalare che questa “nobile intenzione” non sia stata invero rispettata visto che, i valori sui quali è fondata tutta la sua analisi, sono viziati “ab origine” da due sviste davvero grossolane.
La prima “svista” è quella di aver comparato dati di per se non comparabili: infatti il bilancio di IIT esprime valori “economici” (trattandosi di un bilancio economico-patrimoniale) mentre quelli del Politecnico di Bari esprime valori di “impegni finanziari” (trattandosi di un bilancio finanziario).
Per dirla in altro linguaggio “mele su pere”!!!
La seconda “svista” è quella di aver confrontato dati parziali su dati totali: il totale delle “sole uscite correnti” del Politecnico di Bari (48,5 milioni) contro il totale di tutti i costi di produzione dell’IIT (98,2 milioni), che, per esempio, contiene 22 milioni di ammortamento che andrebbero sottratti.
Per dirla in altro modo “una partita di calcio sette contro undici”!!!
Insomma se non si trattasse certamente di due evidenti “sviste” verrebbe davvero da pensare male !!!
Con viva cordialità.
Sergio Luciano
(ex Direttore Amministrativo, in pensione)
Ringraziamo per la puntualizzazione su una questione tecnica che avrebbe forse meritato una nota di chiarimento da parte nostra. Pur consapevoli della differente natura dei due bilanci, abbiamo dovuto basarci sui dati a nostra disposizione e abbiamo cercato di cautelarci nei confronti delle inevitabili approssimazioni arrotondando molto per eccesso la quota di spesa per ricerca del Politecnico di Bari (da noi posta al 50% mentre la stima OCSE per l’Italia sarebbe 35%).
Se accogliamo il suggerimento di sergioluciano2015 e sottraiamo 22 Milioni dai costi della produzione di IIT, l’efficienza della produzione scientifica e dell’impatto citazionale di IIT salirebbero da 10.0 a 12,9 articoli per MLN € e da 105 a 135 citazioni per MLN €.
Esse rimarrebbero comunque inferiori a quelle del Politecnico di Bari (20,2 articoli per MLN € e 340 citazioni per MLN €), le cui efficienze, se adottassimo la stima OCSE della quota di spesa per ricerca, diventerebbero però 28,9 articoli per MLN € e 486 citazioni per MLN €.
L’articolo di Roars è stato ripreso dalla Gazzetta di Bari che ha anche intervistato il rettore del Politecnico, Prof. Eugenio Di Sciascio.

_____________
http://poliba.deipress.com/archivio.aspx?id=31137
Il movimento 5 stelle ha presentato una interrogazione parlamantare http://www.senato.it/japp/bgt/showdoc/showText?tipodoc=Sindisp&leg=17&id=948171 Per sapere:
se i Ministri in indirizzo non intendano avviare una selezione pubblica per affidare la nascita del nuovo “tecnopolo” a strutture di eccellenza certificata;
se non ritengano, per quanto di competenza, di doversi attivare al fine di includere l’IIT tra gli enti vigilati dal Ministero dell’istruzione;
se non considerino, nell’ambito delle rispettive competenze e di concerto con i rappresentanti dei principali centri di ricerca vigilati dal Ministero dell’istruzione, di dover avviare una progettazione a lungo termine degli strumenti e degli obiettivi della ricerca pubblica italiana al fine di allineare risorse e performance agli altri Paesi europei;
quali interventi di competenza intendano intraprendere per armonizzare la distribuzione delle attività di ricerca in maniera più equilibrata sul territorio nazionale;
se intendano avviare uno studio sull’efficienza dell’IIT, utilizzando i parametri applicati in altri Paesi dell’Unione europea
Dibattito sterile, apprezzabile solo se l’intento dell’autore fosse stato solo provocatorio (nel senso di chi spada ferisce, di spada perisce). Invece ha preso un tono serioso ed incentrato capziosamente sull’efficacia della bibliometria. Una istituzione, di qualunque livello, non può essere giudicata sulla base della bibliometria, ma sulla base delle collaborazioni, invenzioni, impatto tecnologico ed economico che essa produce. Ogni compagnia di grandi dimensioni fa più ricerca di base di qualunque università, ma la ricerca è un investimento per mantenere ed accrescere la capacità tecnologica ed economica. Invece le istituzioni di cui sopra, comprese le università, fanno ricerca solo per accrescere gli indici bibliometrici, dissipando così le risorse pubbliche delle quali lamentano la scarsezza.
braccesi: “Una istituzione, di qualunque livello, non può essere giudicata sulla base della bibliometria, ma sulla base delle collaborazioni, invenzioni, impatto tecnologico ed economico che essa produce.”
____________________________
A braccesi deve essere sfuggito che nell’articolo vengono anche confrontate le collaborazioni:
____________________________
“Per IIT, la prima collaborazione internazionale in ordine di importanza è la University of California at Irvine (14°, con 134 articoli), seguita dalla King Abdullah University of Science and Technology (22°, con 79 articoli). Per il Politecnico di Bari, le prime collaborazioni internazionali per importanza sono:
École Polytechnique (6°, con 486 articoli)
Ohio State Univ. (8°, con 478 articoli)
University of Maryland (9° con 470 articoli)
Purdue Univ. (10° con 453 articoli)
Rice Univ. (11° con 444 articoli)
e così via.”
____________________
E per quanto riguarda l’impatto tecnologico ed economico di IIT, ne aveva già scritto F. Sylos Labini in un precedente articolo, sempre apparso su Roars:
____________________
“A dodici anni di distanza dalla sua fondazione, come spiega la relazione della Corte dei Conti … “con riguardo alla collaborazione con il mondo industriale, l’Istituto ha acquisito 43 nuovi contratti, per un controvalore complessivo di 2,8 milioni cui deve essere aggiunto il valore della strumentazione dell’Istituto utilizzata per lo svolgimento dei progetti, stimata in 500 mila euro”. Essendo il finanziamento annuo, da parte dello Stato, di 100 milioni, il contributo dell’industria (quanti spin off dello stesso Iit?) si attesta dunque a circa il 3%.”
https://www.roars.it/expo-chi-finanziera-la-ricerca-dellavveniristico-human-technopole/
[…] Il sito Roars (Return of Academics Research), invece, sostiene che l’Iit sia particolarmente inefficiente dal punto di vista delle pubblicazioni. “A oggi, l’Iit attrae il 46% del suo staff dall’estero e – sottolineano dall’Iit – conta 11 vincitori di Erc (European Research Council, grant a sostegno della ricerca, ndr) oltre 350 brevetti, 6mila pubblicazioni, oltre 100 progetti europei vinti dalla sua nascita”. […]
[…] produttività e impatto della ricerca scientifica dell’IIT sono metà o meno di quelle del Politecnico di Bari e i conti rimangono avvolti nella nebbia, nonostante lo statuto imponga di pubblicare i […]
[…] è inferiore per qualità e quantità al Politecnico di Bari come dimostrato dai ricercatori del Roars”. E la buona scuola? “Visti gli scarsi fondi per la dispersione scolastica (record a Napoli e […]
[…] a danno della maggioranza dei cittadini americani. Includere i costi – come mostra l’esperimento di Roars con il Politecnico di Bari – avrebbe prodotto classifiche diverse e orientate a diversi […]
[…] a danno della maggioranza dei cittadini americani. Includere i costi – come mostra l’esperimento di Roars con il Politecnico di Bari – avrebbe prodotto classifiche diverse e orientate a diversi […]
[…] a danno della maggioranza dei cittadini americani. Includere i costi – come mostra l’esperimento di Roars con il Politecnico di Bari – avrebbe prodotto classifiche diverse e orientate a diversi […]