Fabio Beltram, inaugurando il 18 ottobre l’anno accademico della Normale, ha puntualmente e orgogliosamente elencato gli impressionanti risultati e riconoscimenti che la Scuola pisana continua ad ottenere nel mondo. Un dato per tutti: leggendo la classifica 2013 redatta dalla Jiao Tong di Shangai nella sua «versione normalizzata per taglia» si scopre che la Normale va a braccetto con Caltech, Harvard, Princeton e MIT. Il resto del pianeta e l’intera Europa sono alle spalle. Di questa eccellenza, tuttavia, non vi è traccia nella VQR. Il direttore della Normale lo sa bene ed è probabilmente per questo che ad essa ha dedicato una parte sorprendentemente ampia della sua prolusione.
Beltram aveva a disposizione tre strategie argomentative. Poteva limitarsi a ribadire di non credere «ciecamente» a nessuna classifica, bilanciando così il compiacimento per quelle internazionali che lo premiano con il dispiacere per quelle nazionali che certo non lo esaltano e in qualche caso addirittura lo mortificano: le une e le altre, in fondo, potrebbero sbagliare. Poteva contestare apertamente la VQR, utilizzando proprio l’incontestabile eccellenza della Normale come prova regina del fallimento di un esperimento che la lascia invece ad annaspare nel brago della mediocrità italiana: per la filosofia (parlo di ciò che conosco più da vicino) la Scuola sprofonda addirittura al ventinovesimo posto; sono lontane le glorie di Harvard, ma perfino i colleghi della “normale” (con l’iniziale minuscola) Università di Pisa. Ha scelto invece di cercare anche nella VQR la conferma del primato della sua istituzione, spiegando che quel che può essere prezioso per il sistema universitario in generale (il voto medio ottenuto nelle diverse aree e settori dai singoli atenei) non fotografa adeguatamente una realtà come quella della Normale: guardando alla graduatoria stilata sulla base della sola percentuale dei prodotti eccellenti, ci si accorgerebbe così che la Scuola, nelle aree in cui è presente, si colloca «solidamente in testa». Lo scivolamento nelle graduatorie elaborate sul voto medio sarebbe il risultato di errori passati nella gestione delle risorse umane, ai quali si sta ponendo rimedio.
Neppure questo correttivo, in realtà, basta a ristabilire la solitaria grandezza della Normale. La Scuola non è sempre solidamente in testa, i ricercatori più anziani che abbasserebbero la media sono gli stessi che hanno comunque contribuito all’eccellenza che il mondo riconosce a questa nobile, antica istituzione e il quadro si articola ulteriormente se si scende un po’ più nel dettaglio. Sempre per la filosofia, per esempio, i normalisti sono superati, in percentuale di prodotti eccellenti, dai colleghi dell’Aquila e tallonati da presso da quelli di Roma Tor Vergata. Ma non è questo il punto che vale la pena di sottolineare. Beltram si augura che l’università, nella sua autonomia, «possa e sappia utilizzare al meglio» il costosissimo e faticosissimo lavoro svolto per la VQR. La sua analisi è preziosa proprio perché ci offre almeno una certezza: è solo adottando una straordinaria cautela che di questa utilizzazione “al meglio” potrà far parte una distribuzione privilegiata di risorse, a livello centrale e locale. E potrebbe perfino essere consigliabile abbandonare del tutto questa idea.
La Scuola Normale Superiore, insieme ai “cugini” del Sant’Anna (che escono meglio dalla VQR, comunque con qualche eccezione), gode di un finanziamento a dir poco privilegiato da parte dello Stato e semplicemente inimmaginabile per qualsiasi altro ateneo italiano, una volta “normalizzato il dato per la taglia”. Le graduatorie dell’Anvur sembrano dirci che questo privilegio era immeritato o almeno che grandissimo è stato il merito di chi ha saputo fare altrettanto bene e anche meglio con molto meno. Io credo nell’eccellenza della Normale e auspico che i finanziamenti di livello internazionale che essa riceve vengano estesi ad altri e non tolti a tutti. Proprio per questo, però, sono convinto che il tentativo di “salvare” il valore di queste classifiche come presupposto di azioni premiali avventurandosi nella ricerca dell’unica che davvero “conta” sia destinato ad aumentare solo confusione e malumori. Soprattutto se si pretendesse di utilizzarle a prescindere da ogni considerazione sulla didattica, che resta la grande dimenticata nel dibattito sul futuro della nostra università. È più onesto ammettere che la VQR, nonostante gli enormi limiti tecnici e procedurali che sono ormai sotto gli occhi di tutti, ci ha offerto dati interessanti su cui riflettere. Ma non abbastanza per cominciare a giudicare.
Come già nella VTR, per l’area 01 (matematica e informatica), la Scuola Normale Superiore sta dietro l’università del Sannio. Risultati paradossali come questi dovrebbero far riflettere sulla metodologia delle valutazioni. Per la VTR il Sannio aveva presentato un solo lavoro giudicato “eccellente” (ma non sufficiente, secondo i poteri locali, a promuovere l’autore che era ed è ancora un professore associato), mentre se ricordo bene la Normale aveva presentato tre lavori, di cui due eccellenti ed uno buono. Certamente i referee del lavoro del Sannio non era lo stesso dei referee dei lavori della Normale. In queste condizioni il confronto non è significativo. Questo ci ha insegnato che confronti con numeri piccoli non sono affidabili. Per la VQR mi sembra invece che il prevalere del Sannio sia dovuto al fatto che la Normale presenta meno del numero atteso di lavori e per questo è penalizzata con valori negativi. Che cosa ci insegnano quindi questi risultati della VQR? Poiché non esiste e non può esistere alcun dubbio che per la matematica la Normale sia decisamente migliore del Sannio, questi risultati ci dicono che attribuire punteggi negativi per il mancato raggiungimento del “numero atteso” può dare risultati sbagliati. I matematici della Normale non sono certamente dei “fannulloni”, ma forse producono un minor numero di articoli, perché si dedicano a ricerche più profonde. Vale la pena di obbligarli ad essere più produttivi? Io penso di no. Penso invece che questo confronto ci suggerisca di cambiare le regole della VQR. Naturalmente non possiamo chiedere al Direttore della Normale di prendere una posizione critica nei confronti della VQR, come tutti i rettori ritiene che per non perdere finanziamenti deve mostrarsi ossequioso delle autorità.
“Poiché non esiste e non può esistere alcun dubbio che per la matematica la Normale sia decisamente migliore del Sannio”
Scusi se mi permetto, ma con pregiudizi di questo tipo qualunque valutazione è inutile.
Quindi secondo lei la Normale è eccellente a prescindere? Anche se una seria valutazione dovesse dimostrare il contrario?
Quando si fara’ una “seria” valutazione, o almeno non un pasticcio tipo VQR, se ne potra’ discutere. Al momento l’osservazione di AFT mette in luce un risultato paradossale (che non e’ certo l’unico).
Non ho detto che la scuola normale è eccellente “a prescindere”, non amo la parola eccellente ed ho parlato solo del confronto con la matematica del Sannio. Che la ricerca matematica che si svolge all’università del Sannio sia migliore di quella che si svolge alla Normale è una affermazione che nessun matematico serio farebbe. Nemmeno il bravissimo matematico del Sannio che da solo determinò il “primato” del Sannio in matematica nella VTR.
Ricerche “più profonde”? Così profonde da non produrre alcunchè di pubblicabile, nel periodo 2004-2010?
In effetti devo ricredermi. Ho dato uno sguardo alla produzione matematica della SNS utilizzando la banca dati MathSciNet. Risulta che due dei dodici matematici della normale non dovrebbero soddisfare il requisito di aver pubblicato tre lavori nel periodo 2004-2010. Non si tratta di matematici noti, ed è improbabile che stiano meditando ricerche più profonde. Non ho fatto un controllo totale, ma è probabile che siano questi due ad aver determinato il basso punteggio della Normale. C’è tuttavia da chiedersi se ha senso che la scarsa produttività di due su dodici matematici sia sufficiente a determinare un confronto sfavorevole con un centro matematico decisamente minore (se non altro per dimensioni) come Benevento , tenuto conto che tra i professori della Normale ci sono alcuni tra i migliori matematici italiani. Continuo a pensare che questa idea del punteggio negativo sia sbagliata. L’idea che la valutazione serva a “snidare i fannulloni” non mi sembra ragionevole. La risposta ai punteggi negativi è del resto molto semplice basta inserire i nomi di chi non riesce a pubblicare autonomamente nelle pubblicazioni di chi pubblica. Meno disonestamente si può aiutare un matematico scarso a pubblicare qualche banale “esercizio di ricerca” in una rivista mediocre.
La mia impressione, basata principalmene sui due anni che feci come postdoc a matematica a unipd, e’ che i matematici italiani sono mediamente molto bravi. Pero’, secondo me, producono molto meno di quello che potrebbero.
Il motivo e’ semplice: non hanno un grande stress nel trovare un posto (almeno in passato) dato che ci sono moltissime possibilita’ di insegnamento universitario per i matematici.
Ad esempio, il settore Fisica Matematica ha goduto (almeno in passato) di un grande vantaggio rispetto all’analogo settore Fisica Teorica: mentre la Fisica Teorica si insegna solo a Fisica, la Fisica Matematica la si insegna a Fisica, a Matematica ed anche (e soprattutto) ad Ingegneria, dove ci sono tantissimi studenti e quindi un buon numero di posti per la docenza.
Secondo me per alcune persone “essere sotto stress” puo’ essere utile a migliorare non solo la quantita’ ma anche la qualita’ della produzione scientifica.
A mio avviso sono proprio le affermazioni apodittiche e i comportamenti consequenziali di alcuni che hanno costretto “il sistema” a ricorrere a strategie alternative quali la bibliometria.
E’ sempre il solito esempio, che ho ripetuto varie volte.
Concorso di XXX.
Candidato A: diversi lavori di XXX a singolo autore, pubblicati su riviste di XXX con IF >1, che ricevono un ottimo numero di citazioni
Candidato B: zero lavori di XXX a singolo autore; altri lavori pubblicati su riviste di XXX con IF<1, che ricevono pochissime citazioni.
Perche' succedeva che vinceva il candidato B?
Risposta: vinceva il candidato B perche' "non esisteva alcun dubbio che il B fosse migliore".
Quod Erat Demonstrandum.
Io sono stato commissario di un concorso di prima fascia solo due volte (nei miei 40 anni di servizio come professore di ruolo). La prima volta nel 1980, quando non si disponeva di banche date di citazioni, la seconda negli anni in cui si dovevano assegnare due idoneità. In questo secondo caso, su mia iniziativa, la commissione ha interrotto i lavori per andare in biblioteca a verificare la natura delle citazioni vantate da un certo candidato, confermando che non si trattava solo di citazioni di “scuola”; questo candidato che aveva più citazioni dei non vincitori fu dichiarato idoneo, naturalmente con il mio voto. Non posso quindi riconoscermi nel comportamento dei commissari da lei descritto. Devo aggiungere che molto più frequentemente mi è capitato di essere interpellato per la assunzione o promozione di matematici che avevano lavorato nel mio campo fuori d’Italia. Erano giudizi apodittici? Non lo so. Certamente erano giudizi che riflettevano i miei gusti e le mie limitate competenze. Non mi trovo sempre d’accordo con le decisioni dei commissari dei concorsi di analisi matematica. Ma non ho mai ritenuto che fossero decisioni prese in mala fede. Il mondo della scienza che conosco è fatto di opinioni diverse che si riflettono in decisioni diverse di merito scientifico. l’idea che invece si possa arrivare a criteri di merito univoci, mi sembra strana. Ma forse lei conosce un altro mondo della scienza, dove ci sono certezze rilevabili attraverso criteri bibliometrici, dove ad esempio si potrà stabilire, contando le citazioni, se un lavoro sarà ancora ritenuto rilevante (e magari citato) tra 40 anni.
Mah. Io ancora credo che la verita’ ci sia, sia unica e meravigliosamente mappabile nell’insieme dei numeri (almeno quelli razionali, ma forse forse sui reali o meglio ancora sui complessi).
E che quindi con i numeri si arriva alla verita’.
Pero’ non so qual’e’ la mappa.
@Luca Salasnich. Per superare le mie affermazioni “apodittiche” sul confronto tra Sannio e Normale, basta fare una piccola indagine diretta. Dalla banca dati del CINECA si ottiene la lista dei sette docenti del Sannio che appartengono all’area 01, macrosettore matematica (escludendo cioè il docente del settore Inf01). Dalla stessa fonte si ottiene la lista dei dodici docenti della Normale che appartengono allo stesso macrosettore. A questo punto si può utilizzare la banca dati della American Mathematical Society (MathSciNet) per confrontare sommariamente la produzione scientifica dei due gruppi. Qualche calcolo banale rivela che i sette docenti del Sannio hanno al loro attivo, complessivamente, 207 pubblicazioni ed hanno ricevuto 524 citazioni. I dodici docenti della Normale hanno al loro attivo 672 pubblicazioni ed hanno ricevuto 9525 citazioni. Sono calcoli che non tengono conto dell’età accademica che dovrebbe, a occhio e croce, essere più bassa per il Sannio. Ma siamo comunque su un ordine di grandezza diverso quanto a citazioni. La questione non è quindi quella di scegliere tra giudizi “apodittici” e bibliometria, ma piuttosto di confrontare i risultati della VQR con ciò che appare alla luce del buon senso, ma anche con ciò che risulta da altri calcoli bibliometrici. Non c’è dubbio che la superiorità della Normale sarebbe stata evidente se si fosse applicata la metodologia dei primi RAE (credo anche degli ultimi ma da un po’ ho smesso di seguirli). Certamente l’introduzione di un punteggio negativo per “punire” le strutture che ospitano studiosi poco attivi è una novità che dovrebbe essere discussa. Quale scopo si propone? E fino a che punto falsa i risultati come è evidentemente successo nel confronto Sannio vs Normale?
P.S. Per quel che concerne la mappatura della verità con numeri reali, propongo di considerare i reali come uno spazio vettoriale rispetto al campo dei razionali. Si tratterebbe allora di uno spazio vettoriale a dimensione infinita (non numerabile) e ci sarebbe qualche speranza di una mappatura coerente.
Concordo su tutto, o quasi.
Comunque, mi sembra che lo scopo della VQR fosse quello di misurare la performance della struttura su un periodo breve recente (qualche anno), e non integrando su un lungo periodo. Forse per certe discipline la cosa non va fatta cosi.
D’altra parte non ho ancora capito quale vantaggio economico sensibile abbia portato la VQR alle strutture che si sono piazzate meglio. La mia impressione e’ che non sia cambiato sostanzialmente nulla: nel mio dip. le posizioni da PA e PO previste prima della VQR sono sostanzialmente rimaste le stesse anche dopo VQR.
Interessantissima la proposta dell’IF come vettore a dimensione infinita.
Ciò detto, giusto per la cronaca, la soluzione sarebbe insufficiente.
La mappa nessuno sa quale sia. Primo, perché è un fenomeno molto complesso che riunisce motivazioni diverse – e qui la multidimensionalità può aiutare, certo. Secondo, perché a differenza anche della più infida particella di cui è composta la materia, gli esseri umani modificano il proprio comportamento in base alle mappe che si cuce loro attorno. Terzo, perché non tutti hanno interesse a pubblicare/far circolare i dati su cui costruire questa mappa.
Ci sono tanti studi sul campo, per tutti i gusti – dalle analisi empiriche di database bibliografici ad eleganti risultati di mechanism design.
Concordo pienamente con l’articolo di Semplici. E aggiungo però una cosa ancora. Ricordo che la SNS è piena di ricercatori decrepiti (soprattutto nella classe di Lettere e Filosofia), entrati con con l’ingresso indiscriminato degli anni ’80. Costoro sono del tutto improduttivi e non hanno mai fatto uno straccio di carriera, infatti a 60 anni sono ancora ricercatori, come mai??? Ce lo può spiegare il Direttore attuale della Scuola, oppure il suo predecessore?. E’ anche questa una nota di merito che consente alla SNS di avere più finanziamenti delle altre università statali?
E’ difficile attribuire a recenti direttori della SNS la responsabilità per le disposizioni di legge che nel 1980 trasformarono di fatto gli specializzandi della Normale in ricercatori confermati. Per fortuna nel sistema universitario i ricercatori entrati “ope legis” senza concorso, sono ridotti ad una esigua minoranza, alle soglie del pensionamento. Forse sarebbe meglio non considerarli nella VQR, dato che la responsabilità per la loro assunzione ricade sul legislatore del 1980 e solo in piccola parte sul sistema universitario.
Però come ricercatori confermati avrebbero avuto il dovere di fare ricerca (visto che alla SNS non hanno neanche la didattica). Mi chiedo in che modo questa gente (il cui numero non è così esiguo) ha contribuito all’eccellenza dell’istituzione?
Alla SNS esiste una regola non scritta di non-promozione degli interni. Ci sono “decrepiti che non hanno fatto uno straccio di carriera”, e anche qualche non-decrepito, che hanno vinto in passato concorsi ma non hanno trovato uno straccio di Universita’ che li chiamasse, per intuibili motivi. Andiamoci piano a classificare tutti i ricercatori d’annata come fancazzisti, soprattutto da dietro l’anonimato.
Visto che c’e’ questa “legge non scritta”, e al fine di mantenere l’eccellenza, mi immagino che i prossimi PO della SNS saranno reclutati attingendo da Harvard, Princeton, Cambridge,
e Padova…
Posto che la valutazione è servita soprattutto a far nascere (e prossimamente prosperare) una nuova classe di operatori nel mondo universitario, gli Esperti di Valutazione e che, se uno fa un po’ di conti (considerando anche le ore perdute), deve essere costata un botto, forse sarebbe stato meglio farla per davvero.
Il caso Normale/Sannio mi sembra emblematico. La regola del punteggio negativo penalizza dipartimenti con personale ( non necessariamente ricercatori) anziano.
In altri paesi si va in pensione a 65 anni ameno di non essere dei Nobel.
Tuttavia il problema più evidente penso riguardi il numero dei prodotti da postare.
Tre erano un po’ pochini, soprattutto in certe aree, come probabilmente la matematica. In questa VQR un ricercatore che avesse pubblicato solo quei tre lavori fatidici contava come uno che ne avesse pubblicato dieci.
@FigàTalamanca. “Penso invece che questo confronto ci suggerisca di cambiare le regole della VQR”. Ma l’analisi dei risultati è davvero completa?
Per esempio, in uno dei commenti si accenna a INF01, “depurando” questo ssd dall’area 1, anche perché non presente in Scuola Normale. Ma proprio la chiara e persistente scelta politica di NON chiamare informatici in Normale non potrebbe essere un ulteriore causa/sintomo di decadenza?
Per altro, le università citate a confronto in alcuni messaggi, ovvero Sannio, Aquila, TorVergata, sono tutte ben valutate dalla VQR per nuclei di informatici di alta qualità. Davvero la Matematica può fare a meno dell’Informatica, in una Scuola di eccellenza quale la Normale?
Ho omesso di considerare nel mio confronto (peraltro molto sommario ed incompleto) il ricercatore del Sannio, che apparteneva al settore INF01 perché per le pubblicazioni e le citazioni ho utilizzato la banca dati MathSciNet che avrebbe penalizzato i ricercatori di informatica che pubblicano in luoghi (anche atti di congresso) che non sono coperti da MathSciNet. Non pretendo che dalla mia analisi si possano dedurre direttamente proposte concrete di modifiche della VQR. Questo è un compito degli esperti dell’ ANVUR. Io mi sono limitato a mettere in evidenza un risultato paradossale.
La discussione è abbastanza superficiale. In quasi tutti i dipartimenti ci sono persone del tutto inattive accanto a ricercatori, professori attivissimi. Chiunque conosca anche minimamente la realtà della Università Italiana sa benissimo che un ricercatore attivissimo è del tutto impotente a contrastare scelte sbagliate spesso fatte prima che lui o lei entrasse nell’Università. A Roma si dice che non si può far far sangue ad una rapa, sarebbe folle pretendere che facciano ricerche persone incapaci, alcuni sono bravi didatti e l’Università se ne può giovare altri sono una pura perdita.
L’unica soluzione sarebbe l’eliminazione fisica, ma nessuno di noi ha istinti sanguinari.
Apprezzo questo articolo soprattutto perché problematizza la VQR. Tutti noi abbiamo assistito a valutazioni di prodotti propri o di colleghi che ci hanno sorpreso, conoscendo benissimo questi prodotti da interni. Per cui è auspicabile non si faccia della VQR un super-esame di abilitazione, ma con commissari anonimi e auto-candidati. Soprattutto in ambito umanistico, in cui le valutazioni sono questione di sfumature, mi sembra che sopravvalutare la VQR applicata al singolo ricercatore sia una strada pericolosa e questo articolo ce ne fornisce conferma, al tempo stesso mettendoci in guardia su un fatto fondamentale: dalle storture della VQR chi ha già prestigio si salva, chi invece se lo deve costruire rischia molto più facilmente di caderne vittima.
Nella inaugurazione dell’anno accademico 2013 il Direttore della SNS ha detto che:
i) pur non credendo nei ranking, e’ fiero di dire che SNS risulta 5ta nel mondo nel Per Capita Performance (PCP) della Academcy Ranking of World Universities (ARWU) e 1ma in Europa;
ii) la “legge non scritta” e’ stata violata;
iii) la VQR da le medie e non le eccellenze.
A proposito del ARWU vorrei sottolineare che se si mettessero a zero gli spropositati pesi dati da ARWU al fatto di avere docenti o ex alievi premi Nobel o simili, e tenendo solo gli altri tre indicatori,
cioe’ quelli PURAMENTE BIBLIOMETRICI (che mi sembrano piu’ seri), le universita’ italiane sarebbero molto molto piu’ su.
A occhio, nella Fisica UNIPD, prima in Italia, sarebbe tra le prime 20 nel mondo.
Devo poi dire che il PCP di ARWU non lo capisco: sempre a occhio, secondo me quelli di ARWU hanno diviso per il numero di docenti 2 volte, falsando i dati. Mi sembra inverosimile che SNS abbia una resa per docente che e’ 4 volte quella di UNIPD. Nelle scienze fisiche certamente non e’ cosi, anzi.
Una domanda per Stefano Semplici e Luca Salasnich. Dove trovo il riferimento alla brillante posizione della Scuola Normale nella classifica ARWU? Navigando sul sito http://www.shanghairanking.com/ anche scegliendo di ordinare la classifica con il parametro PCP trovo risultati che confermano che è la Università di Padova la più meritevole fra le Università italiane. La Scuola Normale compare molto più in basso nella classifica.
Il PCP e’ sono generale e non per settore.
La procedura per arrivarci e’ questa:
da
http://www.shanghairanking.com/ARWU2013.html
in alto sul centro-destra scegliendo
Score on
PCP
sulla stessa colonna appaiono i specifici numeri del PCP. Dove SNS risulta 62.2 mentre UNIPD solo 20.3. Un fattore 3 tra le due.
Sono perfettamente d’accordo con quanto scritto un anno fa da Figà Talamanca, che tra l’altro appartiene alla mia stessa Facoltà.
Luca Salasnich si chiedeva “D’altra parte non ho ancora capito quale vantaggio economico sensibile abbia portato la VQR alle strutture che si sono piazzate meglio”. Ebbene, ad un anno di distanza e alla luce di quello che sta succedendo dovrebbe averlo capito…., la VQR sta condizionando pesantemente la distribuzione delle risorse!