Bocconi’s sympathy for destruction: una VQR a doppio taglio

“La ricerca in Italia – Cosa distruggere, come ricostruire” è il titolo di un convegno organizzato dall’Università Commerciale Luigi Bocconi. Ma cosa rimane ancora da distruggere? La risposta degli organizzatori è lapidaria: “è giusto tenere in vita dipartimenti e centri di ricerca in cui più del 30% delle persone non fanno ricerca al di sopra di standard minimi?”. Ma dove sono questi rami secchi? Nella VQR, le strutture con un numero di inattivi superiore al 30% sono talmente poche da non giustificare un convegno. Forse gli organizzatori invocano la chiusura dei dipartimenti delle università che producono troppa ricerca di qualità “limitata”. Una categoria in cui però rientra anche la stessa Bocconi: il 33% dei suoi “prodotti della ricerca” è stato giudicato di qualità “limitata”, mentre due suoi dipartimenti sarebbero in prima fila tra i candidati alla chiusura dato che  più del 35% dei loro ricercatori rientra tra quelli che non hanno presentato nemmeno un lavoro di qualità “accettabile”.

Il 9 dicembre si terrà presso l’Università Commerciale Luigi Bocconi di Milano un Convegno dal titolo inequivocabile:

La ricerca in Italia
Cosa distruggere, come ricostruire

(qui il pdf del volantino)

La autorità politiche, accademiche e scientifiche saranno rappresentate ai massimi livelli: interverranno il Ministro del MIUR, Maria Chiara Carrozza, il Rettore della Bocconi, Andrea Sironi ed il Prorettore per la Ricerca Tito Boeri, il Presidente di Assolombarda, Gianfelice Rocca, come pure i rappresentanti di altre università ed enti di ricerca. In evidenza la sponsorizzazione di Novartis, rappresentata dal suo Head Pharma Region Europe, Guido Guidi.

Dopo anni di pesanti tagli al settore dell’università e della ricerca, appare sorprendente che trovare qualcosa da distruggere sia una priorità. Per capire meglio, andiamo a leggere il breve testo di presentazione, di cui estraiamo alcuni passaggi significativi (i grassetti sono nostri).

La situazione della ricerca in Italia è per certi aspetti drammatica: il fatto che più di metà dei ricercatori italiani che hanno vinto gli Starting Grants ERC (European Research Council) abbiano deciso di portarli all’estero è un segnale preoccupante circa l’attrattività delle istituzioni di ricerca italiane. Sono in molti ormai a chiedersi se il nostro Paese possa ancora permettersi di fare ricerca. Mancano risorse, perché i tagli alla spesa pubblica di questi anni hanno colpito la ricerca accademica in modo assai poco selettivo. […]
È giusto tenere in vita dipartimenti e centri di ricerca in cui più del 30% delle persone non fanno ricerca al di sopra di standard minimi? E come va utilizzato il censimento – valutazione della ricerca accademica appena terminato per rafforzare gli istituti che hanno maggiori potenzialità?
È giusto concentrare gli investimenti su pochissime istituzioni di ricerca in grado di raggiungere una massa critica di scienziati di livello? E come assicurarsi che altre istituzioni traggano beneficio da questo investimento? […]
Quale ricerca è maggiormente congeniale al nostro Paese? Dovremmo puntare quasi tutto sull’innovazione in aree collaudate – moda, turismo e alimentari – e indirizzare la “vera” ricerca in pochissimi settori, ben selezionati, giocando solo lì la nostra competizione col mondo globale della scienza?

Non è dato sapere chi è l’estensore del testo, ma i contenuti echeggiano, seppure in forma dubitativa, slogan già sentiti (Università: miti, leggende e realtà – Collector’s edition!). La ricerca di qualcosa da distruggere ricorda la “splendida ossessione” di Francesco Giavazzi da sempre convinto che in Italia ci sia troppa università:

Se a errori ripetuti per decenni si vuol rimediare in un giorno c’è un solo modo: chiudere i corsi di laurea. […] In luglio il Senato ha approvato la riforma dell’università. Non è una legge ideale, ma va dato atto al ministro Gelmini di aver fatto un importante passo avanti. La legge riconosce che i corsi devono essere ridotti, le università snellite, alcune chiuse. F. Giavazzi 2010

Che manchino risorse pochi potrebbero negarlo, ma – si noti bene – non è per colpa dei tagli, ma perché essi non sono stati selettivi. Che si potesse tagliare sostanziosamente senza grave danno, grazie ai possibili recuperi di efficienza, era una tesi di Mariastella Gelmini.

È risibile il tentativo di qualcuno di collegare la bassa qualità dell’Università italiana alla quantità delle risorse erogate. Il problema, come ormai hanno compreso tutti, non è quanto si spende (siamo in linea con la media europea) M. Gelmini 2009

Anche l’idea di concentrare gli investimenti in pochi centri di eccellenza è un refrain già ascoltato:

Prima di dire che si spende troppo poco per l’ università, occorre avere il coraggio di ammettere che delle nostre 100 università solo una ventina possono ambire alla categoria di «research universities». F. Giavazzi 2010

Che poi l’Italia debba fare un passo indietro in importanti settori di ricerca per puntare invece sul turismo è una tesi a suo tempo enunciata da Luigi Zingales:

Questi “esperti” sono i terapeuti che nel recente passato hanno fornito dalle colonne dei giornali e dagli schermi televisivi le ricette con cui è stata “curata” l’università. Gli esiti sono stati quasi fatali, ma non sembra che siano in arrivo ripensamenti, anzi l’impressione è che si cercherà di aumentare i dosaggi.

Il Nobel Paul Krugman ha preso in prestito da Mark Blyth il nickname “Bocconi boys” per indicare alcuni economisti legati all’ateneo milanese, culturalmente vicini ai terapeuti di cui stiamo parlando. Nel seguito, prenderemo in prestito lo stesso termine per identificare gli sconosciuti estensori del volantino. Ma i Bocconi boys sono dei terapeuti credibili?

Prima di affidarsi alle ricette di un medico è bene assicurarsi della correttezza delle sue diagnosi. Come pure accertarsi che sappia comprendere i referti degli esami clinici. Negli ultimi anni il dibattito sull’università ha spesso assunto toni surreali perché venivano ignorati o del tutto travisati i referti dell’OCSE o delle statistiche di produttività scientifica. Persino il numero di atenei è stato alterato nei modi più vari e meno di tre mesi fa sul Corriere della Sera Gianna Fregonara (moglie del premier Letta) invocava una classifica degli oltre 400 atenei in Italia (in realtà sono meno di 100).

In questo articolo ci domandiamo se i Bocconi boys del convegno milanese riportino in modo corretto e consapevole i dati della VQR in base ai quali additano i futuri “tagli espansivi”, una sorta di variante accademica dell’austerità espansiva dei Bocconi boys criticati da Krugman.

1. A caccia dei covi di fannulloni! Ma dove stanno?

I Bocconi boys si domandano preoccupati:

Queste righe fanno pensare che la valutazione della ricerca appena conclusa, la VQR 2004-2010, abbia rivelato l’esistenza di molti dipartimenti e centri di ricerca in cui più del 30% delle persone sono scientificamente inattive o producono ricerca di qualità infima. Dato che rimane l’ambiguità sul significato dell’espressione “al di sopra di standard minimi“, consideriamo due possibili intepretazioni.

La prima interpretazione, che chiameremo Ipotesi A, è che una pubblicazione scientifica sia considerata al di sopra di standard minimi se rientra tra quelle valutabili senza penalizzazioni nell’ambito della VQR. È un’interpretazione che ha una sua ragionevolezza: se più del 30% delle persone non producono nemmeno una pubblicazione scientifica nell’arco di sette anni, quel dipartimento ha sicuramente dei problemi. La domanda sollevata dai Bocconi boys fa pensare che la situazione sia seria. Verifichiamolo.

Se andiamo ad esaminare i Rapporti finali della VQR ci rendiamo conto che accanto ai nomi dei dipartimenti non è riportata la percentuale di persone inattive. Questa percentuale è invece resa disponibile area per area in relazione ad ogni ateneo. A seconda dei casi, l’insieme di persone considerate potrebbe coincidere con un dipartimento (per es. in alcun atenei il dipartimento di Matematica potrebbe includere tutti e soli i docenti e ricercatori di Area 1), mentre in altri casi l’insieme potrebbe essere più largo o più piccolo di un dipartimento. Ai fini di una ricognizione generale sul grado di inattività, questa limitazione non sembra però essere decisiva. Per le aree 7, 8 e 12, l’informazione sui soggetti inattivi non sembra essere direttamente disponibile e, nei limiti del possibile, deve essere ricostruita in base alla percentuale di prodotti mancanti e penalizzati.

Scendendo nel dettaglio, l’ANVUR distingue tra 3+1 gradi di inattività

• Non attivi: non hanno presentato alcun lavoro
• Parzialmente attivi: hanno presentato un numero superiore alla metà ma non tutti i lavori
• Parzialmente inattivi: hanno presentato al più la metà dei lavori attesi
• Non pienamente attivi: la somma dei tre precedenti

Seguendo l’ANVUR, consideriamo due indicatori: la percentuale di soggetti non atttivi (inattività completa) e la percentuale di soggetti “non pienamente attivi”.

Per le aree 7, 8 e 12, il numero di strutture con una percentuale di “non attivi” superiore al 30% (penultima colonna) è stimato in base alla somma delle percentuali di prodotti non conferiti e penalizzati. Per le stesse aree, il numero di strutture con una percentuale di “non pienamente attivi” superiore al 30% (ultima colonna)  è indicato come “non disponibile” (n.d.).

Nella Tabella 1, viene riportato, per ogni Area CUN, il numero di strutture (atenei o enti di ricerca) in cui pìù del 30% delle persone sono non attive (penultima colonna) oppure non pienamente attive (ultima colonna). Come si può vedere, sono numeri estremamente limitati. Se anche si staccasse la spina, i conseguenti risparmi non appaiono in grado di restituire risorse significative.

2. La linea dura: nessuna pietà per i mediocri

Che i Bocconi boys si siano persi in mezzo al labirinto delle pagelle VQR? Non sarebbe una novità. Nemmeno due settimane fa, Tito Boeri, intervistato da Bruno Vespa, era inciampato sui numeri parlando di soli 15.000 prodotti valutati invece di 184.878 e imputando al CNR un 30% di inattivi, privo di riscontri nei rapporti ufficiali. Però, prima di deplorare la scarsa attenzione ai numeri da parte dei Bocconi Boys concediamo loro una seconda possibilità e formuliamo un’Ipotesi B.

Può darsi che i loro standard meritocratici siano così elevati che non basta presentare alla VQR dei lavori validi per poter dire di pubblicare al di sopra di standard minimi, ma è necessario che questi lavori ricevano un punteggio strettamente maggiore di zero. Infatti, nella VQR, una volta messi da parte i prodotti mancanti e quelli penalizzati per irregolarità di vario genere,  ai prodotti valutabili vengono attribuiti quattro possibili punteggi (Rapporto Finale ANVUR – Parte I, p. 21):

• Eccellente: la pubblicazione si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale (peso 1);
• Buono: la pubblicazione si colloca nel segmento 60% – 80% (peso 0.8);
• Accettabile: la pubblicazione si colloca nel segmento 50% – 60% (peso 0.5);
• Limitato: la pubblicazione si colloca nel 50% inferiore (peso 0);

A prima vista, sembra ragionevole affermare che chi ottiene zero punti, ovvero non presenta nessun lavoro che sia almeno “Accettabile” abbia una produzione scientifica collocabile “al di sotto di standard minimi”. In realtà, questa equivalenza non è così scontata per almeno due ragioni.

In primo luogo, la definizione di “Limitato” comprende tutti i prodotti che si collocano nella metà inferiore della produzione mondiale rispetto ad un’ipotetica scala di valore condivisa dalla comunità scientifica internazionale. Pertanto, considerare “al di sotto di standard minimi” tutto ciò che sta al di sotto della categoria “A” equivale ad affermare che metà della produzione mondiale si colloca al di sotto di standard minimi. Un’opzione legittima, ma severa.

In secondo luogo è la stessa ANVUR a non ritenere affidabili le linee di demarcazione tra i giudizi E, B, A, L, al punto da sconsigliare decisamente le comparazioni tra diverse aree scientifiche:

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina. Rapporto Finale ANVUR – Parte I, p. 7

Un “Accettabile” per i Fisici potrebbe valere di più o di meno di un “Accettabile” per le Scienze Economiche e Sociali. Dato che i voti dell’Area 13 (Scienze Economiche e Sociali) sono sensibilmente i più bassi di tutta la VQR, non si può escludere che in tale area anche più del 50% della produzione mondiale sarebbe catalogato nella categoria “L“.

Ma l’autentica meritocrazia non si perde in simili quisquilie e preferisce guardare verso l’alto, piuttosto che attardarsi nei bassifondi. Pur consapevoli che questa “linea dura” potrebbe essere fuorviante, proviamo a stare al gioco e diamo per buona questa seconda definizione di “standard minimo”. Sfogliando i Rapporti finali di area della VQR è possibile trovare la percentuale di prodotti “Limitati” e “Penalizzati”. Il loro numero è particolarmente elevato nell’Area 13, dove la Tab. 4.7b. mostra che la Bocconi – pur occupando un onorevole sesto posto – si vede attribuita una percentuale superiore al 33% di prodotti “al di sotto di standard minimi”.

Se esaminiamo i dati disaggregati (Tab. 4.10a.), ci sono due dipartimenti della Bocconi che hanno più del 50% dei prodotti VQR sotto standard minimi. Sono dei dati preoccupanti. È vero che andrebbero posti nel contesto dell’Area 13 in cui la valutazione ha assegnato punteggi sensibilmente più bassi della media, ma una volta accettata l’Ipotesi B si dà per scontato che i prodotti limitati si collocano sotto gli standard minimi. «È la meritocrazia, bellezza» direbbe Humphrey Bogart.

Se però prendiamo alla lettera i Bocconi boys, più che guardare alle percentuali di cartaccia, dobbiamo andare alla caccia dei dipartimenti in cui più del 30% delle persone non hanno presentato prodotti almeno “Accettabili”.

Questo dato è reperibile nella Tab. 4.15 del Rapporto finale di Area 13. Nessuna sorpresa che – adottando questo metro draconiano – in giro per l’Italia vi siano molti dipartimenti che rischierebbero la chiusura. Più sorprendente invece di trovare in questa scomoda condizione ben due dipartimenti della Bocconi.

Cosa ci attende lunedì 9 dicembre? Un’autodenuncia di inefficienza sottoscritta dalle massime autorità accademiche della Bocconi di fronte al ministro e agli organi di stampa? È tradizione più che consolidata invitare il governante di turno per allungare la mano e concordare misure a proprio favore. Un’autodenuncia sarebbe una svolta senza precedenti.

3. È giusto tenere in vita la Bocconi?

L’impeto distruttore dei Bocconi boys evoca darwinistiche lotte per la sopravvivenza accademica, destinate a “rafforzare gli istituti che hanno maggiori potenzialità”. Se però si brandiscono numeri che non trovano riscontro nei rapporti ufficiali, sorge qualche dubbio sulla fondatezza delle diagnosi. Un figura ancora peggiore sarebbe quella di chi invoca la chiusura dei dipartimenti altrui, senza accorgersi che sta chiedendo la chiusura  di due dipartimenti della sua stessa università.

Paradossalmente, i nostri lettori potrebbero chiedersi se sia giusto tenere in vita un ateneo i cui maîtres à penser sono così prodighi di ricette dispensate a cuor leggero.

Domandiamocelo: è giusto tenere in vita la Bocconi?

Forse sì.

Ultimamente, le prospettive dell’università italiana sono così deprimenti che persino un sorriso – seppur passeggero – non ha prezzo.

Beh,  a dire il vero, un prezzo c’è. Sebbene Alesina e Giavazzi sostengano che

la Bocconi non riceve sussidi pubblici

Roars ha mostrato che nel 2012 lo stato italiano ha finanziato la Bocconi per quasi 15 milioni di euro (14.945.741 Euro, per la precisione), cui vanno aggiunti contributi regionali non noti ma di entità presumibilmente paragonabile (per esempio, secondo il Corriere nel 2009 il totale di contributi statali e regionali ammmontava a 32 milioni).

Al Convegno su “Cosa distruggere” è stato invitato anche il Ministro Carrozza, che, sfoderando un sorriso a metà tra l’enigmatico e il beffardo, potrebbe cogliere la palla al balzo:

Sapete bene che non so più dove andare a recuperare i soldi per premiare il merito. Se proprio insistete, prendo sul serio la linea dura. Tagliamo il finanziamento statale alla Bocconi, se non tutto, almeno quello relativo ai dipartimenti dove più del 30% delle persone non fanno ricerca al di sopra di standard minimi. Non so come ringraziarvi. State dando un grande esempio di coerenza meritocratica.

P.S. Se fossimo nei panni del Magnifico Rettore della Bocconi metteremmo un veto ai cultori della “valutazione fai-da-te”: «D’ora in poi è vietato parlare a vanvera di valutazione. Prima di invocare distruzioni e chiusure per i dipartimenti che non raggiungono la sufficienza, abbiate l’accortezza di controllare le pagelle dell’ateneo che vi paga lo stipendio. Business is business».