Rettori, direttori di dipartimento e colleghi sono in fibrillazione perché è partita una gara tra i dipartimenti universitari “eccellenti”. In palio, 1,3 miliardi euro, ripartiti in tranche da 271 milioni di Euro annui per cinque anni. I dipartimenti vincitori riceveranno tra 1,1 e 1,6 milioni di euro annui più altri 250mila per le “scienze dure”. Abbiamo provato a simulare i torneo fino alla determinazione dei 180 vincitori (vedi Appendice). I dipartimenti del Centro-Nord si aggiudicheranno l’87% delle risorse pari a quasi 1,2 miliardi in cinque anni; al Sud ed Isole resterà il 13%, cioè complessivamente circa 180 milioni in cinque anni. Per avere una idea della sperequazione, basti pensare che le università del Sud e Isole rappresentano il 31% del corpo docente e che la quota percentuale di finanziamento premiale sarà meno della metà. Il combinato disposto di costo standard (incostituzionale) e premialità FFO ha già drenato risorse dagli atenei del Sud agli atenei del Nord, ma qualcuno dei Renzi’s boys ha pensato che era bene accelerare il drenaggio. Come? Dando un sacco di soldi ad una minoranza di dipartimenti “eccellenti” e sottraendo risorse agli altri. Perché, non è male ricordarlo: a meno di stanziamenti aggiuntivi nella prossima legge di stabilità, i soldi saranno sottratti al Fondo di Finanziamento Ordinario.

1. Pronti, attenti, via!

Rettori, direttori di dipartimento e colleghi sono in fibrillazione perché per gli atenei italiani è partita una gara tra i dipartimenti universitari “eccellenti”. La gara, prevista dalla legge di stabilità 2017, assegna premi per complessivi 1,3 miliardi euro, ripartiti in tranche da 271 milioni di Euro annui per cinque anni. I dipartimenti vincitori riceveranno un premio non indifferente (tra 1,1 e 1,6 milioni di € annui più 250mila € per le “scienze dure”). Gli atenei sono in fibrillazione, perché per un dipartimento vincere la gara significa assicurarsi risorse che non ha mai visto nella sua storia. È infatti la prima volta che il premio non va all’ateneo, ma direttamente ad un dipartimento che potrà usare questi soldi per chiamare ricercatori dall’esterno, per premiare con salti di carriera i propri ricercatori e per fare ricerca. I dipartimenti perdenti saranno costretti a tentare di sopravvivere fino alla prossima gara. I dipartimenti vincenti potranno attrarre dai perdenti i loro migliori ricercatori promettendo carriera e risorse, rafforzandosi in prospettiva proprio a spese dei perdenti. I ludi dipartimentali, come li ha chiamati Umberto Izzo, metteranno in moto il ben noto “effetto San Matteo”: i dipartimenti ricchi diventeranno sempre più ricchi e quelli poveri si impoveriranno alcuni verosimilmente fino alla consunzione. Che significa riduzione selettiva dei corsi di laurea indipendentemente dalla loro qualità e dalla domanda di istruzione.

Come i lettori di Roars sanno, la gara tra dipartimenti avviene in due fasi.

Nella prima fase, già svoltasi a porte chiuse, nel senso che sono stati pubblicati risultati che nessuno può verificare perché non sono disponibili i dati, il MIUR ha selezionato 350 dipartimenti “quasi eccellenti” tra i circa 800 dipartimenti italiani.

Su che base sono stati selezionati i 350 “quasi eccellenti”? Sulla base dei dati della VQR. I colleghi più attenti, quelli che in questi anni hanno sviluppato maggiore “cultura della valutazione” sobbalzeranno sulla sedia:

“Ma come? Ma l’ANVUR non si è raccomandata di non usare i dati della VQR per fare confronti tra aree diverse e fra strutture appartenti ad aree diverse?”

2. Comparazioni tra aree diverse? Impossibile, anzi no

Alcuni forse ricorderanno anche che proprio l’ANVUR ha scritto addirittura nella premessa del rapporto finale VQR:

Tra le finalità della VQR non compare il confronto della qualità della ricerca tra aree scientifiche diverse. Lo sconsigliano i parametri di giudizio e le metodologie diverse di valutazione delle comunità scientifiche all’interno di ciascuna area (ad esempio l’uso prevalente della bibliometria in alcune Aree e della peer review in altre), che dipendono da fattori quali la diffusione e i riferimenti prevalentemente nazionali o internazionali delle discipline, le diverse culture della valutazione, in particolare la diversa percezione delle caratteristiche che rendono “eccellente” o “limitato” un lavoro scientifico nelle varie aree del sapere e, infine, la variabilità tra le Aree della tendenza, anche involontaria, a indulgere a valutazioni più elevate per migliorare la posizione della propria disciplina. Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse.

Ciò significa che sulla base della VQR si possono confrontare due dipartimenti di medicina, ma non si possono comparare un dipartimento di medicina ed un dipartimento di filosofia. Come è quindi possibile fare una classifica che metta in fila dipartimenti di 14 aree diverse sulla base di dati che non lo permettono? A questo punto diventa chiaro il senso della frase in burocratese aggiunta da ANVUR in calce alla citazione precedente: fare graduatorie di merito tra aree sulla base dei dati VQR è

un esercizio che richiede l’utilizzo di differenti metodologie di standardizzazione (così come richiesto per esempio dall’articolo 1, comma 319, della legge di bilancio 2017).

L’articolo di legge citato è proprio quello che istituisce i ludi dipartimentali e la metodologia di standardizzazione è quella della complicata formula magica inserita nel documento di accompagnamento pubblicato dal MIUR. Accolta con un misto di rassegnazione, scetticismo e ilarità, la formula sarebbe infatti in grado di trasformare il piombo in oro, sarebbe cioè in grado di trasformare dati sporchi e inadatti in una classifica “oggettiva” in cui, per magia, non solo i medici possono essere confrontati con i filosofi. Chi ha messo a punto la formula? Forse non tutti ricorderanno che tale formula è stata sviluppata dal Prof. Giacomo Poggi dell’università di Firenze, che l’ha pubblicata e ripubblicata in libri, articoli, rapporti. Una formula che ha avuto l’endorsement non certo della comunità scientifica di riferimento, ma della controparte politica di riferimento: cioè la CRUI.

3. It’s a kind of magic

Eppure, la magia di Poggi era alquanto bizzarra. All’epoca l’avevamo sperimentata per mettere a confronto i Fisici di Brescia (voto VQR 2004-2010 medio 0.93, terzi in Italia) con i medici dello stesso ateneo (voto medio 0.64, 13-esimi in Italia). Un colpo di formula magica ed ecco i valori assunti da ISPD, l’Indicatore Standardizzato di Performance Dipartimentale, su cui si basa la classifica dei dipartimenti eccellenti:

  • Fisici di Brescia: ISPD = 90,1
  • Medici di Brescia: ISPD = 99,9.

Con le alchimie della formula magica, per i fisici di Brescia non c’era verso di battere i colleghi medici, dopati dalla standardizzazione di Poggi. Non sarebbe bastato neppure un dipartimento di Premi Nobel capace fare l’en plein dei voti VQR.

Ma non è finita qui. La superformula offre ascensori del tutto particolari per volare nell’empireo dell’eccellenza. Se i Dipartimenti di Matematica e di Fisica di Trento (entrambi con ISPD = 92) avessero avuto la preveggenza di fondersi in un unico dipartimento di Matematica e Fisica l’ISPD sarebbe schizzato a 98 proiettandoli in zona premi. Alcuni dipartimenti godono addirittura del “tocco di Re Mida”: se il Dipartimento di Scienze Politiche di Roma Tre (ISPD = 95) si fondesse con quello di Giurisprudenza dello stesso ateneo (ISPD = 86) il punteggio del risultante Dipartimento di Scienze Politiche e Giuridiche, invece di scendere sotto 95 sale fino a 97. Sono ascensori che permettono di salire ai piani alti senza alcun miglioramento della qualità della ricerca ma solo attraverso un accorto gioco di fusioni dipartimentali.

Se si pensa che i dipartimenti attuali possono essere considerati la fusione dei diversi SSD che li compongono, cosa premia la classifica dei magnifici 350? Il merito (qualsiasi cosa possa significare) oppure quei particolari cocktail di SSD che hanno fatto scattare l’effetto Re Mida e/o hanno avuto la fortuna di avere voti dopati dalla standardizzazione Poggi?

4. Una VQR dai piedi di argilla

Va da sé che la formula magica, oltre ad avere i suoi problemi, non attenua minimamente gli errori che rendono i dati VQR fragilissimi. Ne abbiamo parlato più volte su Roars, ma forse è il caso di ricordarlo di nuovo.

  1. Nella aree bibliometriche la VQR adotta un metodo di valutazione duale: in parte bibliometrico, in parte fondato sulla peer review. I due metodi danno risultati di valutazione diversi. Tanto maggiore la quota di peer review, tanto più bassa la valutazione. Quindi, per ogni dipartimento i risultati di sintesi della valutazione dipendono dalla quantità di prodotti che sono valutati in peer review. E questo non ha nulla a che vedere con la qualità della ricerca prodotta.
  2. Nella aree bibliometriche è stata usata una metodologia di valutazione, le cravatte bibliometriche, metodologicamente errata. Essa non solo induce distorsioni non controllabili sui dati, ma ha anche una capacità di individuare la performance in termini di impatto della ricerca che è molto inferiore al semplice conteggio delle citazioni.
  3. La VQR è uno strumento pensato per un certo obiettivo, ma lo si usa per fare altro. Se n’era accorto il matematico Giuseppe Mingione: se uno ha in mente di valutare l’eccellenza di un dipartimento non può certo limitarsi a guardare 2 prodotti per ogni ricercatore (pardon, addetto alla ricerca). Uno star scientist, circondato in dipartimento da qualche strutturato “mediocre” o “scarso”, sarà completamente invisibile nella VQR. Semplicemente perché il disegno dell’esercizio VQR non è pensato per individuare e premiare l’eccellenza. Come è possibile dunque individuare i dipartimenti “eccellenti” sulla base di dati che non individuano l’”eccellenza”? Ci vorrebbero far credere che i poteri magici della formula sanano anche questo vizio di fondo.

Riassumendo: la formula di ANVUR-MIUR dovrebbe avere lo straordinario potere di trasformare il piombo in oro, di trasformare cioè dati sporchi, distorti ed inadatti in una classifica “oggettiva” da cui emergono 350 dipartimenti “quasi eccellenti”.

5. Specchio delle mie brame chi è il più eccellente del reame?

Nella seconda fase della gara i 350 “quasi eccellenti” si contenderanno i 180 premi a disposizione. Le regole bizantine della gara sono pressoché inaccessibili ai profani. C’è una commissione nominata dalla ministra Fedeli, il cui presidente è la Rettrice di una università privata, la LUISS. Ma i giochi sono in gran parte già fatti, perché le regole limitano il potere di intervento della commissione stessa, dato che la vittoria finale dipende da

un punteggio da 1 a 100, di cui 70 punti sono attribuiti in base all’ISPD del singolo dipartimento e 30 punti sono attribuiti in base al progetto dipartimentale di sviluppo

La seconda parte della gara avverrà in 14 gironi. Uno per ogni area CUN. Il MIUR ha stabilito, dopo aver visto le classifiche ed i risultati, quanti premi assegnare a ciascuna area. Questa scelta è tipicamente un atto di discrezionalità politica: fissando il numero di premi per area si definisce di fatto i fondi da assegnare a ciascuna area. Chissà chi nel ministero avrà deciso che solo 7 dipartimenti di fisica possono essere eccellenti contro i 18 di scienze economiche, e chissà perché avrà deciso così e non viceversa. E chissà che questo atto ministeriale non risulti applicare una previsione di legge suscettibile di essere dichiarata incostituzionale, come è successo nel caso del costo standard (si pensi alla recente sentenza che ha dichiarato incostituzionale le norme che descrivevano questo parametro di distribuzione delle risorse).

Le altre regole della gara prevedono che in ogni ateneo il miglior dipartimento, il campione di ateneo, dovrà essere finanziato, e che non potranno essere finanziati più di 15 dipartimenti per ateneo. Sulla base di queste regole bizantine è possibile simulare i risultati finali della gara.

6. Al Centro-Nord 87% dei fondi. De profundis per Sud e Isole

Il primo dato degno di nota è che le previsioni fatte da Redazione Roars a novembre sono perfettamente rispettate. I ludi dipartimentali si risolveranno nell’ennesimo distribuzione di risorse sperequata tra centro-nord e sud del paese.

Abbiamo provato a simulare i torneo fino alla determinazione dei 180 vincitori (vedi Appendice) . I dipartimenti del Centro-Nord si aggiudicheranno l’87% delle risorse pari a quasi 1,2 miliardi di € in cinque anni; al Sud ed Isole resterà il 13%, cioè complessivamente circa 180 milioni in cinque anni. Per avere una idea della sperequazione della distribuzione dei finanziamenti basti pensare che le università del Sud e Isole rappresentano il 31% del corpo docente, e che quindi la quota di finanziamento premiale sarà meno della metà rispetto al peso di Sud e isole in termini di docenti.

Difficile d’altra parte che potesse accadere altrimenti. I dati VQR sono già usati a fini premiali nella distribuzione del Fondo di Finanziamento Ordinario. Il combinato disposto di costo standard (incostituzionale) e premialità FFO ha drenato risorse dagli atenei del Sud agli atenei del Nord. Qualcuno deve aver pensato che quello spostamento di risorse era troppo lento. Abbiamo abbondantemente illustrato che la parte legata alla qualità dell’FFO premiale, malgrado i roboanti proclami, è di entità trascurabile: un gin tonic fatto al 93% di acqua tonica (distribuzione di fondi proporzionale alla numerosità degli atenei), e 7% di gin (risultati VQR). Qualcuno dei Renzi’s boys deve essersene accorto, ed ha pensato bene di rincarare la dose: differenziare ancora di più, esasperando la competizione. Dare tanti, ma tanti, soldi ad un piccolo numero di dipartimenti eccellenti, sottraendo risorse agli altri. Perché, ricordiamocelo: a meno di stanziamenti aggiuntivi nella prossima legge di stabilità, i soldi saranno sottratti all’FFO.

La gara tra dipartimenti è un banco di prova importante per le università. Vedremo se i rettori preferiranno dichiarare la propria soddisfazione per le briciole che riusciranno ciascuno a raccogliere per il proprio ateneo. O se qualcuno tenterà di bloccare la gara per via giudiziaria seguendo l’esempio del rettore di Macerata che, con coraggiosa determinazione e in uno splendido isolamento fra i suoi colleghi della CRUI, ha da solo abbattuto il costo standard.

___________________

APPENDICE: Classifica dei Dipartimenti di eccellenza

A partire dai dati pubblicati dal MIUR, abbiamo costruito una proiezione delle possibili classifiche nelle 14 aree, seguendo le procedure del bando, come avevamo già fatto (basandoci però sui dati VQR 2004-2010) nel post dello scorso novembre a cui rimandiamo per i dettagli tecnici.

Purtroppo, i dati pubblicati da ANVUR sono lacunosi sotto diversi aspetti. La mancanza dei valori decimali dell’indicatore ISPD dà luogo a numerosi ex aequo, che trovate segnalati nella tabella sottostante.

Al fine di calcolare la ripartizione geografica dei finanziamenti gli ex aequo sono stati risolti utilizzando l’ordinamento fornito da ANVUR, che non è detto rispecchi fedelmente reale ordinamento dei dipartimenti.

Nella terza colonna vengono segnalati i Local Champs, ovvero i campioni di ateneo, che – previa positiva valutazione del loro progetto da parte dei sette arbitri – passeranno direttamente all’incasso del lauto premio. Vengono invece segnalati come “Out >15” quei dipartimenti che vengono subito eliminati, perché ci collocano oltre la 15-esima posizione nella classifica interna al loro ateneo.

 

 

Print Friendly, PDF & Email

31 Commenti

  1. Naturalmente, questa ipotesi di classifica non tiene conto del “peso” attribuito ai progetti (30%). Io credo imvece che tale “progetto” (tradotto in italiano comprensibile: i rapporti di forza politici) avrà un peso notevole, e potrebbe cambiare anche di molto la classificazione. Inoltre scrivete: “gli ex aequo sono stati risolti utilizzando l’ordinamento fornito da ANVUR, che non è detto rispecchi fedelmente reale ordinamento dei dipartimenti”. Più che non rispecchiare fedelmente, per gli ex aequo la graduatoria anvur fa ricorso al semplice criterio dell’ordine alfabetico degli atenei; dunque gli ex aequo vanno interpretati come tali, e la classificazione interna non ha alcun valore.

    • Non tutto è in ordine alfabetico, ma spesso sembra esserlo. Come al solito, la trasparenza lascia a desiderare, anche perché gli ISPD sono dei “percentili” ottenuti trasformando (tramite integrale) il voto standardizzato VS_d. Dietro la sfilza di ISPD=100 stanno degli VS_d molto ma molto diversi tra loro. Noi lo avevamo visto lo scorso novembre quando avevamo simulato la classifica in base alla VQR 2004-2010. Anche la sola scelta del numero di decimali (in questo caso la decisione è stata di andare con passo 0.5) serve a mettere sullo stesso piano dipartimenti che non lo sono affatto (sempre secondo il voto standardizzato di Poggi). Se venissero resi noti i valori di VS_d (o anche solo le prime tre-quattro cifre di ISPD) sarebbe ancora più chiaro che l’algoritmo di valutazione non ha senso.

  4. Mi sembra un’analisi un po’ incerta allo stato attuale. Se non è chiaro come sono stati ordinati i Dipartimenti, e non lo è nella graduatoria ANVUR, come si può attribuire un significato all’ordine consecutivo? l’esempio evidente è quello del caso in cui ci sono più di 15 Dipartimenti ex-aequo (Padova, tutti al primo posto con ISPD=100) come si può decidere chi è out>15? L’ordine è in parte alfabetico, in parte no, ma all’interno della stessa area non rispetta sicurmante l’ordine dei risultati VQR (anzi direi che è esattamente inverso a quello delle tabelle VQR).

    • “all’interno della stessa area non rispetta sicurmante l’ordine dei risultati VQR (anzi direi che è esattamente inverso a quello delle tabelle VQR).”
      __________________
      Per come funziona il calcolo di ISPD, non è detto che venga rispettata la classifica dei voti medi VQR. A parte il gioco delle normalizzazioni per SSD (con distorsioni variabili da SSD a SSD), si pensi all’effetto Re Mida che è stato illustrato in un precedente post:
      https://www.roars.it/volete-scalare-la-classifica-dei-dipartimenti-eccellenti-il-trucco-sta-in-un-parallelogramma/
      ___________________
      In ogni caso è scandalosa la mancanza di trasparenza: con buona sicurezza si può affermare che non esistono due dipartimenti italiani con lo stesso ISPD. Se invece di fermarsi ai multipli di 0,5 venissero forniti i decimali, avremmo subito una classifica non ambigua. Inoltre, l’integrale che definisce ISPD dipende da VS_d ma tende a schiacciare i valori, soprattutto quelli alti. Dietro i 119 dipartimenti con ISPD=100 ci sono voti standardizzati VS_d molto diversi da loro che però non vengono rivelati.
      Fino a quando questi dati non vengono rivelati, non possiamo che usare gli ordinamenti forniti da MIUR/ANVUR. Se non vi convincono, rivolgetevi alla Ministra. Lo ripeto: non esistono ex-aequo, i veri ISPD sono tutti diversi tra loro.

  5. perché nelle classifiche di area ci sono dei dipartimenti che hanno 0 (quindi non hanno diritto al premio) pur non essendo out>15 ed essendo collocati (nella graduatoria globale) prima di altri dipartimenti che hanno invece diritto al premio?

    • credo che il problema sollevato da liannelli sia quello dei dipartimenti che risultano vincitori pur essendo indietro in classifica: sono “local champ”, ossia i dipartimenti che, per i rispettivi atenei, sono collocati più in alto in graduatoria. se un dipartimento è 300simo in graduatoria, ma è magari l’unico dipartimento di quell’ateneo presente in classifica, concorre per il finanziamento come “local champ”, superando quelli ‘piazzati’ meglio (molto meglio, in qualche caso) di lui nella sua area. paradossale almeno in apparenza, ma è l’unica norma di “salvaguardia” prevista dal bando per gli atenei messi peggio in graduatoria.

    • Esatto, proprio a quello facevo riferimento!! Quindi se capisco c’è una clausola di salvaguardia che rende i Local Champion una specie di jolly poiché in linea di principio le loro decisioni potrebbero mutare la distribuzione dei premi…mah…

    • A me sono sempre piaciuti i giochi di carte con il Jolly. Che comunque era assolutamente necessario per la “tenuta politica” del provvedimento. Infatti, è il modo per avere un cavallo di Troia (“T” maiuscola) in (quasi) ogni ateneo. Un numero consistente di atenei “a secco” avrebbe potuto coalizzarsi in sede CRUI o altrove. Così, invece, ci sono atenei che vengono bastonati (il loro FFO complessivo calerà), ma con un dipartimento “miracolato” che si appunterà sul petto la medaglia dell’eccellenza e, soprattutto, che farà da freno ad ogni iniziativa per mettere in discussione la sgangherata competizione.

  6. Sù, non demoralizzatevi! Uno ce la farà sicuramente, non dipartimento, collega:

    Paleari, un professore in Alitalia. Il docente porta la sua esperienza accademica in Alitalia e il suo passato come consulente di Sea e Sacbo [cosa saranno? Boh]. Ex presidente della Conferenza dei Rettori italiani (dal 2013 al 2015) è stato anche scelto per guidare il comitato per Human Technopole di prossima costituzione per l’area post Expo.
    http://www.repubblica.it/economia/finanza/2017/05/02/news/paleari_un_professore_in_alitalia-164464967/
    ————————————————
    Si annunciano compensi milionari ai commissari Alitalia Paleari, Gubitosi e Laghi
    http://www.bergamonews.it/2017/05/04/si-annunciano-compensi-milionari-ai-commissari-alitalia-paleari-gubitosi-e-laghi/253206/

  7. Sappiamo che Poggi segue Roars. A maggior ragione sarà incuriosito dai commenti sulla sua “grande idea”. Sarebbe interessante leggere i suoi commenti sui terribili paradossi ingenerati dal suo “dipartimento virtuale”. Comparirà?

  8. Come imparare a migliorare, singolarmente? Meditare su ogni parola.

    COME PUBBLICARE UN’OPERA SCIENTIFICA, UN WORKSHOP

    “…. La …. ha organizzato un workshop dal titolo “Come pubblicare un’opera scientifica” in collaborazione con l’editore Elsevier dedicato al processo di scrittura, revisione e pubblicazione di un lavoro scientifico, con un focus sulle scelte editoriali più strategiche.

    Considerato l’elevato interesse per l’argomento e al fine di favorire la più ampia partecipazione, il workshop, articolato in una sessione di tre ore e tenuto in lingua inglese, sarà proposto in due distinti appuntamenti in orari e sedi ….”

  9. Eh, però, la si fa troppo “matematica”… :-)
    Non dimentichiamo che le scelte vere e proprie, con una certa discrezionalità, saranno fatte da una seria Commissione scientifica impermeabile alla politica, presieduta da… da…

    un ex ministro (http://www.dagospia.com/rubrica-3/politica/conflitto-interessi-governo-conflitti-interessi-paola-32220.htm)?
    ahem no, sbagliavo, da una persona di fiducia della Marcegaglia e Rettrice di una università non statale (http://www.luiss.it/news/2016/10/03/paola-severino-nominata-rettore-della-luiss-fino-al-2018)?
    ahem, sbaglio ancora, volevo dire dall’avvocato della Boschi scelto il 10 maggio 2017 per la questione De Bortoli (http://www.ansa.it/sito/notizie/politica/2017/05/10/banche-boschi-incarica-due-avvocati_d380ae0e-408b-4ced-a08b-93fabc5ce614.html)?
    ops, non ci azzecco mai, scusate, è una giornataccia, in realtà volevo dire (ecco, sì, questo è giusto) dalla prof. Ordinaria Paola Severino, individuata il 12 maggio 2017 dal governo/ministero per questo ruolo così delicato (http://hubmiur.pubblica.istruzione.it/web/ministero/cs120517).

    E davvero qualcuno potrebbe avere qualcosa da ridire su un Presidente di Commissione così palesemente impermeabile a qualsiasi interesse esterno e/o alla politica? Va bene che su ROARS ci sono molti a cui non va bene mai niente delle geniali mosse dell’anvur e ministero, ma non credo possiate arrivare a tanto! Pare una scelta molto chiara sulla seria direzione che si vuole intraprendere, no? Magari funzionerà così anche sulle cattedre Natta, possibilmente in concordia con l’occhio severo di qualche vertice universitario primaveroso in attesa di posti più elevati (e remunerati, che però non capitano tutti i giorni… A,L’ITALIA… ).

  10. Segnalo che oggi dovrebbe aver avuto luogo il seminario di Giacomo Poggi:

    Aula Magna del Dipartimento di Fisica ed Astronomia
    Martedi 6 Giugno 2017 ore 14.30

    Il Teorema del Limite Centrale e l’art. 1, c. 314-337, Legge 232/2016
    Giacomo Poggi

    Abstract: La legge di stabilità 2017 ha previsto la identificazione di 350 “dipartimenti eccellenti” del sistema universitario nazionale, utilizzando un indicatore standardizzato da definire da parte l’ANVUR sulla base dei risultati della VQR 2011-2014.
    Ai primi di maggio è uscito l’elenco di questi dipartimenti, ordinato mediante l’indicatore definito al tempo della VQR 2004-2010 dalla Commissione ricerca della CRUI e fatto proprio dall’ANVUR.
    Il seminario illustra i criteri che hanno portato alla definizione di tale indicatore, soffermandosi sugli aspetti matematici che –sorprendendo molti- si basano fra l’altro sulla applicazione del Teorema del Limite Centrale. La solidità o meno dell’approccio è sottoposta a verifica mediante simulazioni Montecarlo.
    Sarà gradita una discussione aperta e critica all’indicatore, cercando, se possibile, di separare, ma non per questo escludere nessuna delle due, la parte “tecnica” che riguarda l’indicatore da quella “politica” attinente alla VQR, al provvedimento legislativo e alle sue conseguenze.

    • “La solidità o meno dell’approccio è sottoposta a verifica mediante simulazioni Montecarlo.”
      ______________
      Poggi ha calcolato la varianza della somma di variabili casuali come se fosse uguale alla somma delle varianze delle singole variabili, un comune errore di statistica. Anche gli studenti dei primi anni sanno che ciò non è corretto quando le variabili sono correlate. Un errore grossolano, evidenziato da questo grafico pubblicato nel 2014, dove viene confrontato il “metodo Poggi” con un calcolo che tiene invece conto del fatto che le variabili in gioco sono correlate (modello “Pozza di Fassa” perché il facile calcolo era stato fatto durante un pomeriggio di pioggia in montagna). L’indicatore ISPD, se fosse veramente standardizzato, dovrebbe produrre un grafico che si sovrappone con la curva teorica in rosso, cosa che evidentemente non accade.


      Naturalmente, sull’argomento esisteva una letteratura scientifica e bastava leggerla, ma nello spirito della “bibliometria fai-da-te”, senza conoscere la materia e senza svolgere quel minimo di ricerca bibliografica che viene richiesta all’ultimo dei nostri studenti, ci si inventa una metodologia inedita che non regge nemmeno alla verifica più semplice (bastava controllare se davvero viene fuori una curva gaussiana standard).

    • Sembra che il governo quando deve assegnare una consulenza la assegni rigorosamente al più incompetente.
      Credo che il motivo risieda nel fatto che per avere consulenze bisogna innanzitutto avere conoscenze negli ambienti ‘giusti’.
      Questo è vero dappertutto, ma la cosa singolare è che in questo paese c’è qualcosa di misterioso che impedisce agli ambienti giusti di conoscere le persone competenti….

    • Io trovo un Poggi ordinario di Fisica Sperimentale, e suppongo sarebbe necessaria una buona conoscenza della statistica, per fare quel lavoro…

    • X franco: azzardo una risposta. Il ‘fisico sperimentale’ in realtà non fa più quel lavoro…
      Lo fece (passato remoto), ma è passato così tanto tempo che ha dimenticato molti dettagli. Chi lo chiama per una consulenza è un politico che è più attratto da cose tipo ‘finanziamenti che ottiene’, numero di persone del gruppo di ricerca di cui è a capo, che non da una competenza scientifica che non saprebbe nemmeno riconoscere. Ma essere a capo di 100 dottorandi, significa ESATTAMENTE : aver dimenticato cose tipo ‘la somma delle varianze è diversa dalla varianza della somma’ che oramai per lui sono roba da ‘inferiori’ (dottorandi etc.).
      In sostanza, per avere consulenze bisogna pensare giorno e notte a come ottenere consulenze, e non a problemi scientifici. Non so se mi spiego.

    • @Franco: Anche nel campo della sperimentazione medica sarebbe necessaria una buona conoscenza della statistica per fare quel lavoro. Una volta usciti dal proprio ambito, bisognerebbe evitare gli approcci “fai-da-te”.
      Mi piacerebbe poi sapere come si giustificano i ripescaggi dei “Local Champ” grazie al Teorema del Limite Centrale e l’approccio MonteCarlo.
      Infine, di fronte all’Ateneo di Bologna che presenta 28 Dipartimenti su 33 in corsa per il premio, bisognerebbe poi valutare la responsabilità che derivano dall’assegnare potenzialmente un finanziamento molto consistente ad una singola Università. Mi sembra che ci sia una analogia con la discussione che si sta facendo sulla legge elettorale con le possibili distorsioni, incostituzionali e dis-rappresentative, che potrebbero emergere da premi di maggioranza esagerati o soglie di sbarramento.

    • Riguardo al caso di Bologna, va ricordato che ogni ateneo può far gareggiare 15 dipartimenti al massimo. Si annunciano avvincenti lotte ai coltelli.

    • Francesco1, ti spieghi molto bene…

      Per quanto io sia parecchio ignorante nel campo, una simulazione Montecarlo su circa mille oggetti mi sembra decisamente inappropriata. Certo non tanto quanto gli studi medici su 3 pazienti, in cui le conclusioni erano che la cura aveva successo nel 66% dei casi, ma mi pare ci andiamo molto vicino.

    • @franco
      Gli oggetti dovrebbero essere circa 125000, i prodotti conferiti alla VQR. Una volta scalati e normalizzati i relativi voti, la domanda dovrebbe essere: quale è la probabilità che Np (per un dipartimento di Np/2 docenti) prodotti scelti a caso fra questi 125000 abbia un voto medio dato? Non credo, e ne siamo convinti tutti, che l’ANVUR la conosca. Qual’è la correlazione introdotta dall’essere partiti da voti discreti (5 possibili valori) compresi fra 0 e 1?

  11. A mio avviso, se gli indici avessero un MINIMO di verosimiglianza con ciò che genericamente chiamiamo ‘merito’, se il MIUR stanziasse dei soldi di suo e non si limitasse solo a richiedere il rientro dei fondi stanziati in europa, se richiedesse un rientro di fondi europei EQUO (cioè commisurato al personale addetto alla ricerca, e ai suoi stipendi), se distinguesse fra ‘premio’ (che va in busta paga) da ‘finanziamento’ (che è una spesa in beni strumentali), se attribuisse i ‘premi’ non come scatti stipendiali (che durano in eterno) ma come surplus stipendiale che cessa nel momento in cui non si vince il successivo premio,
    ALLORA
    non sarebbe del tutto sballato il criterio di attribuire premi alle istituzioni
    in base ad una classifica, cioè: chi età sopra la mediana si becca il premio e quelli sotto restano all’asciutto, perlomeno fino alla successiva valutazione.

  13. […] (per fortuna) le storture più evidenti. Per capire quanto tutto questo fosse prevedibile, Alberto Baccini e Giuseppe De Nicolao sul sito Roars avevano già annunciato quali sarebbero stat…. La loro analisi prevedeva un bagno di sangue per il Sud-Isole, con l’87% dei fondi assegnati […]

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.