Arcipelago ANVUR

Volete scalare la classifica dei Dipartimenti eccellenti? Il trucco sta in un parallelogramma

La nuova superformula anvuriana che misura l’eccellenza dei dipartimenti attraverso l’indicatore ISPD contiene segreti inaspettati. Primo fra tutti, la possibilità di guadagnare decine di posizioni in graduatoria attraverso la fusione di due o più dipartimenti. Che idea stupida, direte voi: se il dipartimento che stava più in basso ci guadagna, l’altro è destinato a perderci. Non ci crederete, ma non è detto che vada così. Esiste il paradosso dei gemelli e anche quello di Re Mida. Se si fondono due dipartimenti gemelli (purché sopra media) l’ISPD della fusione è sempre maggiore di quello di partenza. Non solo: un dipartimento può riuscire ad alzare il proprio ISPD fondendosi con un dipartimento che ha un ISPD minore (tocco di Re Mida). Una specie di paese di cuccagna in cui vincono tutti, tranne che il buon senso. Ma, soprattutto, che senso ha distribuire 1,35 miliardi di Euro (271 Milioni all’anno per 5 anni) sulla base di una formula talmente assurda da far guadagnare posizioni a chi si aggrega con un dipartimento con ISPD peggiore del suo?

1. ISPD Calculator (“Make Your Department Great Again!”)

I Ludi dipartimentali, varati dal Governo Renzi, dovrebbero distribuire 1,35 Miliardi di Euro (271  milioni annui per cinque anni) a 180 dipartimenti “di eccellenza”. La selezione di queste eccellenze si basa in grandissima parte su un Indicatore Standardizzato di Performance Dipartimentale (ISPD) la cui formula, proposta dall’ANVUR, è stata recentemente pubblicata insieme alla relativa classifica dei primi 350 dipartimenti, a cui spetterà il privilegio di contendersi i premi.
La formula dipende dai voti VQR, che però vengono normalizzati in modo tutt’altro che immediato(1). Migliorare i punteggi VQR è un processo impegnativo e lungo. Molto più facile decidere di fondere due dipartimenti. Ebbene, come cambia l’ISPD dopo la fusione? Qui sotto trovate un ISPD Calculator(2), che risponde a questa domanda. Basta fornire ISPD1 e ISPD2 dei due dipartimenti e i relativi numeri di addetti alla ricerca N1 e N2. In diversi casi, l’ISPD del nuovo dipartimento è maggiore di entrambi gli ISPD di partenza. Un vero ascensore per scalare la classifica dell’eccellenza. Provare per credere!

Calcolatore interattivo
Usare i cursori, i pulsanti di incremento/decremento o la casella di testo per inserire i dati

2. Conseguenze della superformula: il paradosso dei gemelli

Tanto per cominciare, se si fondono due “dipartimenti gemelli” che hanno lo stesso ISPD>50 e la stessa numerosità, il nuovo dipartimento ha sempre un ISPD maggiore di quello di partenza, anche di diversi punti.

Facciamo una verifica, anche a costo di dare un dispiacere ai colleghi di Trento. I loro Dipartimenti di Matematica e di Fisica sono quasi “gemelli”: stesso ISPD (92) e numero di addetti simile (45 a Fisica e 40 a Matematica). Rientrano nei 350 candidati all’eccellenza (246-esimi a pari merito), ma, a meno di una rimonta, rimarranno entrambi esclusi dall’assegnazione dei premi finali.

Ebbene, cosa sarebbe successo, se invece di due dipartimenti distinti, l’ateneo di Trento avesse avuto un unico dipartimento di Matematica e Fisica? Usando il nostro ISPD Calculator, basta un attimo per scoprirlo.

ISPD del dipartimento di Trento-Matematica e Fisica = 98 (97,766 per la precisione)

Passare da 92 a 98 significa compiere un salto di ben 6 punti. Ma soprattutto, significa avere ottime possibilità di rientrare nei 180 dipartimenti eccellenti. Senza dire che aver portato il numero di addetti a 95, aumenta anche l’entità dell’eventuale premio che tiene conto della dimensione del dipartimento. Averlo saputo prima. Roba da mangiarsi le dita, vedersi sfuggire qualcosa come 9,375 Milioni di Euro in cinque anni, solo per non essersi fusi con i cugini.

Poter scalare la classifica senza migliorare di un epsilon la ricerca, ma solo mediante l’unione di “dipartimenti gemelli” è già un paradosso. Ma non è nulla a confronto di quello che mostreremo adesso.

3. Conseguenze della superformula: il tocco di Re Mida

Per quanto possa sembrare incredibile, un dipartimento può scalare la classifica, ovvero incrementare il proprio ISPD, persino fondendosi con un secondo dipartimento il cui ISPD è inferiore al proprio. Grazie ai miracoli della superformula anvuriana, l’ISPD finale può essere maggiore non solo della media dei due ISPD, ma persino del maggiore dei due. Una specie di paese di cuccagna in cui vincono tutti, insomma.

Immaginiamo di avere due dipartimenti, di cui il primo, il più “virtuoso” ha un ISPD1 maggiore. In particolare, ipotizziamo che

ISPD2 = 0,9 ISPD1

Per rendere più difficili le cose, ipotizziamo anche che il dipartimento “scarso” sia anche 1,5 volte più numeroso di quello “virtuoso”.

N2 = 1,5 N1

I docenti del dipartimento virtuoso storcerebbero il naso di fronte ad una proposta di fusione. Fin troppo facile indovinare i discorsi davanti alla macchinetta del caffè:

Mescolarci con quelle mezze calze? Quando mai! Sono anche  più numerosi di noi: l’ISPD finale sarebbe più vicino al loro che al nostro.

I “virtuosi” saranno tanto più schizzinosi quanto più forte l’odore dei soldi, ovvero quando il loro ISPD li colloca nei dintorni della zona premi ed ogni punto può essere decisivo.

Chissà cosa direbbero se sapessero che, grazie alla superformula, il loro dipartimento possiede il “tocco di Re Mida“, ovvero il potere di trasformare in oro l’ISPD degli altri. Lo si può vedere nel seguente grafico, in cui la curva rossa restituisce l’ISPD della fusione dei due dipartimenti in funzione di ISPD1.

Diversamente dalle aspettative, il meticciato con gli inferiori non comporta un peggioramento della razza, ma fa salire ISPD al di sopra del massimo dei due valori iniziali. Questo purché ISPD1 sia abbastanza grande (nel nostro esempio, per diventare Re Mida basta ISPD1 = 65).

Immaginiamo che sarete curiosi di vedere all’opera questo straordinario potere di trasmutazione alchemica. Prendiamo i dipartimenti di Scienze  Politiche e di Giurisprudenza di Roma Tre. Anche loro Rientrano nei 350 candidati all’eccellenza (212-esimo il primo, 281-esimo il secondo), ma per ora i sembrano entrambi fuori dalla zona premi.

È possibile che i docenti di Scienze Politiche, dall’alto del loro ISPD1=95 guardino dall’alto in basso i colleghi di Giurisprudenza che vantano un più modesto ISPD2=86. Per cambiare atteggiamento, bastano pochi secondi spesi sull’ISPD Calculator. Ecco cosa succederebbe se i due dipartimenti si fondessero in un nuovo dipartimento di Scienze Politiche e Giuridiche.

ISPD del dipartimento di Roma Tre-Scienze Politiche e Giuridiche = 97 (97,036 per la precisione)

Scienze Politiche, coalizzandosi con un dipartimento che aveva ben 9 punti in meno, invece di calare a picco, guadagna due preziosissimi punti. Infatti, il dipartimento risultante, non solo compete bene in Area 13, ma va a collocarsi solidamente nella zona premi dell’Area 12. Inoltre, l’aumento di dimensioni colloca il nuovo dipartimento nel quinto quintile, il che porta a 8,1 Milioni di Euro in cinque anni il premio in caso di vittoria. Niente male, no?

4. Il parallelogramma dell’eccellenza dipartimentale

Queste straordinarie proprietà della superformula anvuriana possono essere rappresentate tramite un grafico. Basta mettere sull’asse delle x il numero degli addetti N e su quello delle y una grandezza che nella “nota metodologica” dell’ANVUR corrisponde a

Nel grafico così ottenuto, i 350 dipartimenti in gara sono cerchi azzurri, mentre i diversi valori di ISPD sono stati rappresentati da linee gialle. Potete interpretarle come le curve di livello di una carta topografica. Per vincere bisogna scalare la montagna portandosi verso la quota massima (ISPD=100). Ma salire migliorando la ricerca è faticoso. Piuttosto, si può provare a fondersi con un altro dipartimento. Il bello del grafico è che le fusioni si ottengono con la regola del parallelogramma (sì, proprio come il parallelogramma delle forze che si studia già alle scuole medie).

 

Ecco che diventa chiaro come mai sia possibile scalare la montagna dell’eccellenza fondendosi con chi sta più in basso di noi. Tutto dipende dall’assurda superformula che produce quella particolare forma delle curve di livello.

Come si vede nel grafico seguente, il paradosso dei gemelli non è altro che un caso particolare del parallelogramma dell’eccellenza.

Facile prevedere quale sarà l’effetto dirompente della superformula sugli assetti dipartimentali degli atenei. Per anni i vertici accademici saranno impegnati a tracciare parallelogrammi sulle carte topografiche dell’eccellenza per decidere come riaggregare i propri dipartimenti. Un esito inevitabile, perché l’uso del parallelogramma è incomparabilmente più efficace di ogni sforzo volto a migliorare la qualità reale della ricerca.

5. Distribuireste 1,35 Miliardi sulla base di questa formula?

Peccato che l’ANVUR abbia già scattato la fotografia e che sia troppo tardi riorganizzare la struttura dipartimentale degli atenei. Avremmo assistito ad un completo rimescolamento su scala nazionale.

Roars avrebbe potuto lanciare una società spin-off dal nome MYDAS (Make Your Department A Star) che, al modico prezzo di 10.000 Euro per valutazione, avrebbe predetto gli ISPD delle potenziali fusioni dipartimentali. Dal momento che è troppo tardi (e che tra cinque anni si spera che il grado di demenza sia drasticamente calato), mettiamo subito a disposizione di tutti il nostro ISPD Calculator.

Giocateci un po’, cercando quali fusioni avrebbero portato il vostro dipartimento al top.

Qualcuno si domanderà: che valore può avere una classifica in cui puoi scalare decine di posizioni aggregando un dipartimento con un voto inferiore al tuo? Beh, la risposta è fin troppo facile.

Ed è pure facile rispondere alla seconda domanda: che senso ha distribuire 1,35 miliardi di Euro (271 Milioni all’anno per 5 anni) sulla base di questa classifica?

Dopo la lettura di questo post, dovrebbe essere chiaro che, nella gara governata dalla superformula anvuriana, la composizione dei dipartimenti – frutto di contingenze storiche, spesso accidentali – conta tanto quanto il “merito”(3), anzi di più. Tanto è vero che, se questi Ludi dipartimentali dovessero ripetersi periodicamente, essi finiranno per premiare il “Lego dipartimentale” di chi non si farà scrupoli di disfare e rimontare i dipartimenti al solo fine di massimizzare l’ISPD, infischiandosene delle esigenze didattiche e di ricerca.

__________

(1) La Nota metodologica cita come fonte il cosiddetto “Voto standardizzato ANVUR-CRUI”, una metodologia i cui errori sono già noti. In questo post, ci limitiamo ad esaminare le conseguenze della formula, rimandando ai post già pubblicati chi fosse interessato a capirne gli errori:

(2) La redazione di Roars declina ogni responsabilità per le conseguenze dell’uso dell’ISPD Calculator. Gli esempi illustrati nel post presuppongono la correttezza degli ISPD utilizzati nei calcoli, mentre gli ISPD pubblicati da ANVUR presentano anomalie statistiche che discuteremo nei prossimi giorni.

(3) Scriviamo “merito” con le virgolette, perché i voti VQR sono essi stessi basati su una metodologia priva di basi scientifiche, come già dimostrato nella letteratura scientometrica:

 

 

Send to Kindle
Tag: , , , , , , , , , , , ,

26 Comments

  1. Luca Barbieri Viale says:

    Si ma non di fusione si tratta, sic! Infatti, anche se l’ISPD aumenta bisogna vedere quale risulta l’area prevalente: la domanda di finanziamento viene fatta per area e il piano di sviluppo quinquennale per l’area potrebbe ingigantirne una a scapito dell’altra! Nel caso preso in esame i due Dipartimenti di Trento hanno aree prevalenti 01 e 02. Se il nuovo Dipartimento risultato della fusione decide di espandersi mediante un finanziamento dell’area 02 nel giro di cinque anni l’area 01 potrebbe scomparire. Analogamente in altri casi suppongo ….

    • Giuseppe De Nicolao says:

      Ammesso che il premio vada tutto e solo all’area prevalente (e non credo sia necessario), basta che l’area prevalente lasci le risorse ordinarie alle aree non prevalenti, per rendere la fusione conveniente. Vorrei comunque che sia chiaro che il mio è un ragionamento per assurdo. Cosa comporta adottare e mantenere nel tempo la metrica ISPD per assegnare premi ad alcuni e niente ad altri? Che la composizione dei dipartimenti diventa decisiva. Questo dimostra che la metrica comporta una pesantissima distorsione di natura non meritocratica (per salire può convenire associarsi a chi fa peggio di me) e che c’è il pericolo di innescare conseguenze assai nocive (gli atenei che riorganizzano i dipartimenti in modo del tutto irrazionale al solo fine di alzare gli ISPD).

  2. Luca Barbieri Viale says:

    Capisco che il ragionamento per assurdo potrebbe portare gli atenei a pensare di forzare una fusione tra qualche Dipartimento … ma un finanziamento per un progetto di acquisizione di personale, etc… assegnato formalmente ad un’area che inoltre va rendicontato non credo che possa essere molto manovrato. Mi sembra che nel mondo anvuriano l’ISPD possa risultare piuttosto un male minore …

  3. Immagino che, svelato il segreto, tutti gli atenei avranno precettato i loro matematici per calcolare cosa conviene fare. Mi chiedo se siamo ai giochi olimpici di matematica o al congresso degli scienziati folli oppure semplicemente al manicomio. Definire questa mentalità [secondo la quale ti presentano una formula incomprensibile, incomprensibile se non ai più, a molti; nella quale se aggreghi certi dati in un modo o nell’altro, ti escono classifiche diverse; nella quale devi infilare una lunga serie di dati (e perché non altri? chi ha detto che sono diagnostici?)] come distorta o folle, è inadeguato. E’ pericolosa. Immagino, infatti, che si assoldino dei matematici per escogitare uno strumento del tutto opaco, verniciato di pseudoscientismo, al fine di sostituire delle teste politicamente e culturalmente vacue, che vogliono soltanto risparmiare sulla pelle degli altri (impoverirli) – sperperando danaro pubblico.

    • Giorgio Pastore says:

      Non suggerirei mai al mio dipartimento di fare qalsiasi cosa sulla base di questo n-esimo fanta-algoritmo anvuriano. Tanto, al prossimo giro cambierà qualcosa. E staremo sempre a commentare su criteri di assegnazione di premi decisi ex-post.
      .
      E’ su questo che andrebbe fatta battaglia dura.

  4. Davvero interessante. Sospettavo, senza averne le prove, che uno degli intenti di questa manovra fosse quello di aggregare (o disintegrare) dipartimenti. Non è altro che la fase due del progetto nato con la legge Gelmini: allora le aggregazioni dei nuovi dipartimenti vennero fatte, in molti casi, secondo criteri di tipo identitario, affinità scientifiche e/o umane, ecc., spontaneamente e senza nessun processo di governance; in molti casi, peraltro, creando inutilmente doppioni di dipartimenti solo per reiterare antiche rivalità, e perché la logica sembrava premiare, anche dal punto di vista dei finanziamenti (ad es. posti in Senato Accademico), le micro-aggregazioni. La governance arriva ora, ex post, in modo alquanto brutale, e il messaggio è: se vuoi rimanere per conto tuo, o se non ti aggreghi “bene”, soccombi.

    • Francesco Belardo says:

      Le teorie dei Gomblotti sono spesso interessanti e fantasiose, ma in questo caso dubito che ci sia un piano machiavellico dietro.
      Solo una classe politica incompetente e inadeguata può stanziare oltre un miliardo di euro a pochi dipartimenti (in buona parte del Nord) con regole bislacche e lasciare il resto nella miseria. Questi soldi dati a pioggia a tutti i dipartimenti ci permetterebbero di sopravvivere.
      E invece, nemmeno l’ombra di un bando PRIN all’orizzonte.

    • Giuseppe De Nicolao says:

      Il bello è che questi soldi saranno tolti ai perdenti. Nella Legge di stabilità 2017 viene istituito uno stanziamento … nel 2018:
      ___________
      “nel Fondo per il finanziamento ordinario delle università statali […] è istituita un’apposita sezione denominata «Fondo per il finanziamento dei dipartimenti universitari di eccellenza», con uno stanziamento di 271 milioni di euro a decorrere dall’anno 2018.”
      ___________
      Se non saltano fuori 271 milioni ex novo (credete a Babbo Natale?) i soldi per i Dipartimenti di eccellenza verranno ricavati ritagliando una fetta di FFO, il quale calerà di altrettanti milioni di Euro.

    • Caro Belardo, tanto per chiarire: non ho parlato di “complotti”, ma di un disegno piuttosto lucido e coerente, a partire dall’unica riforma che sia riuscita in questo Paese: la legge 240/2010, che ha smantellato pezzo a pezzo, con misure apparentemente tra loro slegate o persino incoerenti, ma che col tempo si sono rivelate perfettamente sinergiche, l’Università pubblica come la si conosceva. Ridurre il tutto a “incompetenza” della classe politica a mio avviso vuol dire, alla data del 2017, non aver ancora compreso un’acca del processo che da anni stiamo subendo.

    • Francesco Belardo says:

      Caro Proietti,
      rivedere dei fatti a posteriori legandoli tra di loro come il piano di un disegno architettato dagli agenti del male, senza avere prova di tutto ciò, è un gomblotto:
      http://www.ilfattoquotidiano.it/2012/06/26/la-sindrome-paranoica-del-gomblotto/275125/

      Chi ha concepito la formula dell’ISPD ha secondo me sottovalutato (leggi, ignorato) gli effetti dovuti all’aggregazione dei dipartimenti, altro che trasmettere il messaggio:
      “se vuoi rimanere per conto tuo, o se non ti aggreghi “bene”, soccombi.”
      Se poi tu dovessi avere delle prove concrete che non siano una (opinabile) lettura retrospettiva dei fatti, allora ti faccio le mie scuse.
      Sarà banale, ma continuo a ritenere più probabile che il disastro che viviamo sia dovuto alla classe politica ignorante e inadeguata che vive alla giornata e guarda ai risultati nel brevissimo termine.

    • Giuseppe De Nicolao says:

      Avremo a breve una controprova. Vista la conclamata assurdità della formula (premia le aggregazioni più o meno casuali, invece del merito), la classifica verrà ritirata? Se non verrà ritirata, vorrà dire che il messaggio da fortuito diventerà intenzionale.

    • Giorgio Pastore says:

      Caro Belardo,
      ci sono i gomblotti e ci sono disegni politici espliciti e riconducibili a documenti presenti in rete di varia provenienza, p.es. Confindustria, che teorizzano da almeno 20 anni una drastica riduzione del sistema universitario statale italiano. Cercare di far passare per gomblottismo quella che è una diretta constatazione di obiettivi raggiunti coerenti con le posizioni di diversi poteri forti è mancanza di informazione, nella migliore delle ipotesi.

    • Francesco Belardo says:

      Cari Pastore e Proietti,
      non ho detto che tutto quello che si discute su ROARS è un gomblotto, ma se domani piove non me la prendo di certo con la fondazione treellle.
      Gomblottismo è fare passare una formula astrusa, che ha come side-effect l’aumento dell’indice ISPD quando aggreghi dipartimenti sotto restrittive condizioni, come una tessera del puzzle dell’oscuro disegno dei cattivi.
      Ammesso che i cattivi si siano ingegnati la formula per spingere i dipartimenti di uno stesso ateneo alla loro fusione, perché mai aggregare dipartimenti dovrebbe portare alla chiusura delle università?

      Visto che lo avete fatto voi per primi, portiamo il discorso ad un livello più generale, che non era l’obiettivo del mio intervento.
      Io penso, ma non ho la presunzione di possedere la verità, che il disinvestimento sull’istruzione e università sia avvenuto solo per mere esigenze di cassa. L’università, così come tanti altri comparti della pubblica amministrazione, ha subito pesanti tagli, più degli altri, perché subiamo e non ci ribelliamo (il mancato riconoscimento dell’anzianità di servizio avrebbe dovuto causare una protesta durissima).
      La classe politica, nella sua incompetenza e ignoranza è stata certamente influenzata da Confindustria e Bocconiani (che se ne approfittano), ma la responsabilità di tutto ciò è sempre della stessa politica, che ha relegato l’università a affare minore.

    • Giorgio Pastore says:

      L’attrattiva delle esigenze di cassa spiega solo una parte della storia. La convergenza di molti interessi, non solo della politica, verso la riduzione del sistema universitario non è però cosa da ignorare se si vuole capire qualcosa di quanto è successo e sta succedendo. Ricordare che “sfollare le università” era *anche* nel “piano di rinascita democratica” di Licio Gelli, non vuol dire credere nella congiura rettiliana. Significa ricordare e constatare come certe parole d’ordine ideologiche non siano frutto estemporaneo di incompetenza ed ignoranza ma che, al di là del “rumore”, ci sono dei settori della società, rappresentati anche nel mondo accademico, che spingono da anni nella stessa direzione.
      .
      Perciò, mentre la pioggia non è nelle responsabilità di Treelle, quello che sta avvenendo al sistema universitario italiano in parte sì. E ignorarlo pensando di attribuire tutta la responsabilità ai politici ignoranti ed irresponsabili significa privarsi di una chiave di lettura della realtà e quindi dei mezzi per poter fare qualcosa.

  5. Giuseppe De Nicolao says:

    superformula – supermagician


  6. Marco Bella says:

    GDN osserva gli effetti nefasti della #superformula in termini di fusione di dipartimenti. Attenzione però a cosa altro potrebbe succedere: la creazione di nuovi dipartimenti dal nulla di “good company” nei quali si concentrano tutti “gli eccellenti”, con ISPD mostruosamente alti. In questi superdipartimenti si potrebbe inserire alcuni Fedeli-alla-Linea-Anche-se-Non-Eccellenti. Mentre le mediane ANVUR hanno aumentato il livello delle autocitazioni, la superformula potrebbe, come giustamente osservato, creare delle alchimie dipartimentali che nulla hanno a che vedere con la presunta eccellenza. Tra l’altro, i voti VQR non erano progettati per le valutazioni individuali e tanto meno per la valutazione della supereccellenza. Ma si sa, questi sono “dettagli irrilevanti”, come disse un vecchio barone che chiedeva a un suo sottoposto di spiegargli un certo articolo già pubblicato, quando il sottoposto gli faceva notare che c’era anche il suo nome, quello del barone, nell’articolo che proprio il barone voleva essere spiegato…

    Una radice quadrata qui, un integrale lì e si aggiusta tutto. Con un paio di normalizzazioni in più, messo come input i segni zodiacali della redazione di ROARS, la superformula potrebbe prevedere anche i numeri del lotto.

  7. Antonio Occhiuzzi says:

    In effetti é ricomparso il “dipartimento virtuale” di Giacomo Poggi con il quale si discusse un paio di anni fa, più o meno. Ma, niente, innamorato delle sue idee le ripropone anche a paradossi già discussi.

  8. Antonio Occhiuzzi says:

    Un’altra osservazione è la mancanza, tra i 350 eccellenti, di alcuni dipartimenti “di alto livello” (disclaimer: il mio c’è). D’altra parte, la situazione più o meno è questa. Immaginiamo due dipartimenti: uno, in area 29, Dip. Di Scienze Occulte, composto da colleghi “senza infamia e senza lode”, che però si scontrano con i dipartimenti fortissimi dell’area 29. Il DOS non sarà mai eccellente. Invece, il Dip.di Scienze Pirotecniche, composto da nullafacenti, si trova nell’area 71 composta interamente da nullafacenti. Basta che uno/due componenti del DSP abbiamo pubblicato qualcosa per stare sopra la media (nulla) di area 71 e far diventare eccellente il DSP.
    Quindi, il DSP eccelle e il DOS non eccelle non tanto per meriti o demeriti propri, ma per le “caratteristiche” delle aree 29 e 71.

  9. In rete c’è chi si attarda ad osservare che, se è vero che l’analisi qui sopra evidenziata determina benefici all’aggregazione tra Dipartimenti per avere un ISPD più grande, è vero anche che esiste un ovvio costo dell’aggregazione. Il fatto di dover poi dividere in due (rispetto alla situazione pre-aggregazione) il premio dipartimentale. Perché sarebbe meglio riuscire a prendere il premio intero da soli che dividerlo col Dipartimento “gemello” con cui ci si è fusi solo per convenienza di ISPD. Il che attenuerebbe gli incentivi all’aggregazione e in qualche modo correggerebbe la fallacia evidenziata nel modello.

    A questo tipo di osservazioni si può replicare così. L’effetto evidenziato da De Nicolao falsa in modo tombale la pretesa di ritenere che il modello attraverso cui si valuta la qualità dei dipartimenti possa in qualche modo corrispondere a una realtà di “eccellenza” misurata in base a parametri “scientifici”. Questo almeno per la razionalità intrinseca dell’esercizio di valutazione disegnato da ANVUR. E in ultima analisi per la qualità che questa razionalità avrebbe la pretesa di saper evidenziare. Tradotto: applicare questa formula è un’arbitraria pagliacciata.

    L’effetto di cui sopra non vuole e non deve essere riportato alla logica dell’incentivo trasmesso al giocatore. Chi, infatti, accettasse di farla sua questa logica, finirebbe con l’ammettere che sta giocando con il modello in modo puramente strategico, sconfessando i nobili presupposti e obiettivi per i quali l’intera operazione Ludi è stata concepita (evidentemente sul piano meramente declamatorio). Tradotto: come fuffa.

    E non dimentichiamo, ad ogni modo, che, al momento di riscuotere il jackpot, i quintili dimensionali entro cui si colloca il dipartimento fortunato possono appesantire o diminuire il tandundem di qualche centinaia di migliaia di euro ogni anno.

    Il che, in ultima analisi, suggerisce di non stancarsi mai di rileggere Hanegraaff https://www.roars.it/…/ce-una-luce-in-fondo-al-tunnel…/

  10. Propongo che – ora che va di moda il bianco/nero (tra un po’ già démodé) – si stampino dei T-shirt con il famigerato parallelogramma (in diagonale, perché diventi più grande). Sul retro della maglietta si potrebbe riprodurre il micio che ruggisce, Roars permettendo. Oppure, variante, l’intero parallelogramma in orizzontale, che ricopre fronte e retro, a nastro.

  11. Luca Grosset says:

    Chiedo a chi è più competente di darmi una mano:
    1) mi confermate che, dalla lettura della nota VP_{pd,s} non è definita da nessuna parte? Evidentemente significa Valutazione del Prodotto individuato dall’indice “pd” nel settore “s”, ma nelle pagina precedente questa grandezza non viene introdotta…
    2) qualcuno mi spiega il senso della frase la normalizzazione “…è effettuata con la radice del numero dei prodotti al fine di garantire l’adimensionalità del voto standardizzato…”? In questo modo la formula dell’ISPD diventa non lineare e quindi la somma degli ISPD delle aree che compongono un dipartimento sarà, in generale, minore dell’ISPD del Dipartimento stesso (ecco perché funziona il giochetto del parallelogramma). E’ corretto?
    Grazie in anticipo e buon fine settimana a tutti,
    Luca Grosset

    • Giuseppe De Nicolao says:

      La nota è scritta assai male e credo contenga anche dei refusi. La composizione degli ISPD è effettivamente nonlineare ed è questo che origina il paradosso di re Mida e dei gemelli.

  12. Lucio Bertoli-Barsotti says:

    La notazione riportata nella “Nota Metodologica” è un po’ infelice.
    1) VP_{pd,s} in effetti non è definita nel documento, ma è la valutazione (voto) del prodotto per il ssd “s”. Nella sommatoria l’indice “pd” dovrebbe andare da 1 a NP_{d,s} (e non NP_{d}, numero complessivo di prodotti attesi del -e non “presentati dal”- dipartimento) essendo quest’ultimo il numero di prodotti attesi per il ssd “s” nel dipartimento “d”.
    2) La frase non ha molto senso: essendo il voto un numero puro, il numeratore è già “adimensionale”. Sarebbe da riscrivere, anche se suona male, “la normalizzazione è effettuata con la radice del numero dei prodotti al fine di garantire la standardizzazione del voto standardizzato”. Il “numero dei prodotti” è la varianza della somma al numeratore.
    Ma a parte questo, e a parte la questione del paradosso della composizione degli ISPD dipartimentali (che per costruzione non può che essere non-lineare, essendo ISPD espresso su un intervallo chiuso e limitato – ma che potrebbe anche avere una qualche giustificazione logica), a mio avviso il problema metodologico serio della standardizzazione dei voti per SSD è che i voti ricalibrati (standardizzati) sulla base delle medie e varianze campionarie dei voti a livello nazionale -nella prospettiva di renderli sommabili- definiscono nuove classi di merito che confliggono con quelle originali del Bando (A=”eccellente”, peso 1; B=”elevato”, peso 0.7; C=”discreto”, peso 0.4; D=”accettabile”, peso 0.1; E & F =”limitato” & “non valutabile”, entrambe con peso 0).
    Per esser più chiari, con un esempio pratico, i 19 SSD di Area 13 hanno valutazioni standardizzate dei punteggi originali 1, 0.7, 0.4, 0.1 e 0 che riporto, ordinatamente, nel seguente schema:
    P/11 2.29 1.38 0.47 -0.44 -0.74
    P/09 2.05 1.22 0.38 -0.45 -0.73
    P/12 2.04 1.04 0.04 -0.96 -1.30
    P/04 2.01 1.08 0.15 -0.78 -1.09
    P/07 1.99 1.10 0.21 -0.68 -0.98
    S/05 1.68 0.82 -0.04 -0.91 -1.19
    S/03 1.56 0.76 -0.04 -0.85 -1.12
    P/13 1.49 0.73 -0.04 -0.81 -1.06
    P/08 1.56 0.73 -0.09 -0.92 -1.20
    P/10 1.52 0.71 -0.10 -0.91 -1.19
    S/04 1.43 0.67 -0.09 -0.86 -1.11
    S/06 1.31 0.52 -0.27 -1.07 -1.33
    S/02 1.26 0.51 -0.23 -0.98 -1.23
    P/03 1.24 0.47 -0.31 -1.08 -1.33
    P/02 1.23 0.45 -0.32 -1.09 -1.35
    P/06 1.22 0.51 -0.21 -0.93 -1.17
    S/01 1.10 0.31 -0.49 -1.28 -1.55
    P/01 1.08 0.31 -0.47 -1.24 -1.50
    P/05 0.69 -0.12 -0.93 -1.74 -2.01

    Di fatto, un prodotto “eccellente” in SECS-P/05 vale (0.69) poco più di un prodotto “discreto” in SECS-P/11 (0.47). Essendo “eccellente” una valutazione a fondo scala, è assai difficile giustificare questo tipo di esito.
    D’altra parte un prototto mancante, dico MANCANTE (cioè “non valutabile”), in SECS-P/11 vale più di un prodotto “discreto” in SECS-P/05 (-0.74 vs -0.93). Eccetera.
    Chiamerei l’effetto di questa standardizzazione uno “slittamento semantico”: in particolare dopo la standardizzazione nessun prodotto in SECS-P/05 si colloca più nè nel primo 10% della produzione (fascia A), né nel segmento 10-30% (fascia B), anche se solo ci limitiamo a considerare gli 8385 prodotti attesi di Area 13 – in un ipotetico raffronto fra i soli dipartimenti di quest’Area.
    La ragione matematica di questo slittamento semantico è presto detta, e sta principalmente nel fatto che SECS-P/11 (per stare solo a questo esempio) ha espresso, su scala nazionale, un 43.2% (sic) di prodotti attesi che sono risultati “limitati” o “non valutabili”. Ciò ha determinato una media di punteggio su base nazionale particolarmente bassa per quel SSD (0.24; sqm=0.33) e di conseguenza l’esplosione dei punteggi standardizzati. Non è chiaro perché, o fino a che punto, ciò debba modificare/stravolgere il giudizio e il punteggio dei prodotti di ricerca su altri SSD (soprattutto di prodotti già a fondo scala).

    • Giuseppe De Nicolao says:

      Grazie del commento che spero venga letto attentamente da chi è interessato a capire come funziona (male) l’indicatore ISPD. Di fatto, è come se ogni SSD facesse uso di una nuova scala di voti VQR. Ci sono SSD in cui un prodotto “eccellente” vale 2,29 punti (SECS-P/11) e altri in cui vale 0,69 punti (SECS-P/05). Un commento che deve essere letto con attenzione da quei rettori e direttori di dipartimento che stanno cercando di trovare i capri espiatori che possano spiegare valori deludenti di ISPD. Si tratta di un’impresa disperata che farebbero meglio ad abbandonare. Basti pensare che un prodotto elevato in SECS-P/05 vale negativo (-0,12) e un prodotto “discreto” in SECS-P/11 vale 0,47. Una completa Babele.

  13. fscarpa58 says:

    Gedeone, dove sei?

Leave a Reply

Sostieni ROARS

Sostieni ROARS