Argomenti / Finanziamento / Normativa / Prin

Prin: il regno dell’opacità

Da qualche settimana sto cercando di capire come funzioni il sistema di selezione dei PRIN; fin ad oggi la selezione era stata fatta a livello centrale, dal MIUR, mentre da quest’anno è stato introdotto un doppio livello di selezione: il primo a livello di Ateneo, demandato alle Commissioni Ricerca presenti in ciascuno, un secondo attuato dal MIUR.

Era mia convinzione, presumibilmente condivisa da larga parte dei colleghi (almeno quelli – l’assoluta maggioranza! – che non sono a parte degli arcana imperii di MIUR, annessi e connessi) che ogni progetto venisse sottoposto a due revisori, ovviamente anonimi, i quali lo valutavano ciascuno in modo indipendente. La media aritmetica delle due valutazioni avrebbe poi deciso la collocazione di ogni progetto nella graduatoria del rispettivo SSD, e quindi il suo finanziamento o meno. Alla conclusione del processo le due valutazioni sarebbero state rese visibili al coordinatore nazionale, che poteva poi farle circolare tra i membri del gruppo di ricerca costruito ad hoc. Poteva andar bene, poteva andar male ma il funzionamento della macchina era chiaro (o meglio: appariva tale).

Spinto dal fatto che la preselezione attuata quest’anno dalla Commissione Ricerca dell’Università di Torino, dove insegno, non aveva inserito nella rosa dei 19 PRIN da inviare al MIUR nessun progetto di area storica, ho chiesto alla Commissione Ricerca di Ateneo di rendere pubblici e i propri verbali, e i giudizi che ogni progetto aveva ricevuto dai revisori (che immaginavo essere due).

Mi sembrava una banale esigenza di trasparenza, posto che se ci si presenta ad una selezione si dovrebbe dare per scontato che si possa ricevere un giudizio negativo. Invece mi son trovato di fronte ad ogni sorta di obiezioni: a) è stata invocata la privacy; b) mi son state ricordate le preoccupazioni che molti colleghi avrebbero espresso circa la possibilità di fare “brutte figure”; c) mi è stato detto che alcuni revisori, in passato, avrebbero usato un linguaggio non troppo “comme il faut” verso progetti e presentatori. Insomma,. Mi son reso conto di trovarmi ad essere membro (se queste descrizioni fossero vere) non di una corporazione di studiosi provetti, dal forte ego e scafati da decenni di ricerca, bensì di un’aggregazione di mammolette dalla sensibilità pari a quelle di virginali educande di un collegio vittoriano. Mah…

Son poi riuscito ad ottenere la pubblicazione dei verbali della Commissione Ricerca di Ateneo, ancorché su una sezione intranet del sito di UniTO, quindi non visibile a chi non sia un dipendente dell’Università, ma nulla da fare sulla visibilità erga omnes delle valutazioni.

Mi è poi stato spiegato, ed in merito ho ricevuto conferme da diverse fonti di altro genere (colleghi di altri Atenei che han fatto o fanno parte delle rispettive Commissioni Ricerca; funzionari del MIUR a cui mi son rivolto), che da parecchi anni la selezione dei PRIN da parte del MIUR avviene sulla base di uno strumento informatico elaborato dal CINECA il quale funziona nel modo seguente: a) il progetto viene sottoposto a due valutatori, chiamiamoli A e B; b) qualora le due valutazioni differiscano tra loro di un numero di punti (da 0 a 100) superiori a 10 entra in campo un terzo valutatore, C; c) a quel punto vengono prese in considerazione le due valutazioni tra loro meno distanti (sempre comprese in un intervallo non superiore a 10 punti) e la valutazione più distante viene scartata; d) se anche la terza valutazione si scosta da entrambe le precedenti di oltre 10 punti entra in gioco un quarto valutatore D e così via.

L’esposizione dettagliata del meccanismo ha provocato in me l’insorgere di considerevoli perplessità: a) mi è parso assai irrazionale in sé: posto che due progetti ricevano entrambi un giudizio A di 100 punti ed un giudizio B di 80, se il valutatore C del primo gli dà 91 il progetto riceve un giudizio medio di 95,5, mentre se il valutatore C del secondo progetto gli attribuisce 89 il suo giudizio complessivo diventa 84,5…; b) questa modalità di funzionamento del meccanismo non è mai stata resa nota alla globalità dei docenti e nemmeno è stata resa pubblica sui siti appositi che MIUR e CINECA dedicano ai PRIN. Perché? Che potesse esistere un terzo giudizio, poi scartato, era cosa non visibile nemmeno ai coordinatori nazionali, i quali sul loro sito docente potevano leggere solo i due giudizi presi in considerazione, l’eventuale terzo (quarto, quinto, ecc.) no. Perché?

Ho poi appreso che il sistema finora descritto era stato proposto dal CINECA alle Commissioni Ricerca di Ateneo quest’anno incaricate delle preselezioni; in proposito la CRUI avrebbe convocato una riunione di tutti i responsabili delle Commissioni nel marzo scorso. La CRUI? Ulteriore obiezione mia: ma che titolo ha la CRUI per fare un’operazione del genere? La CRUI è una rispettabilissima associazione privata di Rettori, certamente autorevole, ma non ha assolutamente alcun ruolo istituzionale (come invece ha il CUN, ad esempio). La CRUI è una specie di Rotary Club, nulla di meno, nulla di più. Chi al MIUR ha deciso di attribuirle la facoltà di convocare la riunione su ricordata? O ha permesso che la CRUI se l’attribuisse? Sarebbe esilarante, se non fosse assai preoccupante, il paralogismo oppostomi sul tema da un cortese funzionario del MIUR: “Dato che il Rettore è il legale rappresentante dell’Ateneo, la CRUI rappresenta legalmente tutti gli Atenei…”. Nuovamente, mah…

Proseguiamo: il collega, gentilissimo e disponibile, che presiede la Commissione Ricerca di UniTO ha dichiarato che il sistema in questione è stato prescelto dall’Ateneo per ovvi problemi di tempo, anche se la Commissione si è riservata un ulteriore spazio per spostamenti, giudicati opportuni, nelle graduatorie, ma comunque ha fatto proprio il modello di gestione delle valutazioni sopra descritto. Colleghi di altre Università mi han però comunicato che quella gestione non era affatto vincolante: era invece data possibilità alle Commissioni di Ateneo di tener conto delle medie tra le prime due valutazioni, di chiederne una terza nel caso di una forchetta superiore ai 10 punti tra esse e poi di far la media tra tutte e tre le valutazioni e così via. Insomma gli spazi quanto meno a livello locale c’erano; dove si è scelto il sistema CINECA in blocco o quasi è stato perché si è deciso in tal senso. Così è avvenuto, senz’ombra di dubbio, a UniTO.

In ogni caso, non risulta che le Commissioni Ricerca abbiano ritenuto opportuno chiarire a tutti i colleghi del proprio Ateneo come avrebbero operato la preselezione. Interpellati in proposito, i cortesi funzionari MIUR prima citati mi han fatto sapere che nella ricordata assemblea promossa dalla CRUI era stata data informazione a tutti i Rettori, quindi per loro funzionari la conoscenza della macchina era data per scontata a tutti i livelli. Un buon esempio di emanatismo tardo platonico, a cui si unisce, negli stessi soggetti, la sorprendente persuasione di posseder facoltà divinatorie: mi è stato infatti chiarito che l’esclusione dell’eventuale (o degli eventuali) giudizio difforme permette ai decisori di non considerare le valutazioni stese da amici del cuore o nemici giurati del presentatore del progetto. Lo stesso Consiglio dei X della Serenissima giudicava e condannava sulla base di assunti un po’ più consistenti…

In sintesi, anche per quanto riguarda i PRIN mi pare si possa sostenere che l’opacità regni sovrana.

A me pare imprescindibile porre invece le seguenti richieste:

a)      Le modalità di selezione dei progetti (PRIN e non PRIN, anche i FIRB sono nella stessa situazione ora descritta) devono essere rese pubbliche ed essere visibili sui siti istituzionali del MIUR e del CINECA oltre che dei diversi Atenei; qualora si faccia uso di software appositi il loro funzionamento deve essere spiegato con chiarezza ed essi devono poter essere scaricabili, per i controlli opportuni che ciascuno ha il diritto di intraprendere sul loro funzionamento;

b)     Tutte le valutazioni (ovviamente anonime) che ogni progetto riceve devono essere visibili a tutti (salvaguardando l’anonimato dei valutatori!) una volta conclusi i processi di selezione. Trattandosi di selezioni pubbliche, non può essere invocata in alcun modo la privacy; se qualche studioso è di pelle eccessivamente delicata e ritiene di non poter sopportare un pubblico giudizio negativo si asterrà dal presentare progetti. Si consideri inoltre come la certezza di vedere il proprio giudizio sia pur anonimamente pubblicato rappresenti certamente una remora forte all’eventuale stesura di valutazioni apertamente denigratorie verso la persona del proponente.

c)      In ogni fase del percorso di valutazione dei progetti devono essere coinvolti solo e soltanto organi di natura istituzionale, e nessun ruolo devono invece avere strutture di natura del tutto privata come la CRUI. Non ho nulla contro le lobbies, ma – come è usuale nel mondo anglosassone – una lobby è una lobby, un’istituzione è un’istituzione.

Send to Kindle
Tags: , , , ,

18 Comments

  1. vladimir72 says:

    La trasparenza è assolutamente imprescindibile e tutti i punti sollevati mi sembrano sacrosanti. Vorrei far notare che in un sistema sano, la trasparenza rispetto all’assegnazione di finanziamenti è più importante della trasparenza nel reclutamento.
    V.

  2. Il segreto della democrazia: non avere segreti!

    Non è mia; è di un noto torinese, non più fra noi purtroppo!

  3. Giuseppe De Nicolao says:

    L’algoritmo che sarebbe utilizzato dal MIUR è veramente indifendibile, non solo per quanto (ottimamente) osservato da Brunello Mantelli, ma perché può dar luogo a paradossi del tutto illogici.

    È possibile rendersene conto con un semplice esempio. Consideriamo due progetti di ricerca che chiameremo A e B.

    Progetto A
    —————
    Revisore #1 : 94 pti
    Revisore #2 : 81 pti

    Dato che la differenza è maggiore di 10, viene consultato un terzo revisore:

    Revisore #3: 87 pti

    Dato che 87 è più vicino a 81 che a 94, il punteggio finale sarà:

    Punteggio A = (81+87)/2 = 84

    Progetto B
    —————
    Revisore #1 : 91 pti
    Revisore #2 : 80 pti

    Dato che la differenza è maggiore di 10, viene consultato un terzo revisore:

    Revisore #3: 86 pti

    Dato che 86 è più vicino a 91 che a 80, il punteggio finale sarà:

    Punteggio B = (91+86)/2 = 88,5

    Pertanto, il progetto A (punteggio finale = 84 pti) ottiene un punteggio inferiore al progetto B (punteggio finale = 88,5 pti). Questo è un esito del tutto assurdo. Per rendersene conto basta ordinare i punteggi che i revisori hanno attribuito ai due progetti:

    Punteggi progetto A = {94, 87, 81}
    Punteggi progetto B = {91, 86, 80}

    Non solo la media del progetto A è superiore a quella del progetto B, ma, una volta ordinati i punteggi, ogni singolo punteggio di A è superiore al corrispondente punteggio di B:

    94 > 91
    87 > 86
    81 > 80

    Solo un miracolo (o il MIUR) può consentire al progetto B di scavalcare il progetto A. In un altro contesto (la VQR) avevo parlato di “classifiche di Pinocchio”, riferendomi a quelle classifiche che tra due oggetti valutati possono mettere al primo posto quello che è peggiore sotto ogni punto di vista. Ebbene, quella dei PRIN è anche lei una “classifica di Pinocchio”.

    Per quanto riguarda l’università e la ricerca, sembra che stiamo attraversando una vera e propria “notte della ragione”. Mi riferisco all’uso di metodi di valutazione in aperta violazione della logica e della matematica, rivelatori dell’ottusità e dell’ignoranza di chi li sforna. Mentre anneghiamo nella retorica della meritocrazia, sembra che il MIUR usi regole che premiano chi consegue punteggi inferiori. In quanto a regole assurde o contraddittorie, anche l’ANVUR nella VQR e nelle abilitazioni non è stata da meno.

    Se meritocrazia deve essere, perché non applicarla anche a tecnici, valutatori e ministri che non sono all’altezza del loro compito?

  4. Questo articolo fa quasi tenerezza. Evidentemente il collega non è avvezzo a presentare progetti o sottomettere articoli soggetti a revisione. In tutta la mia carriera, non è mai capitato di vedere le revisioni rese pubbliche, ne per articoli di conferenza, tantomeno per journal, e meno che mai per i progetti! Solo occasionalmente, e solo per gli articoli accettati (e quindi ormai pubblici), le conferenze top allegano un estratto (accoratamente ripulito) delle revisioni!

    I motivi? Non certo per proteggere il proponente o autore dal pubblico ludibrio, ma per NON DIVULGARE il contenuto degli articoli e dei progetti!
    Chi fa la revisione è infatti soggetto a vincoli di riservatezza: a non poter in alcun modo rivelare il contenuto sottoposto a revisione, a non divulgarlo e a non renderlo pubblico. Tutti i meccanismi di revisione sono soggetti a non disclosure agreement, che servono a garantire la privacy delle persone e, sopratutto, la riservatezza delle idee esposte.

    Questo è ancora più importante per i progetti, dove si sottopongono a revisione “idee” e non “risultati”.

    Sul fatto di scartare il punteggio piu’ distante, sarà discutibile, ma è un classico esempio di media “olimpica”. Basti pensare ai tuffi, alla ginnastica, etc. Serve a togliere gli outlier. Come ogni meccanismo di “media” può portare a paradossi. Nulla di nuovo.
    Trovare controesempi è un passatempo da spiaggia, e disciplina che in questo forum pare essere di grande moda.

    • Giuseppe De Nicolao says:

      Marco Mellia: “Sul fatto di scartare il punteggio piu’ distante, sarà discutibile, ma è un classico esempio di media “olimpica”. Basti pensare ai tuffi, alla ginnastica, etc. Serve a togliere gli outlier.”

      Non è un esempio di “media olimpica”. Sarebbe tale se venissero esclusi il punteggio più alto *e* il punteggio più basso. Tenere i due punteggi più vicini tra di loro, scartando il terzo punteggio, dà luogo a risultati illogici che con la *vera* media olimpica non sarebbero possibili. Alle Olimpiadi il controesempio che ho illustrato non potrebbe mai verificarsi.

      Giustificare un algoritmo che produce risultati assurdi affermando che

      “Come ogni meccanismo di “media” può portare a paradossi. Nulla di nuovo.”

      denota un approccio poco scientifico. L’uso di controesempi è un elementare procedimento logico-matematico per mettere alla prova la correttezza di affermazioni e algoritmi. Se un mio studente, dopo essere stato colto in errore tramite un controesempio, mi rispondesse che “trovare controesempi è un passatempo da spiaggia”, cosa succederebbe? Credo che manderei lui in spiaggia, ma per studiare sotto l’ombrellone e tornare a sostenere l’esame a settembre.

    • A si?
      Marco prende 87 87 80 1 => 87 e 80
      Giuseppe prende 100 86 80 80 => 86 e 80

      Marco vince, Giuseppe torna in spiaggia :)

      Per ogni metrica, si trova il controesempio che ne mina la affidabilità.
      Come sport da spiaggia è anche monotono. Sorry.

    • Giuseppe De Nicolao says:

      Il suo “controesempio” non funziona. Infatti, se confrontiamo i punteggi:

      G. vs M.
      100 è maggiore di 87
      86 è minore di 87
      80 è uguale a 80
      80 è maggiore di 1

      Si vede subito che *non* si verifica la situazione in cui *tutti* i punteggi di G. sono maggiori di quelli di M. (86 è minore di 87). Pertanto, nel caso da lei proposto la “media olimpica” non produce il paradosso da me evidenziato in relazione alla “media PRIN” dato che M. *non* è dominato da G.

      Il paradosso della “media PRIN” è che può premiare il progetto B anche se è completamente “dominato” dal progetto A, nel senso che (una volta ordinati i voti) ogni voto di B è inferiore al corrispondente voto di A. Basta un attimo di riflessione per capire che con la “media olimpica” un atleta completamente dominato da un altro non potrà mai passare davanti, cosa che può invece avvenire con la “media PRIN”.

  5. Brunello Mantelli says:

    Forse il collega Mellia è poco avvezzo a presentare progetti PRIN. Nelle valutazioni di essi, infatti, non compaiono riferimenti puntuali al contenuto del progetto, ma valutazioni sull’interesse del progetto medesimo, sulla capacità dei coordinatori e dei ricercatori di portarlo a buon fine, sull’adeguatezza o meno delle meodologie che si vogliono impiegare e così via. Che cosa c’entri tutto ciò con la riservatezza non riesco a comprenderlo.
    Senza contare che esistono diverse forme di “peer review”, in Germania ad esempio è abbastanza diffusa la “open peer review”, che consiste nel fatto che i giudizi di due revisori su di un articolo vengono pubblicati (firmati!) sul sito della rivista; tutti possono commentarli, l’autore può intervenire, poi alla fine del dibattito la redazione decide.
    Per nostra fortuna ci sono più cose tra il cielo e la terra di quanto non ritenga la filosofia dominante.

    Mi si conceda inoltre la seguente considerazione: quando ho scelto di tentare questo mestiere aspiravo ad entrare in una Repubblica delle Lettere, delle Arti, delle Scienze, i cui membri pensavo ispirati da una severa morale, e perciò mai e poi mai si sarebbero abbandonati alla minima tentazione di rubare idee, progetti, risultati ad altri colleghi. L’idea invece di dover custodire gelosamente idee, progetti, risultati, fonti “come ladro di notte” di fronte ad occhiuti ed avidi concorrenti iscritti alla medesima corporazione mi sconforta non poco. Pensavo che la mia musa fosse Clio, non Mackie Messer…

  6. Il controesempio di Melia non può darsi perché le differenze fra i voti non sono tali (ossia non sono maggiori di 10) da giustificare il ricorso al 4 esaminatore. Sia la valutazione di M sia quella di G si fermerebbero al terzo voto, qualunque ordine abbiano quest’ultimi. Non rendere noti i meccanismi di selezione è del resto tipico di una cultura del sospetto ben esemplificata da molte affermazioni di colleghi, anche su questo sito.

  7. svelto vito says:

    E’ cattivo tempo in spiaggia oggi! Leggo e scrivo.
    Non sono convinto della validità dell’approccio di De Nicolao; criticare è facile; molto più difficile trovare un metodo valido con i vincoli che una scelta comporta.
    Ricordiamo cosa ci si ripromette con un terzo revisore indipendente come anche ricordato nell’articolo di Mandelli: eliminare il giudizio che potrebbe essere viziato da amicizia o da inimicizia scegliendo, come validi, i giudizi numericamente più vicini. Se si analizzano, in questo modo, i risultati conseguiti dai due progetti A e B di De Nicolao, si evince che si ritengono viziati, non validi, quindi non esistenti, il voto più alto per il progetto A e quello più basso per il progetto B. Di conseguenza, in modo logico con l’ipotesi alla base dell’intervento di un terzo revisore, i voti validi per A sono solo la coppia 87-81 e per B la coppia 91-86. (I voti ritenuti viziati si scartano come non dati). Può essere ritenuto il metodo non condivisibile o sbagliato, ma il tutto è trasparente. La mia vecchia esperienza mi fa concludere che migliora la selezione.
    Di conseguenza i commenti quanto ad assurdità o Pinocchio sono fuori posto!!
    Con le critiche agli approcci numerici, bibliometrici faremo il gioco di coloro che ritengono valido solo il loro giudizio, non argomentato o giustificato. Gli argomenti di valutazione validi ridiventano: è il migliore, perchè è un mio allievo o è della mia scuola ( o peggio: è mio amico o del mio partito o della mia ideologia)!!!

    • Francesco Sylos Labini says:

      “Con le critiche agli approcci numerici, bibliometrici faremo il gioco di coloro che ritengono valido solo il loro giudizio, non argomentato o giustificato.” Penso che questo tipo di posizione non sia accettabile da parte di persone che hanno studiato (valutato?) il sistema di valutazione che sia del Prin, della VQR o delle abilitazioni. Si possono criticare gli indici bibliometrici e le scelte fatte nella valutazione senza necessariamente fare il gioco di chi vuole imporre scelte completamente arbitrarie. E’ la stessa logica di chi diceva che chi criticava la legge Gelmini faceva il gioco di chi non vuole riformare l’università. Purtroppo questa maniera di porre le cose non è solo sbagliata, è disastrosa.

  8. Brunello Mantelli says:

    Non sono in spiaggia. Ho il vizio di lavorare, anche ad agosto. Vorrei solo far presente che la presunzione che il voto più alto o più basso debba essere eliminato perché si dà per scontato che esso venga da un amico fidato o, reciprocamente, da un nemoco giurato è degna di Andrej Januarjevič Vyšinskij (per chi non lo conoscesse, si tratta del procuratore generale sovietico negli anni Trenta, all’epoca delle Grandi Purghe Staliniane). E tuttavia credo che interventi come quelli di Vito Sveglio e Marco Mellia meritino una più approfondita riflessione non solo e non tanto per quello che dicono, ma per l’universo culturale (la Weltanschauung) che rivelano, e che è con ogni evidenza proprio non solo a loro, ma a molti altri colleghi. Proprio per questo val la pena di essere discusso. Traspare, cioè, l’idea non che ognuno di noi sia parte di una collettività, che sola rende il tutto maggiore delle parti, che l’apporto che ognuno può portare all’accumularsi delle conoscenze sia il frutto del sapere sociale nel frattempo accunulatosi, e che quindi dovere di ciascuno sia mettere il più npossibile in comune quel che sa, che ha scoperto, che ha intuito ed elaborato, ma – viceversa – che le conoscenze e le acquisizioni debbano essere finalizzate essenzialmente ad un progetto individuale di ascesa, potere, dominio. Ovvio che in questo mondo stregato e capovolto i colleghi si trasformino da soggetti con cui dialogare a pericolosi concorrenti, progetti e ricerche diventino non qualcosa da mettere appena possibile in comune ma territori catafratti da divendere con le unghie e con i denti, i metodi di valutazione debbano non mirare al massimo della trasparenza, bensì porre al primo punto la caccia all’intrallazzo, al favoritismo, alla pastetta. Per cui se uno mi dà 100 ed un altro 80 vuol dire o che il primo è un sodale, o il secondo un maramaldo. Quando invece magari si tratta di due colleghi dalle legittime opinioni divergenti. Che tristezza il passaggio da Aristotele a Daniel Defoe, dall’uomo zoon politikon al Robinson Crosue. Epperò forse si tratta di una delle radici dell’attuale miseria dell’ambiente accademico.

  9. svelto vito says:

    Ritengo disastroso non accettare critiche al pensiero ROARS dominante!
    Il metodo che accetta come validi DUE giudizi autonomi, per tutti i partecipanti, comporta la eliminazione di un terzo, richiesto in quei casi in cui i primi due giudizi siano molto discordanti. Non si possono valutare alcuni progetti con tre (o quattro o più) valutazioni ed altri con due! Tutto è racchiuso in queste semplici considerazioni ed è trasparente (anche se a volte può essere errato!).
    Non credo, pertanto che sia valida la frase: “Epperò forse si tratta di una delle radici dell’attuale miseria dell’ambiente accademico”.
    Le radici sono altrove e forse nel dilettantismo di alcune critiche di un gruppo che ritiene di conoscere la assoluta verità.

    • Giuseppe De Nicolao says:

      A me sembra che il ragionamento del collega V. Svelto abbia il difetto di affrontare il problema dell’aggregazione dei voti mediante approccio intuitivo che si serve del linguaggio comune. Da ingegnere, mi sembra invece giusto trattarlo come un problema di trattamento dei dati utilizzando gli strumenti della logica e della matematica proprio per evitare di elaborare soluzioni inconsistenti. Le incongruenze nascono perché il problema è stato affrontato senza formulare un modello (deterministico o, ancor meglio, probabilistico) del processo di valutazione.

      Dietro il ragionamento di V. Svelto mi sembra di intuire un modello semplificato che però zoppica in un passaggio fondamentale.

      MODELLO “PRIN” (in linguaggio naturale): Se due voti distano più di dieci punti uno dei due è “viziato” da amicizia o inimicizia. Allora prendo un terzo giudice ed esso mi rivela quale voto vada escluso.

      Prima di tutto, c’è l’ipotesi dicotomica per cui i giudizi si dividono in “buoni” e “viziati”, con i secondi da trattare come “non esistenti”. È un’ipotesi rudimentale, ma proviamo ugualmente ad accettarla.

      La seconda ipotesi è la presunzione di saper riconoscere con certezza i punteggi “viziati” in modo tale da poter procedere alla loro eliminazione totale. I paradossi nascono proprio dall’aver trascurato che il riconoscimento dei viziati è inevitabilmente soggetto ad incertezza. Nel mio controesempio il progetto A riceve i seguenti tre voti:

      Punteggi progetto A = {94, 87, 81}

      Dato che 81 è più vicino a 87 di quanto non lo sia 94, ne segue che 94 è “viziato” e che deve essere eliminato. Tuttavia, se il revisore che ha attribuito 87 avesse attribuito 88, i voti sarebbero

      Punteggi progetto A = {94, 88, 81}

      In tal caso, dato che 94 è più vicino a 88 di quanto non lo sia 94, ne segue che 81 è “viziato” e che deve essere eliminato. Vorrei far notare la problematicità di un metodo che fornisce le seguenti alternative:

      SCENARIO 1. Voto del revisore #3 pari a 87 => voto finale = 84
      SCENARIO 2. Voto del revisore #3 pari a 88 => voto finale = 91

      Insomma, la variazione di un singolo voto del revisore #3 viene amplificata, dando luogo ad una variazione finale di ben 7 punti.

      Ora, proviamo invece a ragionare con un modello probabilistico (sempre sotto l’ipotesi dicotomica). In entrambi gli scenari sia 94 che 81 hanno una certa probabilità di essere “viziati”. Nel primo scenario tale probabilità è leggermente più alta per il 94, mentre nel secondo scenario è 81 che ha probabilità leggermente più alta di essere viziato. Ignorare del tutto l’incertezza e usare la “giustizia sommaria” produce un algoritmo semplice ma che

      1. dà i risultati incongrui da me illustrati (violazione della dominanza)
      2. è instabile nei confronti di piccole variazioni del voto del Revisore #3 (vedi sopra)

      Qualcuno domanderà: ma come bisognerebbe affrontare il problema? Credo che esistano due approcci.

      A. Formulare un modello matematico-statistico del processo di valutazione (tipicamente, ciò potrebbe consistere in una descrizione statistica degli errori commessi dai revisori) e derivarne un algoritmo che fornisca la “stima ottima” del punteggio del progetto. In particolare, invece di cassare alcuni voti secondo una logica tutto-niente, un modello statistico suggerirebbe l’uso di medie pesate, tali da evitare violazioni della dominanza e problemi di instabilità.

      B. Procedere in modo più empirico scegliendo un algoritmo entro l’insieme degli algoritmi che rispettano alcuni requisiti minimi che impediscono il verificarsi di paradossi.

      Quali sono questi requisiti minimi? A me sembra che il più basilare di tutti sia il principio di dominanza. Un altro requisito di una certa importanza è la “stabilità” dell’algoritmo: la variazione del voto di un revisore non dovrebbe essere amplificata in modo abnorme nel voto finale del progetto. Esistono infiniti metodi che rispettano questi due principi basilari, ma la “media PRIN” riesce a violarli entrambi..

      V. Svelto: “Con le critiche agli approcci numerici, bibliometrici faremo il gioco di coloro che ritengono valido solo il loro giudizio, non argomentato o giustificato. Gli argomenti di valutazione validi ridiventano: è il migliore, perché è un mio allievo o è della mia scuola ( o peggio: è mio amico o del mio partito o della mia ideologia)!!!”

      Qui non stiamo criticando gli approcci numerici. Stiamo criticando gli approcci numerici *inadeguati*. L’alternativa ad un metodo che viola il principio di dominanza, non è fare il gioco di chi vuol favorire i suoi amichetti, ma usare un metodo che non viola il principio di dominanza.

      V. Svelto: “Ritengo disastroso non accettare critiche al pensiero ROARS dominante!
      …. Le radici sono altrove e forse nel dilettantismo di alcune critiche di un gruppo che ritiene di conoscere la assoluta verità.”

      L’approccio scientifico con cui Roars cerca di affrontare i problemi è il contrario della presunzione di conoscere l’assoluta verità. Per quanto mi riguarda ho scritto che la procedura di valutazione è una “classifica di Pinocchio” perché viola il principio di dominanza (invertendo pertanto le gerarchie). L’uso di valutazioni che violano tale principio mi sembra difficile, se non impossibile da difendere, e in questo commento ho spiegato perché la difesa di V. Svelto mi sembra a sua volta debole. Non ci sono scomuniche. Ai lettori valutare gli argomenti più convincenti.

      Mi spiace non esser riuscito a rispondere prima, ma l’uscita delle mediane ha assorbito gran parte del mio tempo. Anzi, noto una coincidenza curiosa. Riguardo alle mediane, tra i problemi più segnalati dai lettori vi sono i paradossi legati all’età accademica, inclusi i possibili vantaggi derivanti dalla manipolazione dell’età accademica (cancellando i propri articoli più vecchi). Ebbene ciò nasce ancora da una violazione del principio di dominanza. Se gli indici ANVUR applicati a un certo insieme di pubblicazioni risultassero sempre maggiori di quando sono applicati ad un sottoinsieme delle stesse pubblicazioni, non ci potrebbe essere alcun vantaggio a cancellare i propri articoli. Inoltre, una popolazione incompleta del sito docente degli ordinari sarebbe meno problematica perché non farebbe altro che abbassare le asticelle (e nessuno protesterebbe). Una bella dimostrazione pratica dei guasti creati dalla violazione del principio di dominanza.

  10. Brunello Mantelli says:

    Caro Svelto, qui non si tratta solo di come vengano valutati i progetti, ma del fatto che l’eventuale esistenza di un terzo giudizio, nei casi ben indicati, sia stata trattata come “geheime Reichssache” (segreto di Stato, nel linguaggio burocratico tedesco d’antan). Perché la procedura non è stata resa pubblica? Questo da molto da pensare no? Almeno a me sì.

  11. Carissimi,
    we are not in Kansas anymore. L’accademia che condivide le idee … ma mi faccia il piacere … avrebbe detto Totò … qui ci si sbrana a vicenda.
    Progetto A, B e C. Come ti faccio fuori C con estrema eleganza:
    Chiedo ai presentatori di indicarmi dei referee. Ai referee indicati/graditi do un numero dispari. Ora io valutatore so che i referee dispari sono graditi ai presentatori di progetto e so che i referee pari sono casuali, magari stranieri (per il PRIN gli stranieri di solito non sanno che se ti danno meno di 99 ti danneggiano moltissimo).

    Io valutator elegantemente, mando il progetto A a referee 1 e 2; il progetto B a referee 3 e 4 e il progetto C a referee 5 e 6.

    A prende 100 da 1 e 85 da 2
    B prende 99 da 3 e 84 da 4
    C prende 100 da 5 e 89 da 6

    Tutti hanno bisogno del secondo referee (regole PRIN)
    Come faccio fuori C?
    Mando il progetto A al referee 7 (referee gradito): voto 91
    Mando il progetto B al referee 9 (referee gradito): voto 89
    Mando il progeto C al referee 8 (referee casuale): voto 88

    Metto insieme:
    A 100 e 91
    B 99 e 89
    C 89 e 88.
    C viene fatto fuori elegantemente.

  12. Al collega Svelto che – con mia sorpresa, lo ammetto – parla di “pensiero roars dominante” vorrei solo chiedere quali esperienze internazionali e quale bibliografia scientometrica può portare a sostegno delle tesi che egli difende. Che il tempo sia buono o cattivo e che ci piaccia la montagna o la spiaggia, siamo pur sempre tenuti al rispetto del metodo scientifico; inoltre sarei davvero felice se qualcuno soddisfacesse questa mia curiosità.
    Grazie,
    Ab

  13. Il meccanismo di selezione PRIN 2008 e 2009 prevedeva due giudizi distinti di due revisori; ed un giudizio finale congiunto espresso dai revisori stessi.
    Nel 2008 solo 90 revisioni su 3857 progetti, pari al 2,3% hanno avuto bisogno di un terzo revisore http://prin.miur.it/documenti/2008/RELAZIONE_FINALE_22_dicembre.pdf .

    E’ ben noto che la distribuzione dei voti all’interno delle civerse Aree CUN non è stata omogenea http://prin.miur.it/documenti/2008/RELAZIONE_FINALE_22_dicembre.pdf. Ed ha dato luogo a una ripartizione dei fondi a favore delle aree CUN con giudizi più generosi. Il problema non è la collusione baronale all’interno delle Aree CUN. Ma il cattivo disegno del sistema di finanziamento.

    L’intervento attuato per il PRIN 2010-2011 forse voleva evitare questo problema.
    Sarebbe stata sufficiente una semplice decisione politica iniziale: definire ex-ante la quantità di finanziamento per ciascuna area (cosa che è stata fatta per il 2010-2011). Invece si è messo in piedi il PRIN-Kakuro. Spostando a livello locale la preselezione dei progetti. Ogni Ateneo ha agito in autonomia. Molti hanno usato il sistema CINECA, con varianti. Evidentemente qualcuno ha deciso di eliminare il giudizio congiunto dalla procedura di valutazione. Meglio la media aritmetica di due giudizi disgiunti (sia mai che due baroni valutatori si possano accordare in incognito).

    Ma “fidarsi è bene. Non fidarsi è meglio”. Per cui di fronte a giudizi troppo distanti (10 punti a Torino, come scrive Brunello Mantelli; 20 a Padova http://www.unipd.it/sites/unipd.it/files/Relazione_finale2012_0.pdf) almeno uno dei due revisori evidentemente sta barando (d’altra parte non si è baroni per caso). Il terzo revisore rimetterà in gioco uno dei due giudizi, quello più vicino.

    Come ha mostrato Giuseppe De Nicolao la media su due voti eliminando il più distante viola il principio di dominanza. E come ha mostrato paolo nel commento sopra si presta a qualche manipolazione da parte di coloro che a livello locale sono chiamati a scegliere i revisori.

    Più in generale il meccanismo di scelta a due stadi (locale e nazionale) non garantisce che vincano i progetti migliori. Non garantisce cioè il principio di dominanza nella scelta dei progetti: alcuni progetti scartati a livello locale potrebbero aver ricevuto voti più alti dei progetti finanziati al termine del processo.

    Il risultato finale sarà migliore o peggiore del precedente? Vito Svelto scrive: “La mia vecchia esperienza mi fa concludere che migliora la selezione.” Io semplicemente direi che, come il sistema precedente, non servirà a finanziare i migliori progetti.

    PS. Che il pensiero di ROARS sia dominante, come scrive V. Svelto, beh saremmo un po’ illusi se lo credessimo. Anche suggerire, come fa V. Svelto, che “le radici dell’attuale miseria dell’ambiente accademico” “sono forse nel dilettantismo di alcune critiche di un gruppo che ritiene di conoscere la verità assoluta [evidentemente ROARS NDR]“, finisce per attribuire ad un blog collettivo delle responsabilità, per così dire, un tantino eccessive.

Leave a Reply

Newsletter Powered By : XYZScripts.com