Il documento ANVUR sul calcolo delle mediane si guadagna
un posto nel “Bestiario Matematico” di Giorgio Israel
La sconcertante sceneggiata del calcolo delle mediane per l’abilitazione nazionale universitaria è giunta a un atto che ogni persona ragionevole non può che considerare finale. La decenza imporrebbe di abbassare il sipario e di congedare gli “attori”.
Questo atto è un imbarazzante documento che è stato commentato dettagliatamente nel sito Roars.
Noi qui vogliamo limitarci, nella cornice dei bestiari matematici, a commentare il seguente impagabile passaggio:
Il terzo motivo di incertezza è costituito dal fatto che il DM 76 (art. 1 lettera p) definisce il concetto di mediana come “il valore di un indicatore o altra modalità prescelta per ordinare una lista di soggetti, che divide la lista medesima in due parti uguali”. Questa definizione, pur univoca, lascia però un importante punto di ambiguità nella decisione su come procedere se la mediana viene usata per selezionare tra una serie di soggetti (i docenti), nel caso in cui più soggetti abbiano lo stesso valore mediano. In altre parole, se più soggetti hanno lo stesso valore dell’indicatore e questo corrisponde alla mediana, non vi sono criteri per creare tra di essi una lista ordinata. Questa circostanza è aggravata dal fatto che il decreto dispone (agli allegati A e B) che per soddisfare il criterio i soggetti devono avere valori degli indicatori “superiori” alla mediana, e non superiori o uguali. Diviene quindi, di fatto, impossibile utilizzare il valore mediano così definito come separatore tra il 50% inferiore ed il 50% superiore di un insieme di soggetti, e ciò sostanzialmente contrasta con una possibile interpretazione dello spirito del decreto, ciò quello di consentire la partecipazione alle commissioni a quei professori ordinari che si trovano, rispetto ad almeno uno o due (a seconda dei settori concorsuali) dei parametri considerati, nel 50% superiore rispetto all’insieme. In linea teorica, potrebbe darsi il caso, per distribuzioni particolari, di un numero di soggetti che superano la mediana pari a zero, o in ogni caso molto piccolo. Ciò accade quando una elevata proporzione dei soggetti si trova con lo stesso indicatore, e questo rappresenta proprio il valore mediano. Per i motivi sopraccitati, e anche per i limiti delle persone coinvolte (“errare humanum…”), le tabelle con i valori numerici delle mediane degli indicatori sono state pubblicate in più riprese, e anche con errori.
1 — L’Ente Supremo preposto alla valutazione dell’università e della ricerca propone il seguente nuovo concetto: quello di definizione univoca che lascia punti di ambiguità. A noi, poveracci, non era venuto in mente che potessero esistere definizioni univoche e al contempo ambigue, ci tratteniamo dal commentare e ci inchiniamo con la fronte nella polvere di fronte a questa rivoluzione della logica elementare proposta dal Presidium.
2 — A noi risultava che la definizione di mediana fosse la seguente: dicesi mediana di una variabile aleatoria, posti i suoi valori in ordine di grandezza crescente, il valore centrale dei dati se il numero dei dati è dispari, o la media aritmetica dei due valori centrali, se il numero dei dati è pari. Ora la definizione del DM è che trattasi di un indicatore che divide la lista medesima in due parti uguali. Tutto va bene se il numero dei dati è dispari: l’indicatore sarà il valore centrale dei dati. Per esempio, la mediana della serie 1, 2, 2, 3, 5 è 2. Ma se il numero dei dati è pari qualsiasi numero compreso tra i due valori centrali va bene. Se la serie è 1, 2, 3, 5, valori che dividono la lista in due parti uguali sono 2.1, 2.3, 2.5, 2.8 ecc., insomma sono in numero infinito, se non si dice che il valore è la media aritmetica dei due valori centrali. Insomma, a meno che i due valori centrali siano uguali, la definizione non è per niente univoca. E non aggiungiamoci il carico da novanta di quel “valore di un indicatore” (quale) e addirittura di quel “o altra modalità prescelta” (quale?). Insomma, la definizione non è per niente univoca, come dice l’Ente Supremo. Perciò è peggio che ambigua. Anzi è una porcheria.
3. — Chi è che ha scritto quella definizione? L’Anvur fa capire che non è lui, ma qualcun altro. Sarebbe interessante sapere chi, visto che tutte queste cose vengono fatte a spese del contribuente. Ma quel che è impagabile è: (a) che l’Anvur si produca in una duplice baggianata, cioè dare per univoca una definizione che non lo è, e rivoltare la logica elementare introducendo il concetto di definizione univoca ma ambigua; (b) di aver scoperto soltanto ora, dopo che da almeno un anno ci sta torturando con questa immensa bufala della mediana, che la definizione con cui sta misurando la qualità di migliaia di professori universitari è fasulla. Altro inaudito sperpero di denaro pubblico, altra inaudita esibizione di incompetenza.
3 — “Se più soggetti hanno lo stesso valore dell’indicatore e questo corrisponde alla mediana, non vi sono criteri per creare tra di essi una lista ordinata”… Ma pensa un po’… E chi se l’era immaginato? Se prendo la serie di numeri 3, 3, 3, 3, 3, 3 non c’è modo di metterli in lista ordinata, perché – accidenti – sono tutti uguali. È una scoperta matematica che rivolta da cima a fondo l’aritmetica come la conosciamo dai tempi dei Greci. Saranno diventati calvi nello sforzo di scoprire una cosa così. Tralasciamo il resto delle considerazioni perché sono talmente intricate e senza capo né coda da non consentire alcun commento ragionevole se non quello stesso dell’Ente Supremo: “per i limiti delle persone coinvolte”…
LIMITI PESANTI, non c’è che dire.
Bene, tutto questo sarebbe materia per quattro risate se non fosse il prodotto del lavoro di un Comitato di “luminari” chiamato a valutare l’università e la ricerca scientifica italiane. E se questo lavoro non fosse costato un patrimonio, in un momento di tagli pesanti. I commissari dell’Ente Supremo prendono circa 180.000 euro l’anno ciascuno (200.000 il presidente) per scrivere questi documenti, senza contare le retribuzioni dei dirigenti e dell’amministrazione, i compensi ai “valutatori” ingaggiati e quel che è costato l’uso dei database ISI e Scopus per calcolare le mediane di migliaia di professori universitari.
E poi c’è la grammatica: « un numero di soggetti che superano la mediana pari a zero, o in ogni caso molto piccolo»… Molto piccolo chi?
ANVUR NON POTUTO FARE ALTRO…
Torna in mente la canzoncina del film di Alberto Sordi: «Bongo, bongo, bongo, stare bene solo al Congo…»
Quando questa storia si saprà all’estero – e si saprà – affonderemo nel ridicolo universale.
In un paese degno di rispetto, l’università dovrebbe rappresentare l’eccellenza e l’ente che fosse preposto a giudicarne l’operato dovrebbe essere l’eccellenza dell’eccellenza. Noi abbiamo l’Anvur. Io non potuto commentare altro.
non ci resta che piangere…(http://www.youtube.com/watch?v=845Yu0Rk_nw)
« un numero di soggetti che superano la mediana pari a zero, o in ogni caso molto piccolo»
Un numero di soggetti che SUPERA [“numero” è il sostantivo che è soggetto nel periodo].
Ma, in fondo, chissenephrega.
Ministro Profumoooooooooooooooo….dove sei? E se ci sei, batti un colpo! Davvero, “io non potere dire altro”….
… e cosa aspettiamo a far sapere all’estero quello che sta accadendo in Italia?
Si potrebbe ad esempio inviare una lettera (da parte di ROARS?) a Nature e/o Science, o altra rivista internazionale ad ampio spettro, puntualizzando non solo la poca chiarezza dell’ANVUR nel calcolo delle mediane e nella scelta delle riviste di eccellenza, ma soprattutto i seri rischi a medio/lungo termine che comporta una valutazione dei singoli ricercatori basata su semplicistici criteri bibliometrici.
Questa mi sembra, personalmente, un’ottima idea.
È ovviamente molto difficile dissentire da quanto scritto nell’articolo. Il tutto risulta però un esercizio retorico se non si premette che ci siamo ridotti in questa situazione pietosa dei criteri quantitativi automatici per il principale motivo che i professori dell’università italiana, in 60 anni, non si sono dimostrati degni di una valutazione intellettualmente onesta delle persone da reclutare. Per decenni la valutazione “qualitativa” cui oggi si inneggia è stata manipolata, violentata, usata con il solo fine di far andare avanti la “cricca”. Se si dimentica questo, a mio parere non si ha diritto di criticare.
V.
Sacrosanto. Salvo che l’Anvur buttando fuori con la bibliometria gente rispettabile e accreditando riviste che con la ricerca scientifica hanno a che vedere come lo scrivente con la danza classica ha istituzionalizzato queste pratiche indegne.
Ora il vero gioco sará sui concorsi locali in cui ci sarà la stessa valutazione qualitativa. Quindi nulla è cambiato. Ora per far finta che sia tutto cambiato si “violenta” la logica, si danno nuove definizioni di concetti matematici ben definiti come la mediana ( la mediana di 3 ,3,3,3,3,3,3 è 3 e nessuno la può superare ) che non divide niente.
Se ci fosse onesta intellettuale si dovrebbe chiedere le dimissioni del ministro, di tutti i membri dell’anvur e vietare a chiunque ha più di 55 anni di fare da commissario. Non è giusto che le assunzioni siano gestite da chi nel giro di pochi giorni andrà in pensione. Un 65 che nomina i suoi eredi appena prima di ritarsi è come un barone che investe i nuovi baroni.
Se può esserti di conforto, ti posso comunicare che tra gli aspiranti commissari ci sono persone che GIA’ sono andate in pensione. Sono in attesa di vedere come andrà a finire, se l’Anvur se ne accorge o meno, anche in considerazione del fatto che fanno anche parte dei GEV. Come vedi, le sorprese non mancano mai.
A israel e a giuliomarini: il periodo è scritto correttamente: “un numero di soggetti che superano la mediana pari a zero, o comunque molto piccolo”. Sono i soggetti a superare la mediana, ma il numero di coloro che lo fa è pari a zero, o molto piccolo.
Ma sì, lo so. Infatti, il caso degli storici della matematica è esattamente quello in cui il numero di soggetti che superano la media è pari (si dice uguale!!) a zero, anzi è molto piccolo, perchè l’unico che supera la mediana è il sottoscritto…. E allora che aspettano a buttare a mare tutto? E invece no, perché Novelli e Bonaccorsi mi hanno risposto che «è possibile che questo sistema porti all’esclusione di qualche bravo commissario, ma certamente non vedremo commissioni composte da commissari che giudicano candidati più preparati di loro, come spesso è accaduto». Quindi, da un lato scaricano sul DM la colpa di tutto, dall’altro giustificano. Salvo il fatto che di commissari peggiori dei candidati ve ne saranno sempre di più. Infatti, basta che uno abbia pubblicato una recensione su Casabella (rivista di serie A) e niente altro negli ultimi venti anni perché sia commissario. No comment.
Caro Israel, L’affermazione di novelli e bonaccorsi non e’ neppure vera per le aree “bibliometriche”. Avere differenziato i parametri di candidati e commissari potrebbe portare ad avere commissari che non superano neppure una delle mediane richieste ai candidati ( sia a PO che a PA). In questo articolo avevo fatto un esempio, ma probabilmente ce ne sono anche altri.
http://www.menodizero.eu/prima-pag/254-il-senso-della-coerenza-le-fragili-scelte-del-ministero-sulle-abilitazioni-.html
Questa incongruenza pone problemi anche da un punto di vista di legittimita’ delle procedure.
Ma non c’è dubbio!… È esattamente il caso degli storici della matematica. Tutti gli ordinari sono stati esclusi (eccetto il sottoscritto, non so perché e quasi me ne vergogno, e peraltro non ho fatto domanda per entrare in commissione e me ne vado in pensione anticipata). Tutti questi ordinari hanno massa enorme di lavori altamente considerati (vedi l’appello riportato su Roars), ma hanno prevalentemente scritto libri e fatto edizioni critiche. Parecchi candidati associati che hanno fatto per lo più articoli e non ancora libri – perché per fare un libro di qualche entità ci vuole una certa maturità scientifica e una visione ampia, mentre si può fare sempre l’articoletto su una tematica molto specifica – superano la mediana per diventare commissari, mentre gli ordinari non superano neanche la mediana per presentarsi come candidati ordinari… È roba da manicomio: andatelo a dire ai firmatari stranieri della lettera. Prenderanno quelli dell’Anvur per pazzi e diranno: “Ecco la solita Italia”. D’altra parte, ha ragione qui appresso taddeo: i criteri bibliometrici sono una bufala megagalattica, soprattutto se usato non a livelli micro, ma a livelli macro, applicati a un’intera comunità scientifica nazionale, cosa che non fa nessuno. Chi ci ha provato è scappato prontamente. Aggiungo che la scolastica di questi signori bibliometristi è da rifuggire come la peste. Se uno si impantana nelle loro teorie senza capo né coda non ne esce e perde il senno e il tempo. Se Cartesio si fosse impantanato a discutere nel merito con i tardoscolastici non avrebbe mai scritto il Discorso sul metodo….
“Se uno si impantana nelle loro teorie senza capo né coda non ne esce e perde il senno e il tempo.”
devo dissentire: se roars non avesse esaminato per bene queste “teorie”, mettendo in evidenza tutta una serie di cose, e se le uniche voci di dissenso fossero state quelle basate su un dissenso di principio (fatte cioè “a prescindere”, come direbbe il principe Antonio de Curtis), forse (dico forse) certe cose non sarebbero venute alla luce; solo misurandosi con i dettagli concreti uno può mettere alla luce certe cose; ne usciremo? non lo so; i redattori di roars stanno perdendo il senno? ai posteri …
“i redattori di roars stanno perdendo il senno?”
Il senno spero di no, il sonno di sicuro, visto il tempo dedicato a decifrare le cabale anvuristiche. Comunque, ringrazio De Biase per il commento: ha colto un aspetto fondamentale. Solo verificando i singoli dettagli (anche realizzativi) delle procedure è stato possibile far emergere in modo inequivocabile i gravi problemi insiti nelle regole volute dall’ANVUR. Posso dire che alcune falle erano prevedibili in partenza (bastava un’infarinatura di bibliometria e qualche nozione sullo stato della base dati CINECA per capire che calcolare delle mediane affidabili sarebbe stata un’impresa). Tuttavia, la poca trasparenza dell’ANVUR sarebbe riuscita mascherare le magagne se non avessimo evidenziato in modo puntuale le incongruenze nei (pochi) dati pubblicati. Un lavoro certosino, motivato dalla convinzione che per garantire etica e trasparenza nell’accademia è necessaria prima di tutto etica e trasparenza da parte dell’agenzia di valutazione.
Non sono riuscito a farmi capire. Non intendevo minimamente criticare Roars, e quel che fa che è altamente meritorio, fondamentale. Altrimenti non scriverei qui. Questo sia chiaro. Smascherare e “deostruire” le teorie altrui è indispensabile. Parlavo di impantanarsi a discutere con loro le loro teorie, mettendosi sullo stesso terreno. Questo è quel che fa chi ragiona come per contrapporre una bibliometria buona a una cattiva. Se si scende su questo piano si perde il tempo e il senno, lo ripeto. Non mi pare affatto quel che viene fatto qui. L’analisi dei dettagli è necessaria per smascherare le magagne e decostruire l’insensatezza di quell’approccio Non certo per discutere sullo stesso terreno. Non a caso partivo dall’osservazione di Taddeo. Dissento totalmente dalla bibliometria, non “a prescindere” ma per ragioni di fondo che hanno una base razionale. Mostrare che mediane, h-index, IF non hanno senso è quel che fanno molti, ed è quel che si fa qui. C’é invece chi discetta e dibatte sulla possibilità di costruire una bibliometria “buona” contro una “cattiva”. Tanti auguri a costoro. Ritengo che vi siano ottimi argomenti razionali per escludere questa via e le analisi di Roars portano materiale di supporto a questa tesi.
Io non credo che i criteri bibliometrici siano una bufala megalattica tout court. La bibliometria è una cosa seria, e ci dice cose molto interessanti. Quello che trovo mal posto è la pretesa di poter usare un criterio algoritmico per mettere gli scienziati “in fila” con criteri quantitativi. In un post precedente facevo l’esempio di Haydn che forse sarebbe meglio di Mozart (forse salvato dall’età accademica) e certo di Beethoven e Schubert, se si contano le sinfonie. Ma il dato che nel diciannovesimo secolo si scrivessero molte meno sinfonie rispetto al diciottesimo è interessante. Dice qualcosa. Ovviamente da questo dato solo una attenta analisi di un musicologo potrebbe trarre interessanti conclusioni.
Non bisogna confondere la bibliometria con la docimologia.
Ma qui sta succedendo una cosa ulteriore. Un gruppo di dilettanti prende dei dati palesemente non validi e ne trae conseguenze che potrebbero cambiare la vita di persone che da anni si dedicano alla ricerca. Poi sbaglia i conti. Poi si spaventa e dice che tanto non valgono. Poi fa liste assurde di riviste, e così via.
Secondo me bisogna cercare di fermare l’ANVUR, ma anche iniziare una riflessione (che non si può fare in questo post) su cosa incentiverebbe scienziati e umanisti a produrre “bene”, non “molto”.
Detto questo, secondo me il contributo di ROARS, e di De Nicolao in particolare, sono davvero fondamentali alla comprensione di quanto sta succedendo. Mi dispiace per il suo sonno, ma il suo senno è davvero prezioso.
L’ANVUR individua un problema: i valutatori sono meno preparati dei soggetti da valutare. Forse è così. Allora definisce un criterio (qualunque esso sia) che definisce chi è bravo e chi no. I famosi criteri bibliometrici. Poi dice, se mettiamo in commissione i professori nella metà alta della classifica e quindi “non vedremo commissioni composte da commissari che giudicano candidati più preparati di loro”. Secondo questa (aberrante) logica avrebbero dovuto comporre le commissioni solo dei professori che hanno i parametri più alti di tutti i candidati. Adesso, dato che i candidati sono tutti al di sopra della mediana, saranno per la gran parte migliori dei commissari, per definizione.
Ovviamente la soluzione del paradosso è nel fatto che i criteri bibliometrici non possono valutare la qualità e la preparazione degli individui.
E comunque la sintassi è roba da bocciatura a un test Invalsi…
Sarebbe bastato scrivere “un numero uguale a zero di soggetti che superano la mediana, o in ogni caso molto piccolo…”
Sarebbe bastato rileggere.
Se sono esatte le considerazioni sui costi di questa “bufala” (come la chiama Giorgio Israel dando peso scientifico a una sensazione diffusa) esiste un danno erariale e sarebb ora ch qualcuno avviasse la pratica per la restituzion dei soldi sprecati. Forse la volta prossima gli incaricati di queste attività dimostreranno più competenza e minore albagia. GM
Oltre al problema di fondo dell’inadeguatezza delle bibliometria (e dell’ANVUR), c’è il fatto che il DM76 cambia le carte in tavola rispetto alla L. Gelmini nella quale si dice esplicitamente che la valutazione deve avvenire in base a parametri definiti dal Ministero, previa individuazione del contributo personale alle pubblicazioni.
Nei parametri del DM 76, invece, non c’è traccia di ciò e pertanto le procedure in atto DISATTENDONO la L. Gelmini. Questo punto specifico mi sembra grave almeno tanto quanto il vizio di retroattività rilevato dai costituzionalisti per i settori non bibliometrici. Un commissario eventualmente escluso sulla base di questi parametri potrebbe impugnare il DM che è in evidente contrasto con la legge.
Ma è così difficile pensare che una procedura di abilitazione di singoli deve essere quanto meno basata sulla valutazione del loro operato PERSONALE e non del gruppo?
Infatti le mediane escludono senza entrare nel merito del contributo di ogni singolo autore. Questo è palesemente contro la legge.
Ahhhhhh….Ho capito!!!Ho capito cosa volevano dire in itagliano correggiuto! sono andati in tilt quando si sono accorti che ad esempio nel caso 1 2 2 3 5 , non esiste un 50% superiore…in questo caso esiste un 40% superiore, un 40% uguale e un 20% inferiore…ma loro volevano sempre un 50 superiore e un 50 inferiore.
Potevano consultare wikipedia. tanto caro all’anvur per scrivere i quiz dei concorsi, per accorgersi che:”
la Mediana bipartisce la distribuzione in due sotto-distribuzioni: la prima a sinistra della Mediana (costituita dalla metà delle unità la cui modalità è minore o UGUALE alla Mediana) e la seconda a destra della Mediana (costituita dalla metà delle unità la cui modalità è maggiore o UGUALE alla Mediana).
Nel caso 1 2 2 2 3 5 la mediana è 2 e purtroppo solo uno dei ‘2’ sarà il fortunato nel 50% superiore, gli altri due ‘2’ subiranno l’ingiustizia di essere nel 50% inferiore anche se sono comunque dei ‘2’ e sicuramente faranno ricorso presso il TANI (tribunale amministrativo dei numero interi)
[…] ch’egli faccia ciò invocando il proprio intervento autocratico ed esponendosi al rimprovero: Caesar non est supra grammaticos; sia, e a maggior ragione, se egli abbassa il suo potere supremo tanto da sostenere il dispotismo […]