Segnaliamo una risposta alla consultazione pubblica sull’uso degli indicatori quantitativi per la valutazione della ricerca lanciata dall’agenzia inglese HEFCE:
Why Metrics Cannot Measure Research Quality: A Response to the HEFCE Consultation
Response to the Independent Review of the Role of Metrics in Research Assessment
June 2014
Authored by:
Dr Meera Sabaratnam, Lecturer in International Relations, SOAS, University of London
Dr Paul Kirby, Lecturer in International Security, University of Sussex
Summary
Whilst metrics may capture some partial dimensions of research ‘impact’, they cannot be used as any kind of proxy for measuring research ‘quality’. Not only is there no logical connection between citation counts and the quality of academic research, but the adoption of such a system could systematically discriminate against less established scholars and against work by women and ethnic minorities. Moreover, as we know, citation counts are highly vulnerable to gaming and manipulation. The overall effects of using citations as a substantive proxy for either ‘impact’ or ‘quality’ could be extremely deleterious to the standing and quality of UK academic research as a whole.
Mi piace quanto è scritto nell’articolo. E’ noto anche all’ANVUR che gli indicatori bibliometrici (le famigerate mediane) non possono e non devono misurare la qualità della ricerca, ma solo una sorta di quantità della produzione scientifica delle persone. E’ l’uso distorto fatto da alcune commissioni di tali indicatori, presi addirittura come soglia di sbarramento, che ha falsato molti concorsi. Tali commissioni hanno preso lucciole per lanterne, operando un danno enorme in alcuni settori concorsuali: tra l’altro commissioni scelte con altri criteri bibliometrici: TALI COMMISSIONI SONO STATE PRESE PER LA QUANTITA’ DI LAVORO PREGRESSO, NON PER LA QUALITA’ DI SVOLGERE UN LAVORO DI QUALITA’.
Il problema non è peregrino, sono già stabiliti e arruolati i valutatori disciplinari e di sistema per l’ANVUR-AVA: ma quale selezione è stata fatta? Quale formazione hanno avuto?
Il problema non è solo l’ANVUR, ma tutto quello che a cascata determina: commissioni e valutatori che sono chiamati a svolgere funzioni essenziali ma senza alcuna verifica delle loro qualità e senza alcuna specifica formazione.
“21. It is, of course, difficult and time-consuming to assess academic research by having experts read it and carefully evaluate it against complex and demanding criteria, ideally under conditions of anonymity. That is as it should be.”
1) Who should choose the experts?
2) Who should choose the criteria?
3) How and why should the anonimity be granted?
Is not all this already done by the peer-reviewers of existent journals?
AUDITEL & BIBLIOMETRIA
E’ emblematico che per tentare di convincere ANVUR e dintorni si debba passare il tempo ad evidenziare l’ovvio.
E’ come se dovessimo convincere qualcuno che gli asini non volano, dubito che non concordi, molto più probabilmente gli conviene far finta di non capire.
D’altronde parte del loro ruolo è basato sulla bibliometria, è improbabile che ammettano l’evidenza. Gli stessi database SCOPUS e WOS non avrebbero contratti con il MIUR, che immagino corposi e di cui continuiamo a non saper nulla. Come mai? La Corte dei Conti non ha nulla da dire? 5 Stelle chiese a Fantoni in un’audizione alla Camera, il quale replicò di non saperne nulla. Che chiedano al MIUR.
Di fatto la bibliometria è un business con effetti devastanti sull’Università. Per esempio credo bastasse un abile commissario “ligio al regolamento” per far sì che le mediane diventassero uno sbarramento, e questo, per certi fini, è stato e sarà assai utile.
Avremo una ricerca stile “un tanto al chilo” con seminari interrotti dal super spot … e per aumentare l’audience/index chiederemo la partecipazione della Santanché.
Credo che l’interesse a sparare contro le citazioni dei singoli articoli sia da parte di chi vuole basarsi sull’impact factor della rivista, che secondo me è anche peggio. Lasciare la valutazione ad un paio di revisori, molto spesso polarizzati, mi pare molto più rischioso rispetto ad un apprezzamento più “distribuito” su tutta la comunità scientifica, ovvero le citazioni.
La griglia VQR che pesa l’i.f. nei primi anni e poi pesa le citazioni mi pare ragionevole: do credito e peso ad un lavoro se è pubblicato su una buona rivista, ma se i contenuti sono di interesse, dopo pochi anni, il lavoro deve “camminare con le proprie gambe”, e farsi largo nella comunità scientifica. Il che si misura con le citazioni. Sono delle singolarità i casi in cui un lavoro scientifico di valore rimane lettera morta nelle citazioni.
Di opinione opposta sono tra i tanti:
1. La San Francisco Declaration on Research Assessment (è stata sottoscritta da più di 400 organizzazioni, comprese riviste come Science, Plos e PNAS, e più di 9.000 individui) https://www.roars.it/dora/
.
2. IEEE Board of Directors: Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”. La IEEE si autodefinisce “the world’s largest professional association dedicated to advancing technological innovation and excellence for the benefit of humanity“.
https://www.roars.it/anche-lieee-contro-luso-di-indici-bibliometrici-per-la-valutazione-individuale/
Non so in quale campo tu faccia ricerca. Ti riporto un controesempio che è tutt’altro che una singolarità: vai a controllare le citazioni di Yuri I. Manin, alcuni lavori hanno o 0 o 1 citazione. Altri hanno avuto citazioni solo dopo molti anni. Motivo: pochi sono in grado di lavorare nel suo campo. Manin è unanimemente considerato tra i top ten matematici viventi e a nessuno viene in mente di considerare le sue citazioni. Come ci dice la statistica, tra questo caso ed altri esiste una certa continuità, per cui c’è un cospicuo numero di eccellenti autori con indici bibliometrici risibili (fai l’integrale della gaussiana corrispondente in un opportuno intervallo). Se vuoi più dettagli vai a vedere quanti sono i colleghi eccellenti che neppure hanno fatto domanda per l’ASN in quanto bibliometricamente risibili. Quindi attenzione all’errore fatto da qualche parte (e.g. alla II audizione di Fantoni): non c’è solo qualche estremo e sporadico caso (per cui “possiamo cinicamente fregarcene”) piuttosto, come ovvio, c’è un continuum.
Questo è solo un aspetto, ma son certo che anche tu avrai notato colleghi con indici formidabili perché lavorano in un campo molto popolare e, probabilmente, assai meno impegnativo, o no?
Concordo perfettamente che il lavoro deve “camminare con le proprie gambe”. Si tratta solo di mettersi d’accordo: infatti avere anche una sola citazione, ma da Manin, vale molto più di 100 citazioni da Chaos and Fractals, o mi sfugge qualcosa?
Recommendation 1: The use of bibliometric indices for evaluating individual researchers is of no value unless a number of prerequisites are met: – The evaluation should focus on the articles and not the journals. – Data quality, standardization, significance of deviation and robustness of indices must be validated.
.
Recommendation 2: Bibliometrics should not be reduced to numbers, it must be accompanied by an in-depth consideration of bibliometric and bibliographic data, and if possible the articles themselves
.
https://www.roars.it/on-the-proper-use-of-bibliometrics-to-evaluate-individual-researchers/
@gab non so quale sia la sua disciplina. Le suggerisco il seguente ragionamento. Ipotizzo che lei sia un medico. Io sono un bibliometrico e credo nel protocollo Vannoni. Affermo quindi che ritengo “ragionevole” tale protocollo basato su cellule staminali e quant’altro. Essendo lei un medico serio prende atto del fatto che io di medicina non so molto, e archivia la mia opinione, appunto come opinione.
Veniamo alla VQR. Lei, medico, ritiene “ragionevole” la griglia VQR. Legittima opinione. Equivalente alla mia sul metodo Vannoni.
Un protocollo bibliometrico è ragionevole se è stato messa a punto, utilizzato e validato dalla comunità scientifica internazionale. ANVUR avrebbe fatto bene il suo mestiere se avesse preso a riferimento una buona pratica internazionale e l’avesse applicata in Italia. Invece si è inventata la griglia VQR che è una pratica che non esiste [e che è anche concettualmente errata]. Provi pure a cercare traccia della griglia VQR sulle maggiori riviste di settore: Journal of informetrics, Scientometrics, JASIST [e poi anche su Research Policy, o Research Evaluation]. Non ne troverà. Pura creazione italiana.
BTW. Su quelle riviste c’è invece una ampia letteratura che studia le frequenze statistiche delle belle addormentate (così sono chiamati in gergo gli articoli che si risvegliano dopo anni (spesso decenni) di uncitedness. Se se la legge potrà cambiare idea forse anche sulla “singolarità”.
Ecco il parere di David Spiegelhalter, uno studioso non avrebbe nessun interesse a sparare contro le citazioni (al suo attivo, 32.000 citazioni su Web of Science, h-index = 63).
====================
Identifying useful metrics for research assessment:
——————–
I am a statistician, and so I love metrics. I follow my Google Scholar profile with interest. By any metric, I have been extremely successful. On Google Scholar I have 64000 citations, h-index of 85, and on Web of Science I have 32000 citations, h-index of 63. I follow Altmetrics, and have over 8000 followers on Twitter. All this has done me very well in my career – I have more letters after my name than you can shake a stick at.
Nevertheless I am strongly against the suggestion that peer–review can in any way be replaced by bibliometrics.
——————–
Per leggere il seguito:
http://understandinguncertainty.org/using-metrics-assess-research-quality
afferma David Spiegelhalter:
——————-
There has been a disastrous confusion between ‘indicators’ and ‘measures’, and it would be a retrograde step to see this being played out in research assessment.
Spiegelhalter ha messo su una fabbrica di paper a Cambridge, reclutando schiavi da ogni parte del mondo (459 paper, neanche fosse Gesu’ tornato in terra). Non e’ l’unico ad aver capito “come si campa oggi”, vedi ad es. un altro tale con parametri simili Blaabjerg di Aalborg per l’ingegneria. L’opinione di Spiegelhalter mi ricorda quella del paperone ricco sfondato quando “sinceramente e in tutto cuore” afferma che il denaro non rende felici…Certe “fonti” dovrebbero essere valutate un po meglio prima di additarle ad esempio!
Avendo avuto a che fare con i metodi statistici, a me Spiegelhalter più che uno schiavista (un’accusa così grave andrebbe documentata) mi sembra un ricercatore molto bravo e apprezzato. Non ho ancora visto Paperoni italiani schierarsi altrettanto apertamente contro gli abusi bibliometrici. Va anche detto che la presa di posizione di Spiegelhalter non è estemporanea dato che già molti anni indietro si era dedicato alle “league tables” e alle problematiche dell’uso di indicatori automatici per es. in sanità. Non mi sembra proprio che la sua sia una riflessione liquidabile con una battuta su Paperone.
Il peccato originale della VQR è che è stata impostata ex post. Si è deciso di procedere alla valutazione DOPO che i ricercatori e i docenti avevano scritto. A prescindere da tutto, un metodo di valutazione deve essere noto PRIMA a tutti. Ad oggi non sappiamo come e con che metodo e da chi sarà effettuata la valutazione sui prodotti scritti dopo il 2010 e siamo già al 2014. Ne risultano, anzichè un incentivo al miglioramento, disorientamento, confusione, diallineamento fra i diversi sistemi di valutazione tra cui l’ASN, e arbitrio. Dunque sospetti di dolo e colpa grave in capo all’ANVUR la cui legittimità e imparzialità diventa molto discutibile.
Ecco, non se n’è parlato (credo) ma un’altra controindicazione all’uso scriteriato delle metriche e’ il fatto che la bibliometria e’ “gender sensitive”. C’è tutta una letteratura su questo e quello linkato di seguito e’ uno degli articoli più recenti a questo proposito, pubblicato su Nature:
http://www.nature.com/news/bibliometrics-global-gender-disparities-in-science-1.14321
Alla base della differenza anche significativa di produttività e impatto ci sono diversi fattori, ma che (naturalmente) non sono riconducibili a certo pensiero, come dire…irritante, che produsse nel 2005 la celebre dichiarazione del presidente di Harvard, Summers, che parlo’ di “limiti biologici”. Evidentemente, non era consapevole dei suoi.
Figuriamoci, ora, quanto abbiano tenuto conto anche di queste differenze, ad esempio, gli inesistenti modelli ANVUR basati sul parametro “mediana”: il confronto e’ come quello tra un pallottoliere e una calcolatrice scientifica.
Da tutto quello che si legge, ma che si capisce, gli indicatori bibliometrici dovrebbero essere solo parte di una valutazione, senza alcuna pretesa di misurare (fra l’altro con l’errore inaccettabile di non considerare alcuna incertezza, insita in qualunque processo di misura) ma solo con lo scopo di fornire indicazioni, appunto, da vagliare insieme al resto delle informazioni disponibili.
Si potrebbe obiettare che da noi, senza sbarramenti, andrebbe avanti chiunque. Ma mi pare che la valutazione fatta con indicatori affilati, oltre ad essere inaccettabile per una comunità scientifica seria, si sia rivelata una cura peggiore del male.
Ho letto l’articolo, non con la massimissima attenzione, ma mi sembra che non si accenni al fatto che le donne (europee) sono impegnate, non sporadicamente, negli studi superiori e nella ricerca da nemmeno 150 anni. Se c’è grande diseguaglianza di genere e anche discriminazione negativa per quanto riguarda le posizioni ai vertici, esse occupano sempre più massicciamente le posizioni intermedie che sono fondamentali per il buon funzionamento di tante istituzioni o processi. Così ho letto da qualche parte. E certamente questo costituisce una sorta di palestra sociale molto importante per progredire verso livelli più alti. Del resto la stessa cosa succede in politica, nell’amministrazione pubblica, nella dirigenza imprenditoriale e via dicendo. Anche se la questione andrebbe analizzata molto più a fondo e allargata allo specifico ambiente sociale. Ricordo che una volte in Francia sentivo parlare di una avvocatessa di successo che aveva tre figli; io ero più giovane di lei e ne avevo uno, ancora piccolo. La prima cosa che mi è venuta in mente era “ma chi ha intorno a sé come aiuto o sostegno per gestire casa e figli?”
@Marinella: nell’Università si parla di “leaky pipeline” e cioè di un tubo che perde: la carriera accademica è il tubo, le donne sono l’acqua che si perde lungo il tubo.
Ogni tre anni la Commissione produce uno studio con tutti i dati statistici su ricerca e innovazione disaggregati per sesso, relativo all’impiego nei diversi settori in Europa. L’ultimo si trova qui:
http://ec.europa.eu/research/science-society/document_library/pdf_06/she-figures-2012_en.pdf
A pag. 88 c’è una tabella (Fig. 3.1) che riporta i dati % relativi alla carriera accademica per i 27 Stati membri considerando dati compresi fra il 2002 e il 2010 (fonte: Eurostat).
La linee viola e violetto sono le linee di una perdita lungo un tubo difettoso, il “leaky pipeline” :-)
Si tratta, però, di dati relativi a tutti i settori di ricerca: se si restringe il campo d’indagine a scienza e ingegneria le % si abbassano ancora di più, comunque dall’inizio (Fig 3.2 pag 89).
Sia She figures che l’articolo di Nature riportano i dati statistici, ma senza un vero approfondimento sulle cause. Per questo c’è tanta altra letteratura disponibile, ma di certo maternità e cura dei figli sono tra le cause principali.
Piccola nota di merito per l’Italia nell’articolo di Nature, da figura interattiva (la prima): siamo al 7° posto nel mondo per numero totale di pubblicazioni (si era giustamente detto) e al 5° posto per proporzione relativa di pubblicazioni femminili (0,67): le nostre ricercatrici sono molto attive rispetto al resto del mondo e questo sicuramente contribuisce al successo complessivo.
Ma restano comunque penalizzate in generale dalla bibliometria usata come un’arma.
Ci sarebbe materiale per scrivere un articolo dedicato al “tubo che perde”. Sarebbe bello approfondire un tema che finora è rimasto (troppo) in ombra. Il problema è trovare chi lo scriva. Volontari(e)?
Grazie e auguri.
@Giuseppe: sono d’accordo :-)
@Marinella: grazie a te. Io speriamo che me la cavo, come disse quello, detto non solo a nome mio. Le statistiche sono sfavorevoli, il periodo è di … non è dei migliori.
Credo ancora, in generale, che non sia meglio far prevalere il pessimismo della ragione sull’ottimismo dell’azione.
A proposito (forse): la ministra Giannini ha annunciato l’intenzione di realizzare un piano straordinario per reclutare 6000 giovani ricercatori l’anno, per 4 anni:
http://www.agi.it/research-e-sviluppo/notizie/201407021211-eco-rt10047-ricerca_giannini_al_lavoro_per_assunzione_24_000_giovani
Si dice anche che stia lavorando a due provvedimenti: un decreto per le misure urgenti come questa e uno di delega per altre questioni, come il riordino degli enti di ricerca.
Mi pare si voglia girare intorno al problema: gli scandalosi esiti di molti concorsi universitari italiani hanno posto l’esigenza di indivuare indicatori che togliessero almeno parte dell’arbitrio del quale le commissioni hanno troppo spesso abusato. Stesso discorso per la valutazione in generale. O si è in grado di fare proposte alternative concrete, oppure si cera di prendere il meno peggio di quanto abbiamo visto ad oggi. A mio parere le citazioni del singolo articolo sono il meno peggio, eventualmente opportunamente normalizzate nello specifico campo di ricerca. E cnsiderando la molteplicità degli autori. La peer review in italia fa solo (sor)ridere. Si deve fare il conto con il contesto, ed in italia siamo messi così. Beati gli inglesi se si possono permettere di fare gli schizzinosi. Forse tra qualche lustro potremmo anche noi tornare sui nostri passi.
Immaginiamo che l’estensore del commento non sia uno di questi che hanno vinto gli scandalosi concorsi italiani. Sarà la solita eccezione che conferma la regola. Sappia che, comunque, il problema non si risolve inventandosi soluzioni che tutto il mondo sconsiglia e non adotta ma si risolve cercando di capire come hanno fatto i paesi presi come modello (in pratica qualsiasi altro paese). E prima di venirci a fare la morale sulle proposte alternative si leggesse qualcosa qui https://www.roars.it/category/idee-e-prospettive/. Tanto per fare la solita figura di chi spara ad alzo zero senza sapere nulla.
@Gab “A mio parere le citazioni del singolo articolo sono il meno peggio, eventualmente opportunamente normalizzate nello specifico campo di ricerca. E considerando la molteplicità degli autori.” Sono assolutamente d’accordo. E questo avevamo proposto inascoltati PRIMA che partisse la VQR.
Faccio notare che la VQR NON USA sistematicamente le citazioni al singolo articolo; ed usa un sistema di normalizzazione fai-da-te (i quadrati magici) mai testato in letteratura. Inoltre NON CONSIDERA la molteplicità degli autori. Quindi la VQR non usa neanche il meno peggio visto fino ad oggi. Semplicemente inventa bibliometria.
Sono contento per lei che la peer review in Italia la faccia (sor)ridere. Le faccio notare che circa il 50% dei prodotti valutati nella VQR sono stati valutati con peer review. Ne devo dedurre che la VQR la fa almeno per la metà dei risultati (sor)ridere?
Perché Sylos Labini vuole metterla sul piano personale? Tanto per fare della gazzarra…?
Non vedo proprio quale sia il piano personale tra l’altro lei non si firma dunque il piano personale con un anonimo semplicemente non ci può essere. Quello che ho detto è del tutto generale: non si può sparare sempre a zero su tutto, perchè alla fine ci si spara anche sui propri piedi. Se *tutti* i concorsi sono scandalosi che discutiamo a fare? Nessuno nega che ci siano stati degli abusi, figuriamoci, il problema è come evitarli e fare meglio. E per questo non c’è bisogno di *inventarsi* niente perché introducendo metodi insensati, e per questo mai adottati sul pianeta Terra, si peggiora la situazione invece di migliorarla. E qui su ROARS proposte concrete per migliorare le cose ne sono state fatte tante, dunque la critica che non ci siano proposte alternative è una critica fuori luogo oltre che ingiusta.
E chi ha criticato ROARS? La mia critica riguarda i “signor no”, che alla fine non sono altro che estensori dello status quo e della stagnazione.
Ci vorrebbe però anche un articoletto tipo: “Why restricted committees cannot measure research quality. Especially in Italy.” Si tratta evidentemente di ovvietà.
Secondo me l’articolo giusto dovrebbe essere intitolato “Why research quality cannot be measured”. La mia è un’opinione di assoluta minoranza. Tuttavia farò un esempio (un solo esempio? argomento molto debole) per chiarire (chiarire non giustificare!) la mia opinione. Un oscuro matematico cinoamericano dimostra che ci sono infiniti numeri primi con la proprietà che la loro distanza dal numero primo successivo non supera 70 milioni. Un risultato di altissima qualità: se al posto di 70 milioni ci fosse 2 sarebbe dimostrata la congettura dei primi gemelli. Con quali strumenti si può misurare questa qualità?
Caro Figà Talamanca, come lei stesso ammette (“un solo esempio? argomento molto debole”) l’oscuro matematico cinoamericano è quello che tecnicamente si chiama outlier e tener conto del suo caso (tanto più che nessuno dei commenti critici è stato in grado di produrre evidenza su ampi gruppi di scienziati che sarebbero stati penalizzati nella loro carriera dalla adozione del criterio della mediana) farebbe aumentare il rischio, più serio, di selezionare studiosi che hanno solo prodotto numerosi lavori, ma di bassa qualità. Insomma, che sarà mai sacrificare qualche (oscuro) genio a fronte del messaggio meritocratico che la bibliometria (per quanto sommaria) impartisce a questa congrega di fannulloni impuniti che sono gli accademici italiani?
______________________
“Gli errori che possono essere commessi con il criterio della mediana possono essere di due tipi, di segno opposto. Il primo errore è di escludere persone di valore che resterebbero al di sotto della mediana, ad esempio perché deliberatamente pubblicano poco. La storia della scienza offre una ricca aneddotica in tal senso.
Tuttavia, il riferimento a singoli casi di scienziati famosi del passato che non sarebbero rientrati nei criteri proposti è del tutto fuorviante. Non è corretto infatti utilizzare quelli che tecnicamente si chiamano outlier (singoli individui che si collocano in posizioni estreme nelle distribuzioni) per discutere delle proprietà statistiche di una distribuzione, e quindi degli errori che si possono generare attraverso la misurazione. Va osservato poi che nessuno dei commenti critici è stato in grado di produrre evidenza su ampi gruppi di scienziati che sarebbero stati penalizzati nella loro carriera dalla adozione del criterio della mediana.
Siamo dunque al secondo tipo di errore: che il criterio della mediana consenta di selezionare studiosi che hanno solo prodotto numerosi lavori, ma di bassa qualità. Questo errore è più serio, soprattutto per le candidature alla abilitazione dei giovani studiosi.
da “Sul documento ANVUR relativo ai criteri di abilitazione scientifica nazionale. Commenti, osservazioni critiche e proposte di soluzione”, pp. 2-3
http://www.anvur.org/attachments/article/44/Documento%2002_11.pdf
____________________________
E’ meraviglioso, io che ho i capelli lisci quando leggo divento riccia :-)
Intanto mi fa sorridere l’approccio, che sembra quello usato (male) per cavie da laboratorio: “nessuno è stato in grado di produrre evidenza su ampi gruppi di topolini che sarebbero morti per ampie somministrazioni del farmaco “mediana” e quindi si può passare alla sperimentazione sul ricercatore”. Col risultato della morte accademica, appunto.
Speriamo sia solo catalessi.
E poi, ecco, quale principio scientifico può affermare che è valida un’ipotesi se non ci sono evidenze che non lo sia? Illuminatemi, vi prego.
Finché qualcuno non misurò la circonferenza della Terra, tutti erano convinti che fosse piatta e pazienza per quei fessi che si avventuravano ai confini della tavola terrestre e cadevano nello spazio con la nave e tutto.
Ecco ad esempio Lattanzio, che dava dei folli a quelli che pensavano che la Terra fosse sferica e che quindi ci fosse qualcuno in vita agli antipodi:
“C’è qualcuno di buon senso che creda che ci siano uomini i cui piedi siano più in alto delle loro teste? Che il grano e gli alberi crescano verso il basso? Che la pioggia, la neve e la grandine cadano verso l’alto? Io resto senza parole verso coloro che, avendo sbagliato una volta, perseverano nella loro follia e difendono una cosa vana con un’altra.”
Eccerto, per esempio Newton non aveva ancora riflettutto sul perché la mela cade dall’albero e la Luna invece non cade dallo spazio.
Poi, io mi sono fatta del male e ho letto il documento per intero col risultato che sono ancora più riccia. Oltre alla questione dei topolini, si dice anche che:
“Gli indicatori quantitativi di qualità della ricerca hanno una precisione che è inversamente proporzionale al grado di risoluzione del problema: nella valutazione di grandi strutture (aree scientifiche, università), si possono trovare degli indicatori adeguati, mentre se si valuta una singola persona, il grado di imprecisione può diventare rilevante. Ma, appunto, il parere ANVUR non sta suggerendo di valutare singoli candidati. La valutazione dei candidati è fatta dalle commissioni. Il parere ANVUR, basato sull’uso della mediana delle distribuzioni di alcuni indicatori della qualità della ricerca, suggerisce criteri che fissano requisiti minimi, che sono per loro natura basati su aggregati di numerosità significativa; nel caso specifico, l’insieme dei professori associati e ordinari afferenti ad un settore concorsuale.”
Cioè, cercando di parafrasare: “è chiaro che gli indicatori quantitativi sono imprecisi e non vanno usati per valutare il singolo, ma noi non lo facciamo, noi diciamo solo che le mediane sono valori minimi”. Quindi li usano, eccome, però si autoassolvono affermando che le mediane sono valori minimi.
Bum!
Come sta in piedi un’affermazione del genere? Non le si dà un verso, come si dice. Alcune possibili domande, fra le tante: perché le mediane di tre indicatori costituiscono una effettiva misura di qualità media di un settore? Perché la qualità media in caso è da considerarsi minima? Quale stima è stata casomai fatta della rappresentatività del campione numerico nel calcolo specialmente nei settori piccoli? In che modo si è casomai tenuto conto delle incertezze contenute nel calcolo delle mediane?
Ecco. Sgombro il campo da equivoci, se ce ne fosse bisogno: non parlo a titolo personale, pro domo mea, perché ho tre 1 sulla VQR e sono a posto con le mediane e non dal 2013, non ritenendomi comunque brava per questo, anzi.
Ma io, come presunta (non lo so più, ho crisi di identità, mi sento di squittire come una cavia) scienziata non posso accettare, né per me né per gli altri, l’imposizione di criteri che di scientifico non hanno praticamente nulla.
Ecco, comunque, una delle (poche) fonti di ispirazione di Anvur (da una vecchia presentazione che ci fu mandata), che però, se letta, non incita per niente all’uso tout court di indicatori, tanto meno di “mediane”:
http://www.nature.com/nature/journal/v489/n7415/full/489177a.html?WT.ec_id=NATURE-20120913
Il mio passaggio preferito è questo:
________________
“Gli indicatori quantitativi di qualità della ricerca hanno una precisione che è inversamente proporzionale al grado di risoluzione del problema: nella valutazione di grandi strutture (aree scientifiche, università), si possono trovare degli indicatori adeguati, mentre se si valuta una singola persona, il grado di imprecisione può diventare rilevante. Ma, appunto, il parere ANVUR non sta suggerendo di valutare singoli candidati. La valutazione dei candidati è fatta dalle commissioni.”
________________
Un po’ come quando mostri una moneta ad un bambino di due anni, la metti nel palmo della mano destra. Poi metti tutte e due le mani dietro la schiena e passi la moneta nella mano sinistra. Quando il bimbo tocca la mano destra e gliela mostri vuota, lui rimane a bocca aperta. È meraviglioso pensare che l’ANVUR abbia trattato tutta l’accademia italiana come se fosse un bambino di due anni.
E, specifico: affermando che “nessuno ha prodotto evidenza su topolini ecc..” non intendevo dire che non ci sono evidenze che il famaco “mediana” non abbia fatto male, ma che non è stato proprio sperimentato.
Almeno, non ci sono link su alcun tipo di studio bibliografico.
Siamo, appunto, il primo esperimento vivente. Con, intanto, migliaia di ricorsi come controindicazioni all’uso.