La liturgia valutativa è ormai così radicata che spesso non possiamo davvero apprezzare come e quanto la libertà della scienza e dell’insegnamento sia ridotta e alterata da quei rituali. Le tecniche del new public management per la ‘valutazione’ della qualità della ricerca, basate su una ingenua ed infantile fiducia nell’oggettività dei numeri, degli obiettivi numerici e degli indici, rendono impossibile discutere di qualità in termini qualitativi. Solo ciò che può essere standardizzato è considerato scientifico. Tutto il resto è considerato irrilevante e quindi espulso dal campo dello scientificamente conoscibile.
Articolo apparso su Palaver 5.1 (2016).
Being in service of the meritocratic dogma, the evaluative liturgy is by now so deep-rooted that often we cannot really appreciate how and how much the freedom of science and teaching is reduced and altered by those rituals. The new public management techniques for the ‘assessment’ of the research ‘quality’, based on a naive, childish trust in the objectivity of numbers, of numerical aims and indexes, make it impossible to discuss quality in qualitative terms. Only what can be numbered, standardized is considered scientific. What cannot be understood in these terms is considered irrelevant and so expelled from the scope of what is scientifically knowable. These way we cannot know just that qualitative nuance, that decisive «almost-nothing» which makes it incomparable, inimitable, irreplaceable, unclassifiable a person or a thing, a process or a product, an event or a phenomenon.
Comunque occorre trovare un modo di valutare la qualita’. Io ho proposto da tempo di usare quelle che ho definito ” le most relevant citations”, cioe’ citazioni da leader internazionalmente riconosciuti nel settore e con cui il candidato non ha mai lavorato. Ma molti fan finta di non capire …..perche’ e’ molto piu’ facile contarle le citazioni (specie se si lavora in un settore di moda) o dire l’importanza della rivista su cui si pubblica. Mettere questo altro criterio di contare solo le “most relevant citations” sarebbe anche un grosso insegnamento ai giovani, che smetterebbero di pubblicare per pubblicare ma cercherebbero invece di risolvere problemi rilevanti di
ricerca. Mi scuso se questa frase suona retorica.
Secondo me il problema è che, qualsiasi criterio si usi, il problema di fondo è che la valutazione perturba e condiziona il valutato che dunque si aggiusterebbe per ottimizzare qualsiasi criterio così introducendo un bias inevitabile. Il problema è che bisogna valutare con la testa leggendo i lavori e capendoli e non attraverso criteri definiti.
Io non capisco chi si accanisce a ripetere che bisogna persino leggere (e capire) per poter valutare la produzione scientifica e che non esistono le bacchette magiche. Invece, se ci mettiamo tutti insieme a pensarci, troveremo una bacchetta magica che permette di capire la qualità di un paper/rivista/ricercatore/etc sulla base di qualche numerino scaricabile da un database. Quadrati magici, percentili frullati, classificazioni di riviste hanno fallito solo perché non erano abbastanza furbi e sofisticati. Ma il giorno che arriva un italiano (perché altrove -ingenui come sono – hanno concluso che è un wishful thinking) veramente “smart”, vedrete che troverà finalmente l’Algoritmo con la “A” maiuscola che darà la pagella a tutto e tutti. E se ogni tanto (o spesso) l’Algoritmo (con la “A” maiuscola) spara minchiate si potrà sempre dire che “una cattiva valutazione è meglio che nessuna valutazione” oppure che l’Algoritmo è “largamente perfettibile” e che – comunque – si stava peggio prima.
Ognuno ha il proprio holy grail bibliometrico. L’idea di “citazioni più importanti” di altre è assai diffusa in letteratura. Ed è alla base per esempio di indicatori quali l’eigenfactscore e lo SJR. Niente di nuovo dunque. Nella versione che lei propone c’è un problema (che non c’è invece in quelle appena citate): come (e chi) stabilisce chi sono i leader internazionalmente riconosciuti? Vedo tre possibilità:
1. lo si fa contando le loro citazioni, ma allora non si capisce perché per valutare un “giovane” devo usare un indicatore bibliometrico da quello che mi serve per definire i leader;
2. lo si fa con lo stesso metodo, e si va così incontro ad un problema di regresso all’infinito: perché per stabilire chi sono i leader ora, devo sapere chi sono i leader devo conoscere chi erano i leader che li citavano prima che diventassero leader e così via;
3. lo si fa con un altro metodo, non bibliometrico. Perché tutti sanno chi sono i leader (sulla nozione di “internazionalmente riconosciuto” rimando alle splendide definizioni di qualità della ricerca della VQR 2004-2010!). Allora di nuovo non si capisce allora perché si usano metodi diversi per riconoscere leader e ricercatori normali.
C’è infine una quarta possibilità, che chiamerei transustanziazione delle citazioni. Le citazioni che a un certo punto cambiano di natura e si trasformano da indicatori di popolarità/diffusione a indicatori di prestigio (per un esempio si possono vedere le slides del coordinatore del gev di area9 della attuale VQR). Potremmo tranquillamente sostenere che si diventa leader quanto si verifica questa transustazazione, e che per i non leader di dovrebbero contare solo le most relevant citations, quelle che hanno cambiato di natura.
Mi scuso per il tono un po’ saccente. Ma non sopporto più il bricolage applicato alla bibliometria.
Io non posso, avendo studiato un po’ di economia, sostenere credibilmente di aver inventato un nuovo modo di accelerare le particelle elementari, o di diagnosticare una malattia rara. Lo stesso vale per gli indicatori bibliometrici.
Caro De Nicolao,
penso che fare dell’ironia su una umile proposta fatta da una persona umile sia solo cattivo gusto che la qualifica in pieno.
Ennio Gozzi
Io credo che Sylos Labini non si sia offeso quando ho scritto che non capisco la sua testardaggine a sostenere che “bisogna valutare con la testa leggendo i lavori”. L’Algoritmo ci farebbe risparmiare un sacco di tempo e di fatica, ne sono convinto. E che “una cattiva valutazione è meglio che nessuna valutazione” oppure che l’Algoritmo è “largamente perfettibile”, sono tesi di fondo ampiamente ripetute con grande serietà in molte sedi accademiche, agenzia di valutazione compresa. Se dire che tutte le valutazioni sono imperfette per giustificarne gli errori (magari marchiani) è ormai percepito come ironia di cattivo gusto, dovremmo cominciare a farci delle domande. Deve esserci una ragione se queste tesi, usate a ripetizione nei più diversi consessi, sembrano ormai vuote e beffarde. Colpa di quei teppisti di Roars? Sarà, ma anche Anvur ci ha messo del suo.
“leader internazionalmente riconosciuti”???
“most relevant citations”???
Scusi, a parte l’umiltà che non è in discussione, ma come si può pensare che una proposta con questi contenuti possa essere utile nel valutare la qualità della ricerca scientifica.
Un sistema siffatto (il suo non si discosterebbe molto da quello ANVUR) NON permette di assumersi la responsabilità, nell’ambito di un’etica professionale adeguata, di giudicare il lavoro dei colleghi per valutarne la qualità della ricerca.
L’unico modo corretto è il peer reviewing.
Qualsiasi benchmark bibliometrico misura (e neanche bene) quantità.
Ai giovani poi insegna proprio nulla visto che il sistema valutativo attualmente in uso (il suo forse sarebbe anche più ingiusto, come spiega bene AB) incentiva tutti, anche loro, a pubblicare per pubblicare, poiché si valuta la quantità della ricerca (un tanto al chilo) e non la qualità.
Più che una proposta umile è una proposta sbagliata, approssimativa e priva di fondamento. Direi che un po’ di ironia è il minimo.