Bibliometria / Valutazione

S’alza la marea scientometrica? In UK si erige una “diga responsabile”

Segnaliamo ai lettori la pubblicazione dell’importante referto “The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management”, commissionato dall’HEFCE (Agenzia governativa finanziatrice del sistema universitario inglese) ad un gruppo indipendente di esperti in scientometria, finanziamento della ricerca, politica della ricerca, editoria scientifica, amministrazione delle Università e amministrazione della ricerca.

Il rapporto fa parte delle azioni intraprese dall’HEFCE per progettare e monitorare il ben noto REF (Research Excellence Framework), programma pluriennale di valutazione della ricerca prodotta dalle Università britanniche, co-gestito dallo stesso HEFCE e dalle altre 3 agenzie regionali di finanziamento delle Università (cioè quelle per Scozia, Galles e Irlanda del Nord).

Già nel 2009, sulla spinta di tendenze e proposte volte ad accrescere il ruolo degli indicatori bibliometrici nell’esecuzione dell’esercizio di valutazione (al posto della peer-review), l’HEFCE aveva sviluppato un progetto-pilota che implementava dei modelli di calcolo attraverso apposite simulazioni, e ne aveva presentato gli esiti alla comunità accademica. Il dissenso all’utilizzo meccanico della bibliometria nel REF fu però netto, e venne così riassunto nel rapporto:

Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review.

In previsione dell’uscita dei risultati del REF 2014, e con l’idea di rinnovare lo studio per fornire un’ancora più comprensiva e dettagliata disamina della materia, l’HEFCE diede mandato l’anno scorso ad un altro gruppo di esperti di produrre un nuovo referto – quello citato all’inizio, appunto, e appena uscito. Assieme ad esso sono state rese disponibili altre due eccellenti pubblicazioni: una rassegna ragionata della letteratura del settore (scritta da autori ancora diversi, ricercatori nella materia), dal titolo “Supplementary Report I: Literature Review”, ed una simulazione del REF 2014 nel caso si fossero usati degli appropriati indicatori metrici (prodotta dai Servizi interni dell’HEFCE), dal titolo “Supplementary Report II: Correlation analysis of REF2014 scores and metrics”.

Anche questa volta sono emerse, e forse con ancor più chiarezza del 2009, tutte le criticità che un possibile uso solitario e decontestualizzato delle tecniche bibliometriche induce negli esercizi di valutazione retrospettivi, né più né meno come in tutte le altre pratiche valutative della ricerca e dei ricercatori, sempre più diffuse ad ogni livello. Per coloro che non avessero il tempo di soffermarsi sul materiale messo a disposizione dall’HEFCE, e nemmeno sull’Executive Summary o sulla Nota di cronaca, riportiamo due fra i principali verdetti del Gruppo di Esperti:

Analysis concluded that that no metric can currently provide a like-for-like replacement for REF peer review

In assessing research outputs in the REF, it is not currently feasible to assess research outputs or impacts in the REF using quantitative indicators alone

La prima delle due affermazioni fa riferimento alla simulazione del REF 2014 contenuta nel “Supplementary Report II” sopra menzionato, che si è rivelata decisamente disastrosa per le tecniche bibliometriche. La “sconfitta” degli “oltranzisti quantitativi” (in netta minoranza, peraltro) non ha comunque lasciato spazio ad atti di accanimento da parte del Gruppo, che ha voluto formulare delle Raccomandazioni per un “uso responsabile” delle metriche, sulla base di 5 principi e criteri direttivi: Robustezza, Umiltà, Trasparenza, Diversità, Riflessività. Tutto ciò tornerà ancor più utile se si pensa che il nuovo Vice-Ministro responsabile del settore universitario, Jo Johnson, ha recentemente annunciato di voler istituire un “Teaching Excellence Framework” per promuovere un ribilanciamento fra insegnamento e ricerca nella cultura universitaria, con un adeguato riconoscimento della funzione docente anche ai fini delle carriere accademiche. Peccato che il Vice-Ministro si aspetti proprio che il TEF includa (!)

a clear set of outcome-focused criteria and metrics.

Infine, il Gruppo di Esperti ha voluto anche lanciare uno specifico sito web, “Responsible Metrics”, per proseguire il dibattito sotto forma di Forum. Significativamente, è stata aperta anche una sezione dal titolo “Bad Metrics”, con l’idea di raccogliere segnalazioni di cattive pratiche, secondo la tipica usanza anglosassone del “name and shame”, e di attribuire un Premio

per l’esempio più eclatante di un uso improprio di indicatori quantitativi nella amministrazione della ricerca.

Non essendo fissati a priori dei limiti geografici, invitiamo anche i nostri lettori a partecipare a questo gioco di società, proponendo esempi di loro conoscenza.

Send to Kindle
Tag: , , , , , , , ,

4 Comments

  1. Il problema italiano pare quello che i principi base della teoria dell’ informazione sono ignoti ai nostri decisori politici. Così come accaduto a NSA nelle sue attivita’ di intercettazione la eccessiva mole di dati rende il funzionamento della VQR molto problematico a causa dell’ aumento dell’ entropia del sistema.
    Il motivo per cui in Italia si e’ voluto spingere con un atto di fede verso la bibliometria credo risieda nel fatto che se devo valutare oltre centomila prodotti, il sistema di peer review non e’ economicamente sostenibile (tra costi diretti e indiretti a spanne mezzo milione) e metterebbe sotto uno sforzo eccessivo l’apparato organizzativo. Poi ci sono forse anche motivazioni ideologiche ma non voglio addentrarmi in quel dibattito.
    Ricorrere poi ad un sistema misto può avere ulteriori effetti distorsivi che nessuno e’ stato in grado di esaminare bene da un punto di vista scientifico. Certamente la “disturbance” non e’ assimilabile ad uno “white noise”.
    Una soluzione (molto parziale anch’essa) potrebbe essere quella di RIDURRE di prodotti da valutare peer review, chiedendo alle strutture una pre-valutazione, ovviamente con un meccanismo che penalizzi l’eccesso di auto-indulgenza. A quel punto si potrebbe usare il peer review sui soli prodotti cui le strutture hanno dato una pre-valutazione elevata. Questo forse renderebbe meno distorsivo il sistema misto.

  2. Gli sviluppi in UK non lasciano tregua.

    Come racconta Wilsdon in un articolo di ieri sul Guardian (http://www.theguardian.com/science/political-science/2015/jul/27/in-defence-of-the-ref), l’Institute of Economic Affairs, un istituto di ricerca neoliberista, ripropone l’idea di abolire l’esercizio di valutazione della ricerca. Peccato pero’ che proponga anche di abolire il finanziamento QR (http://www.hefce.ac.uk/rsrch/funding/mainstream/) legato alla qualita’ della ricerca e di trasferire i fondi ai Consigli della Ricerca, rendendoli disponibili per progetti di ricerca. Potrebbe sembrare una buona idea, se non fosse che i tassi di successo delle domande di finanziamento sono piuttosto bassi.

    I lettori e le lettrici di ROARS noteranno che una ben nota societa’ di consulenza e’ stata ingaggiata da un membro del governo britannico per una revisione della spesa che includera’ anche i finanziamenti alla ricerca.

    Il vero obiettivo di quest’attivita’ e’ ben indicato dal seguente titolo del Daily Mail:

    Universities ‘are doing too much research’: Report says institutions are more concerned about their reputation for experiments than delivering good teaching

    Institute of Economic Affairs issued the warning to universities

    Says they are focusing too much energy into producing research

    Claim this leads to key staff cutting back on undergraduate teaching

    e da questo del Telegraph

    Universities wasting public money on ‘pointless’ research, says think tank

    Vi ricorda qualcosa?

    • Giuseppe De Nicolao says:

      No, non ci ricorda niente. In Italia non ci sono mai state campagne di stampa del genere, Quando mai?

  3. Infatti mi riferivo alla Ruritania. Basta rileggersi i fondi dell’Araldo della Sera, o gli articoletti specializzati de La Repubblica Popolare o, anche, i corsivi de La Pianura Fluviale Ruritana per rendersi conto che il pacchetto a suo tempo proposto al governo ruritano includeva la campagna stampa.

    Nel Regno Unito, per ora, i lettori e le lettrici reagiscono cosi’ (dal Telegraph):

    Both the research pieces mentioned, the cookies and the woodpeckers were applied research with clear industrial applications and obvious benefits to commerce and society, google them and you’ll see that they are exactly what this body wants and are the opposite of pointless.
    […]
    On the other hand, apparently pointless research can yield real breakthroughs and often doesn’t appear to have any short term application, which is why it’s research and not product development. Society should fun this, since commerce fails to do so in Europe, unlike Japan or the USA.

    Ma gli acuti consulenti sosterranno che sono gli stessi studiosi che si occupano delle briciole dei biscotti a scrivere tali commenti.

Leave a Reply