In un post del 29 marzo sul blog del CWTS (Centre for science and technology studies) di Leiden, Ludo Waltman ribadisce l’importanza di collegare metodologie e indicatori per la valutazione della ricerca al singolo esercizio e al singolo scopo, senza pretendere di trasferirne e metodologie e i risultati per esercizi diversi, che hanno obiettivi diversi. Un monito che dovrebbe essere quantomeno preso in considerazione in un sistema in cui i metodi e gli indicatori della Valutazione nazionale (macro) si applicano a quella individuale, (FFARB, software della Basilicata acquistato da oltre 40 atenei), e in cui i risultati di questa stessa valutazione pensata per valutare le strutture (macro) si utilizzano per valutare i collegi di dottorato o i docenti delle scuole di specializzazione (micro) o i dipartimenti di eccellenza (meso).
In un post del 29 marzo sul blog del CWTS (Centre for science and technology studies) di Leiden, Ludo Waltman ribadisce l’importanza di collegare metodologie e indicatori per la valutazione della ricerca al singolo esercizio e al singolo scopo, senza pretendere di trasferirne e metodologie e i risultati per esercizi diversi, che hanno obiettivi diversi.
Il post tratta dunque di quel comportamento ormai ben noto in ambito internazionale come uso responsabile delle metriche (“responsible metrics”) e richiama i tre documenti fondamentali spesso ricordati anche nel nostro blog: la San Francisco Declaration on Research Assessment (DORA) recentemente firmata dai research councils britannici qui e qui , il Leiden Manifesto e il Metric Tide report.
Principles for responsible use of scientometrics are dependent on the nature of the evaluative setting. What is responsible in one setting may not be responsible at all in a different setting. Recognizing that there is no one size that fits all leads to insights that may help to enhance responsible use of scientometrics.
Waltman distingue fra valutazione a livello micro:
At the micro level, scientometricians generally recommend to rely on expert assessment for an in-depth evaluation of for instance an individual researcher. The crucial role of expert assessment, or peer review, in micro-level research evaluation is emphasized in the Leiden Manifesto, which recommends to “base assessment of individual researchers on a qualitative judgement of their portfolio
E a livello macro:
At the macro level, the value of expert assessment therefore is not in the detailed evaluation of individual research activities, but in combining – in a balanced and well-informed manner – many different pieces of information that together provide the big picture of macro-level research performance.
[…] At the macro level, experts view the world through indicators. Viewing the world directly, without using indicators, is almost impossible at this level.
Caratteristiche degli indicatori: gli indicatori dovrebbero essere i più semplici e trasparenti possibili, ma anche qui è necessario distinguere fra valutazione a livello macro e a livello micro.
At the macro level, experts view the world through indicators. Given the strong dependence of experts on indicators, it is essential that each indicator has an unambiguous conceptual foundation and a high degree of validity. This typically means that indicators need to be relatively sophisticated at the macro level.
Un elevato livello di elaborazione porta però gli indicatori ad essere del tutto opachi rendendone inadeguato l’uso quando si valuta a livello micro
At the micro level, indicators are intended to support expert assessment in a process of informed peer review. […] indicators may be used to summarize potentially useful information and to draw attention to remarkable accomplishments. Indicators do not so much provide information themselves, but they point experts to information that may be of relevance and that may need to be examined in more detail. Complex black box indicators are difficult to use in such a process.
Infatti
The problem of a black box indicator is that it is almost impossible to go back from the indicator to the underlying information.
Per Waltman esiste anche una netta distinzione fra gli scientometristi di professione (a cui vanno affidate senz’altro analisi e valutazioni a livello macro) e i cosiddetti citizen scientometriscians, che operano a livello micro e che, in quanto esperti di un determinato dominio e delle pratiche valutative in atto devono collaborare con gli scientometristi per la individuazione degli indicatori più efficaci e che meglio possano rappresentare la ricerca di un determinato ambito.
At the micro level, scientometric indicators are intended to support expert assessment in a process of informed peer review. Experts are expected to have a detailed knowledge of the characteristics of a specific evaluative setting. To make sure that indicators are helpful in supporting expert assessment, this knowledge of experts needs to be taken into account in the choice and the design of indicators. In order to accomplish this, experts carrying out a micro-level research evaluation should be fully engaged in selecting the most relevant indicators and in fine-tuning these indicators to the peculiarities of the evaluative setting.
Il post propone anche due diverse definizioni per gli indicatori scientometrici dipendenti dal livello a cui si valuta:
… at the macro level, experts view the world through indicators, and it is therefore essential for indicators to have an unambiguous conceptual foundation and a high degree of validity. In contrast, at the micro level, simplicity is a more important property of indicators. My suggestion is to adopt a terminology that reflects this difference between the two levels. While ‘indicators’ should remain the preferred term at the macro level (‘metrics’ is also sometimes used, but ‘indicators’ is often considered more appropriate), at the micro level I propose to use ‘statistics’ instead of ‘indicators’. Indicators aim to provide a proxy of an underlying concept. Statistics are less ambitious and are not necessarily expected to represent a well-defined concept. They just offer a quantitative summary of a certain body of information
Fra il livello micro e il livello macro ci sono altri livelli a cui valutare:
There is a meso level (e.g., evaluation of departments or institutes within a university) at which one needs to strike a balance between the recommendations made for the micro and macro levels. Also, at each level (i.e., micro, meso, or macro), there is a considerable heterogeneity in different types of evaluations. Furthermore, there are interdependencies between the various levels, with evaluations at one level influencing evaluations at other levels.
Insomma l’idea che si ricava dal post (e anche l’idea che molte istituzioni, soprattutto in UK, stanno sviluppando al loro interno, con la stesura di linee guida e policies sull’uso responsabile delle metriche) è che è necessario avere piena consapevolezza dei processi di valutazione, delle loro finalità, delle metodiche utilizzate che determinano la scelta degli indicatori.
Un monito che dovrebbe essere quantomeno preso in considerazione in un sistema in cui i metodi e gli indicatori della Valutazione nazionale (macro) si applicano a quella individuale, (FFARB, software della Basilicata acquistato da oltre 40 atenei), e in cui i risultati di questa stessa valutazione pensata per valutare le strutture (macro) si utilizzano per valutare i collegi di dottorato o i docenti delle scuole di specializzazione (micro) o i dipartimenti di eccellenza (meso).
