In cosa consiste la procedura di classificazione a due stadi e cosa sono le classifiche-fai-da-te?

La procedura di classificazione dei prodotti consiste di due stadi: nel primo si distribuiscono le riviste in 4 classi di merito e si attribuisce ad ogni prodotto la classe di merito della rivista. Nel secondo stadio si corregge la classe di merito di una posizione verso l’alto se le citazioni ricevute dal singolo prodotto di ricerca sono superiori alle citazioni medie delle riviste della classe superiore; si corregge la classe di merito di una posizione verso il basso se le citazioni ricevute dal singolo prodotto di ricerca sono inferiori alle citazioni medie ricevute dagli articoli usciti nella stessa rivista nello stesso anno. [La Strategia 3 non prevede cosa accade se le due condizioni si verificano contemporaneamente, cioè se l’articolo è più citato della media degli articoli pubblicati dalle riviste di fascia superiore, ma meno citato rispetto alle citazioni medie ricevute dagli articoli usciti nella stessa rivista nell’anno in cui è stato pubblicato].

Indici citazionali che calcolano la media delle citazioni ricevute da una rivista (Impact factor, citazioni per articolo pubblicato, ma non l’h-index) sono molto sensibili ai valori estremi. Le distribuzioni con cui si ha a che fare in bibliometria non sono gaussiane, ma a code pesanti. Questo significa che è molto frequente la presenza di valori estremi (vicini di banco giganti) che modificano sensibilmente la media. Tra parentesi, è per questo che sarebbe opportuno usare con estrema cautela i valori medi in bibliometria. E questa è la ragione per cui non ha alcun senso confrontare le citazioni ricevute da un articolo con quelle medie ricevute dagli articoli della stessa rivista nello stesso anno. Se in quell’anno qualcuno piazza su quella rivista l’articolo più importante della carriera, o magari il peggiore della carriera, quello che raccoglie una valanga di citazioni negative, i valori medi annuali della rivista saranno molto elevati, e gli articoli che ricevono un numero di citazioni nella norma saranno penalizzati nella valutazione. (Alberto Baccini, misurare i nani e giganti)