Il Bando PRIN PNRR pubblicato il 14 settembre (DD 1409 del 14 settembre 2022)  risulta avere delle caratteristiche piuttosto singolari nel panorama europeo. I Principal investigator sono obbligati a calcolare il valore del loro “total impact factor”. Si tratta di un indicatore che nessuno utilizza. Basato su assunti errati e da rifiutare secondo quanto previsto dalla riforma dei sistemi di valutazione in atto in Europa, cui hanno aderito 48 fra università associazioni ed enti di ricerca italiani fra cui anche ANVUR (!). Come è possibile che in un bando collegato al PNRR siano indicati proprio quegli elementi di valutazione che il movimento di riforma europea sta rifiutando?

Il Bando PRIN PNRR pubblicato il 14 settembre (DD 1409 del 14 settembre 2022)  risulta avere delle caratteristiche piuttosto singolari nel panorama europeo.

Infatti il facsimile della presentazione della domanda prevede fra l’altro che i PI presentino alcuni dati rispetto alla loro carriera e che dovranno essere utili per certificare la loro eccellenza scientifica (come non ci è dato saperlo).

Bibliometric data (mandatory for PE and LS only, SH if available)

H-Index (in Scopus)

Total number of publications in peer-reviewed journals o Total IF (max 100 characters)

n. and total IF of publications where the candidate is first author or equivalent (for the disciplines where the position in the list of authors correspond to the role in the work presented)

N. and total IF of the publications where the candidate islast or corresponding author (for the disciplines where the position in the list of authors correspond to the role in the work presented)

Evidentemente devono essere arrivate delle richieste di spiegazioni al MUR rispetto al tema dell’Impact factor tanto che il MUR risponde il 7 novembre con la seguente FAQ

5.IMPACT FACTOR

FAQ n. 1 D: Come si calcola il “Total IF”?

R: Il Total IF da indicare in domanda è dato dalla somma degli IF delle riviste su cui sono stati pubblicati gli articoli di cui il PI (o il responsabile di unità) è autore, indipendentemente dalla sua posizione all’interno della lista degli autori.

FAQ n. 2 D: Per calcolare l’IF della rivista è necessario considerare l’anno attuale oppure l’anno di pubblicazione dell’articolo?

R: Per calcolare l’IF della rivista è necessario considerare l’anno attuale (o l’ultimo IF disponibile).

Abbiamo provato a cercare nei diversi manuali di bibliometria (non da ultimo l’Handbook of bibliometrics indicators pubblicato da Roberto Todeschini e Alberto Baccini qualche anno fa) cosa sia il total impact factor  e soprattutto cosa ci dica della ricerca svolta dal ricercatore e della sua presunta eccellenza. Stranamente non ne abbiamo trovato traccia.

[Per trovarne traccia, e proprio nella forma indicata dal bando, si deve risalire ad un oscuro e fortunatamente dimenticato libretto di Spiridione Garbisa e Laura Calzà, pubblicato da CLEUP, Padova, risalente al 1995, dal titolo Il peso della qualità accademica ovvero Manuale per l’uso di parametri oggettivi. Il libretto, citato in 27 anni appena 4 volte, è probabilmente una delle milestones dell’introduzione della bibliometria-fai-da-te nella normativa italiana. Da allora è passato oltre un quarto di secolo e la somma degli IF è l’esempio classico dell’uso errato di indicatori bibliometrici.]

Come è possibile che il Ministero della ricerca utilizzi un indicatore che nessuno usa? E per valutare i ricercatori all’interno di un programma che è finanziato dall’Europa?

L’altra cosa che ci è sembrata strana è il contenuto della FAQ n. 2 che chiede ai ricercatori di tenere conto per tutte le pubblicazioni dell’IF attuale (quello del 2021) o dell’ultimo disponibile. L’IF è un marchio registrato e viene fornito da Clarivate.

Wikipedia lo definisce così:

The impact factor (IF) or journal impact factor (JIF) of an academic journal is a scientometric index calculated by Clarivate that reflects the yearly mean number of citations of articles published in the last two years in a given journal, as indexed by Clarivate’s Web of Science. As a journal-level metric, it is frequently used as a proxy for the relative importance of a journal within its field

Sul sito di Clarivate troviamo il seguente avviso:

The Journal Impact Factor should not be used without careful attention to the many phenomena that influence citation rates – for example the average number of references cited in the average article. The Journal Impact Factor should be used with informed peer review. In the case of academic evaluation for tenure, it is sometimes inappropriate to use the impact of the source journal to estimate the expected frequency of a recently published article.

La prima domanda che vorremmo porre dunque al MUR è come mai si utilizzi un indicatore relativo alle riviste per valutare il cv dei PI e dei PI associati

La seconda domanda a cui ci piacerebbe trovare risposta è, stante la definizione di IF,  perché si utilizzi l’indicatore dell’ultimo anno per tutti gli anni precedenti, visto che ogni anno ha il proprio IF disponibile.

La terza domanda che ci viene naturale è cosa esprima la somma dell’IF e cosa ci dica della ricerca svolta dai PI o dai PI associati.

Non vogliamo pensare che si voglia considerare il numero più elevato come segno di “maggiore eccellenza”, proprio per la inconfrontabilità delle attitudini citazionali nei diversi ambiti scientifici disciplinari. Che informazione ricaveranno i revisori da un indicatore bibliometrico che non esiste in letteratura e che oltretutto prevede un utilizzo scorretto dei singoli fattori?

Ma più di tutto ci chiediamo: è in atto in Europa una riforma del sistema di valutazione dei singoli ricercatori, che si fonda su quanto già richiesta da DORA e dal Manifesto di Leiden, una attività a cui hanno aderito ben 48 fra università associazioni ed enti di ricerca italiani fra cui anche ANVUR.

Fra i committments troviamo questo:

Abandon inappropriate uses in research assessment of journal- and publication-based metrics, in particular inappropriate uses of Journal Impact Factor (JIF) and h-index

Purpose: This commitment will reduce the dominance of a narrow set of quantitative journal- and publication-based metrics.

Scope: Inappropriate uses of journal- and publication-based metrics in research assessment should be abandoned. In particular, this means moving away from using metrics like the Journal Impact Factor (JIF), Article Influence Score (AIS) and h-index as proxies for quality and impact. ‘Inappropriate uses’ include:

relying exclusively on author-based metrics (e.g. counting papers, patents, citations, grants, etc.) to assess quality and/or impact;

assessing outputs based on metrics relating to publication venue, format or language;

relying on any other metrics that do not properly capture quality and/or impact.

E qui sorge l’ultima domanda, come è possibile che in un bando collegato al PNRR siano indicati proprio quegli elementi di valutazione che il movimento di riforma europea sta rifiutando?

 

 

 

 

 

 

8 Commenti

    • Se è per quello, a partire dalla fine degli anni 1990, in moltissimi concorsi per ricercatore (RTI) di area medica, si introdusse l’uso della somma degli IF per valutare i candidati. Che quell’indicatore sia usato da AIRC va a detrimento di AIRC non certo a migliorare lo status dell’indicatore. Ormai in questo paese, dopo oltre un decennio di ANVUR, gli accademici sono abituati alla bibliometria fai-da-te.

    • Diciamo poco usato e segnalato come esempio standard di cattiva pratica fuori dalla nostra disgraziata accademia.

  1. Qualsiasi indicatore è meglio di niente e soprattutto delle valutazioni personali e soggettive. Non capisco questa volontà di cercare le distorsioni del metodo; ci vedo dietro un ragionamento tipico dei vegliardi che vorrebbero poter argomentare fantasiosamente sulla qualità del singolo lavoro per trarre conclusioni arbitrarie a proprio piacimento. Facciamocene una ragione, la bibliometria è fredda e distorta ma uno che ha 500 di IF totale è meglio di uno che ha 50, amen. Un ricercatore con 40 di Hindex è enormemente più bravo e riconosciuto di uno che ha Hindex 8. Cosa c’è da ragionare?

    • E’ veramente meraviglioso leggere questa roba qua. Gli oroscopi hanno base scientifica più solida di queste certezze accademiche.

    • Venendo da un ambito umanistico, non ho dimenticato che siamo esseri umani, responsabili e forniti individualmente di capacità intellettuali, che nessun algoritmo, mi spiace per i fan delle sedicenti scienze dure e della sedicente IA, può esaurire completamente, da nessun punto di vista; perciò le valutazioni personali e soggettive sono sempre meglio degli indicatori, perché possono sintetizzare tutto ciò che sfugge a griglie, parametri, misure e altre amenità pseudooggettive. Senza dire che molti competenti, come qua Baccini, ci svelano anche l’obiettiva fallacia dei presunti indicatori e affini

  2. È confortante osservare la sicurezza con cui argomenta la sua posizione. Facciamocene una ragione, il far o meno parte di un gruppo già consolidato, le abitudini citazionali della disciplina, il livello di lavoro sperimentale richiesto dalla disciplina stessa, l’affrontare un problema “di moda” o meno, sono tutte sciocchezze. Cosa c’è da ragionare?

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.