Il bando per la VQR 2011-2014 prevede che almeno il 50% delle pubblicazioni venga valutato in maniera automatica, basandosi sulle citazioni del prodotto e sugli indicatori dell’impatto della rivista. Ma saranno affidabili le osservazioni rilevate attraverso una finestra citazionale che, nel migliore dei casi, va dal 2011 al 2015? Pare proprio di no. Se si presta fede ad un recente studio, “Citation window choice for research impact“, per finestre citazionali piccole (ad esempio 4-5 anni) e recenti, l’analisi citazionale non è sufficientemente robusta, anche in presenza di normalizzazioni per ambito disciplinare, e può condurre a risultati che si invertono se si utilizzano finestre citazionali più lunghe.
Fra gli articoli segnalati nel report The metric tide uno risulta piuttosto attuale ora che il bando definitivo per la VQR è stato pubblicato. Si tratta di Citation window choice for research impact di J. Wang (IFQ). L’articolo tratta di quanto debba essere ampia la finestra citazionale osservata per poter dare informazioni affidabili in merito all’impatto di un lavoro.
Ricordiamo che il bando per la VQR 2011-2014 prevede che almeno il 50% delle pubblicazioni venga valutato in maniera automatica:
Ai fini del giudizio di qualità i GEV adottano, singolarmente o in combinazione, le seguenti due metodologie:
a) valutazione diretta, anche utilizzando, ove applicabile, l’analisi bibliometrica, basata sulle citazioni del prodotto e su indicatori dell’impatto della rivista ospitante il prodotto. Per il calcolo degli indicatori bibliometrici ciascun GEV utilizza a tal fine le banche dati concordate con l’ANVUR;
Ciò significa che la finestra temporale presa in considerazione per la prossima VQR sarà dal 2011 al 2015: 5 anni nel migliore dei casi, per gli articoli di inizio 2011.
In pratica la conclusione a cui si arriva nell’articolo è che per finestre citazionali piccole (ad esempio 4-5 anni) e recenti l’analisi citazionale non è sufficientemente robusta per la definizione dell’impatto della ricerca anche in presenza di normalizzazioni per ambito disciplinare e può condurre a risultati che si invertono se si utilizzano finestre citazionali più lunghe.
In particolare le tre domande a cui il lavoro cerca di rispondere sono:
- quanto l’analisi citazionale svolta su una finestra citazionale breve sia una proxy del numero totale delle citazioni (correlazione fra citazioni calcolate sull’arco temporale breve e su un arco temporale lungo qui fissato in 31 anni) e quindi dell’impatto scientifico di una pubblicazione,
- se esiste una variazione dell’andamento delle citazioni in dipendenza dall’ambito di ricerca, dal tipo di documenti, dal mese di pubblicazione e dal totale delle citazioni,
- e se la normalizzazione per ambito disciplinare serva a migliorare i problemi che derivano dall’uso di finestre temporali piccole.
L’analisi è stata fatta sul totale degli articoli pubblicati nel 1980 e su una finestra citazionale di 31 anni (1980-2011) utilizzando dati Thomson Reuters elaborati dal Kompetenzzentrum Bibliometrie presso l’Università di Bielefeld*.
Sarà interessante vedere come i GEV imposteranno i loro documenti su criteri e indicatori, perché anche per quanto riguarda l’utilizzo degli indicatori sulle riviste (visto come alternativa quando l’articolo è troppo recente per aver raccolto citazioni) in questi anni (dalla fine della scorsa VQR) molto è stato scritto a partire da DORA fino al Leiden Manifesto.
*Il KB di Bielefeld è parte di un centro di ricerca universitario finanziato dal Ministero per l’istruzione e la ricerca tedesco (partner sono Institut für Forschungsinformation und Qualitätssicherung (iFQ), Fraunhofer-Institut für System- und Innovationsforschung (Fh-ISI), Institute for Interdisciplinary Studies of Science (I²SoS) der Universität Bielefeld, Leibniz-Institut für Informationsinfrastruktur FIZ Karlsruhe (FIZ), Forschungszentrum Jülich GmbH (FZJ), Max-Planck-Gesellschaft München, GESIS – Leibniz-Institut für Sozialwissenschaften, Mannheim/Köln). Il centro è attivo dal 2009 e la sede di Bielefeld si occupa della gestione e manutenzione di una base di dati disambiguata per la produzione di indicatori per il monitoraggio delle attività di ricerca svolte nei diversi Laender.
In realtà, a quanto mi risulta, le citazioni del singolo lavoro contano molto poco e la maggior parte della valutazione “automatica” è basata sull’ i.f. della rivista (che a sua volta è basato su citazioni, ricevute da altri lavori, e peraltro anche su un periodo di soli 2 anni).
Le famose “matrici” GEV/VQR pesano infatti pochissimo le citazioni e prevalentemente si basano su i.f.. Membri/esperti/amici GEV commentate…
La febbre dell’ i.f., che con DORA e l’aiuto della precedente ASN pareva attenuarsi, si sta rinvigorendo.
Ogni “attacco” alla robustezza delle citazioni del singolo lavoro, se non accompagnato da controproposte ragionevoli ed implementabili, non fa altro che rinvigorire e legittimare l’uso dell’i.f..
“Le famose “matrici” GEV/VQR pesano infatti pochissimo le citazioni e prevalentemente si basano su i.f.”
________________________
Esistevano due versioni distinte “quadrati magici”: una per articoli recenti (in cui pesavano di più le classificazioni delle riviste) e una per articoli meno recenti in cui aumentava il peso delle citazioni. Non so cosa si intenda per “pochissimo”, ma, almeno in uno dei due casi, direi che non è stato così.
========================
“Ogni “attacco” alla robustezza delle citazioni del singolo lavoro, se non accompagnato da controproposte ragionevoli ed implementabili, non fa altro che rinvigorire e legittimare l’uso dell’i.f..”
________________________
Se l’Impact Factor è pseudoscientifico questo non rende più affidabili dati citazionali che affidabili non sono. Ricordiamo che nel REF inglese, che per tanti versi è il modello dei riformatori de noantri, il possibile uso di valutazioni bibliometriche automatiche è stato oggetto di indagine e poi scartato (http://www.hefce.ac.uk/media/HEFCE,2014/Content/Pubs/Independentresearch/2015/The,Metric,Tide/2015_metric_tide.pdf). Non credo che abbia molto senso esitare nell’analisi dell’inefficacia delle ali di pipistrello perché questo potrebbe contribuire al rilancio delle code di serpente. Sempre di pozioni magiche stiamo parlando.
Il bando (vd. sopra) non dice affatto che le citazioni contano poco e l’IF conta di più. E’ cosa nota che più l’articolo è recente meno significato hanno le citazioni, e lo studio di Wang lo conferma. Se allora abbiamo una evidenza recente del fatto che le citazioni su articoli recenti sono poco idonee a valutarne l’impatto scientifico e che l’IF non è idoneo a valutare i singoli articoli perché si riferisce ai loro contenitori, credo che chi dovrà organizzare la valutazione automatica si troverà di fronte a un bel dilemma.
Sul fatto che la febbre dell’IF si sia attenuata, a leggere la bozza di decreto per la ASN, direi proprio di no. Anzi ne vengono proposti i peggiori utilizzi.
Ma insomma, ora che si tratta di due lavori, se non sbaglio, questi colleghi, dal momento che l’hanno voluto fare, non potrebbero leggere i lavori ed esprimere un giudizio motivato personale? O non sono in grado, perchè certe volte esula dalle loro competenze?
Credo sia una questione di soldi e di tempi. Che non tiene però minimamente conto degli effetti.
Siccome sarebbe in parte ‘automatizzato’ o ‘meccanizzato’, può essere affidati anche a dei ragionieri. Che calcolano ciò che deve essere calcolato, il resto lo distribuiscono all’esterno in lettura, raccolgono un giudizio espresso in punti, fanno le somme e voilà!
Ma non vi è ancora chiaro che tutto ciò è stato concepito proprio perché “far leggere una pubblicazione e darne un giudizio” implica che l’esito del concorso viene alterato in modo fraudolento? E’ storia!