La VQR 2011-2014 sta procedendo. Apprendiamo che ANVUR ha costituito un gruppo di studio bibliometrico. Non ne conosciamo la composizione, ma crediamo che, come già accadde la scorsa volta, siano gli ingegneri ad avere la parte principale. In particolare il coordinatore GEV09, che nel first meeting del GEV ha presentato “gli indicatori bibliometrici per i membri del GEV”. Ma, nella slide in cui si spiega come si calcola l’Impact Factor di una rivista è presente un importante errore.
Il 5 ottobre 2015 si è tenuto il first meeting del GEV09, di ingegneria. Si tratta di un GEV importante perché il suo coordinatore, Gianluca Setti, è sicuramente uno dei membri del gruppo di studio bibliometrico di ANVUR, quello che sta definendo i criteri per la VQR. Come la volta scorsa saranno gli ingegneri guidati dal prof. Benedetto a fare la parte del leone per i criteri delle aree bibliometriche.
Nel corso del meeting Setti ha presentato le slide contenute in un file dal titolo:
Bibliometric indicators for GEV members
di cui è stata autorizzata la diffusione. Vediamo cosa hanno imparato i membri del GEV 9 dalle slide.
Si inizia parlando degli indicatori bibliometrici riferiti alle riviste. E soprattutto dal più famoso: l’impact factor.
Chissà se dalla platea si è alzato qualche brusio, o se il prof. Benedetto, il coordinatore della VQR è trasalito quando Setti ha presentato la slide numero 4. Non eravamo presenti e non avevamo osservatori, per cui possiamo ricostruire la scena solo facendo ricorso alla nostra immaginazione.
Ebbene, come avranno reagito gli ingegneri del GEV 9 di fronte a questa slide, che contiene almeno due errori? Avranno capito di essere stati messi alla prova?
L’errore più difficile da trovare è quello meno grave. Probabilmente, il relatore avrà rimproverato bonariamente i colleghi per non averlo scovato: è ben noto che Garfield presentò la prima intuizione dell’impact factor in un articolo del 1955 e che l’espressione e definizione di IF si trova in un articolo del 1963.
Ci piace però immaginare il relatore mentre si congratula con chi è stato pronto a scovare l’errore numero uno. Quello più grave.
Ad essere sbagliata nella slide è la definizione stessa di impact factor.
In effetti, per capire che la definizione non è quella giusta, basta consultare wikipedia alla voce impact factor. Va anche detto che aver scritto la definizione in formula anziché a parole potrebbe avere intimidito molti dei convenuti.
Spostiamoci un attimo sul piano tecnico. Nella slide l’impact factor di una rivista in un dato anno è definito come un rapporto il cui numeratore è il numero di citazioni ricevute nei due anni precedenti da tutti gli articoli pubblicati dalla rivista in quei due anni, mentre il denominatore è il numero di articoli e lettere pubblicati dalla rivista nei due anni precedenti. Facciamo un esempio: secondo la slide di Setti, l’impact factor 2012 di una rivista si calcolerebbe prendendo il numero di citazioni ricevute nel 2010 e nel 2011 dagli articoli pubblicati dalla rivista in quegli stessi anni, che andrebbe poi diviso per il numero di articoli e lettere pubblicati dalla rivista nel 2011 e nel 2012.
Questa definizione è errata. L’Impact Factor di una rivista nel 2012 è infatti calcolato prendendo il numero di citazioni ricevute nel corso del solo 2012 dagli articoli pubblicati nella rivista nel 2010 e nel 2011, che vengono poi divisi per il numero di articoli pubblicati nel 2010 e nel 2011.
Immaginiamo che, subito dopo, il relatore abbia proiettato questa slide con le correzioni evidenziate in rosso:
Se fossimo stati – immeritatamente – nei panni del relatore o del coordinatore della VQR, avremmo anche suggerito ai membri del GEV di studiarsi bene la definizione di impact factor indicando come testo di riferimento una guida di Thomson Reuters
Tutto sommato, i lettori di Roars potrebbero sentirsi quasi rassicurati da questo resoconto. Ma peccherebbero di ottimismo, perché vi abbiamo nascosto un piccolo dettaglio.
No, non è andata come vi abbiamo appena raccontato.
È andata così solo in parte: nelle slide, l’errore c’è davvero. Non c’è invece la slide corretta. Quella l’abbiamo confezionata noi [*]. Da quanto è dato sapere, l’errore è passato inosservato, tanto è vero che è stata autorizzata la circolazione delle slide così come erano.
Anche questa VQR, quindi, è in buone mani. Ce n’è abbastanza per giustificare una reazione allarmata, non troppo diversa da quella di un personaggio di un film di Verdone
Post scriptum. Per rassicurare i lettori di Roars che non si tratta di una svista, li invitiamo a trovare gli errori nella seguente slide, sempre tratta dal pacchetto presentato e diffuso da Setti.
[*] Per ragioni di leggibilità abbiamo abbreviato la descrizione di ciò che sta al denominatore nella formula dell’IF. In realtà al denominatore stanno solo i cosiddetti “citable items”, vale a dire: research papers and notes, reviews; non vi sono compresi invece editoriali, lettere e commentari. Quindi anche la descrizione delle tipologie di prodotti inclusi nel denominatore fornita ai membri GEV (“articles and letters”) è errata.
Comprendo che voi vi divertite da matti; io invece sono solo molto preoccupata ed indignata del fatto che siamo “in buone mani”. Per altre ragioni ancora: che bisogno c’era di usare l’inglese? o si tratta di una conferenza itinerante attraverso tutti i continenti? o si tratta di un atto di saputaggine intimidatoria? soprattutto se poi la descrizione presente nella fig.1 da voi citata, benché sia in inglese la capisce anche un poverello umanista. Ma perché dobbiamo essere presi sempre per fessi?
Dimenticavo: questo fa coppia con il fastodioso mistilinguismo presente nella presentazione di test TECO nel sito dell’Anvur: “Motivi sostanziali sono quelli espressi dai vari stakeholders interessati al miglioramento dei learning outcomes dei nostri Atenei: le imprese che sempre più chiedono alle Università di verificare e promuovere anche le competenze di natura generalista (problem solving, critical thinking, ability to communicate), oltre che quelle specialistiche” e “il quale combina domande a risposta aperta con altre a risposta chiusa multiple choice”.
possono sforzarsi quanto vogliono ma non riescono a superare lo Stefano Accorsi di “du gust is megl che uan”
Io credo si tratti solo dì pigrizia, se non peggio. In fin dei conti meglio la parola originale piuttosto che, per es, rationale per fondamento logico, mecciato per associato, oppure le traduzioni a orecchio con termini inesistenti: referred-riferito; chillato o killato per eliminato; clampato per stretto, pinzato; continuo?
E’ bene riconoscere da subito che la bibliometria non è una scienza esatta, ma è solo un metodo (leggermente più raffinato di altri) affinché gruppi di potere accademici possano esercitare il controllo su questioni cruciali quali assunzioni, avanzamenti di carriera e finanziamenti.
Nessuno mette in dubbio che il meccanismo della produzione e della trasmissione della conoscenza debba avere una qualche forma di controllo dal suo interno, altrimenti avremmo ancora ricercatori intenti a fare esperimenti sul flogisto o docenti che propongono agli allievi come verità assodata l’astronomia tolemaica.
Il punto è che i numeri magici della bibliometria hanno completamente de-responsabilizzato il processo di controllo al punto da non renderlo affatto immune dal sospetto di arbitrarietà. Se al cocktail aggiungiamo pigrizia mentale e pressapochismo (come dimostrano le slide in cui chi si prende l’impegno difronte ad un’intera comunità di studiosi di valutare la qualità della loro ricerca in base a parametri di cui egli stesso non conosce bene la definizione) abbiamo un quadro abbastanza fedele della situazione in cui attualmente versa l’università italiana …
Perché farsi giudicare da chi usa un italiano da scimmie anglomani? (Naturalmente è sempre più difficile trovare termini di comparazione: occorre scusarsi anche con le scimmie, che fanno il loro onesto mestiere di animali).