L’onda lunga della San Francisco Declaration on Research Assessment (DORA) raggiunge anche l’IEEE, la più grande associazione mondiale in ambito tecnologico. Pur non aderendo formalmente, l’IEEE Board of Directors ha approvato un “position statement” sull’uso appropriato degli indicatori bibliometrici per la valutazione di riviste, progetti di ricerca e individui, facendo proprie alcune delle principali raccomandazioni di DORA. Viene detto chiaramente che “Any journal-based metric is not designed to capture qualities of individual papers and must therefore not be used alone as a proxy for single-article quality or to evaluate individual scientists“. Risulta confermata ancora una volta l’emarginazione dell’ANVUR rispetto agli standard e alle “buone pratiche” internazionali.
L’IEEE (originariamente Institute of Electrical and Electronics Engineers) si autodefinisce come “the world’s largest professional association dedicated to advancing technological innovation and excellence for the benefit of humanity“. Si tratta, sotto tutti i punti di vista di un colosso che conta più di 425.000 membri in più di 160 nazioni, più del 50% dei quali al di fuori degli USA. Dal punto di vista editoriale, l’IEEE conta più di 148 pubblicazioni tra Transactions, Journals e Magazines, mentre sponsorizza più di 1.300 conferenze che danno luogo a più di 1.200 atti resi disponibili sulla piattaforma IEEE Xplore. È pertanto chiaro il peso e l’interesse che può avere una presa di posizione ufficiale di questa organizzazione nei confronti degli usi e degli abusi degli indicatori bibliometrici nella valutazione dei ricercatori
Nel numero di ottobre della newsletter trimestrale dell’IEEE Publication Services and Products Board (PSPB) è stato pubblicata una comunicazione – riportata di seguito – relativa all’approvazione da parte dell’IEEE Board of Directors di un Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”.
Due curiosità. Sergio Benedetto, coordinatore della VQR, è “Fellow” dell’IEEE. Inoltre, il chair dell’ IEEE Publication Services and Products Board è Gianluca Setti, che oltre che Fellow IEEE è anche membro del GEV 09. Che quest’ultimo, consapevole delle falle della VQR italiana, abbia contribuito alla presa di posizione della IEEE, che dà un altro colpo di piccone alla bibliometria fai-da-te dell’ANVUR?
___________
da: IEEE Publication Services and Products Board (PSPB) Quarterly Newsletter: October 2013
IEEE statement on correct use of bibliometrics
An increasing number of voices in the scientific community have recently expressed concerns on the inappropriate use of journal bibliometric indicators — mainly the well-known Impact Factor (IF). More specifically, they are being used as a proxy:
- to judge the impact of a single paper published in a journal;
- to evaluate the scientific impact of a scientist for hiring, tenure, promotion, salary increase and even project evaluations.
As is well documented in the bibliometric literature, journal bibliometric indicators are simply not designed for these purposes. Such unintended uses can have a negative impact on the careers and lives of IEEE members and authors. Furthermore, the practical use of a single bibliometric indicator (the IF) for such inappropriate objectives has made it the target and not the measure, promoting unethical behavior among editorial board members of journals in several disciplines with the sole aim of manipulating the indicator.
As the world’s largest professional technical organization, the IEEE has committed itself to addressing this situation by:
- taking actions to educate the community on the proper use of bibliometrics;
- promoting the use of more than one journal bibliometric indicator to offer a more comprehensive evaluation of the journal impact: in addition to bibliometric “popularity” measures (such as IF), at least complementary “prestige” measures should also be used (such as the Eigenfactor™ or the Article Influence™);
- establishing an IEEE ethical position on the appropriate use of bibliometrics.
More specifically, the IEEE Board of Directors on 9 September 2013 approved an IEEE Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”, which, in short, affirms that:
- The use of multiple complementary bibliometric indicators is fundamentally important to offer an appropriate, comprehensive and balanced view of each journal in the space of scholarly publications;
- Any journal-based metric is not designed to capture qualities of individual papers and must therefore not be used as a proxy for single-article quality or to evaluate individual scientists;
- While bibliometrics may be employed as a source of additional information for quality assessment within a specific area of research, the primary manner for assessment of either the scientific quality of a research project or of an individual scientist should be peer review;
- The IEEE also recognizes the increasing importance of bibliometric indicators as independent measures of quality or impact of any scientific publication and therefore explicitly and firmly condemns any practice aimed at influencing the number of citations to a specific journal with the sole purpose of artificially influencing the corresponding indicators.
If you would like more information about the statement you may contact the PSPB chair Gianluca Setti.
__________
__________
Meglio la bibliometria sciatta che le pratiche baronali.
Ovvio, la bibliometria va usata bene e ha ampi margini di miglioramento.
Ricordiamoci sempre che siamo arrivati alla bibliometria dalla merda in cui eravamo prima.
Le pratiche baronali, come dice lei, sono perfettamente in grado di “fare” la bibliometria. L’idea di moralizzare con i numeri è sbagliata. La bibliometria serve ad altro.
Dalla padella alla brace, o per usare lo stesso suo linguaggio, da una merda ad un’altra.
Siamo passati dai baroni semplici a quelli bibliometrici, molti dei quali sono sempre gli stessi, non vedo dove sia il miglioramento.
In italia abbiamo non abbiamo bibliometria sciatta -magari. Abbiamo vecchie pratiche baronali ammantate dall’oggettività della bibliometria-fai-da-te.
La bibliometria può premiare le pratiche baronali. Provi a guardare la lista dei “top Italian scientists”. Vi troverà non pochi baroni che hanno imparato a tradurre il potere (accademico e non) in traguardi bibliometrici.
Questo è vero se:
1) La bibliometria sciatta non fa seri danni
2) L’università è piena di baroni come si vuol far credere e questo ha l’impatto devastante riportato.
Da persona a diretto contatto con l’università e la ricerca e lettore della moltitudine di articoli di Roars al riguardo, ho seri dubbi su entrambe le premesse
@Antonio Banfi: “Le pratiche baronali, come dice lei, sono perfettamente in grado di “fare” la bibliometria. L’idea di moralizzare con i numeri è sbagliata. La bibliometria serve ad altro.”. Fosse vero; rimane il fatto che oggi ci sono almeno dei numeri minimi di decenza…minimi.
@Alessandro Figà Talamanca: “La bibliometria può premiare le pratiche baronali. Provi a guardare la lista dei “top Italian scientists”. Vi troverà non pochi baroni che hanno imparato a tradurre il potere (accademico e non) in traguardi bibliometrici.”. Certo che se venisse un marziano oggi in Italia penserebbe che il 99% degli accademici sono “baroni” visto come vengono tirati in ballo e di continuo!
Giacomo: per i numeri minimi di decenza non serve la bibliometria, basta contare…
Caro Risitano, le generalizzazioni fanno male. I “numeri minimi di decenza” sono assolutamente sballati in più di un settore bibliometrico o branca di esso. Numeri minimi di decenza erano quelli previsti dai vecchi “criteri CUN”, quelle di oggi sono soglie bibliometriche create allo stesso modo per tutti i settori e per tutte le aree, che provocano distorsioni quando applicate a settori diversi da quelli per cui sono create (fisica e medicina, ad esempio).
Forse questa presa di posizione andrebbe guardata da un punto di vista un po’ più ampio che non la solita polemica sulla carriera (e lo scrive un precario) e la baronia. Credo si voglia ribadire, e non credo ci voglia molto per convincersene, che la bibliometria non è la misura adatta per valutare le capacità ed il talento di una persona e forse neppure il primo filtro da applicare per discernere tra individui diversi.
Concordo parola per parola.
Direi che sia poco da obiettare: è noto anche ai sassi ormai che l’IF non è adatto alla valutazione del singolo paper/individuo.
Solo due note:
1) Nella VQR e nella ASN l’IF era uno degli indici, non l’unico. Il numero di citazioni e un indice paper specifico (e ovviamente Area specifico).
2) “the primary manner for assessment of either the scientific quality of a research project or of an individual scientist should be peer review” Concordo appieno come credo tutti, ma se i peer sono stranieri! Il problema però è che se si vuole fare le cose a livello ‘nazionale’ non è materialmente possibile.
Si dovrebbero bandire posti locali, e la commissione selezionata tra esperti del SSD o similia stranieri che valutino i (sicuramente meno che le migliaia della ASN) prodotti dei candidati e il cui parere abbia peso fondamentale (ovvero non che dicano che tizio è il peggiore e poi l’ateneo se ne frega!). No commissioni con membri interni, no (o meno) conflitto d’interessi con membri italiani.
“è noto anche ai sassi ormai che l’IF non è adatto alla valutazione del singolo paper/individuo.”
=============================
Noto ai sassi, ma non al MIUR: nei Decreti Ministeriali n. 243 (“Criteri e parametri riconosciuti, anche in ambito internazionale, per la valutazione preliminare dei candidati destinatari dei contratti di cui all’articolo 24, della legge n. 240/2010″ http://attiministeriali.miur.it/anno-2011/maggio/dm-25052011.aspx) e n. 344 ( “Criteri per la disciplina, da parte degli Atenei, della valutazione dei ricercatori a tempo determinato, in possesso dell’abilitazione scientifica nazionale, ai fini della chiamata nel ruolo di professore associato”, http://attiministeriali.miur.it/anno-2011/agosto/dm-04082011-%284%29.aspx) si fa esplicito riferimento all’uso dell’Impact Factor. In particolare, vengono menzionati:
– “impact factor” totale;
– “impact factor” medio per pubblicazione;
Ahimé lo so. Ed ho pure sentito voci della possibilità di usare (credo sia una decisione a livello di Ateneo) i dati VQR per valutazioni individuali, addirittura (rabbrividisco) per gli scatti (quando torneranno…).
Spero siano solo le solite voci di corridoio.
Tuttavia devo ammettere che questa ondata di ‘quantificazione bibliometrica’ (cui io non sono per principio totalmente contrario) rischia di aver creato uno strumento il cui uso possa facilmente degenerare.
Anche a me il punto 3 lascia molto perplessa. Quoto:
3. While bibliometrics may be employed as a source of additional information for quality assessment within a specific area of research, the primary manner for assessment of either the scientific quality of a research project or of an individual scientist should be peer review;
Pensare che il modo migliore per valutare un individuo sia esclusivamente via peer review, mi fa venire in mente gli atti di approvati da certe Commissioni o i commenti dei peers ricevuti su certi progetti, say no more…
Gli indicatori bibliometrici sono pieni di limiti, non c’è un singolo indicatore che sia scevro da bias, però lasciare del tutto la valutazione all’onestà dei peers…siamo sicuri di volere questo?
Perchè allora il sistema italiano è già migliore dei sistemi possibili, cosa vogliamo di più?
E’ la solita storia. Siccome nel sistema universitario italiano nessuno paga per decisioni o scelte sbagliate, ci si cerca di inventare il piu’ “oggettivo” dei sistemi “oggettivi” che mettera’ fine a tutti gli arbitri in modo automatico. E’ una favola che si continua a raccontare all’ infinito anche se ormai anche i sassi dovrebbero aver preso coscienza che non funziona.
Di responsabilizzare le scelte delle commissioni con meccanismi di bonus-malus commisurati alla valutazione ex-post se ne parla da un po’ ma nessuno sembra aver voglia di nenanche di provare a implementarli. Come mai ? Eppure sarebbe un sistema enormemente piu’ economico e meno invasivo delle mostruosita’ di questa bibliometria usata fuori contesto.
E come si decide se una scelta è giusta o sbagliata? Con parametri oggettivi o peer review?
Ex-ante o ex-post, comunque ad un certo punto i controlli bisogna farli. Il problema della valutazione non scompare, è solo rimandato.
No. Ex-post o ex-ante non e’ affatto lo stesso. Non deve sfuggire la differenza fondamentale che sta nella *responsabilizzazione* dei valutatori. Un sistema bibliometrico puro e’ il massimo dell’ assurdo. Basterebbe un programma automatico. Ma non darebbe nessuna garanzia sulla qualita’. Ma anche una peer-review senza conseguenze per chi valuta non funziona, come sappiamo benissimo. E come sanno benissimo in molte aziende e in tanta accademia fuori d’Italia.
Una valutazione ex-post ha diversi vantaggi:
permette di valutare sia le performance nella nuova struttura di chi e’ stato selezionato, sia chi ha valutato, sia la struttura stessa.
In questo processo non c’e’ piu’ una sola valutazione, ma diverse valutazioni incrociate. E il tutto perde i connotati di un X factor accademico per dare spazio alla valutazione come strumento di crescita.
Ma questo richiederebbe un cambio di mentalita’ anche in molti di noi.
Io stamattina ho scritto un commento, per far notare che nelle università italiane non si licenziano neppure i pregiudicati, e portavo due esempi di pregiudicati che sono ancora al loro posto di professori ordinari.
Il commento è stato censurato. Posso sapere perchè?
Nel regno dell’omertà, è vietato denunciare i criminali?
In ogni caso (e sperando che la scure della censura non si abbatta anche su questo commento), il messaggio è: prima di parlare di responsabilizzazione, io cercherei di allontanare dall’Università almeno i condannati in via definitiva per aver truccato dei concorsi.
Non ci piace essere querelati.
Concordo completamente con la posizione di Giorgio Pastore e aggiungo che sono anche per far sparire i concorsi. Che un dipartimento si assuma anche il nipote dello zio ordinario, se lo desidera. Andiamo invece a vedere, ex-post, se quel dipartimento lavora bene.
L’osservazione che perché un un sistema del genere funzioni bene serve che esistano ben più di 2 fasce di docenza, mi rende solo più chiaro che negli anni passati ci si è mossi nella direzione profondamente sbagliata: far sparire una fascia su 3 mi pare molto più grave che ipotizzare un tunnel ginevra – gran sasso.
Sono in molti a ritenere che la scomparsa dei ricercatori a tempo indeterminato abbia comportato più svantaggi che vantaggi. Sull’idea del “liberi tutti” ho invece qualche perplessità. La VQR ha dimostrato quanto problematico sia per l’ANVUR (ma probabilmente anche per un’agenzia meno naive) dare “voti” incontestabili a chi lavora bene e male. Non abbasserei del tutto la guardia sui controlli ex ante affidando tutto il peso del controllo ai soli controlli ex-post. In una qualche misura, il sistema dovrebbe essere “fault-tolerant”. Meglio sistemi di verifica non ossessivi collocati su più livelli che concentrare tutte le verifiche in un unico punto che rischia di diventare il concentrato di ogni follia burocratica. Per fare un esempio, un’abilitazione (possibilmente non farraginosa) può attenuare il rischio di reclutamenti locali del tutto inadeguati, in quanto subordinati ad interessi di parrocchia. Perché venga reclutata una figura inadeguata devono fallire entrambi gli stadi di verifica. Un fallimento possibile, ma meno probabile che affidandosi al “liberi tutti”.
Concordo in toto con De Nicolao.
Si tratta di adottare un po’ di moderazione. Basta leggere roars e si colgono i limiti sia della bibliometria sia della valutazione peer. Basta guerre di religione. Cerchiamo di agire per valorizzare il buono che c’e’ nella scienza italiana e di evitare di cadere nella demagogia. L’assalto ai baroni e’ troppo facile e scontato. Qui il problema e’ che, da anni, l’universita’ non e’ un tema centrale delle politiche pubbliche. Cio’ perche’ abbiamo lasciato governare una classe politica che, come i berluscones, esaltava le feste a base di escort e di bamba oppure,
come il centrosinistra, non aveva alcuna idea della modernita’!
Sempre stamane ho scritto un commento per far notare che non solo la destra, ma anche il centro e la sinistra hanno problemi di escort (visto che c’è chi pensa che sia solo un problema dei berluscones), riportando due fatti di cronaca.
Anche questo commento è stato censurato. Bello il pensiero a senso unico di ROARS!
Nessun pensiero a senso unico. Vogliamo evitare che qualcuno ci faccia chiudere. Perché dovremmo pubblicare noi dei nomi che lei scrive da anonimo?
Insomma, alessandro, tu davvero pensi che l’unico problema del centrosinistra sia che “non hanno idea della modernità” ?
Abbondazio si dia una regolata perché altrimenti ci pensiamo noi: facile scrivere cose a rischio querela essendo un anonimo, complimenti.
[…] Anche l’IEEE contro l’uso di indici bibliometrici per la valutazione individuale (ROARS) Share this:TwitterFacebookMi piace:Mi piace Caricamento… Lascia un commento di Danilo Bazzanella il 8 novembre 2013 • Permalink Inviato su Notizie nazionali, Stampa […]
Vorrei fare in questo contesto ancora un paragone con il mondo azindale, perché é interessante comprendere quanto da un lato il ranking accademico attraverso indici o “calcoli alchemici”, sembri avvicinarsi a un sistema aziendalista e quanto al contrario “metodi simili” siano sempre più criticati anche all´interno delle stesse aziende perché invece di promuovere il merito crea un sistema che alla fine lo reprime. Riporto qui un interessante ed eclatante caso del 2012 che colpì profondamente perché riferito a Microsoft e fu fonte di parecchie discussioni. Un´articolo che tocca una delle corde più delicate per le aziende o anche altri sistemi economici che sottopongono a ranking i dipendenti. Ma allora come valutare i propri dipendenti? Come motivarli e promuovere la creatività?
Kurt Eichenwald rivelò che il sistema di valutazione del personale basato sul „stack ranking“ ha storpiato l´abilità di Microsoft di produrre innovazione.
Consideriamo comunque che difficilmente l´insuccesso manageriale è da attribuirsi a una unica motivazione, normalmente sono molte co-occorrenti, quindi tenderei a non ingrandire eccessivamente il ruolo di quanto raccontato sugli effetti di una valutazione „stack ranking“. Tuttavia essa costituisce un ´ottima base di riflessione di come questi sistemi di valutazione se ingessano eccessivamente i gruppi possano comportare effetti contrari a quelli desiderati.
—-
„An article in Vanity Fair by Kurt Eichenwald (“Microsoft’s Downfall: Inside The Executive E-mails and Cannibalistic Culture That Felled A Tech Giant”) triggered recent discussion.
http://www.vanityfair.com/online/daily/2012/07/microsoft-downfall-emails-steve-ballmer
Riporto un passaggio:
„Eichenwald’s conversations reveal that a management system known as “stack ranking”—a program that forces every unit to declare a certain percentage of employees as top performers, good performers, average, and poor—effectively crippled Microsoft’s ability to innovate. “Every current and former Microsoft employee I interviewed—every one—cited stack ranking as the most destructive process inside of Microsoft, something that drove out untold numbers of employees,” Eichenwald writes. “If you were on a team of 10 people, you walked in the first day knowing that, no matter how good everyone was, 2 people were going to get a great review, 7 were going to get mediocre reviews, and 1 was going to get a terrible review,” says a former software developer. “It leads to employees focusing on competing with each other rather than competing with other companies.”
—-
Forbes subsequently featured posts including “The Terrible Management Technique That Cost Microsoft Its Creativity” by Frederick Allen,
http://www.forbes.com/sites/frederickallen/2012/07/03/the-terrible-management-technique-that-cost-microsoft-its-creativity/
“The Management Approach Guaranteed To Wreck Your Best People” by Erika Andersen
http://www.forbes.com/sites/erikaandersen/2012/07/06/the-management-approach-guaranteed-to-wreck-your-best-people/
Riporto un passaggio dell´articolo:
„Human beings, like most everything other living thing on the planet, thrive in response to consistent support and the removal of obstacles. Forcing them into artificial and arbitrary constraints is generally doomed to fail.“Stack ranking” is only one example of this kind of wrong-headed management: having every department head cut a prescribed percentage out of their spending to reduce costs is another. Yet another is the weirdly well-regarded practice of refusing to consider job candidates who don’t have a particular scholastic or experiential pedigree (or assuming that those who do will be excellent hires).Don’t get me wrong – I’m not suggesting a free-for-all. If a tree has a dying branch, you should prune it off, so it doesn’t tax the tree’s resources, infect other branches, or fall on somebody’s head. But if a tree is healthy, beautiful, growing well…don’t cut it up. In your organization, clearly define what great performance looks like: support, develop and reward those who perform well (both individually and in teams). When people don’t perform well, provide clear guidance about what’s expected, give them the chance to improve, and if they don’t – let them go……