There is a serious danger that undue emphasis on bibliometric indicators will not only fail to reflect correctly the quality of research, but may also hinder the appreciation of the work of excellent scientists outside the mainstream; it will also tend to promote those who follow current or fashionable research trends, rather than those whose work is highly novel and which might produce completely new directions of scientific research. Moreover, over- reliance on citations as a measure of quality may encourage the formation of aggregates of researchers (or “citation clubs”) who boost each others citation metrics by mutual citation. It thus becomes important to concentrate on better methods of evaluation, which promote good and innovative scientific research. […] Evaluations must be based under all circumstances on expert assessment of scientific content, quality and excellence.” Una presa di posizione netta, sotoscritta nel 2017 da tre accademie delle scienze: Académie des Sciences, Leopoldina e Royal Society 2017. Da anni, i valutatori di stato italiani e la CRUI si tappano le orecchie, ma sull’inopportunità e i pericoli di un uso automatizzato di indicatori bibliometrici nelle valutazioni individuali dei ricercatori e dei singoli lavori scientifici c’è un consenso pressoché universale, testimoniato da diverse dichiarazioni sottoscritte da autorevoli organismi scientifici, agenzie di valutazione, premi Nobel e così via. Di seguito, pubblichiamo una antologia, necessariamente incompleta, di queste prese di posizione pubbliche. Speriamo che possa servire da promemoria al neo-Ministro, alla CRUI e – perché no? – anche all’ANVUR, il cui direttivo sarà presto rinnovato per quattro settimi. Se le cattive pratiche valutative, promosse in Italia dai più alti livelli istituzionali, continueranno a infliggere danni duraturi alla ricerca italiana, che almeno ci venga risparmiato l’alibi del “non sapevamo”.

Alcuni degli estratti dell’antologia:

1. Articles in scientific journals

____________________________
[1.1] D.L. Parnas, “Stop the Numbers Game – Counting papers slows the rate of scientific progress,” Communications of the ACM, Vol. 50, No. 11, 2007, pp. 19-21.
http://ce.sharif.edu/%7Eghodsi/PaP/stop_the_number_game.pdf
“The widespread practice of counting publications without reading and judging them is fundamentally flawed for a number of reasons: It encourages superficial research … overly large groups … repetition … small, insignificant studies … publication of half-baked ideas.
Evaluation by counting the number of published papers corrupts our scientists; they learn to “play the game by the rules.” Knowing that only the count matters, they use the following tactics: Publishing pacts. … Clique building … Anything goes … Bespoke research …Minimum publishable increment (MPI). ….Organizing workshops and conferences …
Those who want to see computer science progress and contribute to the society that pays for it must object to rating-by-counting schemes every time they see one being applied”
____________________________
[1.2] D.N. Arnold (past president of the Society for Industrial and Applied Mathematics), “Integrity under attack: The state of scholarly publishing”, SIAM News. Vol. 42, No. 10, December 2009, pp. 1-4.
http://www.siam.org/news/news.php?id=1663

“The next time you are in a situation where a publication count, or a citation number, or an impact factor is brought in as a measure of quality, raise an objection. Let people know how easily these can be, and are being, manipulated. We need to look at the papers themselves, the nature of the citations, and the quality of the journals.”
____________________________
[1.3] D.N. Arnold and K. K. Fowler, “Nefarious Numbers”, Notices of the American Mathematical Society, Vol. 58, No. 3, March 2011, pp. 434-437.
http://www.ams.org/notices/201103/rtx110300434p.pdf
“Despite numerous flaws, the impact factor has been widely used as a measure of quality for jour- nals and even for papers and authors. This creates an incentive to manipulate it. Moreover, it is possible to vastly increase impact factor without increasing journal quality at all. … The cumulative result of the design flaws and manipulation is that impact factor gives a very inaccurate view of journal quality. More generally, the citations that form the basis of the impact factor and various other bibliometrics are inherently untrustworthy.”
____________________________
[1.4] A. Molinié and G. Bodenhausen, “Bibliometrics as Weapons of Mass Citation”, Chimia 64 No. 1/2 (2010) 78–89
http://www1.chimie.ens.fr/Resonance/papers/2010/Molinie-Bodenhausen-Bibliometrics-Chimia-64-78-2010.pdf
“Just as the ‘value’ of financial products is assessed by irresponsible ranking agencies, the value of scientific research is as- sessed by ill-conceived parameters such as citation indices, h-factors, and worst of all, impact factors of journals… ‘Judging the ability of a scientist by his h- factor amounts to choosing wine according to the price of the bottle, Swiss cheese by measuring the size of its holes, and choco- late by its sugar content.’”
____________________________
[1.5] S. Bednarek, The focus on bibliometrics makes papers less useful, Nature News 517.7534 (2015): 245
https://www.nature.com/news/the-focus-on-bibliometrics-makes-papers-less-useful-1.16706
“Science managers and politicians seem especially fond of such ways to assess ‘scientific quality’. But many scientists also accept them, and use them in hiring and funding decisions. They are drawn to the alleged objectivity of bibliometrics. Indeed, one sometimes hears that scientists should be especially ready to apply scientific methods to their own output. However, scientists will also be aware that no good science can be built on bad data,[…]”
____________________________
[1.6] Biagioli, M. (2016). Watch out for cheats in citation game. Nature News, 535(7611), 201.
https://www.nature.com/news/watch-out-for-cheats-in-citation-game-1.20246
“Many academic fraudsters aren’t aiming for a string of high-profile publications. That’s too risky. They want to produce — by plagiarism and rigging the peer-review system — publications that are near invisible, but can give them the kind of curriculum vitae that matches the performance metrics used by their academic institutions. They aim high, but not too high.
And so do their institutions — typically not the world’s leading universities, but those that are trying to break into the top rank. These are the institutions that use academic metrics most enthusiastically, and so end up encouraging post-production misconduct. The audit culture of universities — their love affair with metrics, impact factors, citation statistics and rankings — does not just incentivize this new form of bad behaviour. It enables it.”

2. Articles in newspapers

____________________________
[2.1] D.D. Guttenplan, Questionable Science behind Academic Rankings, New York Times, November 14, 2010
http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html?pagewanted=all
“.. the list [the 2010 Times Higher Education ranking of world universities] also ranked Alexandria [the Egyptian university] fourth in the world in a subcategory that weighed the impact of a university’s research — behind only Caltech, M.I.T. and Princeton, and ahead of both Harvard and Stanford. … Dr. Hazelkorn also questioned whether the widespread emphasis on bibliometrics — using figures for academic publications or how often faculty members are cited in scholarly journals as proxies for measuring the quality or influence of a university department — made any sense. “I understand that bibliometrics is attractive because it looks objective. But as Einstein used to say, ‘Not everything that can be counted counts, and not everything that counts can be counted.”
____________________________
[2.2] D. Colquhoun, “Publish-or-perish: Peer review and the corruption of science,” The Guardian, September 5, 2011
http://www.guardian.co.uk/science/2011/sep/05/publish-perish-peer-review-science?fb=optOut
“To have “written” 800 papers is regarded as something to boast about rather than being rather shameful. … The way to improve honesty is to remove official incentives to dishonesty.”

3. Institutional reports and statements

____________________________
[3.1] Joint Committee on Quantitative Assessment of Research, Citation Statistics – A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Robert Adler, John Ewing (Chair), Peter Taylor, released: 6 November 2008, corrected version: 6 December 08
http://www.iciam.org/QAR/CitationStatistics-FINAL.PDF
“Thus, while it is incorrect to say that the impact factor gives no information about individual papers in a journal, the information is surprisingly vague and can be dramatically misleading….Once one realizes that it makes no sense to substitute the impact factor for individual article citation counts, it follows that it makes no sense to use the impact factor to evaluate the authors of those articles, the programs in which they work, and (most certainly) the disciplines they represent.”
____________________________
[3.2] Higher Education Funding Council for England (HEFCE), Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework , released: September 2009.
http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
“Key points. 8. Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review. 9. The robustness of the bibliometrics varies across the fields of research covered by the pilot, lower levels of coverage decreasing the representativeness of the citation information. In areas where publication in journals is the main method of scholarly communication, bibliometrics are more representative of the research undertaken.“
____________________________
[3.3] House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
“David Sweeney [Director HEFCE]: With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.
Sir Mark Walport: I would agree with that. Impact factors are a rather lazy surrogate. We all know that papers are published in the “very best” journals that are never cited by anyone ever again. Equally, papers are published in journals that are viewed as less prestigious, which have a very large impact. We would always argue that there is no substitute for reading the publication and finding out what it says, rather than either reading the title of the paper or the title of the journal.
Professor Rylance: I would like to endorse both of those comments. I was the chair of an RAE panel in 2008. There is no absolute correlation between quality and place of publication in both directions. That is you cannot infer for a high-prestige journal that it is going to be good but, even worse, you cannot infer from a low-prestige one that it is going to be weak. Capturing that strength in hidden places is absolutely crucial.
Q256 Stephen Mosley: … a concern that the Research Excellence Framework panels in the next assessment in 2014 might not operate in the same way. Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
David Sweeney: I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used. I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way.”
____________________________
[3.4] Kim Carr (Australian Minister for Innovation, Industry, Science and Research), Ministerial statement to the Senate Economics Legislation Committee – Improvements to Excellence in Research for Australia (ERA), May 30, 2011.
http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx
“There is clear and consistent evidence that the [journal] rankings were being deployed inappropriately within some quarters of the sector, in ways that could produce harmful outcomes, and based on a poor understanding of the actual role of the rankings. One common example was the setting of targets for publication in A and A* journals by institutional research managers.In light of these two factors – that ERA could work perfectly well without the rankings, and that their existence was focussing ill-informed, undesirable behaviour in the management of research – I have made the decision to remove the rankings, based on the ARC’s expert advice.”
____________________________
[3.5] Code of Practice – European Mathematical Society, p. 5
http://www.euro-math-soc.eu/system/files/COP-approved.pdf
“1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people.
2. It is irresponsible for institutions or committees assessing individuals for possible promo- tion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.”
____________________________
[3.6] On the use of bibliometric indices during assessment – European Physical Society, p. 2
http://www.eps.org/news/94765/
“The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.”
____________________________
[3.7] Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”- Institut de France, Académie des Sciences, p. 5
http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
“Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.”
____________________________
[3.8] DORA (la San Francisco Declaration on Research Assessment – http://am.ascb.org/dora/) è stata sottoscritta da 407 organizzazioni (comprese riviste come Science, Plos e PNAS) e 9.492 individui, vedi anche https://www.roars.it/online/dora/.
“1. Avoid using journal metrics to judge individual papers or
individuals for hiring, promotion and funding decisions.

2. Judge the content of individual papers and take into
account other research outputs, such as data sets, software
and patents, as well as a researcher’s influence on policy
and practice.”

Di seguito alcune delle 407 organizzazioni che hanno sottocritto DORA:
– American Association for the Advancement of Science (AAAS)
– American Society for Cell Biology
– British Society for Cell Biology
– European Association of Science Editors
– European Mathematical Society
– European Optical Society
– European Society for Soil Conservation
– Federation of European Biochemical Societies
– Fondazione Telethon
– Higher Education Funding Council for England (HEFCE)
– Proceedings of The National Academy Of Sciences (PNAS)
– Public Library of Science (PLOS)
– The American Physiological Society
– The Journal of Cell Biology
– Institute Pasteur
https://www.roars.it 🙂
– CNRS – University Paris Diderot
– INGM, National Institute of Molecular Genetics; Milano, Italy
– Université de Paris VIII, France
– University of Florida
– The European Association for Cancer Research (EACR)
– Ben-Gurion University of the Negev
– Université de Louvain

__________________
[3.9] IEEE: “Any journal-based metric is not designed to capture qualities of individual papers and must therefore not be used as a proxy for single-article quality or to evaluate individual scientists”
(IEEE statement on correct use of bibliometrics, http://www.ieee.org/publications_standards/publications/pubnews/vol6issue3/vol6_issue3_index.html
__________________
[3.10] Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management, HEFCE 2015.
“Analysis concluded that no metric can currently provide a like-for-like replacement for REF peer review”
“In assessing research outputs in the REF, it is not currently feasible to assess research outputs or impacts in the REF using quantitative indicators alone”
__________________
[3.11]  Académie des Sciences, Leopoldina e Royal Society 2017:
https://royalsociety.org/~/media/policy/Publications/2017/08-12-2017-royal-society-leopoldina-and-academie-des-sciences-call-for-more-support-for-research-evaluators.pdf
“There is a serious danger that undue emphasis on bibliometric indicators will not only fail to reflect correctly the quality of research, but may also hinder the appreciation of the work of excellent scientists outside the mainstream; it will also tend to promote those who follow current or fashionable research trends, rather than those whose work is highly novel and which might produce completely new directions of scientific research. Moreover, over- reliance on citations as a measure of quality may encourage the formation of aggregates of researchers (or “citation clubs”) who boost each others citation metrics by mutual citation. It thus becomes important to concentrate on better methods of evaluation, which promote good and innovative scientific research. […] Evaluations must be based under all circumstances on expert assessment of scientific content, quality and excellence. Publications that are identified by the authors as their most important work, including major articles and books, should receive particular attention in the evaluation. The simple number of publications should not be a dominant criterion.”

4. Premi Nobel

____________________________
[4.1] R.R. Ernst (Nobel prize in Chemistry), “The Follies of Citation Indices and Academic Ranking Lists A Brief Commentary to ‘Bibliometrics as Weapons of Mass Citation’,” Chimia, Vol. 64, No. 1/2, 2010, p. 90.
http://www.chab.ethz.ch/personen/emeritus/rernst/publications
“The present hype of bibliometry made it plainly obvious that judging the quality of science publications and science projects by bibliometric measures alone is inadequate, and reflects the inadequacy of science man- agement regimes staffed by non-scientific administrators or by pseudo-scientists who failed to develop their own personal judgment.”

____________________________
[4.2] What do Nobel Laureates think of impact factors?, Nobel Foundation

La Fondazione Nobel ha diffuso un video intitolato “The research counts, not the journal!” dove alcuni premi Nobel per la medicina prendono una posizione netta contro l’uso degli impact factors per valutare la qualità di una ricerca. Si noti l’uso del plurale: non solo l’impact factor di Clarivate Analytics, ma qualsiasi indicatore riferito alla popolarità delle riviste. Il video è la sintesi di una intera sezione del canale youtube della Fondazione Nobel che ospita dodici video di altrettanti premi Nobel, dedicati proprio alla critica dell’uso di bibliometria e impact factor.

____________________________
[4.3] Lettera alla ministra Valeria Fedeli, firmata dai Nobel per la Fisica T. Kajita, K.S. Thorne, R. Weiss, e da altri otto scienziati, 2017

“LISA Pathfinder was led by an Italian scientific team whose members, we understand, would not qualify any more for their current positions, and actually for any permanent position in Italian universities, according to the recently revised Italian regulations. We understand that this paradoxical situation originates from a blind evaluation algorithm. […] We are confident that you, your Honor, in your wisdom, will find ways to correct such an automatic mechanism that, if unchanged, may endanger this great scientific tradition”

Send to Kindle

12 Commenti

  1. È facile criticare quando non si riesce o non si vuole vedere il “grande disegno” che sta dietro alle cose!

    Dovrebbe essere noto che pure una scimmietta messa davanti ad una tastiera a premere tasti a casaccio, di tanto in tanto scriverà qualche parolina corretta. Inoltre se si ha la pazienza di attendere abbastanza, tra le tantissime cose scritte a caso, ci sarà pure una nuova “divina commedia”! Impossibile? No, solo molto poco probabile, basta saper aspettare!

    Vogliamo mettere cosa può fare un esercito non di scimmiette ma di ricercatori che anche nel caso non fossero bravissimi sarebbero sicuramente meglio delle scimmiette?

    Prima o poi tra i tantissimi lavori che verranno scritti, ce ne sarà uno che verrà mandato a qualche rivista, riceverà tantissimi like, scusate, tantissime citazioni tanto che verrà premiato dal rispettivo gev e cambierà la storia dell’umanità!

    Poi voglio proprio vedere chi continuerà a criticare l’incentivare a scrivere articoli a raffica… poi tutti muti!
    Ma il tempo è un galantuomo e premierà queste politiche!

  2. Mi sembra oramai chiaro che bibliometria e H-index non sono il futuro della ricerca scientifica. Non moriremo con l’H index, In Italia ci si tappa le orecchie, per esempio sarebbe interessante sapere qual’è l’opinione dell’Accademia dei Lincei, che è la collega italiana della Royal society e dell’Academie des Sciences. Il problema è che non solo ci si tappa le orecchie ma si applica la bibliometria in un modo particolarmente osceno. L’esempio più eclatante, che io ho già ampiamente denunciato in passato su queste pagine, è l’adozione (che avviene in molti concorsi in cui occorrerebbe misurare il merito scientifico individuale) di criteri completamente surreali (nel senso che uno vede queste cose accadere normalmente dopo averle viste fino ad allora solo nei film comici) come quello di attribuire lo stesso punteggio a due articoli pubblicati sulla stessa rivista ma uno scritto a sei mani e l’altro con autore singolo… Chiaramente, quando verrà il giorno in cui chi si è avvantaggiato di queste pratiche sarà sputtanato, lo stesso si difenderà dicendo che evidentemente la commissione ha valutato l’articolo scritto a sei mani di valore sei volte superiore a quello scritto ad una mano (cosa chiaramente non credibile, visto che è improbabile che tutti gli articoli scritti a sei mani valgano sei volte più di un articolo scritto da una mano sola). Oppure molto probabilmente ci si butterà indietro il passato dicendo più o meno le stesse cose che per anni si sono dette dei concorsi ope legis per professore associato del 1980, ritenuti la causa del degrado della ricerca scientifica in Italia causati dalla classe politica del passato, alla quale, naturalmente non ha mai appartenuto nessuno, nemmeno a titolo di sostenitore…

  3. Cara Mariam, se si valutassero i risultati serenamente, non si facessero passare prima fascia nullità accademiche note a casa loro, ignote appena esci, se evitassimo di parlare negli uffici e a pranzo per non essere intercettati, se non mobbizzassimo le persone perché mostrano la nostra pochezza umana e lavorativa, se fossimo classe dirigente, non avremmo avuto ASN, VQR, Anvur e simili.

    Il problema non è lo strumento, ma chi lo maneggia. E ricorda che, per esperienza personale, chi in Accademia in Italia sbandiera uguaglianza, giustizia e democrazia appartiene alla classe dei maiali della fattoria degli animali.

    • “se fossimo classe dirigente, non avremmo avuto ASN, VQR, Anvur e simili.”
      ______________
      Insomma, “dopo tutto, ce lo siamo meritato”. Un argomento buono per giustificare qualsiasi riforma peggiorativa. Quale categoria non ha i suoi scheletri nell’armadio? Un sintomo della regressione culturale è la riduzione del dibattito alla categoria della colpa collettiva. Molti accademici usarono questo argomento per giustificare la propria inerzia di fronte alla riforma del 2010 (altri, invece, si spinsero più in là, spiegando che “di molte cose contenute in quella legge abbiamo molto bisogno”). Gli effetti a quasi 10 anni di distanza sono sotto gli occhi di tutti, sia in termini di un’intera generazione perduta sia in termini di minore democrazia e di rettori promossi a “reucci” (“io no ho un c..o di paura di nessuno, io non temo un c..o!” diceva un rettore ex consigliere Anvur, mentre cercava di convincere un collega a ritirare il ricorso al TAR spiegando senza perifrasi “Finché faccio io il rettore, lei qui non sarà mai professore. O ritira il ricorso, oppure sparisca da qui!”). Nella fattoria degli accademici a quale classe di animali andranno associati i maggiorenti di questo “nuovo ordine”?
      Infine, scrivere “Il problema non è lo strumento, ma chi lo maneggia” a proposito della valutazione bibliometrica è possibile solo ignorando tonnellate di letteratura sull’argomento. Vero è che questo è lo standard dell’accademia italiana. L’antologia di questo post prova a richiamare ciò che è universalmente noto, tranne che nella desolata landa di Anvurlandia. E tra queste cose note, c’è anche che le valutazioni bibliometriche sono ottime per promuovere le nullità accademiche, purché opportunamente pompate.
      ____________
      Questi sono gli andamenti temporali delle citazioni di un commissario ASN, con e senza autocitazioni. Le soglie bibliometriche per diventare commissari sono entrate in vigore nel 2012.



      ___________
      A fine 2012 aveva circa 89 citazioni (di cui 44 erano autocitazioni). Nel giro di 5 anni è salito a 546 citazioni (di cui 420 sono autocitazioni).

    • De Nicolao, ad una certa età, se uno non cita i propri lavori, poi si scorda di averli scritti! 😛

    • Gli strumenti dipendono esclusivamente da chi li maneggia solo se immaginiamo situazioni in cui

      1. dal lato del manico c’è un soggetto libero
      2. dal lato della lama ci sono soggetti passivi e inconsapevoli, che possono essere determinati meccanicamente

      Non è questo il caso della bibliometria, soprattutto che si sostiene che i tutti docenti universitari italiani sono dei despoti mediocri e truffaldini, dunque meritevoli della frusta bibliometrica. Questo, infatti, è un giudizio morale, che, come tale, deve presupporre la loro libertà e la loro consapevolezza. Ma, se sono liberi e consapevoli, saranno anche in grado di agire riflessivamente e di tentare di truccare la valutazione a loro vantaggio, rendendo così inefficace lo strumento di misurazione. All’estero questo fenomeno è così noto che ha perfino un nome; legge di Goodhart.

      Di più: se, come si sostiene, la bibliometria serve come rimedio alle generale disonestà e dei professori, dovremo anche renderci conto che un sistema automatico rende l’opera dei truffatori più facile, e non più difficile. Se infatti, si giudica leggendo i testi rimane sempre possibile che nella Sodoma universitaria si trovino quattro giusti in grado di smascherare le “nullità accademiche”. Se si valuta automaticamente, le “nullità accademiche” che giocano il gioco del gaming non potranno essere smascherate neppure dei dieci giusti che avrebbero salvato Sodoma: anche questi ultimi dovranno obbedire alle disposizioni amministrative, e contemplare la carriera di costoro immoti come statue di sale.

  4. Il problema certo sono alcune persone, chi le ha scelte, gli strumenti non sono innocenti. Hanno permesso ciò di cui parliamo. Le citazioni, secondo me, non sono un metro di valutazione. Credo che vengano usate per’alleggerire’ il compito dei valutatori. Insieme ad altri criteri permettono di favorire alcuni e bloccare altri.

  5. Non importa come, perché e chi, purché si misuri, si renda ‘oggettivo’ e ‘si formalizzi’ in tabelline e schemini stupidini. E se il ‘sistema’ si blocca, come mi è capitato oggi in un’agenzia dell’acqua, colpa del sistema e non dei cervelli che dovrebbero farlo funzionare. Qualcuno, anni fa, mi diceva: questa ricerca di X serve a dimostrare che ciò che sappiamo essere un metro è 100 cm. Oppure, se da qui a là normalmente ci si impiega un’ora per andarci, io ora vi dimostro che ci s’impiega un’ora per andarci.
    Oggi pomeriggio raccontavano al terzo canale radiofonico di uno studio di tipo biomedico, diciamo, che se non erro viene svolto all’interno del progetto europeo GreenS https://greensproject.eu/it/cose-greens/. La ricerca in questione, svolta da un gruppo di cui fanno parte dottorandi, ha messo in relazione, se ho ben capito, l’incidenza dei disturbi respiratori nei bambini (sicuramente un campione rappresentativo) con la qualità (detto con un termine generico e vago) dell’aria respirata e con la quantità di vegetazione (alberi soprattutto) ambientale. Il risultato è che più verde c’è, più sani siamo, più moto facciamo, meglio dormiamo, meglio respiriamo. Ergo: bisogna piantare alberi, soprattutto quelli che non provocano allergie da polline. Veniva anche fatto notare che queste sono o sarebbero constatazioni di buon senso, ma ora è stato dimostrato, perché i numeri o i calcoli non dipendono da ideologie, come invece il comune buon senso.

    • Aggiunta: … buon senso. Dimenticando che se queste relazioni le stabiliscono e le misurano ora e non lo facevano 15 anni fa, é perché sono state promosse da un’ideologia, da un progetto ideologicamente connotato, e cioè “Il progetto GreenS è nato per incentivare gli Acquisti Verdi per la Pubblica Amministrazione attraverso l’implementazione di processi innovativi e virtuosi che proteggano l’ambiente e sostengano la Green Economy.”

  6. Caro Giuseppe, cari tutti,
    in realtà l’esempio che porti è l’esempio di come con i dati e con una loro lettura critica si riescano a trovare le criticità e come strumenti ed indicatori siano quel che sono: strumenti ed indicatori. La responsabilità è e deve esserer in capo alle persone, che sono i decisori.
    Nell’ultimo anno mi sono sentito dare da alcuni colleghi del portinaio, perché non ho capito nulla dell’Università, per aver detto che:
    – se fatturato ed abbiamo un abbassamento della qualità della ricerca non va bene
    – che le carriere non sio costruiscono con “pacchetti” di convegni e citazioni al seguito, ma sui journal e sui risultati (apriti cielo!)
    – se non andiamo bene come ricerca 1, 2, 3 volte (qualsiasi siano gli indicatori) forse non siamo Bolt e due riflessioni dovremmo farle
    – che se un qualsiasi software di analisi bibliometrica, alla richiesta dei cluster di autori e citazioni mi riccrea i gruppi di ricerca forse siamo un po’ autorefeenziali
    – che se mazzuliamo chi produce ricerca non dandogli risorse alla fine si rompe e se ne va o si ferma

    Aggiungo di mio che per me in un CdA di una università servoo persone che un bilancionlo conoscano e sappiano leggerselo (in un bilanciuo di 300 miklioni ti nascondo quel che voglio) e che magari lavorare anche per la Società Civile aiuterebbe (quando si tratta di attività pro bono per comuni, regioni, ecc., fuggi fuggi generale).

    Per cui sinceramente ce la siamo cercata? Sì. Chi è stato al governo dell’Università non è stato classe dirigente, anche perché in parte ci si nasce, ma in buona parte si viene formati. Stare buoni buoni finché non sei ordinario non funziona. Così hai yes men che a 50 anni conbinano disastri quando al governo.

    Vogliamo cambiare? Rimbocchamoci le maniche e proponiamo un sistema di autogoverno decente. I concorsi nazionali non funzionano (vedi la Francia, che non brilla, come noi del resto). Funziona che assumi le persone e la commisione che le ha assunte ne ha la resposabilità. Quanti di noi sono mai stati valutati per le persone che hanno formato? Quanti Direttori o Rettori si sono mai assunti una sola volta la resposabilità di quel che hanno fatto, nel bene o nel male? Pochi, molto pochi.

    In altri luoghi questa si chiama normalità e il tuo avanzamento di carriera è legato ai tuoi risultati oggettivi con target definiti prima e non dopo.

    Ma noi ci lamentiamo dello strumento e di chi lo crea, dimenticandoci di chi ha dato al creatore l’endrosement.
    Si dice che un leader debba sapere, saper fare, saper essere. Sugli ultimi due ho dei dubbi

    E scusatemi per lo sfogo

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.