«… when researchers apply strategies that boost individual and institutional performance metrics, by publishing papers as often as they can in high-profile journals, scientific research as a whole becomes less efficient and reliable». Su Nature, Philip Ball  commenta alcuni articoli che studiano, anche quantitativamente, come i ricercatori si adattano agli incentivi che ricevono, tra cui, in particolare, quelli legati a valutazioni bibliometriche. La conclusione, va esattamente nella direzione opposta rispetto alle politiche della valutazione della ricerca attuate in Italia negli ultimi cinque anni:  «Whenever quantitative metrics are used as proxies to evaluate and reward scientists,» scrivono Smaldino and McElreath, «those metrics become open to exploitation if it is easier to do so than to directly improve the quality of research.» Se uno degli articoli citati si intitola “The natural selection of bad science”, bisogna dire che in Italia siamo andati persino oltre. Se consideriamo il ricorso sistematico a metodi notoriamente pseudoscientifici (uno tra tutti: la somma di numeri ordinali)  e l’uso di metriche screditate e dannose (l’Impact Factor, per esempio), da noi c’è ben poco di naturale e si può tranquillamente parlare di “The planned selection of bad science”.

natural_selection_bad_science2

«… when researchers apply strategies that boost individual and institutional performance metrics, by publishing papers as often as they can in high-profile journals, scientific research as a whole becomes less efficient and reliable». Su Nature, Philip Ball (“The mathematics of science’s broken reward system“)  commenta alcuni  articoli che studiano, anche quantitativamente, come i ricercatori si adattano agli incentivi che ricevono, tra cui, in particolare, quelli legati a valutazioni bibliometriche: «Bibliometric data sets mean that scientific success can be quantified with achievement metrics such as the h-index — a quantitative measure of the number of highly cited papers that an academic produces — or the journal impact factor, which proposes to identify the most visible journals». E non mancano le preoccupazioni:

Many researchers have warned that the availability of these metrics, which are supposed to make the management of science and funding more systematic and objective, may be changing the nature of science. They are starting to dominate how science is structured and steered and place great pressure on researchers, especially in the earlier stages of their career, to publish often and prominently. As a result, understanding science as a social phenomenon has become a matter of some urgency.

And by quantifying goals and rewards, metrics transform science into the kind of game-theoretical play of utility maximization and cost-benefit analyses with which economists and ecologists have long become familiar. It is only, I think, because science is now so driven by metrics-based incentives that such models and analyses can meaningfully be applied at all.

La conclusione, va esattamente nella direzione opposta rispetto alle politiche della valutazione della ricerca attuate in Italia negli ultimi cinque anni

“Whenever quantitative metrics are used as proxies to evaluate and reward scientists,” write Smaldino and McElreath, “those metrics become open to exploitation if it is easier to do so than to directly improve the quality of research.” That’s basically a statement of Goodhart’s law, familiar to economists: when a measure of success becomes a target, it loses its worth.

Se uno degli articoli citati si intitola The natural selection of bad science, bisogna dire che in Italia siamo andati persino oltre. Se consideriamo il ricorso sistematico a metodi notoriamente pseudoscientifici (uno tra tutti: la somma di numeri ordinali)  e l’uso di metriche screditate e dannose (l’Impact Factor, per esempio), da noi c’è ben poco di naturale e si può tranquillamente parlare di “The planned selection of bad science”.

Sempre su Nature:

Fewer numbers, better science

Scientific quality is hard to define, and numbers are easy to look at. But bibliometrics are warping science — encouraging quantity over quality. Leaders at two research institutions describe how they do things differently.

Send to Kindle

15 Commenti

  1. Gli effetti dell’utilizzo della bibliometria come metodo di valutazione sulla ricerca scientifica sono devastanti. Si tratta di un generalizzato processo di uniformizzazione al ribasso. I giovani devono adeguarsi e diventare canonici, cioè esattamente l’opposto di quello che dovrebbe accadere. Le rivoluzioni scientifiche si fanno con idee nuove, necessariamente “ortogonali” al credo comune. Se ci fosse un giovane Einstein, oggi passerebbe del tutto inosservato.

  2. Tempo fa, quando è stato rinnovato l’Anvur o quando si discuteva di Vqr o di meritocrazia o di eccellenza, avevo scritto una favoletta, che però la situazione del momento mi ha fatto trascurare. Accettatela per quel che è, un giochetto:

    “Le galline e le uova.

    Il padrone – Renzo si chiamava – aveva affidato a un contadino molto esperto il compito di badare alle sue galline. Il contadino avrebbe ricevuto un tanto all’anno, con promessa di aumento, ma doveva fare sì che le galline rendessero il massimo possibile consumando il minimo necessario. Secoli dopo questo sarebbe stato chiamato la legge del minimax. Ma il padrone non era interessato solo alla quantità. Poiché, ahimé, le uova non erano tutte uguali, come non lo erano le galline, il contadino solerte doveva presentare al padrone – altrimenti niente aumento – una minuziosa relazione sul rapporto galline – uova, affinché si comprendesse quale gallina quanto produceva, poi in ordine decrescente quanto erano grandi le uova, sia per le galline prese una a una, sia per l’intero pollaio. Quelle improduttive dovevano essere soppresse. Ma dal solo guscio, che aveva sì varie sfumature di colore, si poteva apprezzare solo la grandezza, non si poteva giudicare il sapore. Spesso il contadino, o per l’esattezza la sua serva addetta alla cura della galline, ricordava umilmente a messer Renzo che molte uova piccole erano squisite e non era cosa buona sgozzare certe galline solo perché alcune facevano poche uova o perché altre le facevano piccole. Le galline ‘virtuose’ sopravvissute, l’anno dopo avrebbero magari prodotto meno del previsto – questa è la natura della gallina – e che perciò era saggio curare al meglio tutte le galline. Tanto più che si trattava di galline già selezionate. Così, guardando al tutto, si otteneva sia quantità sia qualità. Inutile dire che il padrone desiderava segretamente di riuscire a trovare, continuando la selezione, la gallina dalle uova d’oro. Così, eliminando tutte le altre, avrebbe potuto incassare da una sola, con poca spesa, più di quanto ne incassava dalle molte. A poco a poco il numero delle galline diminuì. Alcune scapparono in altri pollai, molte morirono di inedia o finirono in pentola. Le poche migliori – le eccellenti – durarono quanto durarono ma ancor prima che si scoprisse se ci fosse veramente una gallina dalle uova d’oro, le poche sopravvissute perirono di vecchiaia, di malattia, rapite dalla volpe o semplicemente uccise dalla noia della solitudine.”

    • @marinella@: Bellissima, ti suggerirei di vederti un bel cartone “galline in fuga”. Mi hai letto nella mente. Potresti proporre un movimento “galline in fuga” appunto. Al contadino esperto si affiancavano un numero pari a quello delle galline di garanti che controllavano se la postura assunta dalle galline nella deposizione fosse corretta, se beccavano la giusta quantità e qualità di granaglie. Granaglie di qualità standard acquistate da un grande commerciante gradito a padron Renzo. Guai se ne venivano mangiate troppe, i garanti tolleravano naturalmente che ne magiassero poche. Ma anche mangiando poco si doveva comunque garantire la quantità e la misura delle uova. Alcune si lasciavano morire perchè era impossibile fare buone uova con tale qualità del cibo e altre diventavano improduttive perchè non si erano abituate a allargare lo sfintere mentre altri le osservavano e le controllavano. Padron Renzo astuto com’era permetteva che ciascun capannone nominasse un suo rapresentante e che tutte indicassero un loro capo allevamento. Immancabilmente il loro capo, chiamato rettore (in ragione del foro attraverso il quale transitava il prodotto) si faceva conquistare dalle blandizie di Padron Renzo e dei suoi garanti. Spesso nei capannoni scoppiavano delle contese tra galline (o capponi di padron Renzo) che si attribuivano reciprocamente le responsabilità della imperfetta produzione, giovani galline contro vecchie, galline bianche contro padovane etc etc.
      Se vuoi potremmo continuare a due mani e proporlo a roars 😉
      ciao Marinella giufe

    • Grazie per gli apprezzamenti, anche di Olympe, ma il merito non è mio. In fondo ho solo riutilizzato e ricucito motivi preesistenti, come avviene in genere nelle attualizzazioni o adattamenti di racconti o aneddoti tradizionali. Per cui ogni ampliamento è lecito, nella direzione in cui si vuole. Non sono affatto contraria alla satira scatologica, genere tradizionale anch’essa, persino genere della letteratura infantile, e neppure ai doppi sensi. Anzi, se serve per alleviare frustrazioni, rabbia, senso di impotenza, ben venga. Basta farla anche con autoironia e con leggerezza, magari cantando come proponeva Mozart (cfr. canta che ti passa). Se poi diventa un gioco collettivo, ancor meglio. Qualche perplessità sulle confusioni morfo-fisiologiche di certe parti anatomiche delle galline, benché siano ampiamente accettate dai burloni sboccati. Apprendo, essendomi documentata un po’, che il progenitore delle galline domestiche, nonché dei rispettivi galli, si chiama Gallus gallus. Cosicché si è ristabilita anche la parità dei generi.

  3. Quelli di Nature farebbero meglio ad ammettere che è il loro modo di decidere quale articolo pubblicare e quale no a rendere la scienza “less efficient and reliable”, piuttosto che la bibliometria, che è un mero descrittore di eventi.

    • Ma lo screening, spesso arbitrario, che Nature opera sulla valanga di articoli che riceve è una diretta conseguenza dello sproporzionato “premio bibliometrico” associato alla rivista. Fin dal titolo, non stiamo parlando di bibliometria, ma di “valutazione bibliometrica”, la quale, lungi dall’essere un mero descrittore, innesca una serie di conseguenze nei comportamenti degli attori in gioco. E questi comportamenti includono anche le modalità di screening e di revisione adottate dalle riviste che primeggiano negli indicatori bibliometrici.

  4. Ma sbaglio o gli hacker dopo aver fatto visita al sito dell’ANVUR hanno fatto visita anche al sito di ROARS? Il titolo dell’articolo è diventato: “Hacked By TheWayEnd” e il testo un bel messaggio: “PrivateHackers Was Here”!

  5. bellissimo:”… Immancabilmente il loro capo, chiamato rettore (in ragione del foro attraverso il quale transitava il prodotto) si faceva conquistare dalle blandizie di Padron Renzo e dei suoi garanti. …”, ma impreciso il rettore non si chiama così in ragione di un foro, ma di un tratto di canale …il foro è dove “sbocca” il rettore

  6. La favola della gallina è molto bella, anche se aggiungerei una frasetta sul doping bibliometrico: le galline mangiavano pagliuzze d’oro sperando di fare le uova d’oro…
    a parte questo, però, temo che la biblometria sia un limite introdotto dalle riviste, a partire da Nature stessa: l’IF e la sua variazione di anno in anno è una delle poche cose che contano.
    Se nascesse Einstein oggi e partisse da zero, riceverebbe “reject” in tutte le riviste di grido senza neanche arrivare alla peer review (bassa priorità). Aiuterebbe avere tra i coautori un nome “di grido” (possibilmente USA).

    • Non mi convince: “le galline mangiavano pagliuzze d’oro sperando di fare le uova d’oro…” e ti spiego perché. Dalla mia lunga esperienza risulta piuttosto, anche senza generalizzare, che gallo/gallina riceve(va) lo stretto necessario di mangime, e anche di meno, e non solo: doveva consumarlo in un certo modo e non in un altro. MA: si pretendeva che c…sse oro. Molti ci riuscivano, magari arrivando solo all’argento, razionando al massimo il becchime. Per cui il minimax in qualche modo funzionava. Ora invece si va, credo, verso il maximini. Maxiprogetti collettivi incorsettanti o fumosi pieni di paroloni (non mi sto riferendo ai progetti editoriali) per relativamente minirisultati individuali. E penso al settore umanistico.

    • L’utilizzo improprio della bibliometria è un fenomeno generalizzato. In Italia si è avuta l’argutissima e brillante idea di rendere obbligatorio l’ALGORITMO BIBLIOMETRICO DI VALUTAZIONE. Così, per evitare il nepotismo, è stato modificato alla radice il concetto di ricerca. L’effetto è assai più drammatico e dirompente di quanto si possa immaginare. Si va dalla castrazione dell’originalità alla cancellazione della ricerca “hard”, fino alla creazione di vere e proprie bande bibliometriche. Gli effetti sono di vari ordini di grandezza peggiori del vecchio nepotismo.
      Per fortuna ne sono in parte immuni alcuni settori di punta della matematica, strutturalmente allergici ai ridicoli aspetti tipo auditel e parentela.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.