Nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, anziché diminuire è addirittura aumentato. Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, le pubblicazioni italiane, non solo hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), ma hanno raggiunto il secondo posto nel G8, appena dietro al Regno Unito. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future“. La spiegazione?La valutazione migliora l’università” aveva detto nel 2016 Andrea Graziosi, Presidente dell’Anvur, l’agenzia nazionale di valutazione della ricerca. Tuttavia, diversi studi stanno mostrando che l’uso massiccio della bibliometria nella valutazione della ricerca promuove comportamenti opportunistici da parte dei ricercatori. È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich) che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. A partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10. Sembra esserci una sola spiegazione plausibile: la necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Così stando le cose, l’incremento dell’impatto citazionale italiano registrato nei “country ranking” è un miraggio, dovuto a un colossale doping citazionale collettivo.

Link all’articolo: https://doi.org/10.1371/journal.pone.0221212

 

1. Il paradosso italiano

Com’è noto, la riforma universitaria introdotta nel 2010 con la legge Gelmini (L240/2010) ha profondamente ridisegnato il sistema della ricerca italiano. Nel nome dell’uso efficiente dei fondi pubblici, i finanziamenti per la ricerca hanno subito tagli severi, il turnover è stato fortemente ridimensionato ed è stato messo in moto un complesso sistema di valutazione della ricerca, gestito dalla neonata Agenzia per la Valutazione della Ricerca e dell’Università (ANVUR). Com’è noto, spina dorsale di questo sistema sono gli indicatori bibliometrici che, da quel momento, svolgono un ruolo fondamentale nell’accademia. Non soltanto sono usati per valutare la performance dei dipartimenti e degli atenei, ma sono entrati anche nelle procedure di reclutamento e promozione dei ricercatori. Ad oggi, superare le cosiddette “soglie bibliometriche”, che nelle scienze dure sono calcolate sulla base di citazioni, pubblicazioni e h-index, è condizione necessaria per ottenere l’Abilitazione Scientifica Nazionale (ASN) nei settori scientifici.

Tuttavia, nonostante i pesanti tagli ai finanziamenti e al personale, la ricerca italiana negli anni post-riforma ha compiuto una sorta di miracolo: il suo impatto, misurato in termini di citazioni e produttività, infatti, anziché diminuire è addirittura aumentato.

Secondo un rapporto stilato nel 2016 da SciVal Analytics per il governo britannico, nel 2012 le pubblicazioni italiane hanno superato quelle statunitensi in termini di impatto citazionale pesato (field-weighted citation impact), e l’Italia ha raggiunto il secondo posto nella classifica dei Paesi G8, appena dietro al Regno Unito[i]. Sempre secondo lo stesso report, “based on current trajectories, [Italy is] set to overtake the UK in the near future[ii]. Anche Nature, in un recente editoriale, ha riconosciuto il continuo miglioramento della performance italiana, nonostante il basso livello di spesa pubblica in ricerca e sviluppo (1.3%), ampiamente al di sotto della media europea.[iii]

2. Affama la bestia, schiocca la frusta bibliometrica

Tali risultati sembrano dimostrare che l’Italia sia diventata, grazie alla riforma, una specie di tigre della scienza europea. Tagli alla spesa, uniti al pervasivo uso di misurazioni bibliometriche, sembrerebbero essere la ricetta giusta per conquistare le vette dei ranking internazionali.

Secondo ANVUR, “Italy is one of the international best practices in the design and implementation of research evaluation exercises. In particular, the use of bibliometrics is at the forefront for how it deals with the problems of comparison between disciplines and for the sophisticated use of multiple indicators“. L’Agenzia mette in evidenza il crescente innalzamento della ricerca italiana verso elevati standard scientifici: “After a first phase in which autonomy was accompanied by centrifugal tendencies, in recent years Italian universities have shown a gradual convergence towards higher standards both in teaching […] and in the research activity.[1]

Eppure, prima di proporre l’Italia come un modello vincente, da esportare magari in altri paesi europei e nei giganti emergenti della scienza del XXI secolo, Cina e India, è necessario considerare attentamente il lato oscuro del successo italiano.

3. Una mascherata bibliometrica

Sono sempre di più gli studi che mostrano come l’uso massiccio della bibliometria nella valutazione della ricerca induca comportamenti opportunistici da parte dei ricercatori. Di recente, uno studio di Ioannidis e colleghi ha rivelato che, tra i ricercatori più citati al mondo, ce ne sono alcuni che ricorrono in modo massiccio e sistematico all’autocitazione per far lievitare i propri indicatori. [iv]

Riguardo all’Italia, lavori recenti hanno rilevato un aumento dell’uso strategico delle autocitazioni all’interno di alcuni settori scientifici[v].

È appena uscito su PLOS ONE l’articolo “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis” (A. Baccini, G. De Nicolao, E. Petrovich)[vi] che introduce e studia un nuovo indice bibliometrico, l’Inwardness (“autoreferenzialità”), sensibile agli effetti su scala nazionale delle autocitazioni e dei club citazionali. Tale indicatore misura quante delle citazioni totali ricevute da un Paese provengano dal Paese stesso, cioè quanto dell’impatto totale di un Paese sia dovuto a citazioni “endogene”. In questo modo, l’indicatore è sensibile sia alle autocitazioni che ai cosiddetti “club citazionali” intra-nazionali (gruppi di connazionali che scambiano opportunisticamente citazioni) in quanto entrambi i tipi di citazione provengono dal Paese stesso.

Per la prima volta, viene mostrato chiaramente che la recente impennata dell’impatto citazionale dell’Italia è essenzialmente un miraggio, prodotto da un cambiamento del comportamento citazionale dei ricercatori italiani dopo la riforma.

Confrontando gli andamenti nel tempo dell’Inwardness dei Paesi del G10, a partire dal 2010, anno della riforma universitaria, c’è un brusco cambio di marcia nell’auto-referenzialità italiana, che mette il turbo, distaccandosi nettamente dai trend degli altri paesi del G10 nella maggior parte dei settori di ricerca. Dietro gli USA, nel 2016, l’Italia diventa, globalmente e nella maggior parte dei campi di ricerca, il Paese con l’Inwardness più alta, a fronte del più basso indice di collaborazioni internazionali.

La spiegazione più probabile di questo fenomeno è che le nuove policy introdotte dalla riforma abbiano indotto nei ricercatori italiani un sostanziale incremento dell’uso strategico delle citazioni. La necessità di raggiungere gli obiettivi bibliometrici fissati da ANVUR con ogni mezzo ha creato un forte incentivo all’autocitazione e alla creazione di club citazionali. Tali comportamenti sono diventati così pervasivi da modificare il valore di Inwardness dell’intero Paese, sia globalmente che nella maggior parte dei settori. Stando così le cose, l’incremento dell’impatto italiano registrato nei ranking citazionali non sarebbe altro che il frutto di un doping citazionale collettivo. Dietro al caso italiano non ci sono politiche della scienza miracolose, ma una gigantesca mascherata bibliometrica.

Che lezione dovremmo trarre da questi dati? Qualcuno potrebbe pensare che l’uso di indicatori più raffinati o la rimozione delle autocitazioni dai calcoli basterebbe a risolvere il problema. Dal nostro punto di vista questa soluzione è invece destinata al fallimento: i ricercatori sono estremamente veloci ad adattarsi ai cambiamenti nella science policy e qualsiasi nuovo indicatore non farebbe altro che stimolare strategie di “gaming” più raffinate, in accordo con la famosa legge di Goodhart (“Quanto una misura diventa un obiettivo, cessa di essere una buona misura”).  Noi pensiamo al contrario che l’insegnamento da ricavare sia che non esiste alcuna bacchetta magica – bibliometrica o di altro tipo – che possa gonfiare la performance scientifica di un Paese. Soltanto un massiccio investimento nella ricerca può farlo.

[1] ANVUR, Rapporto biennale sullo stato del sistema universitario e della ricerca 2018, 2018, https://www.anvur.it/rapporto-biennale/rapporto-biennale-2018/

[i] Nature, Seven days: 6–12 December 2013, https://www.nature.com/news/seven-days-6-12-december-2013-1.14335

[ii] BIS, U. K. International Comparative Performance of the UK Research Base–2016. 2016, https://www.elsevier.com/research-intelligence/research-initiatives/beis2016

[iii] Nature, Editorial, ‘Memo to Italy’s president: your researchers need you’, 27 August 2019, https://www.nature.com/articles/d41586-019-02560-1

[iv] John P. A. Ioannidis et al., ‘A Standardized Citation Metrics Author Database Annotated for Scientific Field’, PLOS Biology 17, no. 8 (12 August 2019): e3000384, https://doi.org/10.1371/journal.pbio.3000384.

[v] Marco Seeber et al., ‘Self-Citations as Strategic Response to the Use of Metrics for Career Decisions’, Research Policy 48, no. 2 (March 2019): 478–91, https://doi.org/10.1016/j.respol.2017.12.004; Federico Scarpa, Vincenzo Bianco, and Luca A. Tagliafico, ‘The Impact of the National Assessment Exercises on Self-Citation Rate and Publication Venue: An Empirical Investigation on the Engineering Academic Sector in Italy’, Scientometrics 117, no. 2 (November 2018): 997–1022, https://doi.org/10.1007/s11192-018-2913-5.

[vi] A. Baccini, G. De Nicolao, E. Petrovich, “Citation gaming induced by bibliometric evaluation: a country-level comparative analysis”, PLOSONE, 09.11.2019 https://journals.plos.org/plosone/article?id=10.1371/pone.0221212

Send to Kindle

118 Commenti

  1. Dal Sole: “Le radici della distonia fra sottofinanziamenti, bibliometria e citazioni vanno cercate, secondo gli autori, almeno un decennio fa.” Sotto queste ‘radici’ se ne celano altre, più profonde e più annose, che hanno soltanto trovato, a mio avviso, un ambiente più favorevole al loro sviluppo nel sec. XXI. Citare o recensire altri, ma in maniera selettiva, per amicizia, compiacenza o opportunismo accademico, si praticava abbondantemente già da molto prima. Su altri si taceva, per opposti motivi. I risultati erano alle volte grotteschi e infantili, come quando (ne faccio un’imitazione), si affermava (in un lavoro sui, mettiamo, modi e regole linguistico-sociali del salutare in varie lingue) che ad esempio in russo “buongiorno” si dice dobryj den’, seguito da v. XY, “…”, p. x. Per non parlare di lunghi brani citati inutilmente, sia per allungare l’articolo sia per gratificare il solito XY. La retorica della compiacenza circolare accademica è abbastanza variegata. Anche la citazione confutativa era/è meglio della zero citazione, come ricordato anche sopra.

    • Eppure è intuitivamente vera l’affermazione: ‘se è molto citato un fesso certo non è’… Dove stà l’inghippo? E’ presto detto: stà nella (nota) indefinitezza dell’aggettivo ‘molto’. Quanto molto è ‘molto’ se si dice ‘molte citazioni’? Il trucco, o meglio la frode, escogitata dai creatori di indici bibliometrici, consiste nel rispondere a questa domanda: se io ho più citazioni di te allora il mio ‘molto’ è più ‘molto’ del tuo… Affermazione apparentemente sensata, ma in realtà fraudolenta, come dimostrato dai primi effetti della frode di cui qui si parla (con relativa figura di merda degli italiani). Dunque essere MOLTO citati, QUALCOSA deve significare, ma non è certo ‘io c’ho più citazioni di te punto e basta’. Che significa? Non è molto difficile stabilirlo: in ogni settore c’è una qualche personalità indiscussa, magari (anzi preferibilmente) defunta, un Padre insomma, della materia, il quale avrà scritto un’opera fondamentale, e quest’opera avrà N citazioni. Bene, si divide questo N per un numero ragionevole (tre o quattro o cinque, l’importante è che sia uguale per tutti) et voilà ecco una buona definizione di ‘molte citazioni’. Questa è una definizione SENSATA. Un giorno bisognerà scrivere un libro sulla psicologia dello ‘scholar’, dello studioso, del pensatore, e di come sia stato possibile che persone che, per definizione, sono particolarmente intelligenti, e certamente inclini alla riflessione, cioè a non accettare affermazioni in modo acritico, senza averci prima ragionato su, dicevo come sia stato possibile che costoro si siano affidati senza accennare ad una minima protesta un indice completamente DEMENZIALE come l’H-index. Un tale studio dimostrerebbe che virtù come il coraggio e la rettitudine non sono affatto correlati all’intelligenza..

  2. L’articolo è interessante, ma il coefficiente “Inwardness”, per come è definito, dipende dalla dimensione del paese. Paesi più piccoli (come Svizzera, Belgio e Olanda) considerati nell’articolo hanno Inwardness piccola perché sono piccoli. Paesi più grossi hanno Inwardness maggiore. Il mondo avrebbe Inwardness 1. Il valore assoluto dell’indice Inwardness soffre di questa limitazione, ma la sua variazione temporale sembra significativa. Per essere sicuri che la conclusione dell’articolo è corretta bisognerebbe vedere se l’Italia è migliorata considerando un indice non influenzato da auto-citazioni e cartelli di citazioni.

    • “Bisognerebbe vedere se l’Italia è migliorata considerando un indice non influenzato da auto-citazioni e cartelli di citazioni.”
      ______
      A titolo informativo, quando abbiamo guardato indici depurati dalle autocitaziomi, l’Italia non appariva migliorata rispetto alle nazioni di controllo.
      Per quanto riguarda la dipendenza dell’inwardness dalle dimensioni (e dalle collaborazioni internazionali) essa è segnalata nell’articolo, come pure il fatto che per la meta-nazione “mondo” l’Inwardness è per definizione uguale a 100. L’anomalia italiana, in effetti, riguarda non il valore assoluto dell’Inwardness, ma la sua variazione a partire da un certo anno.

  3. Volevo solo fare l’avvocato del diavolo, mettermi nei panni di chi dice che in fondo questi criteri hanno un senso.
    Anche se un qualche effetto benefico ci fosse, sarebbe su pochi (quelli che erano onesti, lavoravano volentieri, e non si sono lasciati travisare), e compensato abbondantemente da tanti effetti negativi, che ciascuno ha sotto gli occhi.

  4. Articolo molto interessante, che mette a nudo l’italico vizio di “arrangiarsi”. Mi pare di aver capito che, secondo gli autori, la colpa di questo comportamento “drogato” della ricerca italiana è principalmente dovuto all’ANVUR e ai suoi meccanismi/metodi di valutazione.
    Concordo che metodi e meccanismi di valutazione dell’Anvur sono da criticare e rivedere; quello che secondo me manca è la sottolineatura della propensione alla “disonestà” che permea il sistema paese, anche la ricerca. La scelta di “autocitarsi” in modo sistematico e non funzionale alla ricerca svolta non è prevista dalle regole Anvur, è una scelta personale dei singoli ricercatori, è mancanza di etica. Possiamo cambiare ogni metodo e misura, ma ho l’impressione che il problema profondo e grave sia di tipo etico e non metodologico.

    • …La scelta di “autocitarsi” in modo sistematico e non funzionale…non è dimostrata, e le autocitazioni hanno contribuito ad aumentare le soglie ASN stabilite ed aggiornate nel corso degli anni dall’ANVUR che utilizza un insieme di dati e un criterio ignoto, giusto per parlare di etica.

    • Quindi l’autocitazione ha danneggiato realmente coloro che si sono ritrovati esclusi in quanto sotto mediana/soglia ecc.
      Non sarà un reato ma ha procurato ad altri un danno professionale quantificabile.

    • “quello che secondo me manca è la sottolineatura della propensione alla “disonestà” che permea il sistema paese,”
      ________________
      Non credo alle chiavi di lettura “antropologiche” (l’italica propensione alla disonestà): spesso mi sembrano degli alibi per eludere la fatica di ragionare. Penso che, messo di fronte alle tagliole bibliometriche anvuriane, un ricercatore reagirebbe più o meno allo stesso modo a prescindere dalla latitudine e dalla longitudine. Autocitarsi non è illecito e, se il proprio futuro accademico dipende da un pugno di citazioni in più, perché meravigliarsi?

    • ”Non credo alle chiavi di lettura “antropologiche” (l’italica propensione alla disonestà): spesso mi sembrano degli alibi per eludere la fatica di ragionare.”

      Anche perchè indicare ‘l’italica propensione alla disonestà’ come causa, proprio in quanto causa ‘antropologica’ può servire da scusante: insomma è come il ludopate che continua tranquillamente a giocarsi lo stipendio senza alcun senso di colpa perchè può sempre dire: ‘non ci posso fare niente è una malattia….”

    • Non è una scusa, è un dato di fatto; e non ho scritto che l’ANVUR e il metodo usato sono da mantenere o che l’ANVUR sia una buona istituzione. Personalmente credo che fai ricerca con passione nei lavori citi ciò che è necessario per la sua comprensione ed esattezza.

  5. Questo effetto perverso della valutazione era prevedibile ed era stato ampiamente previsto da moltissimi di noi, anche in interventi pubblici. Non solo: lo abbiamo visto svilupparsi in tempo reale e lo abbiamo ripetutamente denunciato. L’ANVUR ha sempre ignorato questo tipo di critiche, ed anzi abbiamo ricevuto risposte stizzite ai nostri allarmi. Purtroppo, molti tra noi docenti e ricercatori anziché opporsi a questa follia valutativa l’hanno approvata perché vedevano il modo di drogare i propri parametri bibliometrici, all’insegna del “cà nisciuno è fesso”. Se valutazione si deve fare (e questo è sda dimostrare), la bibliometria è irrinunciabile perché i candidati alla valutazione sono troppo numerosi per pensare a metodi valutativi diversi; e allora bisogna aver ben presente che: 1) la valutazione bibliometrica ha limiti intrinseci e non può essere usata per fare classifiche, al massimo per identificare specifiche situazioni di sofferenza; e 2) che in ogni caso vanno scartati quegli indicatori bibliometrici che risultano più facilmente manipolabili dal comportamento opportunistico dei candidati.

    • “vanno scartati quegli indicatori bibliometrici che risultano più facilmente manipolabili dal comportamento opportunistico dei candidati”. Tutti perché tutti dipendono da pubblicazioni e citazioni.

    • ”vanno scartati quegli indicatori bibliometrici che risultano più facilmente manipolabili dal comportamento opportunistico dei candidati.”

      In base a questo principio l’H-index sarebbe il primo a dover essere scartato, infatti esso PALESEMENTE genera il seguente comportamento opportunistico: io ho scritto un articolo, tu ne hai scritto un’altro, io scrivo il tuo nome sul mio articolo e tu scrivi il mio sul tuo. Due lavori al prezzo di uno. Un comportamento opportunistico generalizzabile ad un numero n qualsiasi di partecipanti, con fattore moltiplicativo della ‘produttività’ (sic) pari ad n. La moltiplicazione dei pani e dei pesci è quindi realtà per chi considera l’H-index qualcosa di serio, non più un miracolo che solo Gesu Cristo poteva compiere. Da quando c’è l’H-index questo miracolo si compie ogni giorno.
      Una avvertenza per l’eventuale lettore estraneo all’accademia: TUTTI dico TUTTI gli appartenenti all’accademia conoscono DA SEMPRE questo trucco e QUASI tutti sistematicamente tacciono e non lo denunciano mai (QUASI tutti perchè, evidentemente, nell’accademia c’è anche ROARS, la quale non tace..). Ora: se il PRINCIPALE indice usato per le valutazioni è demenziale, figuriamoci gli altri…. Quali ‘criteri bibliometrici’ si salverebbero?

    • Caro prof Bellelli,
      Mi pare che i due commenti sotto in particolare al suo punto 2 siano esaustivi nel dimostrare la debolezza logica del suo ragionamento improntato, se non sbaglio, al ‘ancorché perfettibile meglio questo che nulla’.
      Gli indicatori TUTTI soffrono dei problemi individuati da taaaaanto tempo e nessuno può seriamente pensare di risolvere tali problemi perfezionandoli o scartandone alcuni e tenendone altri.
      Si voleva e si è ottenuto un modo apparentemente obiettivo ( l’apparente obiettività sta solo nella scarsa dimestichezza dei più con la matematica) per continuare a gestire, in modo spesso molto proficuo per pochi, le risorse finanziarie ed umane SENZA accollarsi la responsabilità che serve per assumersi l’onere delle scelte.
      Quale sistema migliore se non quello di usare lo spauracchio del numerino su una platea di accademici in gran parte sofferente di un enorme complesso di inferiorità nei confronti della matematica?
      Contrariamente alle credenze popolari in voga in questo secolo, NON esistono algoritmi oggettivi in quanto tali e non a causa della loro perfettibilità ma per la loro intrinseca -umanità- fatta dei tanti pregi e molti difetti degli uomini che creano tali strumenti ed in questa opera ne infondono parte in questi ( cfr. Caty O’Neill. Armi di distruzione matematica)
      Ma in fondo le persone stupide non sono, e per questo troveranno sempre il modo di adattarsi; d’altra parte è -solo- una questione evolutiva.
      Cordialmente

  6. francescomazzarini@gmail.com: “Concordo che metodi e meccanismi di valutazione dell’Anvur sono da criticare e rivedere” e poi “ma ho l’impressione che il problema profondo e grave sia di tipo etico e non metodologico”. Quindi, se non interpreto male, prima si afferma che i metodi ANVUR vanno rivisti e poi che i metodi (immagino quelli ANVUR) non sono un problema grave. Andrebbe forse chiarito che, come ovvio a qualsiasi persona faccia ricerca, l’indice h, le citazioni, ecc. sono parametri che vanno valutati nel contesto, in casi piuttosto frequenti possono valere negativamente. E’ un teorema banalmente dimostrabile che la valutazione bibliometrica è demenzialità allo stato puro, quindi un problema non grave ma gravissimo i cui danni sono di gran lunga superiori a quanto si potrebbe pensare, si tratta di un’infestazione tipo ebola che regna e si moltiplica nel mondo della ricerca. Il “problema etico” non è che una delle miriadi di inevitabili conseguenze indotte da tale valutazione e non sono strettamente riconducibili “all’antico vizio italico di arrangiarsi”. E’ solo uno dei tanti ovvi quanto inevitabili effetti di un regolamento idiota. D’altronde, se si ha passione per la ricerca, per quale motivo non dovrei cercare di soddisfare criteri che neppure nel Paese delle Banane oserebbero formulare? Io stesso suggerisco ai giovani di farsi un “background monster” e lavorare su campi di ricerca di alto livello, ma simultaneamente, se vuole sopravvivere, di tener d’occhio la bibliometria.

    • Come per ogni fenomeno sociale i livelli analizzati sono e devono essere molteplici e anche se separati nell’analisi, si intersecano piu o meno random nella realta.
      Cambiando discorso, evidenzio quanto questi discorsi risultino fastidiosi e superflui per certuni.

    • La prima parte del commento la condivido al cento per cento, potrei averla scritta io. Tuttavia la frase finale è purtroppo riconducibile essa stessa “all’antico vizio italico di arrangiarsi”. Ai giovani infatti, proprio perchè giovani, va consigliato di farsi un “background monster” e lavorare su campi di ricerca di alto livello senza se e senza ma: prima o poi questa demenzialità allo stato puro che è la valutazione bibliometrica dovrà necessariamente finire, e allora chi avrà seguito il consiglio si ritroverà con un vantaggio competitivo incolmabile rispetto agli altri. E forse non bisognerà neanche attendere molto, perchè questa notizia del ‘doping’ usato in Italia mi sembra proprio una di quelle bombe a orologeria che non si riuscirà tanto facilmente a disinnescare.

  7. Considerando il fatto che il premio accademico principale (nell’accademia italiana) si chiama: carriera, cioè implica l’eleggibilità nelle commissioni che
    assegnano i premi successivi, una domanda sorge spontanea: ma con questo doping quanti premi sono stati assegnati finora?

  8. Il doping è un problema grave ma secondario rispetto all’idea originaria che è assai più grave: il numero di citazioni e papers è discriminante per entrare nell’accademia e per i successivi passaggi di carriera. Sono passati una decina d’anni dalla sua enunciazione e ogni volta che ci penso mi incazzo.
    ——————————————-
    Francesco2 opta per il background monster senza se e senza ma, che è cio’ che ho sempre perseguito. Rimane il fatto che se un giovane non bada alla bibliometria allora non ha chance in Italia. Nel mio dipartimento abbiamo un’ampia casistica di cervelli in fuga tra cui vari monster che fanno ricerca senza badare alle citazioni. Orbene, grazie all’idea “Non siamo tutti Einstein o Newton” (certamente non lo è chi l’ha detto) i top duri e puri non hanno alcuna chance bibliometrica di rientrare in Italia. Questo è teorematico. Entrare nell’accademia italiana è assai difficile, tipicamente devi soddisfare una serie di criteri, non tutti strettamente scientifici e, ahimé, i compromessi sono inevitabili. In Italia, un duro puro one hundred per cent ha solo una chance: lavorare a casa senza stipendio. Credo quindi sia doveroso informare i giovani che “se vogliono sopravvivere” è necessario scendere a compromessi e (BIGASP!) tener d’occhio la bibliometria. Va anche menzionato che l’eliminazione della bibliometria non è affatto dietro l’angolo, temo che, nonostante tutto, ci terremo questa immane disgrazia ancora per anni.

    • Mah.. se crediamo nei pincipii dell’economia di mercato, cioè che il mercato, se è libero, nessuno lo fa fesso, e prima o poi si vendica, allora l’immane disgrazia non dovrebbe avere vita lunga. Insomma, l”ingegneria bibliometrica” essenzialmente è un metodo per ottenere la gloria accademica a buon mercato, cioè senza fare assolutamente nulla che giustifichi quella gloria. E’ un pò come dire: tutti noi vogliamo diventare ricchi, come possiamo farlo col minimo sforzo? Semplice,
      stampiamo denaro e accreditiamocelo in busta paga, cioè votiamo in massa per un partito che propone questa cosa. Eppure non mi sembra che coloro
      davvero capaci di arricchirsi, persino i criminali, siano mai stati entusiasti di questa ricetta: sanno che quel ‘denaro’ in realtà non varrà nulla (all’inizio magari il trucco funziona e quel ‘denaro’ vale qualcosa, ma dopo un pò la svalutazione diventa inevitabile). A parte il fatto che un sistema della ricerca fatto in tal modo, PER CHI mai può essere interessante? Il ‘lavoro’ di ‘tener d’occhio la bibliometria’, può essere interessante solo per dei mediocri, ai quali in questo modo viene data l’opportunità di ottenere una gloria altrimenti per loro irraggiungibile.

    • @Francesco2

      Sembra che sia una delle cause della situazione mondiale attuale quella di credere al fantomatico mercato autoregolatorio con questa proprietà taumaturgica alla stregua di un dogma religioso. Nessuno lo ha mai dimostratadimostrata questa proprietà presunta ma tutti ci credono.

      Anche sulla vendetta sarei cauto; non è per nulla detto che possa arrivare ( e secondo me neanche auspicabile per nessuno). D’altra parte altri paesi usano questi giochetti da molto più tempo e sono molto più bravi, cfr lo zio Sam.

      Quello che dimostra l’articolo è piuttosto la capacità di adattamento veloce degli italiani ed evolutivamente parlando non è per nulla un male.

      ‘la carriera’ non dovrebbe essere considerata un premio. Un premio è tale quando è a parte, in più, oltre rispetto alla attività lavorativa di solito normata da un contratto di lavoro che prevede o dovrebbe la progressione del numero e della qualità dei compiti lavorativi (la carriera) in cambio di incentivi di varia natura.
      Altro discorso è l’aumento della reputazione accademica che è parte della carriera ma che dipende dalle idee che i colleghi nel proprio campo si fanno di te.
      Se queste idee sono così stupide ed automatizzate perché basate solo su numerini ascientifici, si crea un grosso problema.
      E di questo la comunità scientifica già sta pagando lo scotto con la nascita di molte starlet di sistema (Male tutto sommato minore) e la perdita di reputazione complessiva nei confronti della società civile (male assoluto), verificabile con il diffondersi dell’ incredulità nei confronti delle tesi scientifiche e con il dare credito a cialtroni di vario genere, perché la differenza si assottiglia quotidianamente.
      Cordialmente

  9. Anvur va avanti per conto suo, Ministero idem, Crui idem. Se si collegano un po’ le tematiche di alcuni articoli qui pubblicati, ad es. di questo articolo con il caso Epstein, emerge da sotto il problema economico. Criteri Anvur (che portano all’aumento incontrollabile delle cose pubblicate, citazionismo compreso) o disinvoltura del MIT nel procacciarsi fondi, nascondono sempre il problema di ottenere finanziamenti o di meritarsi assunzioni o stipendi non importa come. Il danaro non puzza, puzza ciò da cui deriva il detto che “il danaro non puzza”.

    • Ormai la ricerca di fondi è diventata una vera ossessione, completamente slegata dalle esigenze reali dello scopo a cui dovrebbero essere destinate, tanto che: 1. si attribuiscono quote stipendiali premiali a coloro che si dedicano a questa “ricerca” (anche a discapito delle attività istituzionali di didattica, di servizio agli studenti e di ricerca senza virgolette) sorvolando sul conflitto d’interesse di chi trae profitto personale da attività svolta nei locali e con le strutture e attrezzature, nonché di personale di una pubblica amministrazione, 2. si verificano casi di restituzione all’EU di fondi incassati che non è stato possibile spendere, proprio per mancanza di strutture e risorse umane adeguate (che magari invece si dedicano alla ricerca di fondi). Un vero paradosso.

  10. Di per se stessa la citazione di un proprio lavoro non è pratica malsana: se sono l’unico ad essersi occupato di certi argomenti, posso ben far riferimento in nota ad altri miei lavori. Dovremo criticare illustri studiosi pre-ANVUR, pre ASN, pre qualsiasi diavoleria, per questo?
    Il fatto che le citazioni vengano considerate è sbagliato!
    In tempi pre-ANVUR una collega mi chiese un mio articolo, ne prese parti quasi ad verbum, non mi citò, ma citò … tutti quelli di cui non si era servita, ed alcuni che avevo citato io (tutti stranieri, nessuno che potesse restituirmi il favore di una citazione!!!!)
    Steiner, personaggio molto più famoso di me, in un periodo della sua vita accademica in cui era stato marginalizzato e persino deriso, scrisse un capolavoro, After Babel. In una prefazione delle edizioni successive racconta come i suoi colleghi riprendevano nei loro articoli le sue idee, ma, rigorosamente, senza citare il suo testo, tuttora letto e tuttora essenziale…
    Vedete, per questo non ho mai fatto alcun conto delle citazioni… ma ho letto, giudicato, scoperto anche molti plagi…

  11. Per essere meno pessimisti sul futuro, si potrebbe cogliere l’occasione della “sinistra al governo” per lanciare una campagna di sensibilizzazione, anche se non c’è da sperar molto che serva ad eliminare la valutazione bibliometrica. Servirebbe un manifesto molto ben fatto che renda immediatamente evidente, anche ai non addetti, gli aspetti paradossali di questo meccanismo idiota. Chessò, dare la medaglia d’oro alle olimpiadi a chi ha più followers, o qualcosa del genere. Ci vorrebbe la collaborazione di qualche collega esperto in strategie di comunicazione di massa.

    • assolutamente d’accordo. Campagne sulla stampa ed anche proposte al governo, che diano più respiro alla ricerca.

  12. Possibile che con tutti questi articoli, tutta questa stampa, a nessuno sia venuto in mente di dire che le citazioni, anche quelle, passano il vaglio dei revisori degli articoli? E poi, se siamo in 3 o 5 o 20 in tutto il mondo a fare un tipo di ricerca cito i miei colleghi ed anche me, e non c’è nulla di male. Invece di attaccare il legislatore, guardiamo i singoli ricercatori che si dopano, non ci vuole molto: ci sono bizzeffe di ricercatori e professori retribuiti dallo stato che prima del 2010 pubblicavano nulla o pochissimo e improvvisamente si sono impennati, chissà come. C’è poco da fare: la soluzione per valutare i ricercatori con la bibliometria è meglio di quello che c’era prima, ossia il potere assoluto dei baroni nell’università e dintorni. Può essere migliorata e di molto, e indico qui una proposta per farlo: usare un solo indice per valutare i ricercatori, l’H-index (come d’altra parte scrive Hirsch, NON usare il numero di citazioni e di articoli ma SOLO l’H-index, ma all’ANVUR non lo capiscono…), ma dei soli articoli con primo nome, o in cui si è autore principale. Questo parametro è molto solido e difficilmente taroccabile. Facciamo proposte e non solo critiche…
    Una nota per Francesco2: l’h-index è proprio l’indice MENO facilmente alterabile, al contrario di quello che scrivi tu. E la proposta che faccio io qui, di calcolare l’h-index solo sui lavori come autore principale, lo rendono particolarmente solido.

    • Nell’autocitazione in sé non c’è nulla di male. Nell’ usare solo la bibliometria per prendere decisioni sulla carriera di un ricercatore c’è invece tutto il male possibile e nessuna possibilie giustificazione razionale. E infatti nessuno, Italia esclusa, si è mi sognato di procedere in questo modo. Le obiezioni e i palliativi non sono convincenti. Dietro il mantra “il meglio è nemico del bene” sono dieci anni che si fanno passare delle misure “per il bene” che hanno solo spostato le indecenze baronali dai comporamenti “caligolani” (faccio diventare professore il mio cavallo) alla costruzione di cordate per il controllo delle pubblicazioni (per i non bibliometrici) o per la costituzione di grandi gruppi che garantiscono il volume adeguato di produzione. E’ pensabile che un essere umano riesca a seguire più di 30 tesi di dottorato simultaneamente? Qualche anno fa qualcuno era in grado di compiere questo miracolo, controllando i finanziamenti di un grande laboratorio. Quando il dato “autocitazioni per articolo” si impenna a partire dalla messa in opera di nuovi criteri di selezione, occorre femarsi e riflettere sul senso di criteri che vanno ad incidee sullo stesso modo di far ricerca.

      Pseudo-correttivi come il contare solo le pubbicazioni di cui si è autore principale non funzionano. Intanto danno peso zero a pubblicazioni in cui si è comunque investito tempo, lavoro e creatività. E’ ragionevole che tra due candidati di cui uno ha un solo lavoro di cui è unico autore, stracitato perché sbagliato, e l’altro 20 ottimi lavori in collaborazione, ma di cui non emerge o proprio non esista un ruolo principale, debba essere preferito il primo? Eppure è quello che una bibliometria automatica coretta p “autore principale” produrrebbe. Inoltre, lo stesso concetto di “autore principale” è mal definito. Poi ci sono settori di ricerca in cui, qualsiasi sia la definizione, lo stesso ruolo di “autore principale è difficilmente applicabile (cfr. le “gradi collaborazioni” della fisica delle particelle).

      C’è poco da fare. La proposta seria è di uscire da questa abbacinazione collettiva per le sole valutazioni automatiche e puntare veramente ad una responsabilizzazione di individui e istituzioni nel processo di selezione. Come si riesce a fare nel resto del mondo, peraltro.

  13. Solo un paio di commenti su alcuni aspetti forse marginali.

    Una ventina di anni fa, quando mi trovai all’interno del sistema di ricerca italiano (fisica delle particelle) si discuteva di valutazione. Si arrivo’ dopo alcuni anni a considerare l’idea di usare dei database, e io difesi fortemente l’idea di usare quel database che tutti i fisici delle particelle usavano (e che se capisco, e’ proprio quello che usava anche Hirsch). Si chiama inSPIRE. La risposta (da parte di chi non sapeva cosa fossero le citazioni) Ma no, per carità ma che dici mai! Bisogna usare quello a pagamento, che e’ tanto meglio! Perche’, a questo punto chiedevo? No tu non capisci, lo usano gli altri e altri argomenti non discutibili. Ho provato tante volte a intavolare una discussione sul punto, chiusura totale.

    Cosi’ ci troviamo ad usare un database che a me non serve a niente, che bisogna pagare, e inoltre che non e’ efficace come l’altro. Poi, giusto a proposito, inSPIRE permette molto facilmente di escludere le autocitazioni, vedi ad es. http://inspirehep.net/search?ln=en&p=f%20a%20vissani&of=hcs2.

    Volevo approfittare della occasione per dire ai miei interlocutori dell’epoca che la testonaggine non e’ una virtu’, non nella scienza almeno; magari aiuta o serve per esercitare il potere, ma alla lunga non porta bene. Un saluto a tutti anche a loro.

  14. Io sconsolatamente continuo a dire: ma leggere? possono leggere questi commissari? Leggere tutto non per ‘carotaggio’? Possono rileggere se non è chiaro? Possono informarsi se non conoscono l’argomento?
    Qualcuno di essi disse: ‘Erano troppi, non li abbiamo letti’. Domanda: Perché allora ne avete escluso alcuni e dichiarati idonei altri?
    Citazioni sì, citazioni no, è un modo di eludere il problema. Leggete.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.