Primi commenti alle mediane per le aree bibliometriche

1. L’ANVUR come Schettino punta sugli scogli

Il Decreto “Criteri e parametri” (D.M. n. 76 del 7 giugno 2012) specifica che i parametri bibliometrici vadano normalizzati per l’età accademica. Tra di essi rientra anche l’h-index la cui normalizzazione è formulata in modo ancor più preciso nell’art. 17 della Delibera ANVUR n. 50 del 21/06/2012

Ai fini della procedura di abilitazione, la normalizzazione per età accademica degli indicatori avviene dividendo il valore di ogni indicatore per l’età accademica, rilevabile dalla data della prima pubblicazione scientifica pertinente al settore concorsuale.

In un documento successivo, non avente validità di delibera, ma pubblicato “a cura del Consiglio Direttivo dell’ANVUR” sul sito dell’agenzia, l’ANVUR aveva comunicato che, invece di normalizzare l’h-index, avrebbe usato un indice alternativo, il contemporary h-index. Su Roars abbiamo già spiegato che l’uso del contemporary h-index è in aperta contraddizione con il D.M. 76 e la Delibera ANVUR N. 50 e che la sua adozione renderebbe la procedura di abilitazione indifendibile nei confronti di eventuali ricorsi presentati da candidati, danneggiati dall’esclusione sancita mediante un indice in aperta contraddizione con il decreto ministeriale. Abbiamo anche riferito di come tale problema sia stato sollevato nel corso della recente audizione del ministro Profumo al CUN. Il CoNPAss ha dichiarato di essere a conoscenza di candidati che sarebbero danneggiati dall’ingiustificato cambio di indice e ha promesso assistenza legale gratuita ai ricorrenti.

A fronte di tutto ciò, desta sorpresa la scelta di pubblicare le mediane calcolate usando il contemporary h-index. Infatti, il sicuro successo di eventuali ricorsi rende molto probabile il blocco della procedura di abilitazione. Vi sono due spiegazioni plausibili per le “mediane suicide”:

  1. Sappiamo già che il minstro teme che la numerosità degli abilitati sia eccessiva (Mediane e altre catastrofi: dichiarazioni di Profumo al CUN), ma è plausibile che non voglia prendersi la responsabilità di ritardare il procedimento per introdurre ulteriori norme potenzialmente impopolari. Meglio mandare la nave al naufragio preparandosi a scaricare la responsabilità sugli scogli, ovvero sui ricorrenti.
  2. Le mediane calcolate seguendo il dettato del D.M. “Criteri e parametri” producevano risultati talmente paradossali da rendere evidente l’assurdità delle regole bibliometriche ostinatamente volute dell’ANVUR contro ogni evidenza scientifica e giuridica e senza un’approfondita analisi preliminare. A questo punto, piuttosto che riconoscere la propria incompetenza, meglio sfidare gli scogli e giocare d’azzardo con la carriera di qualche decina di migliaia di universitari italiani. Il contenuto del documento ANVUR sulla “normalizzazione degli indicatori per l’età accademica” convaliderebbe questa seconda spiegazione.  Infatti, secondo il documento ANVUR, il nuovo indice sarebbe stato introdotto perché “si comporta bene su un campione esteso di 1400 fisici italiani” spiegando che sarebbe in grado di superare i (non meglio precisati) “problemi legati alla normalizzazione diretta dell’indice h che si otterrebbe dividendone il valore per l’età accademica”.

2. Candidati: come capisco se sono sopra le mediane?

Purtroppo, non è banale. Nelle tabelle pubblicate dall’ANVUR, per ogni settore ci sono tre mediane:

# articoli norm.            # citaz. norm.            indice h_c

Esaminiamole una alla volta, tenendo bene a mente che per superare il filtro bibliometrico occorre superare almeno due mediane su tre.

2.1 Numero di articoli normalizzati

È relativamente facile controllare la prima mediana che riguarda il numero di articoli pubblicati nel decennio 2002-2012 e presenti sulle versioni online di Web of Science e Scopus.

Si noti che l’ANVUR ha capito che non è in grado di stabilire con certezza quali articoli fossero pubblicati prima o dopo giugno 2002 ed ha pertanto deciso di ritenere validi anche quelli pubblicati tra gennaio e giugno 2002:

… si è quindi proceduto includendo tutti gli articoli del 2002. Con riferimento all’anno 2012, sono stati inseriti tutti gli articoli presenti sulle versioni online di Web of Science e Scopus.

Si tratta di un’ulteriore violazione del D.M. “Criteri e parametri” che parla del

numero di articoli su riviste contenute nelle principali banche dati internazionali e pubblicati nei dieci anni consecutivi precedenti la data di pubblicazione del decreto di cui all’articolo 6, comma 1, del Regolamento

Dato che l’aggiunta degli articoli pubblicati tra gennaio e giugno 2002 alza il valore delle mediane, questa violazione del D.M. potrebbe fornire ulteriore appiglio ad eventuali ricorsi.

Tornando ai nostri calcoli, dobbiamo contare il numero di articoli pubblicati nel periodo 2002-2012 su riviste presenti in almeno una delle banche dati Web of Science e Scopus. È necessaria una normalizzazione solo se l’età accademica (definita dal D.M. “Criteri e parametri” come “il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale”) è inferiore a dieci anni. Per esempio, se l’età accademica è pari a 4 anni, bisogna moltiplicare il numero di articoli per 10/4=2,5. L’argomento dell’età accademica è particolarmente spinoso e, prima di procedere con le altre mediane, merita una discussione a parte.

2.2 È lecito mentire sull’età?

Ad un ricercatore la cui vera età accademica è pari a 10 anni, ma che ha pubblicato soprattutto negli ultimi 5 anni, converrebbe “nascondere” i lavori più vecchi di 5 anni. Infatti, se la sua età accademica fosse pari a 5, applicando la normalizzazione si troverebbe a moltiplicare il numero dei suoi articoli degli ultimi 5 anni per 10/2 =2, ovvero li raddoppierebbe. Ma questo è disonesto! – direte voi. In realtà, tra le FAQ dell’ANVUR era apparsa una nota, prontamente scomparsa (Abilitazioni e ANVUR: mamma, mi sono perso la FAQ sulla manipolazione dell’età accademica!), che precisava che l’età accademica sarebbe stata calcolata solo in base ai prodotti di ricerca presentati dal candidato e non in base a quelli presenti nel sito docente:

Poiché il valore normalizzato rilevante per i candidati è quello dichiarato alla commissione, non vi è alcun incentivo razionale a manipolare l’età accademica nella compilazione del sito docente.

Insomma, una specie di strizzata d’occhio ai candidati: non massacrate l’archivio del CINECA cancellando le vostre prime pubblicazioni. Tanto, noi chiuderemo un occhio e faremo finta di vedere solo le pubblicazioni che dichiarerete nell’atto di presentare domanda di partecipazione. Se ciò fosse confermato, il candidato che non passa la mediana potrebbe provare a rifare i conti eliminando le sue prime pubblicazioni, sperando che ridurre l’età gli consenta di superare la fatidica soglia. Ovviamente, se si eliminano delle pubblicazioni si perdono anche le relative citazioni (vedi sotto), ma se le prime pubblicazioni erano poco citate, il gioco può valere la candela. Vedremo se l’ANVUR pubblicherà una FAQ che spieghi una volta per tutte se mentire sull’età, oltre che essere consentito alle signore, è lecito anche per i ricercatori. Bisogna anche capire quali strumenti tecnici e legali avranno l’ANVUR e le commissioni per verificare l’età accademica dei candidati. Se mi “dimentico” di segnalare alla commissione un mio vecchio articolo, di cosa mi rendo responsabile?

2.3 Numero di citazioni normalizzate

La seconda mediana è molto meno facile. Per ognuno dei propri prodotti di ricerca  (tutti gli articoli, atti di conferenze, etc., a partire dall’inizio della propria carriera) bisogna recuperare le citazioni ricevute nelle due banche dati di Web of Science e Scopus e prendere il valore massimo. Un lavoraccio. Non sperate in facili scorciatoie. Come scrive l’ANVUR:

E’ opportuno sottolineare che tale numero non coincide in generale a quello che ogni docente può ottenere interrogando il proprio profilo in ciascuna delle due banche dati.

Aggiungiamo che il numero cercato non coincide nemmeno con il minimo, il massimo o la media dei due numeri. Dovete proprio recuperare le citazioni di tutte le vostre pubblicazioni e attribuire a ciascuno il numero di citazioni massimo tra i due numeri forniti da Web of Science e Scopus. Tale massimo non rappresenta il vero numero di citazioni, ma solo una stima per difetto. Pertanto la seconda mediana è scientificamente assai dubbia, ma i rapporti tra l’ANVUR e il rigore scientifico sono sempre stati un po’ freddini.

A questo punto, bisogna dividere il risultato per l’età accademica (definita come sopra). Come già detto, non è chiaro se sia lecito – o tacitamente tollerato – mentire sulla propria età accademica.

2.4 Contemporary h-index

Per controllare la terza mediana dovete normalizzare le citazioni dei vostri articoli, uno ad uno (meglio per voi se sapete programmare o almeno usare un foglio Excel). Recuperate le citazioni già utilizzate per la seconda mediana e normalizzatele secondo la seguente formula:

citazioni_normalizzate = 4 x citazioni / (1+età)

dove

citazioni = citazioni ricevute dall’articolo

età = anni trascorsi dalla data di pubblicazione

Per esempio, le 10 citazioni ricevute da un articolo pubblicato nel 2012, una volta normalizzate, diventeranno

citazioni_normalizzate = 4 x 10 / (1 + 0) = 40

Invece, se un articolo pubblicato nel 2009 ha ricevuto 10 citazioni, otterremo

citazioni_normalizzate = 4 x 10 / (1 + 3) = 10

mentre 10 citazioni di un articolo del 2005 diventano

citazioni_normalizzate = 4 x 10 / (1 + 7) = 5

In pratica, vengono “premiate” le citazioni degli articoli recenti e penalizzate quelle degli articoli più vecchi. Nella formula, la scelta del numero “4” non ha un particolare fondamento scientifico, ma influisce sul risultati attribuendo un importanza abnorme alle citazioni degli articoli degli ultimi tre anni. Se venisse usato un altro numero alcuni dei sub-soglia (che stanno sotto la mediana) diventerebbero super-soglia a spese di super-soglia declassati a sub-soglia.

L’ultimo passaggio è quasi banale: per ottenere il contemporary h-index, basta calcolare l’h-index usando le citazioni normalizzate. Che l’indice ottenuto abbia un particolare valore scientifico, è un’altra questione:

questo parametro non è consolidato neppure nella pratica bibliometrica. E’ stato proposto  appena  nel  2007  da  tre  ricercatori  greci  in  un  articolo  (“Generalized  Hirsch  h-index  for  disclosing  latent  facts  in  citation  networks”,  Scientometrics,  Vol.  72,  No.  2  (2007)  253–280),  nel  quale  peraltro  vengono  esaminate  una  decina  di  diverse  normalizzazioni  di  h,  senza  pervenire  alla  conclusione  che  una  sia  in  generale  migliore  delle  altre.

(Caputo, Fregolent, Stella, 2012)

3. Commissari: come capisco se sono sopra la mediana?

Nel caso dei commissari la prima mediana si verifica esattamente come per i candidati: basta contare il numero di articoli pubblicati nel periodo 2002-2012 su riviste presenti in almeno una delle banche dati Web of Science e Scopus.

Per la seconda e la terza mediana, l’unica differenza rispetto ai candidati  è che non si normalizza per l’età accademica. La seconda mediana riguarda il numero di citazioni accumulate nel corso della carriera. Anche in questo caso bisogna, per ogni articolo, prendere il numero massimo di citazioni tra i due numeri riportati da Web of Science e Scopus,

La terza mediana si riferisce all’h-index calcolato usando le citazioni di ogni singolo articolo, già ricavate per verificare la seconda mediana.

4. Prime conclusioni

Dal punto di vista giuridico, l’ANVUR ha consegnato le abilitazioni nelle mani degli avvocati. La scelta di usare l’h-index contemporaneo al posto dell’h-index normalizzato rende la procedura indifendibile, se qualcuno dei candidati presenterà ricorso. Una scelta difficilmente comprensibile se non alla luce della volontà di mandare tutto a monte usando i ricorrenti come capro espiatorio. Alternativamente, potrebbe essere un azzardo disperato, reso obbligato dalla consapevolezza che rispettare le regole del D.M. “Criteri e parametri” (ostinatamente volute dalla stessa ANVUR) avrebbe reso evidente l’incompetenza di chi aveva concepito regole astruse e paradossali senza adeguate valutazioni preliminari.

Nei prossimi mesi decine di migliaia di universitari e precari dedicheranno ore del loro tempo in astrusi rompicapi bibliometrici per calcolare numeri privi di base scientifica ma decisivi per la loro carriera. Siamo oramai avviluppati nel “caos strisciante”, frutto di una micidiale miscela di presunzione e incompetenza che, pur celate dietro le cabale bibliometriche, vengono smascherate ogni qual volta si getta luce su queste procedure prive di basi giuridiche e scientifiche.

 

“E su tutto, in questo ripugnante cimitero dell’universo, si ode un sordo e pazzesco rullìo di tamburi, un sottile e monotono lamento di flauti blasfemi che giungono da stanze inconcepibili, senza luce, di là dal Tempo; la detestabile cacofonia al cui ritmo danzano lenti, goffi e assurdi, giganteschi, tenebrosi ultimi dèi. Le cieche, mute, stolide abominazioni la cui anima è Nyarlathotep”. (H.P. Lovecraft)

Send to Kindle

202 Commenti

  1. Ho letto, non ricordo dove, che negli indicatori bibliometrici sono comprese anche le autocitazioni, poichè sarebbe molto difficile eliminarle nella ricerca informatica.

    Prova a fare una ricerca delle Tue pubblicazioni con “publish or perish” e te ne renderai conto.

    per la 2° domanda non ho una risposta.

  2. Tutto sta, da parte dell’ANVUR, nel dire CHIARAMENTE come sono state calcolate le mediane, cioè attingendo a quali database e con quali regole. Ovvio che la cosa deve essere stata fatta in modo automatico, attingendo perlopiù al contenuto di U-GOV. Sono stati usati solo gli articoli di Scopus e Web of Knowledge? Lo si dica chiaramente. In ogni caso, qual è lo strumento “automatico” utilizzato? Perché non lo si rende disponibile anche ai candidati?

    Inoltre, confermo anch’io che in Scopus ci sono molte citazioni mancanti. Ad esempio, a un mio articolo (in proceedings di conferenza di “alto livello”, ACM) vengono assegnate 3 citazioni. D’altra parte, io ne ho trovate altre 6 (non autocitazioni, alcune anche di anni fa), *tutte di articoli indicizzati nello Scopus stesso*: perché non vengono contate? Con 9 citazioni, questo mio articolo mi fa superare la soglia per l’h-index contemporaneo, mentre con 3 no; e’ chiaro che la cosa diventa fondamentale! Segnalerò queste discrepanze a Scopus e le farò presenti nella domanda per l’abilitazione, ma se per strani motivi nello Scopus non dovessero avvenire variazioni entro il 20 novembre, quali saranno le conseguenze? Le citazioni ci sono ma chissà perché mi sono state ignorate (magari per qualche bug nell’algoritmo di indicizzazione…). E questo vale anche per altri articoli (anche se non così rilevanti al fine del superamento della mediana).

    In sostanza, o tutto viene definito in modo *molto chiaro* o, come già detto più voltre in quest post e nel blog, la procedura di abilitazione darà luogo a ricorsi sopra ricorsi… e farà guadagnare bei gruzzoli a decine di studi legali che magari si specializzeranno in questo (a scapito del portafoglio di tanti poveri ricercatori, che notoriamente hanno stipendi favolosi!)

    Stefano

    • Nel “Documento di accompagnamento: mediane dei settori bibliometrici” scaricabile tra la documentazione dell’abilitazione sul sito ANVUR è descritto sommariamente in metodo utilizzato. Per quello che riguarda lo “strumento automatico”… sarà il pentolone della strega Amelia!

    • Immagino che se Scopus non rimette le cose a posto entro il 20 novembre p.v. chi risulti “immaturo” per difetti del database possa segnalare la cosa alla commissione. infatti sia gli articoli citanti che citati sono
      a) presenti in Scopus, quindi suscettibili inclusione nel conteggio;
      b) accessibili online, quindi suscettibili di rapida verifica delle citazioni mancanti.
      Se la commissione rifiuta l’inclusione delle citazioni in questione e degli indici su di esse basati, il successo del ricorso amministrativo mi sembra assai probabile.

  3. che bello!

    rientro dalle vacanze e trovo i dati delle mediane! Come sospettavo, dopo un rapido sguardo a Scopus (il mio Ateneo non paga la versione completa di WoS), il passaggio da Hirsch/età accademica (con il quale rientravo a mani basse nel 70o percentile) a Katsaros (per il quale sono esattamente sulla mediana) mi penalizza, ma me lo aspettavo data la ragionevolmente bassa età accademica (17 anni). Un pensiero va al prof. Rossi e al suo campione di fisici per il quale l’indice di Katsaros satura per età accademica superiore a 12 anni…magari in altri settori egualmente produttivi la velocità di crescita è diversa, o no?

    Fortunatamente l’indice h_c è facilmente suscettibile di doping bibliometrico (bastano un paio di citazioni ad articoli recenti ed è fatta) e mi attrezzerò di conseguenza per il prossimo giro 😀

    A parte gli scherzi, quello che però non capisco è la costruzione della base dei dati delle citazioni. Mi spiego.
    Chiaramente l’ANVUR prende il max tra le citazioni Scopus e Wos. In verità andrebbe presa l’unione dei due insiemi poiché è possibile che in un database siano presenti alcune citazioni escluse dall’altro e viceversa e non è detto che uno dei due sia sempre incluso nell’altro. Probabilmente almeno di questo le commissioni potrebbero tenerne conto….

    • Uhm…l’unione in effetti sarebbe cosa sensata.Temo però non così semplice a farsi. Infatti i citanti non hanno un identificativo univoco nei due DB. Bisognerebbe per ogni paper, risalire al link dei citanti (presente in WoS di sicuro, e credo in Scopus) indetificare il DOI dei papers e di questi fare l’unione. Uhm…non facile. Non credo infatti che ANVUR abbia accesso privilegiato ai dati di Scopus e/o WoS.

      Se non ricordo male ci sono vari documenti online che trattano della sovrapposizione Scopus/WoS/Google Scholar.

      Il punto chiave è che tali imprecisioni, ammesso che esistano, hanno certamente lo stesso peso per tutti. Quindi nel confronto dubito ci sia un qualsivoglia bias.

      Sul fatto che bastino un paio di citazioni per alzare h_c, good luck. Dipende da quanto è il valore da cui vuoi discostarti (il mio è h_c=14 vedi tu).

  4. Mi sembra che da piú parti stia emergendo la volontá di chiedere ad ANVUR la pubblicazione dei dati e del software utilizzato per il calcolo delle mediane.
    La domanda é: qual’é il modo piú efficace di farlo?
    Io pensavo che ciascuno degli interessati potrebbe fare una richiesta individuale, specificando in essa le storture eclatanti presenti su Scopus e WoK.
    Nel mio caso, come ho giá detto, ho rilevato (sul solo Scopus) che:

    1) sono indicizzate cose che non ritengo pubblicazioni scientifiche, quali ad esempio prefazioni come Guest Editor a special issue di riviste o ad atti di conferenza, che hanno (giustamente) 0 citazioni, e sono invece omesse pubblicazioni su conferenze importanti che sono anche ben citate

    2) non sono conteggiate citazioni ad articoli indicizzati provenienti da altri articoli anch’essi indicizzati

    3) non sono inserite numerose pubblicazioni provenienti da atti di congressi internazionali peer-reviewed (cosa che mi sembra un possibile argomento di incostituzionalitá, poiché mi sembra l’applicazione retroattiva di una norma a sfavore dei candidati)

    Se anche altri dovessero rilevare analoghe storture, forse si potrebbe concepire congiuntamente una lettera, che poi ciascuno potrebbe customizzare inserendo i propri argomenti a sostegno della richiesta di pubblicazione di dati e software da parte di ANVUR.

    • Non sono convinto che evidenziare le storture di scopus e wok sia il metodo migliore per ottenere la pubblicazione di dati/software.
      Si potrebbe obiettare che le stesse storture hanno influenzato anche il calcolo delle mediane/soglia di citazioni e h_c, sia per PA che PO.

      Più in generale, mi aspetto che ANVUR non veda l’ora di avere un “pretesto” (dal suo punto di vista) per rinfacciare ai candidati i 3-4 mesi di tempo avuti in più per aumentare le proprie performance citazionali dopo il termine di inserimento dati nel CINECA.

    • Vero, un’obiezione dell’ANVUR potrebbe essere che gli errori (sottostima delle citazioni) ci sono stati anche nel calcolo delle mediane, e quindi il tutto si compensa.
      Se questo avvenisse (cioè se nella valutazione le commissioni non tenessero conto delle citazioni mancanti, da parte di articoli presenti nello stesso Scopus, segnalate in modo esplicito nella domanda di partecipazione) la cosa sarebbe gravissima: se Scopus “a caso” salta delle citazioni, il tutto diventa aleatorio…

    • 1 e 3)I dati usati dall’ANVUR, se non vado errato, si riferiscono solo a pubblicazioni del tipo “Articles”, “Review” e ‘Letters’. Non a proceedings & Co. Quantomeno questo era scritto nel DM.

      2) Uhm…hai controllato i tuoi lavori e incrociato le citazioni? Tue e di altri? Sorbole che lavoraccio. Ad ogni modo in WoS come erano citati quelli ‘sballati’? Tieni conto che ANVUR usa il valore max, quindi potrebbe essere aggiustato in tal modo.

      Inoltre eventuali mancate citazioni non son certo da imputarsi all’ANVUR e di certo sono frutto o di linkage errato e con tutta probabilità casuale, o di una scelta specifica dell’algoritmo di Scopus. Da valutare. Ci certo è improbabile che la cosa infici il tutto dato che dovrebbe avere il medesimo impatto su tutti. O tu hai nemici a scopus?

    • Dipende cosa intende l’ANVUR per “pubblicazioni del tipo “Articles”, “Review” e ‘Letters’”. Sarebbe assurdo se i proceedings venissero ignorati. Naturalmente stiamo parlando di proceedings “veri”, cioè conferenze con articoli selezionati tramite processo di peer review e pubblicati su volumi con ISBN (in ambito informatico, certe conferenze sono molto selettive, quasi quanto le riviste).
      In certi settori, gli atti di conferenze sono “raccolte fotocopiate” di articoletti, che magari non derivano neanche da un proceso di revisione ma vengono scritti dopo la conferenza una volta che l’abstract è stato accettato dall’organizing committee… quindi bisogna fare dei distinguo (comunque non credo proprio che Scopus indicizzi questi prodotti)

  5. io credo che dovrebbe “alimentarsi” un movimento di protesta contro questa valutazione “quantitativa” e bloccare il concorso fino a revisione delle regole..o, almeno, richiedere chiarimenti “collettivi” sulle regole applicate e sugli strumenti di verifica statistica dei crtieri..

  6. “Fortunatamente l’indice h_c è facilmente suscettibile di doping
    bibliometrico (bastano un paio di citazioni ad articoli recenti ed è
    fatta) e mi attrezzerò di conseguenza per il prossimo giro”

    A parte gli scherzi…

    secondo me c’e’ davvero poco da scherzare. Effettivamente l’hc e’
    manipolabilissimo attraverso le autocitazioni. Per come la vedo io, le
    poche preziose risorse dell’universita’, sicuramente di qui a novembre
    ma anche negli anni a venire, verranno impiegate per fare esattamente
    questo di cui parli, ovvero pubblicare in fretta e furia articoli
    scadenti su riviste di secondo piano (purche’ indicizzate WoS o
    Scopus) che citino i precedenti articoli scadenti di secondo piano
    sino ad “anabolzzare” l’hc. Questo pompaggio dell’hc e’ estremamente
    redditizio perche’ trascina con se’ anche le altre due mediane.
    L’ANVUR utilizza inutilmente (e stupidamente aggiungerei) tre mediane,
    quando l’h-index e’ stato inventato proprio per evitare di fare
    questo: esso e’ evidentemete proporzionale al numero di lavori
    pubblicati (almeno pari all’indice) e di citazioni complessive ma
    tende a premiare chi produce il maggior numero di articoli di qualita’
    e non chi produce il maggior numero di articoli. Una volta individuato
    l’h-index, il numero di articoli o le citazioni per articolo divengono
    indicatori assolutamente inutili e non si capisce davvero perche’
    l’anvur si sia andata a complicare cosi’ tanto e cosi’ stupidamente la
    vita. Anche l’h-index si presta naturalmente a minipolazioni (sebbene
    non cosi’ efficaci come accade nel caso dell’hc), ma l’eliminazione
    delle autocitazioni (comprese quelle dei collaboratori) puo’ curare
    questo difetto. In confronto alle difficolta’ infinite contro le
    quali si incagliera’ questo pasticcio messo in piedi dall’anvur, non
    capisco davvero dove stia il problema nell’eliminazione delle
    autocitazioni. Per l’ANVUR, i database gestiti da enti privati, Scopus
    e WoS sono una specie di dio benevolo al quale abbiamo scelto di
    affidarci. Benissimo. Sia scopus che WoS eliminano le autocitazioni
    con un click del mouse. Non ci fidiamo del calcolo delle autocitazioni
    fatto dai database *privati* ai quali ha scelto di affidarsi
    l’universita’ italiana? Ma allora perche’ affidarsi a questi database
    per conteggiare pubblicazioni e citazioni? Se sbagliano per le
    autocitazioni non potrebbero sbagliare anche su tutto il resto? Sotto
    quale guirisdizione essi operano? A chi rispondono? Chi controlla
    questi enti? Lo stato italiano? Il ministro Profumo? E se io per
    colpa di Scopus o WoS fossi di poco sotto tutte e tre le mediane e
    cio’ mi impedisse di partecipare ad un concorso che avrei potuto
    vincere, chi cito per danni? Scopus? WoS? Elsevier? Thomson Reuters?
    Mi rivologo al giudice Garzon? Alla corte dell’Aia, all’ONU? Alla
    corte Europea? Io penso che questo sistema sia semplicemente
    “untenable”, non abbia tenuto conto di fattori importanti e che sia
    nel complesso di un provincialismo triste che ci squalifica. Bisogna
    fermare tutto quanto prima che produca dei danni irrepabili. Dico
    queste cose non perche’ io non passi le mediane (al contrario) ma
    perche’ lavoro da 20 anni nell’universita’ italiana e non voglio che
    essa sia distrutta.

  7. Da un certo punto di vista l’uso di 3 indicatori certamente tra loro correlati sebbene non in modo assoluto è una garanzia per i candidati. Ovvero è facile pensare che molti saranno ammissibili con 2 criteri superati su 3, e quello più critico e spesso l’h_c. Quindi ben vengano i tre indici (sennò sai quale rivolta…). Sulla manomissione dell’h_c ho ancora da vedere dei dati realistici. Quanti articoli devi pubblicare per alterarlo? Diciamo un indice di 6 (quello mediano dei PA del mio SSD). Vuol dire che per passare a 7 devo citare almeno 7 volte un articolo dei miei. Ciò averne pubblicati altri 7. Ovviamente posso citarne più d’uno dei miei, ma sempre 7 rimane. Aumenta di uno ad ogni mia nuova pubblicazione, fatta però negli ultimi anni. La cosa è certamente fattibile, ma per h_c = 15 ad esempio, vuol dire che in un paper metti 15 auto-citazioni? Mai visto nel mio lavoro. Il referee s’insospettirebbe oltre al fatto che uno deve veramente avere un settore specializzato per far sempre la stessa cosa.
    Detto ciò concordo appieno su una cosa sola: levare le autocitazioni. Il che è fattibile e non troppo complesso. taglierebbe la testa al toro. Su questo bisogna puntare.Tutto il resto mi sembra onestamente aria fritta

    • Ma io CONCORDO sulla correzione per il numero di autocitazioni.

      Il numero di autori invece non del tutto. Io lavoro in contesto medico ed è ormai impossibile pubblicare cose sensate se non si fa parte di gruppi di ricerca anche extra Ateneo – Nazione. Per i dati, per i soldi, ecc. Forse in fisica teorica ci sta il paper “1 name”, ma in medicina no.

      Più senso avrebbe pesare, in area medica, per posizione (primo,ultimo). Ma tale consuetudine non viene rispettata in altre aree.

    • E perché non 5? O 2? O 7? Qualcuno ne sarebbe penalizzato e patatrack, ci risiamo con le discussioni.

      Il criterio deve avere un senso.

      Magari numero autori in matematica & fisica andrebbe bene. Mentre medicina & co primo o ultimo. Ma sarebbero criteri diversi per area e…patatrack…bufera.

      Come vedi non se ne esce se non si accettano dei compromessi di buon senso e bada di migliorie in questa storia dell’ANVUR si ne possono apportare a kilate. Ma tutto da buttare no. Non ci sto (azz…sembro Scalfaro dei bei tempi… 😉

  8. “Vuol dire che per passare a 7 devo citare almeno 7 volte un articolo dei miei. Ciò averne pubblicati altri 7.”

    Ma nemmeno per idea. Non hai letto bene la definizione di
    hc. Le citazioni vanno rinormalizzate con la formula

    cit_h = 4*cit/(y+1).

    C’e’ un fattore 4 di mezzo. Cio’ significa che piu’ recente e’
    la citazione e piu’ incidono le citazioni non normalizzate

    “Diciamo un indice di 6 (quello mediano dei PA del mio SSD).”

    Non occorre avere un hc alto per fare il conto…
    La formulina – si e’ detto, e’ cit_h = 4*cit/(y+1). Dove cit=numero di citazioni
    totali, y=anni della pubblicazione e cit_j sono le citazioni
    “normalizzate per la contemporaneita’”.
    Dunque se io cito in tutti e
    3 i miei articoli di quest’anno le tre pubblicazioni fatte l’anno
    prececedente (totale di 9 autocitazioni distribuite in tre articoli, cosa tollerabilissima),
    le tre pubblicazioni dell’anno precedente
    hanno tutte per magia un cit_h pari a 6. Con solo tre pubblicazioni io posso portare FACILMNETE lo hc da ZERO a TRE.

    Ti sembrera’ anche aria
    fritta ma il mio consiglio spassionato ai tuoi colleghi con hc basso,
    con solo 6 di hc nel tuo settore, e’ di sfruttare al massimo questa falla nei mesi che restano di qui al 2 Nov.

    • E’ ovvio. Mica siamo fessi. Magari per il 20 novembre sarà un po’ difficile ma è sicuro che di qui in avanti si metterà in azione la legge di Campbell e si metterà in primo piano la sistemazione dei propri indici e in secondo piano tutto quello che è di impiccio perchè tanto non conta niente. Smettiamola di dire che poi l’attività didattica conterà nelle selezioni locali, sono tutte balle e comunque per andare alle selezioni locali ci devono stare gli indici a posto. In alcuni settori questi indici sono da ridere in altri no.

    • Un po’ difficile? 😉 Good luck!

      Quindi tu per sistemare i tuoi indici esattamente cosa pensi di fare? Ovviamente cose che anche altri non facciano.

      Ovvero i furbi possono avere indici migliori dei non furbi ma produttivi?

      Quando lo vedo ci credo, per ora ribadisco mi sembrano solo fregnacce.

      E soprattutto, dato che fino a l’altro ieri non se ne sapeva molto, almeno per questa tornata la maggior parte (bada, non ho detto tutti) di quelli che sono apposto con gli indici del proprio settore, sono quelli che, ribadisco per il livello generale del proprio SSD, hanno fatto bene senza pensare a Campbell & Co. Qualche furbo ci sarà, qualcuno con appoggi ci sarà, ma tutti no.

      Per il futuro poi sarà più dura: l’effetto perverso (e su questo ha ragione chi si lamenta) è che dal prox turno le mediane saranno più alte, quindi più difficile. Ecco forse questo non è del tutto corretto. Speriamo ci si ponga rimedio

    • Carissimo, uno mica scrive fregnacce. Intanto si fa pubblicità e poi verranno anche le citazioni di altri. I lavori quando sono pubblicati hanno passato un vaglio. Il non essere fessi non vuole dire di essere furbetti all’italiana. Si pubblicherà di più con una maggiore accortezza verso il generale incremento di tutti gli indici bibliometrici (anche altri non ANVUR, non si sa mai). Non saremo più guidati dalla nostra curiosità ma dal mercato. ANVUR ha espressamente dichiarato di volere aumentare le mediane nel tempo. Gioco anch’io.

  9. Manca uno step qui. La formula è relativa a S(i,t). Cito il testo:

    ‘Un ricercatore ha un indice h contemporaneo pari a hc se hc delle sue pubblicazioni hanno un
    indicatore citazionale S(i,t) il cui intero superiore é >= hc, e le restanti pubblicazioni hanno un indicatore
    citazionale S(i,t)= 6. Oltretutto y+1 = 2 per gli articoli del 2011. Devi citare 3 del 2012 per avere 4 come peso al numeratore. Quindi sebbene fattibile non è così facile come dici.

    E tu credi di riuscire facilmente a pubblicare e indicizzare (le citazioni vanno contate in Scopus, e credo ci sia un lag di un paio di mesi) 3 articoli tra luglio e diciamo ottobre. Se così fosse non credo staremmo qua a discuterne, le soglie gli indici ci farebbero un baffo…

  10. “Quindi ben vengano i tre indici (sennò sai quale rivolta…). ”

    Ben vengano un corno. Qui abbiamo tre rivolte e non una.
    A mio modo di vedere e’ discutibile l’uso degli indici bibliometrici come filtro AUTOMATICO. Una cosa del genere
    non esiste in nessun paese che si dica sviluppato. Nei paesi
    seri ci si assume la RESPOSABILITA’ delle scelte che si fanno,
    nella CONSAPEVOLEZZA delle loro CONSEGUENZE. Promuovere un PO
    scadente non deve “convenire” a nessuno.
    La ricerca in Italia, se si continua cosi’, potrebbe
    finire per premiare l’opportunismo, il conformismo e le mode, se le cose vanno
    bene o diventare la scienza della manipolazione degli indici,
    se le cose si dovessero andare male.

  11. OK C’e’ un limite inferiore che e’ 6 che mi era sfuggito
    ma y+1 lo avevo considerato eccome.
    Forse chi non e’ stato previdente e non si autocitato 3 volte
    nel 2011 per il 2010 potra’ farcela quest’anno con piu’ fatica.
    Ma la prossima idoneita’, se mai dovvesse esserci, sapremo
    come fare a “meritarcela”.

    • Ammettendo che i tuoi calcoli sian giusti, il problema è che se tutti fan così le mediane salgono…e ci risiamo da capo.

      Lasciamo stare questi giochini italici. Invece di fare i furbi pensiamo a produrre di più e meglio. Le citazioni vengono da sé. Chi fa il furbo c’é e ci sarà sempre. Ma volete mettere la difficoltà ora rispetto a prima: nemmeno serviva pubblicare 3+3+3 articoli per arrivare a quel h_c=6. Bastava avere appoggi e si diventava PA o PO senza manco lo straccio di un paper peer reviewed (e io ne conosco più d’uno!)

      Il sistema DEVE essere migliorato. Ma vista la situazione contingente d’emergenza (concorsi bloccati da anni) e i paletti della legge Gelmini credete veramente che ci fossero molti margini di manovra? Si poteva far meglio nessun dubbio, ma meglio così che prima. Per il prossimo anno speriamo che ANVUR impari dagli errori di questa tornata.
      Sempre che il fronte del ‘blocchiamo tutto perché se non passo io non deve passare nessuno’ non riesca a bloccare il tutto.

  12. Ah beh su questo concordiamo tutti (o quasi) quelli che leggono questo blog. Ma siamo onesti con noi stessi e soprattutto pragmatici: la responsabilità soggettiva in Italia a cosa a portato? Ti rammento che nei concorsi vecchio stampo i commissari avevano la totale responsabilità del loro operato. E qui credo serva aggiungere poco.

    Invero la responsabilità dovrebbe ricadere sugli Atenei. Nel modo anglosassone e similia, non ci sono concorsi. Le istituzioni assumono chi gli pare e piace in funzione di criteri specifici. Scelte poco avvedute poi si ripercuotono (e qui sta la ‘responsabilità’) in pochi articoli (usati OVUNQUE come indice e chi lo nega conta balle. Usato meglio quello sì.) pochi fondi, ecc. da parte del soggetto mediocre assunto. Quindi se ne guardan bene.

    Ora trasla da noi questo sistema…chiudi gli occhi e paff! Ci siamo capiti.
    Un modo sarebbe vincolare LA GRAN PARTE del FFO a indici di qualità/quantità della produzione. Un VQR meglio fatto. Chissà forse siamo sulla strada buona. Chissà.

    Di certo pensare di riativvare i concorsi dopo anni di blocco, mettendo in qualche modo un criterio ‘meritocratico’ o di responsabilità come dici tu non è cosa facile. Qui di tratta di cambiare CULTURA del sistema. Fattibile in tempi brevi? E allora per ora vada per un calcolino + commissione (ma perché tutti si dimenticano della commissione?). Sperando che il tutto evolva ad un sistema più di “responsabilità” come ben dici. Ma tra 10 anni forse…

    • Nota a margine: non è vero che i membri della commissione nei vecchi concorsi avevano piena responsabilità del giudizio, perché il giudizio pubblico era solo il giudizio di sintesi, collettivo, che consentiva a ciascuno di dare la colpa dell’eventuale giudizio finale inguardabile alle necessità di mediazione con gli altri. Un passo avanti, che ci si è guardati sempre dal fare, nonostante le sollecitazioni, era di rendere pubblico il giudizio di ciascun membro della commissione.

    • Sarà pure colpa degli altri, ma era comunque colpa DELLA COMMISSIONE nel suo insieme.

      Persone che sono finite nei guai per concorsi pilotati ce ne sono state (troppo poche comunque).

  13. Un’altra cosa. E le citazione nel Supporting Info, che e’ in molti
    casi parte integrante (spesso assai corposa) di un lavoro? Vengono
    conteggiate quelle? Non ne sono certo ma credo che questo dipenda dal
    rapporto rivista-database. Alcune riviste passano le citazioni
    presenti nel SI al database, altre no. Perche’ il mio personale futuro
    deve dipendere da queste scelte di natura tecnico-commerciale tra
    riviste e database? Se le prestigiosissima rivista del mio settore
    sulla quale pubblico non passa le (auto)citazioni dello SI al database, per
    il futuro devo pubblicare su Journal of Irreproducible Results solo
    perche’ questo passa le citazioni (e le autocitazioni) dello SI al
    database? Ma e’ mai possible che no si vedano le incredibili
    manchevolezze di questo tutto questo impianto cosi’ poco sensato?

  14. Le SI sono parte di un paper, non un paper a parte. Che sennò cosa diventa pubblichi uno porti a casa 2?

    Se uno cita il materiale del paper cita il paper stesso. O almeno è così in medicina, biologia, biostatistica, bioinformatica, ecc. le scienze della vita in generale. Non so con certezza altrove.

    Tu personalmente hai un tuo SI citato ma non attraverso il paper principale cui le SI sono associate?

  15. “Le SI sono parte di un paper, non un paper a parte.”

    Sono d’accordissimo con te. Ma se il SI e’ parte del paper, le
    citazioni che ci sono li dentro e che non sono nel main paper
    vengono sempre conteggiate dai database? In altre parole
    se qualcuno ti cita nel SI ma non nel main paper, non doverbbe
    fare nessuna differenza. Ma per scopus o WoS e’ davvero sempre cosi’?

    • Ops avevo frainteso. Quindi il problema è essere citato nel SI. Uhm…interessante. Non credo vengano prelevate. La citazione avviene con estrazione in automatico dal testo, mentre il SI di solito (nel mio ramo) è un allegato.

  16. E’ chiaro che qualsiasi criterio quantitativo venga scelto, ci saranno sempre i contenti e gli scontenti).
    Quello che io contesto, è la scelta di subordinare al regolare concorso sul merito una valutazione a priori del tutto quantitativa che, non essendo depurata delle autocitazioni, non può avere nulla a che vedere con la qualità della produzione scientifica.
    Non solo, i valori di confronto stabiliscono una discriminazione binaria (dentro o fuori) che, ad occhio di qualsiasi persona di buon senso, dovrebbe per lo meno essere oggetto di valutazione da parte di una commissione. Ragazzi, qui si parla di escludere (o includere) anche chi è sotto (sopra) la mediana di qualche frazione di percento.
    Nessuno si vuole sottrarre ad una valutazione oggettiva sul merito. Ma che la valutazione sia complessiva e non subordinata ad un mero criterio numerico. E che le regole siano chiare PRIMA e non dopo che si cominci la procedura di valutazione.

    PS: sul doping del h_c, ovviamente mi riferivo a chi è prossimo alla mediana e con un paio di citazioni ben assestate su lavori del 2012 (quelli che contano X4) di sicuro riesce a superarla

    PS2: sui database. Benvenuti nel futuribile dominio delle multinazionali. Adesso se non sei su Scopus o WoS praticamente non esisti. E’ chiaro che nei prossimi anni si sceglieranno conferenze pessime, ormai ce ne sono tonnellate, purché indicizzate e queste verranno inondate di ciarpame (ovviamente stando bene attenti a non autocitarsi!). Con buona pace della qualità della produzione scientifica. E del sistema paese in generale!

  17. Io sono pienamente d’accordo con Stef che deve cambiare un
    atteggiamento e che questo non puo’ avvenire in tempi brevi. Ma
    questo sistema ci fa tornare indietro. Stef si illude se pensa che non
    saranno i “furbi” a sfangarla a scapito di chi lavora per passione.
    Ma chi mai potrebbe dedicare il proprio tempo a progetti di ricerca
    audaci e di lunga lena con un rapporto costi/benefici (in termini
    strettamente personali) incerto? Solo uno davvero poco “furbo”. Chi la
    sapeva lunga ha saputo come comprortarsi in questi anni. Chi pensava
    -da scienziato SERIO- disinteressatamente e senza opportunismo solo
    alla sua ricerca, sicuramente no. Ma adesso, anche quelli
    disinteressati che hanno magari “perso tempo” dietro a progetti
    ambiziosi e complicati pubblicando poco (come e’ possibile e GIUSTO
    che talvolta accada) spenderanno il proprio tempo ad incrementare
    scientificamente gli indici “citazionali”, piuttosto che rovinarsi la
    carriera cercando di risolvere un problema scientifico
    difficile. Davvero tutto questo fa bene alla ricerca?

    • Ragazzi/e siamo tutti d’accordo: andrebbero eliminate le autocitazioini. Speriamo in futuro e su questo si potrebbe far pressione

      Detto ciò mi spiace ma se io sono un illuso, possibilissimo, circa la possibilità di avere successo (bibliometrico!) anche senza fare i furbi, è altresì vero che la visione della “ricerca per il bene della conoscenza” è ormai al di fuori della realtà. Non è così ormai in nessun paese scientificamente avanzato. Per avere fondi si deve aver prodotto. Senza fondi non si produce. Giusto o sbagliato che sia purtroppo è così, ed è illusorio questo sì pensare che le cose possano essere diverse. Lo scienziato geniale che passa anni ad arrovellarsi su una formula senza produrre pubblicazioni è ormai un ava raris. E’ sbagliato, concordo, ma è la triste realtà. Un progetto complicato, come dice ‘pp’, deve essere pensato in modo da cercare di produrre risultati pubblicabili intermedi. Lo si deve condurre in team numerosi (da cui alto numero autori ahimé) in modo che ciascuno possa fare una parte e dedicarsi anche ad altro. Insomma, la competizione scientifica è globale. E le regole sono queste.

      Detto ciò nei settori in cui la produttività è generalmente bassa le mediane saranno basse. Ahimé fare lo scienziato solitario in SSD dove tutti fanno altro è strategia perdente. Ma non solo per abilitazioni.

      Tutto questo non fa bene alla Ricerca, ma è ahimé l’andazzo (parlo sempre riferito al mio mondo BioMedico)

    • Ti rendi conto di ciò che hai scritto?
      Alcune tue perle:

      1) “la visione della “ricerca per il bene della conoscenza” è ormai al di fuori della realtà”;
      2) “Un progetto complicato [..] deve essere pensato in modo da cercare di produrre risultati pubblicabili intermedi”;
      3) “Lo si deve condurre in team numerosi (da cui alto numero autori ahimé) in modo che ciascuno possa fare una parte e dedicarsi anche ad altro”.

      Grazie per averci offerto questo vademecum

      1) del carrierismo, 2) della produzione di carta inutile, 3) della costruzione di CV fittizi a furia di firme incrociate.

      L’opposto della ricerca, che poi è innanzitutto studio.

      Non basta deprecare formalmente e dire “non fa bene alla ricerca [ma io sto a posto con le mediane, avendo seguito le tre regole auree di cui sopra]”.
      E ora si capisce bene perché la questione del numero di autori piaccia poco a te e ad altri fan dell’ANVUR.

    • PS Se stai a posto con le mediane per meriti tuoi e non di cordata, buon per te; il quadro della pseudoricerca che hai descritto (e di fatto sottoscritto in quanto “attuale e inevitabile”) rimane assai squallido.

      PS credo si dica rara avis

  18. Un criterio “ragionevole” potrebbe essere il solo h-index depurato
    dalle autocitazioni. E non come filtro numerico automatico. Si
    potrebbe utilizzare l’indice come semplice criterio fortemente
    “dissuasivo”. Ma la responsabilita’ finale, come accade in TUTTI I
    PAESI CIVILI, deve essere alla fine della fiera di chi fa le scelte.
    Non puo’, davvero non puo’, essere altrimenti.

    • Ehi ma ci scordiamo sempre che le mediane sono solo un filtro. Che la decisione è di una commissione. Che l’abilitazione non equivale a chiamata. La responsabilità in qualche modo alla fine qualcuno se la dovrà assumere (assumere uno abilitato che non porta fondi ad esempio).

  19. “Il problema è che se tutti fan così le mediane salgono…e ci risiamo da capo.”

    Vedo che cominci a vedere l’inghippio. E chi non fa cosi’, restera’
    MATEMATICAMENTE fuori.
    In questo contesto perverso, chi lasciasse stare “questi giochini italici”, come
    dici tu, sarebbe davvero un cretino.
    Le mediane salgono, ma sale anche il livello della ricerca?

    • Mettiamola così, togliamo le autocitazioni e il gioco è risolto. Basta furbi. Mi sembra una critica assai più costruttiva delle molte lette fin’ora con scenari apocalittici.

      E infine il ruolo di un ricercatore è fare ricerca e anche comunicarla. Quindi anni a ricercare e mai pubblicare è forse il modo sbagliato di impostare il propio lavoro. Quindi, sì, al netto delle furbate, più articoli soprattutto più citazioni è una approssimazione di buon operato.

      Però concordo con qualche post precedente. I criteri dovrebbero essere “statici”, non dinamici.

  20. Le autocitazioni non ano state eliminate perchè non tutta la cominità scientifica a livello mondiale ritiene che sia una cosa giusta. L’accademia seria non pensa che uno si autocita per fare il furbetto del quartierino.
    Ad ogni modo, qualsiasi indice numerico, comunque ottenuto farà sempre scontenti e contenti!
    La cosa importante che deve passare è che i valori quantitativi sono solo un filtro. La vera valutazione la commissione deve farla sulla qualità. Leggendo i lavori presentati come pdf, verificando se uno ha titoli internazionali, felowship, editorial board etc etc.. Il decreto dice che un puo essere abilitato solo se ha i parametri quantitativi e quelli qualitativi. Entrambi: quantitativi e qualitativie. Che quello che dobbiamo pretendere e che nessuno passi solo con i sistemi quantitativi in automatico.
    NESSUN METODO QUANTITATIVO PUò ESSERE USATO DA SOLO PER ABILITARE UN ACCADEMICO! L’UNICO MODO è LEGGERE I LAVORI E VALUTARE I TITOLI IMPORTANTI. Ma le porcate del passto ci impongono dei metodi quantitativi. Il metodo quantitativo perfetto NON ESISTE!

    • Quoto al 100%. Se le cose saranno fatte a dovere l’abilitazione sarà una decisione della commissione. Bisogna essere chiari una volta per tutte. Gli indici sono solo un filtro (di cui forse non ci sarà più bisogno in futuro quando non si saranno accumulati anni di blocco.)

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.