Primi commenti alle mediane per le aree bibliometriche

1. L’ANVUR come Schettino punta sugli scogli

Il Decreto “Criteri e parametri” (D.M. n. 76 del 7 giugno 2012) specifica che i parametri bibliometrici vadano normalizzati per l’età accademica. Tra di essi rientra anche l’h-index la cui normalizzazione è formulata in modo ancor più preciso nell’art. 17 della Delibera ANVUR n. 50 del 21/06/2012

Ai fini della procedura di abilitazione, la normalizzazione per età accademica degli indicatori avviene dividendo il valore di ogni indicatore per l’età accademica, rilevabile dalla data della prima pubblicazione scientifica pertinente al settore concorsuale.

In un documento successivo, non avente validità di delibera, ma pubblicato “a cura del Consiglio Direttivo dell’ANVUR” sul sito dell’agenzia, l’ANVUR aveva comunicato che, invece di normalizzare l’h-index, avrebbe usato un indice alternativo, il contemporary h-index. Su Roars abbiamo già spiegato che l’uso del contemporary h-index è in aperta contraddizione con il D.M. 76 e la Delibera ANVUR N. 50 e che la sua adozione renderebbe la procedura di abilitazione indifendibile nei confronti di eventuali ricorsi presentati da candidati, danneggiati dall’esclusione sancita mediante un indice in aperta contraddizione con il decreto ministeriale. Abbiamo anche riferito di come tale problema sia stato sollevato nel corso della recente audizione del ministro Profumo al CUN. Il CoNPAss ha dichiarato di essere a conoscenza di candidati che sarebbero danneggiati dall’ingiustificato cambio di indice e ha promesso assistenza legale gratuita ai ricorrenti.

A fronte di tutto ciò, desta sorpresa la scelta di pubblicare le mediane calcolate usando il contemporary h-index. Infatti, il sicuro successo di eventuali ricorsi rende molto probabile il blocco della procedura di abilitazione. Vi sono due spiegazioni plausibili per le “mediane suicide”:

  1. Sappiamo già che il minstro teme che la numerosità degli abilitati sia eccessiva (Mediane e altre catastrofi: dichiarazioni di Profumo al CUN), ma è plausibile che non voglia prendersi la responsabilità di ritardare il procedimento per introdurre ulteriori norme potenzialmente impopolari. Meglio mandare la nave al naufragio preparandosi a scaricare la responsabilità sugli scogli, ovvero sui ricorrenti.
  2. Le mediane calcolate seguendo il dettato del D.M. “Criteri e parametri” producevano risultati talmente paradossali da rendere evidente l’assurdità delle regole bibliometriche ostinatamente volute dell’ANVUR contro ogni evidenza scientifica e giuridica e senza un’approfondita analisi preliminare. A questo punto, piuttosto che riconoscere la propria incompetenza, meglio sfidare gli scogli e giocare d’azzardo con la carriera di qualche decina di migliaia di universitari italiani. Il contenuto del documento ANVUR sulla “normalizzazione degli indicatori per l’età accademica” convaliderebbe questa seconda spiegazione.  Infatti, secondo il documento ANVUR, il nuovo indice sarebbe stato introdotto perché “si comporta bene su un campione esteso di 1400 fisici italiani” spiegando che sarebbe in grado di superare i (non meglio precisati) “problemi legati alla normalizzazione diretta dell’indice h che si otterrebbe dividendone il valore per l’età accademica”.

2. Candidati: come capisco se sono sopra le mediane?

Purtroppo, non è banale. Nelle tabelle pubblicate dall’ANVUR, per ogni settore ci sono tre mediane:

# articoli norm.            # citaz. norm.            indice h_c

Esaminiamole una alla volta, tenendo bene a mente che per superare il filtro bibliometrico occorre superare almeno due mediane su tre.

2.1 Numero di articoli normalizzati

È relativamente facile controllare la prima mediana che riguarda il numero di articoli pubblicati nel decennio 2002-2012 e presenti sulle versioni online di Web of Science e Scopus.

Si noti che l’ANVUR ha capito che non è in grado di stabilire con certezza quali articoli fossero pubblicati prima o dopo giugno 2002 ed ha pertanto deciso di ritenere validi anche quelli pubblicati tra gennaio e giugno 2002:

… si è quindi proceduto includendo tutti gli articoli del 2002. Con riferimento all’anno 2012, sono stati inseriti tutti gli articoli presenti sulle versioni online di Web of Science e Scopus.

Si tratta di un’ulteriore violazione del D.M. “Criteri e parametri” che parla del

numero di articoli su riviste contenute nelle principali banche dati internazionali e pubblicati nei dieci anni consecutivi precedenti la data di pubblicazione del decreto di cui all’articolo 6, comma 1, del Regolamento

Dato che l’aggiunta degli articoli pubblicati tra gennaio e giugno 2002 alza il valore delle mediane, questa violazione del D.M. potrebbe fornire ulteriore appiglio ad eventuali ricorsi.

Tornando ai nostri calcoli, dobbiamo contare il numero di articoli pubblicati nel periodo 2002-2012 su riviste presenti in almeno una delle banche dati Web of Science e Scopus. È necessaria una normalizzazione solo se l’età accademica (definita dal D.M. “Criteri e parametri” come “il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale”) è inferiore a dieci anni. Per esempio, se l’età accademica è pari a 4 anni, bisogna moltiplicare il numero di articoli per 10/4=2,5. L’argomento dell’età accademica è particolarmente spinoso e, prima di procedere con le altre mediane, merita una discussione a parte.

2.2 È lecito mentire sull’età?

Ad un ricercatore la cui vera età accademica è pari a 10 anni, ma che ha pubblicato soprattutto negli ultimi 5 anni, converrebbe “nascondere” i lavori più vecchi di 5 anni. Infatti, se la sua età accademica fosse pari a 5, applicando la normalizzazione si troverebbe a moltiplicare il numero dei suoi articoli degli ultimi 5 anni per 10/2 =2, ovvero li raddoppierebbe. Ma questo è disonesto! – direte voi. In realtà, tra le FAQ dell’ANVUR era apparsa una nota, prontamente scomparsa (Abilitazioni e ANVUR: mamma, mi sono perso la FAQ sulla manipolazione dell’età accademica!), che precisava che l’età accademica sarebbe stata calcolata solo in base ai prodotti di ricerca presentati dal candidato e non in base a quelli presenti nel sito docente:

Poiché il valore normalizzato rilevante per i candidati è quello dichiarato alla commissione, non vi è alcun incentivo razionale a manipolare l’età accademica nella compilazione del sito docente.

Insomma, una specie di strizzata d’occhio ai candidati: non massacrate l’archivio del CINECA cancellando le vostre prime pubblicazioni. Tanto, noi chiuderemo un occhio e faremo finta di vedere solo le pubblicazioni che dichiarerete nell’atto di presentare domanda di partecipazione. Se ciò fosse confermato, il candidato che non passa la mediana potrebbe provare a rifare i conti eliminando le sue prime pubblicazioni, sperando che ridurre l’età gli consenta di superare la fatidica soglia. Ovviamente, se si eliminano delle pubblicazioni si perdono anche le relative citazioni (vedi sotto), ma se le prime pubblicazioni erano poco citate, il gioco può valere la candela. Vedremo se l’ANVUR pubblicherà una FAQ che spieghi una volta per tutte se mentire sull’età, oltre che essere consentito alle signore, è lecito anche per i ricercatori. Bisogna anche capire quali strumenti tecnici e legali avranno l’ANVUR e le commissioni per verificare l’età accademica dei candidati. Se mi “dimentico” di segnalare alla commissione un mio vecchio articolo, di cosa mi rendo responsabile?

2.3 Numero di citazioni normalizzate

La seconda mediana è molto meno facile. Per ognuno dei propri prodotti di ricerca  (tutti gli articoli, atti di conferenze, etc., a partire dall’inizio della propria carriera) bisogna recuperare le citazioni ricevute nelle due banche dati di Web of Science e Scopus e prendere il valore massimo. Un lavoraccio. Non sperate in facili scorciatoie. Come scrive l’ANVUR:

E’ opportuno sottolineare che tale numero non coincide in generale a quello che ogni docente può ottenere interrogando il proprio profilo in ciascuna delle due banche dati.

Aggiungiamo che il numero cercato non coincide nemmeno con il minimo, il massimo o la media dei due numeri. Dovete proprio recuperare le citazioni di tutte le vostre pubblicazioni e attribuire a ciascuno il numero di citazioni massimo tra i due numeri forniti da Web of Science e Scopus. Tale massimo non rappresenta il vero numero di citazioni, ma solo una stima per difetto. Pertanto la seconda mediana è scientificamente assai dubbia, ma i rapporti tra l’ANVUR e il rigore scientifico sono sempre stati un po’ freddini.

A questo punto, bisogna dividere il risultato per l’età accademica (definita come sopra). Come già detto, non è chiaro se sia lecito – o tacitamente tollerato – mentire sulla propria età accademica.

2.4 Contemporary h-index

Per controllare la terza mediana dovete normalizzare le citazioni dei vostri articoli, uno ad uno (meglio per voi se sapete programmare o almeno usare un foglio Excel). Recuperate le citazioni già utilizzate per la seconda mediana e normalizzatele secondo la seguente formula:

citazioni_normalizzate = 4 x citazioni / (1+età)

dove

citazioni = citazioni ricevute dall’articolo

età = anni trascorsi dalla data di pubblicazione

Per esempio, le 10 citazioni ricevute da un articolo pubblicato nel 2012, una volta normalizzate, diventeranno

citazioni_normalizzate = 4 x 10 / (1 + 0) = 40

Invece, se un articolo pubblicato nel 2009 ha ricevuto 10 citazioni, otterremo

citazioni_normalizzate = 4 x 10 / (1 + 3) = 10

mentre 10 citazioni di un articolo del 2005 diventano

citazioni_normalizzate = 4 x 10 / (1 + 7) = 5

In pratica, vengono “premiate” le citazioni degli articoli recenti e penalizzate quelle degli articoli più vecchi. Nella formula, la scelta del numero “4” non ha un particolare fondamento scientifico, ma influisce sul risultati attribuendo un importanza abnorme alle citazioni degli articoli degli ultimi tre anni. Se venisse usato un altro numero alcuni dei sub-soglia (che stanno sotto la mediana) diventerebbero super-soglia a spese di super-soglia declassati a sub-soglia.

L’ultimo passaggio è quasi banale: per ottenere il contemporary h-index, basta calcolare l’h-index usando le citazioni normalizzate. Che l’indice ottenuto abbia un particolare valore scientifico, è un’altra questione:

questo parametro non è consolidato neppure nella pratica bibliometrica. E’ stato proposto  appena  nel  2007  da  tre  ricercatori  greci  in  un  articolo  (“Generalized  Hirsch  h-index  for  disclosing  latent  facts  in  citation  networks”,  Scientometrics,  Vol.  72,  No.  2  (2007)  253–280),  nel  quale  peraltro  vengono  esaminate  una  decina  di  diverse  normalizzazioni  di  h,  senza  pervenire  alla  conclusione  che  una  sia  in  generale  migliore  delle  altre.

(Caputo, Fregolent, Stella, 2012)

3. Commissari: come capisco se sono sopra la mediana?

Nel caso dei commissari la prima mediana si verifica esattamente come per i candidati: basta contare il numero di articoli pubblicati nel periodo 2002-2012 su riviste presenti in almeno una delle banche dati Web of Science e Scopus.

Per la seconda e la terza mediana, l’unica differenza rispetto ai candidati  è che non si normalizza per l’età accademica. La seconda mediana riguarda il numero di citazioni accumulate nel corso della carriera. Anche in questo caso bisogna, per ogni articolo, prendere il numero massimo di citazioni tra i due numeri riportati da Web of Science e Scopus,

La terza mediana si riferisce all’h-index calcolato usando le citazioni di ogni singolo articolo, già ricavate per verificare la seconda mediana.

4. Prime conclusioni

Dal punto di vista giuridico, l’ANVUR ha consegnato le abilitazioni nelle mani degli avvocati. La scelta di usare l’h-index contemporaneo al posto dell’h-index normalizzato rende la procedura indifendibile, se qualcuno dei candidati presenterà ricorso. Una scelta difficilmente comprensibile se non alla luce della volontà di mandare tutto a monte usando i ricorrenti come capro espiatorio. Alternativamente, potrebbe essere un azzardo disperato, reso obbligato dalla consapevolezza che rispettare le regole del D.M. “Criteri e parametri” (ostinatamente volute dalla stessa ANVUR) avrebbe reso evidente l’incompetenza di chi aveva concepito regole astruse e paradossali senza adeguate valutazioni preliminari.

Nei prossimi mesi decine di migliaia di universitari e precari dedicheranno ore del loro tempo in astrusi rompicapi bibliometrici per calcolare numeri privi di base scientifica ma decisivi per la loro carriera. Siamo oramai avviluppati nel “caos strisciante”, frutto di una micidiale miscela di presunzione e incompetenza che, pur celate dietro le cabale bibliometriche, vengono smascherate ogni qual volta si getta luce su queste procedure prive di basi giuridiche e scientifiche.

 

“E su tutto, in questo ripugnante cimitero dell’universo, si ode un sordo e pazzesco rullìo di tamburi, un sottile e monotono lamento di flauti blasfemi che giungono da stanze inconcepibili, senza luce, di là dal Tempo; la detestabile cacofonia al cui ritmo danzano lenti, goffi e assurdi, giganteschi, tenebrosi ultimi dèi. Le cieche, mute, stolide abominazioni la cui anima è Nyarlathotep”. (H.P. Lovecraft)

Print Friendly, PDF & Email

202 Commenti

  1. A me sembra che l’idea di includere nel calcolo l’età accademica sia abbastanza assurda di per se. E’ un dato manipolabile e difficilmente controllabile. Ancora più assurdo è utilizzare la data di prima pubblicazione come indicatore di età: penalizza chi ha pubblicato (ovviamente poco) precocemente, magari quando era ancora studente.

    Oltre a questa ci sono altre due grosse incongruenze in tutto il processo:
    1) tra tante sottigliezze bibliometriche non si utilizza quella più facile da implementare. Sarebbe sufficiente un click per escludere in un sol colpo tutte le autocitazioni, ovviamente assai manipolabili. Non si capisce perchè questo non sia stato imposto a tutti
    3) non viene presa in considerazione la posizione del nome. Questo fa si che si competa con persone con 100 articoli che non hanno mai nemmeno letto. Quando il barone di turno comanda “aggiungi il nome di tizio e caio!” voglio proprio vedere come si fa a rifiutarsi. C’è una differenza sostanziale tra chi ha solo prodotti tutti costruiti in prima persona e chi no. Questa differenza non viene fatta in nessun modo.

    Saluti,
    Vladimir

  2. Questo post trasuda il solito livore contro l’ANVUR che, per quanto macchiata dal solito burocratismo italiano, sta finalmente mettendo una asticella di minima.

    E’ buona? Vediamo. Per un ricercatore che lavora e si impegna a pubblicare, superare le mediane non sarà difficile. Infatti molti associati ed ordinari sono entrati con concorsi in cui potevano passare solo loro e in cui le commissioni scelte ad hoc sapevano chi far passare. Molti candidati buoni venivano fatti ritirare se non era il loro turno e dopo un po’ tutti hanno capito che era proprio inutile presentarsi.

    (Adesso sicuramente nella risposta qualcuno mi dirà: “bisogna citare i numeri”, “bisogna avere le prove”. Anticipo: non le ho e non so quanti sono. Ma parlate con qualsiasi vostro collega senza fette di prosciutto sugli occhi e capirete che è così. E basta col far finta di non sapere come funziona il mondo universitario.)

    Riprendo. Questi graziati dal sistema precedente in molti casi non meritavano di essere lì, quindi pubblicano poco e male. Risultato: le mediane sono basse. E nel post precedente qualcuno lo ha fatto notare.

    Chi faticherà a superare le mediane? Il figlio del professore appena laureato che viene fiondato ad un concorso fatto per lui dal padre (più facile se questo è un rettore). E’ difficile raccogliere citazioni e ci vuole tempo. Si può barare, si possono fare le peggio cose, ma resta un processo lungo che ha bisogno di molti attori ed è vero che trovare tre commissari compiacenti è facile, ma trovare 20 ricercatori che citino cacca non è altrettanto semplice. Alzare l’h-index è un lavoro scomodo e richiede di aver fatto qualcosa di almeno passabile. (La mia limitata esperienza si riferisce al settore dove sono io con qualche punta negli altri ING-INF e quindi non ho idea di quello che succeda dalle altre parti).

    Forse si premia più l’età che la bravura, ma le normalizzazioni, per quanto opinabili, aggiustano abbastanza la situazione (infatti vi lamentate che le citazioni recenti valgono troppo rispetto a quelle vecchie).

    Volete capire se siete sopra le mediane? Scaricate BIB Analyzer di Enrico Napoli e contribuite a completarne i dati.

    http://www.forumunipa.it/bib-analyzer/

    Se siete sopra le mediane con quello, siete a posto. Se no, avete due possibilità: pubblicare di più (soluzione sana) o fare ricorso (soluzione disponibile a chi vuole il posto senza la fatica di ottenerlo). Alla fine vedremo come andrà a finire. Intendo l’Università Italiana.

    Infine sulle obiezioni ai parametri: contare le pubblicazioni da una data o dall’altra non fa differenza, quindi che siano 10 o 10,5 anni cosa cambia? Basta che il ministro faccia un decreto in cui sostituisce la frasetta e siamo a posto. Così sarebbe meglio?

    Per l’età accademica, il vostro primo pensiero è “se baro posso ottenere un vantaggio”. Ma siamo seri: le pubblicazioni più vecchie hanno un numero più alto di citazioni in generale, quindi le uniche pubblicazioni da scartare sarebbero le primissime molto brutte che ho fatto e che nessuno ha citato. Di quanto si parla? 1 anno o massimo due. Se devo scartare 5 anni, la commissione può anche dire: per tutto questo periodo il candidato non ha pubblicato niente, questo è un motivo per non ritenerlo idoneo. Cioè passo la mediana, ma la commissione mi bastona!

    Poi: “la seconda mediana è molto meno facile. Per ognuno dei propri prodotti di ricerca (tutti gli articoli, atti di conferenze, etc a partire dall’inizio della propria carriera) bisogna recuperare le citazioni ricevute nelle due banche dati di Web of Science e Scopus e prendere il valore massimo. Un lavoraccio.”. Che lavoraccio… andate su Scopus e guardate il totale poi dividete per l’età accademica: se supera la mediana, siete a posto. Difficile…

    • Caro Ricercatore INGINF05,

      come direbbe un romanziere americano, conviene fare attenzione ai desideri che si esprimono perché a volte si avverano.
      Il problema delle mediane ANVUR non é (solo, o tanto) il fatto che stabiliscono un criterio numerico, se questo serve ad evitare delle vittorie opinabili e, a volte, scandalose.
      Il vero problema sta nella correttezza e completezza dei dati utilizzati per calcolare le mediane, e nell’assoluta opacitá degli stessi, i quali non sono (sinora?) stati resi pubblici da ANVUR, cosí come il software utilizzato per i calcoli.
      Da una rapida verifica su Scopus che mi riguarda, é emerso che:
      1) sono indicizzate solo metá delle mie pubblicazioni
      2) di altri autori sono invece riportate una percentuale maggiore di pubblicazioni
      3) le citazioni delle mie pubblicazioni sono largamente incomplete: i valori riportati da Scopus sono 4.5 volte (si, 450%) piú bassi di quelli di Google Scholar. Anche ammettendo una eccessiva ridondanza e una non eccessiva congruenza dei dati su Scholar, il 450% di differenza mi sembra decisamente eccessivo.

      Tutto questo per dire che qualunque procedura numerica va bene, purché siano verificabili i dati e le procedure di calcolo.
      In questo caso, invece, nessuna delle due verifiche e’ possibile, ed addirittura l’ANVUR dichiara di non ritenersi responsabile di errori ed omissioni (excusatio non petita ….).
      Anche completando ed utilizzando l’ottimo BibAnalyzer si arriva da nessuna parte, visto che l’ANVUR ha messo le mani avanti dichiarando che i valori calcolabili dai singoli differiranno da quelli calcolati da loro: MA STIAMO SCHERZANDO? Dov’é la riproducibilitá dei risultati che, da informatico, dovresti ben conoscere?

      Personalmente, tra il “solito livore contro l’ANVUR” (come dici tu) e l’integralismo talebano di chi vuole i numeri a tutti i costi, anche se sono sbagliati, preferisco il primo, posto che ci sia.

      Infine, anch’io ho subito pensato “con tutti gli impresentabili finiti in cattedra, le mediane saranno basse”. Ed invece, da una rapida verifica a campione nel mio settore (che devo ancora completare), emerge che le mediane pubblicate da ANVUR sono corrette, e non mi sembrano basse. 9-10 pubblicazioni su rivista in 10 anni (per i settori INF/01 – INGINF/05) non sono poche, se pubblichi in posti di prestigio e, quindi, selettivi, e se pubblichi da solo o con pochissimi altri coautori.

      Tuttavia, esaminando da vicino i dati SCOPUS, emerge che la pubblicazione sulla rivista della parrocchia conta esattamente quanto quella sulle migliori riviste, per cui uno che pubblica SOLO su riviste di prestigio e, quindi, con un rate sicuramente piú basso di chi pubblica sul giornalino parrocchiale, rischia di non passare la soglia delle mediane, mentre il nostro chierichietto – che magari pubblica anche articoli a 10 e piú nomi – passa le mediane e spernacchia il fesso che, sino ad ora, ha pubblicato solo in posti prestigiosi.
      Ma ti sembra serio? A me nemmeno un po’….

    • Condivido ogni singola frase.
      Pochi giorni fa ho chiesto ad Elsevier come mai su Scopus mancasse una mia pubblicazione su rivista IEEE. Mi hanno risposto chiedendomi di inviare loro il PDF dell’articolo (!) dopo di che mi hanno detto che ci vorrà qualche mese per aggiornare l’indicizzazione…. :-(
      Per non parlare poi di BibAnalyzer… Dovrei fare ulteriori ricerche per capire come mai usando BibAnalyzer supero due mediane su tre mentre con le mediane ANVUR quella corrispondente al contemporary h-index è maggiore di BibAnalyzer e, purtroppo per me, è identica al mio valore calcolato tramite Scopus? Faccio presente che nel calcolo di questo indice la risoluzione viene ulteriormente ridotta rispetto l’h-index standard o anche rispetto a quello normalizzato visto che dovrò sempre arrotondare all’intero inferiore il numero di citazioni normalizzate.
      Ovviamente in queste condizioni i ricorsi non possono non considerarsi.

    • Io ho trovato molto incoraggiante che “Articoli su rivista sono stati identificati per una percentuale intorno al 96%”. Naturalmente, è più che legittimo concentrarsi sul rimanente 4% e citare controesempi personali, così come è legittimo citare singoli decessi discutendo dell’efficacia di una terapia. Invece, mi preoccupa il 32% di percentuale di identificazioni per gli atti di conferenza, specie per settori (come l’informatica) dove ci sono conferenze molto più selettive della maggior parte delle riviste. Questo però non è un problema solo di Anvur. Sono anni che nei magazine di settore (e.g., ACM Communications) si discute su come superare questa anomalia.

    • Credo che non sia possibile escludere che le discrepanze riguardino percentuali consistenti di candidati all’abilitazione, ma ovviamente andrebbe fatta una verifica generale, motivo per il quale ritengo che ANVUR dovrebbe pubblicare dati di partenza e software di analisi.
      Non riesco a capacitarmi che ANVUR possa pensare di mantenere una intollerabile cappa di opacitá sull’intera procedura.

      Condivido comunque la preoccupazione per gli atti di conferenza, i quali non concorrono a formare la “prima” mediana (numero di pubblicazioni degli ultimi 10 anni), ma che concorrono invece pesantemente nel numero di citazioni e nell’indice h_c.

    • @Ricercatore INGINF05

      Sarebbe bello se esistessero soluzioni semplici per i problemi complessi. C’è un vasto consenso internazionale che la bibliometria non sia la formula magica per la valutazione individuale di ricercatori ed articoli. Da un lato si sono pronunciati in tal senso ricercatori di riconosciuto valore scientifico da D.N. Arnold, ex presidente della Society for Industrial and Applied Mathematics (Integrity under Attack, http://www.siam.org/news/news.php?id=1663, Nefarious Numbers, http://www.ams.org/notices/201103/rtx110300434p.pdf), fino a R.R. Ernst, premio Nobel per la chimica (The Follies of Citation Indices, http://www.chab.ethz.ch/personen/emeritus/rernst/publications). Ancora più significativo è il pronunciamento di numerose società scientifiche internazionali, tra cui la European Physical Society:

      “Although the use of such quantitative measures may be considered at first glance to introduce objectivity into assessment, the exclusive use of such indicators to measure science “quality” can cause severe bias in the assessment process when applied simplistically and without appropriate benchmarking to the research environment being considered. Funding agencies are aware of this, nevertheless experience shows that the reviewing of both individuals and projects on the national and European level is still relying excessively on the use of these numerical parameters in evaluation. This is a problem of much concern in the scientific community, and there has been extensive debate and discussion worldwide on this topic (see for instance [1]).
      Since the very first applications of bibliometric indicators in this way, scientists and science organisations have taken strong positions against such purely numerical assessment. Various organisations in Europe have published studies on their potential adverse consequences on the quality of funded scientific research”

      EPS statement: On the use of bibliometric indices during assessment, http://www.eps.org/news/94765/

      Per altri pronunciamenti relativi ai pericoli degli indicatori bibliometrici, rimando alla bibliografia in fondo al commento. Anche l’agenzia di valutazione nazionale che ha maturato maggiore esperienza, ovvero la britannica l’HEFCE che gestisce il RAE/REF, a seguito di un approfondito studio pilota, si è pronunciata in modo molto chiaro:

      “Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF” (http://www.hefce.ac.uk/pubs/hefce/2009/09_39/)

      Risulta sorprendente che in Italia l’ANVUR, che tra i suoi scopi ha quello di promuovere l’eccellenza dei ricercatori italiani, abbia deciso di servirsi di strumenti ritenuti non adeguati dalla comunità scientifica internazionale. Insomma, si chiede l’eccellenza di livello internazionale ai valutati (cosa legittima, anzi doverosa), mentre i valutatori non si preoccupano di essere all’altezza degli standard internazionali. Ancor peggio, non solo vengono adottati metodi scientificamente deboli, ma la loro implementazione pratica è costellata di errori (Abilitazioni: le mediane di MR. Bean, https://www.roars.it/?p=10504) e di falle tecniche (Mediane d’argilla, https://www.roars.it/?p=9720) tali da rendere i risultati alquanto approssimativi.

      Sembrerebbe che molti ricercatori, eccellenti nel loro campo, ritengano che ciò li abiliti a dare pareri competenti riguardo alle procedure di valutazione senza rendersi conto che esiste una letteratura scientifica autonoma e che da anni non c’è più spazio per il fai-da-te.

      Immaginiamo che io abbia assegnato come tesi ad un laureando la progettazione di un sistema di reclutamento nazionale. Come reagirei se tornasse indietro presentandomi le regole e le procedure prodotte in questi mesi dall’ANVUR? Gli chiederei di riscrivere la tesi da cima a fondo, prestando particolare attenzione ai seguenti punti:

      – documentarsi sulla letteratura bibliometrica internazionale, in modo da non proporre criteri già riconosciuti come inadeguati;

      – studiare in modo approfondito la documentazione di altre agenzie di valutazione nazionali come l’HEFCE britannica e l’ARC australiana, in modo di evitare di ripetere i loro errori (vedi classifica delle riviste australiana) e trarre vantaggio dalle “best practices”;

      – documentarsi attentamente sulle problematiche relative all’affidabilità dei database bibliometrici e quelle relative allo stato dell’anagrafe nazionale della ricerca;

      – evitare l’uso di algoritmi fai-da-te per costruire classifiche o aggregare valutazioni multiple; anche in questo caso affidarsi ad una attenta ricerca bibliometrica e rispolverare gli appunti del corso di analisi dei dati.

      So bene che, messi di fronte all’evidenza scientifica, i fautori della bibliometria dura (utilizzata cioè in modo automatico) sfoderano il cosiddetto “argomento emergenziale”: in Italia la situazione dell’accademia è talmente drammatica che non possiamo permetterci di usare i metodi “normali” e scientificamente validati, ma bisogna ricorrere a strumenti eccezionali. Tuttavia, gli “emergenzialisti”, che invocano la bibliometria dura come terapia d’urto, sono messi a mal partito proprio dalle analisi bibliometriche applicate al sistema nazionale della ricerca. Infatti, lungi dal confermare lo stato agonizzante della ricerca italiana, tali analisi (di fonte terza) mostrano una produzione del tutto commisurata alle risorse disponibili ed anzi una produttività superiore a Francia, Germania e Giappone (Quanta ricerca produce l’università italiana? Risposta a Bisin, https://www.roars.it/?p=8305).

      Senza mettere in dubbio l’esistenza di alcune allarmanti degenerazioni nei processi di reclutamento (da combattere senza esitazione), i dati aggregati non rivelano un paziente agonizzante. Evitiamo pertanto di rinunciare alle cure consigliate dalla scienza medica per ricorrere a dubbie pozioni miracolose consigliate da guaritori autodidatti ed ignari dei ritrovati della scienza. Se abbiamo la bronchite, curiamoci con gli antibiotici piuttosto che assumere improbabili elisir miracolosi. E se anche fosse polmonite, io continuerei a volere gli antibiotici.

      Siamo tutti abbastanza cresciuti per sapere che le politiche emergenziali sono il terreno ideale per coltivare interessi particolari. In alcuni commenti ci si è domandato come mai non si tenga conto delle autocitazioni e del numero dei coautori: sono scelte che favoriscono chi fa parte di laboratori di ricerca dove si producono numerosi lavori a firma multipla che si citano a vicenda.

      Per chiudere, sbaglierebbe chi pensasse che le critiche di Roars riguardino l’eccessiva selettività delle mediane. Le nostre critiche vanno dritte alle precarie basi scientifiche del criterio e alla sua raffazzonata implementazione. A conferma, riporto quanto scritto da A. Banfi:

      “Altro che merito, quindi, la Riforma Gelmini rischia di passare alla storia per aver congegnato uno dei meccanismi di reclutamento meno selettivi di sempre, fondato essenzialmente su basi quantitative, e per aver favorito comportamenti opportunistici che nulla hanno a che vedere con la qualità del personale da reclutare. Del resto il Ministro ne è pienamente consapevole, vista la riluttanza con la quale sono state fatte partire le abilitazioni di prima e seconda fascia e i tentativi falliti (a partire dal cosiddetto decreto per il merito) di farle saltare o comunque di introdurre un limite massimo al numero di abilitati per sessione (un’ipotesi che chi scrive condivide appieno e ha a suo tempo difeso).”

      (A. Banfi , “Abilitazioni: grandi speranze o grandi illusioni?”, https://www.roars.it/?p=10471)

      Bibliografia:

      [1] http://www.nature.com/news/specials/metrics/index.html
      [2] Institut de France, Académie des Sciences, Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs, 17 January 2011 (http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf – english version)
      [3] European Science Foundation, European Peer Review Guide, Integrating Policies and Practices for Coherent Procedures, March 2011 (http://www.esf.org/activities/mo-fora/peer-review.html)
      [4] European Science Foundation, Survey Analysis Report on Peer Review Practices, March 2011 (http://www.esf.org/activities/mo-fora/peer-review.html)
      [5] Peer review in scientific publications, Science and Technology Committee, House of Commons, UK, 18 July 2011 (http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/85602.htm)
      [6] Peer review, A guide for researchers, Research Information Network, UK, March 2010 (http://www.rin.ac.uk/our-work/communicating-and-disseminating-research/peer-review-guide- researchers)
      [7] Swedish Research Council, Quality Assessment in Peer Review, 5 November 2009 (www.cm.se/webbshop_vr/pdfer/2011_01L.pdf)

    • caro collega anonimo INGINF05, una sola domanda: quanti anni hai? intendo anagraficamente… perchè dalle tue righe non riesco a capire se sei a conoscenza del fatto che molti di noi hanno lavorato tanto, tanto, tanto (e per tanti, tanti anni), considerando come priorità la QUALITA’ della ricerca, e non la sua collocazione editoriale. Naturalmente ciò accadeva PRIMA che venissero fuori le nuove regole! Se avessi tempo e soldi, ti manderei i miei 90 articoli (di cui il mitico Scopus ne riconosce 6) e ti chiederei di leggerli uno ad uno, solo per un parere…

  3. “trovare 20 ricercatori che citino cacca non è altrettanto semplice”: sicuro? L’anonimo ricercatore inginf05 ha mai perso tempo per leggere qualcosina sulla manipolazione degli indici bibliometrici, sport amatissimo in paesi dove pure tali indici NON sono un elemento chiave del reclutamento, ma solo uno dei tanti?

  4. Tre grossi dubbi.
    1) Per il calcolo dell’età accademica si considera mese ed anno della prima pubblicazione o solo l’anno (cambia molto se ad esempio il primo lavoro e di Gennaio o di Dicembre di quell’anno!)
    2) L’età accademica va calcolata dal primo articolo in extenso o anche dal primo abstract su rivista (ad esempio l’abstract di un poster presentato ad un congressino qualunque)? Immagino si consideri il primo lavoro in extenso ma vorrei averne conferma!
    3) il numero complessivo delle citazioni ed il valore Hc index sono quelli alla data di pubblicaizone del bando o alla data di presentazione della domanda o alla data in cui i commissari ne prendono visione?
    Fare il login per rispondere

  5. La cosa strana è che dovevano essere requisiti minimi di accesso all’abilitazione. Ma se un sottoinsieme delle pubblicazioni soddisfa i requisiti minimi e l’intero set delle pubblicazioni no, che requisiti sono?

  6. Sottoscrivo in toto le osservazioni di AssociatoINF01.

    Scopus funziona bene solo con l’identificazione di articoli su rivista, molto peggio con l’incrocio delle citazioni (tra articoli indicizzati in Scopus). Confermo che quest’ultimo è difettosissimo (manca, per quanto mi riguarda, nel 75% dei casi).

    C’è di peggio: nel mio SSD le due conferenze più prestigiose al mondo, con revisione anonima (e alto rejection rate) non sono neanche indicizzate, cancellando un’altra grossa fetta di citazioni.

  7. scusate se aggiungo caos al caos
    Qualcuno sa dirmi perche’ il mio macrosettore Economia, insieme ad altri settori come scienze politiche e sociologia, non sono stati proprio inseriti nelle tabelle contenenti le mediane?

    • Perché per le abilitazioni quei settori sono considerati “non bibliometrici”. Le mediane (che secondo l’ANVUR dovrebbero esssere pubblicate “al più presto”) vengono calcolate su altri indicatori. Al riguardo, le consiglio la lettura dell’ottimo articolo di Valeria Pinto:

      De Trinitate (https://www.roars.it/?p=10236)

      Si rassicuri: non è una disquisizione teologica ma discute se le mediane dei settori non bibliometrici saranno due o tre.

  8. A tutte le considerazioni da me condivise riportate nel post, ne aggiungo un’altra.
    Nel D.M. 76 e la Delibera ANVUR N. 50 è espressamente scritto che le mediane dovevano essere pubblicate entro 60 giorni dalla data di emissione degli stessi decreti, vale a dire entro il 7 agosto!

    Io credo sia una pagliacciata che l’ANVUR in una procedura così complessa si prenda il lusso di ritardare la pubblicazione di tali dati violando, di nuovo, quanto da lei stessa dichiarato.

    Avviamo i ricorsi contro questi pagliacci. Io credo sia importante procedere con la valutazione bibliometrica ma evitiamo i pasticci. Se si chiede serietà, occorre averla e mostrarla.

  9. @Giuseppe De Nicolao

    Senza mettere in dubbio l’esistenza di alcune allarmanti degenerazioni nei processi di reclutamento (da combattere senza esitazione), …

    Sarebbe interessante leggere proposte su come queste degenerazioni possano essere combattute in modo efficace.

    • Giuseppe Esposito: “Sarebbe interessante leggere proposte su come queste degenerazioni possano essere combattute in modo efficace.”

      Ecco una proposta fatta da Alberto Baccini:

      “1. Introdurre una soglia minima di produttività (lasciando da parte le citazioni) come condizione per far parte delle commissioni. [Alcuni esercizi svolti per gli economisti mostrano che l’adozione delle soglie indicate dal CUN (calcolate su una database bibliografico internazionale) sono molto più restrittive del criterio della mediana. http://mpra.ub.uni-muenchen.de/38872/ ]
      2. Le commissioni sono informate delle performance citazionali dei candidati (numero di pubblicazioni, IF, H-index o qualsiasi cosa si ritenesse opportuna); i dati citazionali dei candidati sono resi pubblici;
      3. le commissioni fanno il loro lavoro, usando come ritengono tutte le informazioni a loro disposizione, e decidono gli abilitati.
      Trasparenza e responsabilità.

      Siamo invece al balletto delle mediane ed ai giochi di prestigio (l’età accademica che diventa h-contemporaneo etc.etc.). Dall’arbitrio baronale all’arbitrio di chi definisce soglie, indicatori e quant’altro. Senza nessuna trasparenza e senza nessuna responsabilità.”

      (Alberto Baccini, https://www.roars.it/?p=10504#comment-1586)

    • Non voglio commentare il documento del CUN del maggio 2011, che a tratti mi pare una porta aperta al predatory publishing. Pero’ non posso fare a meno di chiedere che senso abbia in questa discussione citare un lavoro che fa una simulazione bibliometrica su settori concorsuali non bibliometrici ed e’ basato sulla personale interpretazione di criteri ancora non completamente definiti e significativamente diversi, nel caso dell’anvur, da quelli effettivamente applicati.
      Non so se e’ questa l’evidenza sperimentale e la letteratura scientifica di cui noi non esperti di valutazione abbiamo bisogno.

    • Grazie del commento che consente di spiegare la differenza fondamentale tra le soglie proposte dal CUN e le mediane ANVUR.

      Le soglie CUN sono criteri *statici*, stabiliti in modo da riflettere una soglia minima di produzione/produttività che si ritiene imprescindibile per la promozione di un candidato. La soglia per la prima fascia sarà ovviamente più alta di quella per la seconda. Devono essere di facile verifica (e nella stragrande maggioranza dei casi lo erano effettivamente): ogni candidato può autovalutarsi e decidere se vale la pena di presentare domanda per l’abilitazione. Idem per i professori ordinari che sanno a priori se hanno i numeri per candidarsi a commissari. Pertanto, il contenzioso è ridotto al minimo. Ancor più importante: non vengono mandati (anche solo implicitamente) messaggi distorti alle commissioni. I requisiti sono *minimi* ed il loro superamento non equivale in nessun modo ad un’abilitazione garantita. L’incentivazione a comportamenti opportunistici nella comunità scientifica è, sperabilmente, limitata. Fare massa in termini pubblicazioni aiuta a superare le soglie, ma si scontra con il successivo giudizio della commissione che potrebbe persino essere influenzata negativamente da un evidente opportunismo del candidato (per es. tanti lavori di basso calibro). Naturalmente, ci possono essere incertezze ed errori nella determinazione delle soglie, ma procedure trasparenti che coinvolgono un organismo rappresentativo come il CUN possono ridurre il rischio di scelte esagerate per eccesso o per difetto.

      Le mediane ANVUR sono criteri *dinamici* che si basano su statistiche dei docenti già in ruolo, rilevate in modo approssimativo mediante database proprietari. Non è detto che riflettano la soglia minima imprescindibile per la promozione dato che possono risultare tropo basse o troppo alte a seconda della qualificazione scientifica dei docenti in ruolo che dipende da ragioni culturali e storiche incluso il blocco dei concorsi (in alcuni settori, vi sono numerosi PA che da tempo hanno la maturità scientifica e i titolo di un PO ma non hanno avuto opportunità di promozione). In fondo al mio commento riporto alcuni esempi specifici di “mediane anomale”. Tra le altre cose, non è garantito che le mediane per diventare PA siano più basse di quelle per diventare PA (si veda il Sett. Conc. 01/A1). Le procedure di calcolo sono contorte (come spiegato nell’articolo oggetto dei presenti commenti) e rendono problematica l’autovalutazione sia per i candidati che per gli aspiranti commissari. Ne segue un aumento del rischio di contenzioso. Come si può desumere dai commenti a questo blog (ma anche altrove) si è diffusa una forte aspettativa sul fatto che il vero scoglio per l’abilitazione sia il superamento delle mediane. E d’altronde, i tempi a disposizione delle commissioni, insufficienti per entrare nel merito dei curricula (Tempi difficili per le commissioni di abilitazione, https://www.roars.it/?p=10362) sembrano convalidare questo pregiudizio. C’è una forte incentivazione ai comportamenti opportunistici e (dato che non si normalizza per il numero di autori) uno sbilanciamento a favore dei laboratori numerosi che sfornano articoli con molti autori. Infatti, l’uso di una soglia “mobile” il cui valore futuro è ignoto spinge alla “raccolta di figurine” (papers e citazioni) sia gli ordinari (per non diventare “zombies” esclusi dalle commissioni) che i candidati. Se poi il giudizio di merito delle commissioni viene percepito come secondario, le potenziali distorsioni di un reclutamento essenzialmente bibliometrico diventano ancora più preoccupanti. Infine, quando i metodi automatici mostrano la corda (vedi problema della normalizzazione per l’età accademica) non resta che tentare maldestri aggiustamenti che incrinano ancora di più la precaria costruzione (vedi indice h-contemporaneo).

      È giusto ricordare che tutti questi problemi erano stati posti all’attenzione dell’ANVUR fin dall’estate scorsa.

      —————————————————————-
      APPENDICE: ESEMPI DI MEDIANE ANOMALE

      =====================
      Settore concorsuale 07/A1 (ECONOMIA AGRARIA ED ESTIMO)
      ————————————
      Soglie abilitazione PA
      # articoli norm. = 2
      # citaz. norm. = 0,33
      indice h_c = 0

      Soglie abilitazione PO
      # articoli norm. = 1
      # citaz. norm. = 0,04
      indice h_c = 0
      =====================

      Come si vede le mediane sono vicine o persino uguali a zero. Forse era un settore concorsuale che non andava aggregato a quelli bibliometrici, ma il risultato testimonia che qualcosa è andato storto.Vediamo un altro esempio

      Settore scientifico 07/A1 (COSTRUZIONI E IMPIANTI NAVALI E MARINI)
      ————————————
      Soglie abilitazione PA
      # articoli norm. = 3
      # citaz. norm. = 0,7
      indice h_c = 1

      Soglie abilitazione PO
      # articoli norm. = 1
      # citaz. norm. = 0,16
      indice h_c = 0
      =====================

      Se non erro, si tratta di un SSD caratterizzato da tormentate vicende concorsuali (http://www.ilbelconcorso.it/) che avrebbe potuto giovarsi di soglie minime capaci di escludere candidati palesemente non all’altezza. Ebbene, proprio in questo caso le mediane ANVUR falliscono miseramente il loro scopo. Infatti, in base alle maldestre regole *automatiche* sulle mediane (Abilitazioni, le mediane di Mr. Bean, https://www.roars.it/?p=10504), il settore scientifico è stato scorporato dal settore concorsuale e si avvale di mediane specifiche che sono particolarmente basse.

      Un altro esempio (il mio settore).

      =====================
      Settore concorsuale 09/G1 (AUTOMATICA)
      ————————————
      Soglie abilitazione PA
      # articoli norm. = 17
      # citaz. norm. = 18,56
      indice h_c = 7

      Soglie abilitazione PO
      # articoli norm. = 16
      # citaz. norm. = 20,34
      indice h_c = 7
      =====================

      In questo caso le mediane per diventare PA e PO sono praticamente equivalenti. Ciò vuol dire che è stato posto un vincolo eccessivo ai candidati PA oppure troppo basso per i candidati PO (o entrambe le cose).

    • roc chiede quale è il senso della citazione nel mio commento riportato da Giuseppe De Nicolao. Il senso è questo: l’articolo mostra (per gli economisti) che l’adozione di una soglia minima di produzione scientifica (non di citazioni!) se ben definita è più selettiva delle mediane ANVUR. A parità di selettività, è da preferirsi il criterio che evita contenzioso, come ha ben spiegato De Nicolao.

    • Grazie della risposta. Della proposta citata mi pare apprezzabile la parte sulla trasparenza, meno chiara quella sulla responsabilità.

      Per combattere un fenomeno, direi che occorre prima identificarlo, chiaramente e univocamente, e poi stabilire che, a valle, deve succedere qualcosa di ben concreto. Quindi, bisognerebbe darsi una risposta a due domande:

      1) Come si fa ad accertare se una commissione ha operato in modo scorretto?
      2) Cosa accade qualora lo si accerti?

  10. “L’è tutto sbagliato, l’è tutto da rifare”: Bartali.
    Detto da uno che era abituato a sudare e scalare in cima, si può accettare. Detto da chi sta sotto in valle no!
    Il termine più importante della frase è “rifare”. Criticare senza l’obbiettivo di rifare non porta a nulla! Sono anni che il sistema del reclutamento è bloccato. Le mediane pongono delle asticelle basse. Eccessivamente basse. Ci sarà una pletora di abilitati. Adesso non serve a nulla litigare. Non serve fare i capponi di Renzo. Bisogna lavorare affinchè le commissioni siano messe in condizioni di fare valere e pesare tutti gli altri parametri che ci sono nel decreto. Si poteva fare meglio? Sicuramente si. Almeno, per questa tornata non sarà possibile abilitare la nipotina del barone di turno. Ma sarà possibile abilitare solo la moglie, professoressa liceale. Possiamo evitarlo? Forse è questa la domanda da porsi. Non facciamo ricorsi, ma facciamo petizioni affinchè non ci sia una abilitazione automatica per chi supera le mediane, ma per dare più peso alle valutazione qulitative che possono fare i commissari leggendo i lavori e valuntando il CV.

    • “L’è tutto sbagliato, l’è tutto da rifare”: non è lo stile di Roars le cui critiche sono di norma circostanziate e supportate da evidenza sperimentale o da letteratura scientifica. Piuttosto, i muri di gomma che eludono i problemi specifici sono il ministro e l’ANVUR.

      Il blocco dei concorsi è dovuto proprio a quei gruppi di opinione che hanno voluto a tutti i costi una riforma quanto meno discutibile e più recentemente hanno sponsorizzato l’adozione di criteri scientificamente precari e persino ritenuti pericolosi dalla letteratura internazionale (per la bibliografia rimando al mio precedente commento: https://www.roars.it/?p=11050#comment-1838).

      Il ritardo nell’avvio delle abilitazioni nazionali è in buona parte dovuto all’ostinazione dell’ANVUR che non si è arresa di fronte all’impraticabilità dei criteri che aveva proposto senza valutarne le conseguenze. Indicare al ministro i criteri da mettere nel D.M “Criteri e parametri” e poi usarne degli altri rendendo la procedura giuridicamente indifendibile è un comportamento che denota incompetenza e irresponsabilità. Se non erano sicuri dei loro criteri, perché hanno respinto al mittente le critiche, del tutto fondate, ricevute in precedenza? Se erano sicuri, come mai hanno preso un abbaglio così grosso? Applichiamo un po’di sana meritocrazia non solo ai concorsi ma anche ai valutatori.

      Se sono malato, prendo le medicine, non le pozioni miracolose. Se in Italia la cultura della valutazione fosse più difusa, sarebbe chiaro che l’anomalia non è chi muove critiche del tutto in linea con la letteratura scientifica internazionale, ma chi fa l’apprendista stregone con strumenti bibliometrici che non domina.

  11. @Giuseppe Esposito: bisognerebbe cominciare a riflettere su due concetti molto anglosassoni (ma in realtá già ben noti nell’Atene del V sec. A.C.) a cui anvur è allergica, ossia trasparenza e responsabilità, e di qui trarre qualche conseguenza. Faremo qualche proposta in merito fra settembre e ottobre.

  12. Non volevo fare polemica con Roars, volevo solo invitare a cambiare rotta ed essere TUTTI un pò più moderati e costruttivi e cercare di trarre il meglio da questa frittata delle mediane, se si può.
    Buon ferragosto a tutti.

  13. Concordo pienamente con tutti I punti del post. Vorrei aggiungere un paio di considerazioni partendo dal mio settore (endocrinologia MED/13, oggi 06 D2). Nel mio settore i parametri stabiliti dall’ANVUR, a differenza di altri dove mi pare di capire dai commenti che i livelli siano bassi, le mediane per PO sono molto alte, determinando un’iperselezione dei candidati. Trovo sbagliato come principio che un associato debba avere il curriculum di un ordinario in carriera da 15-20 anni (immagino che questa sia la mediana della carriera nel ruolo dei PO attuali). A medicina un Ordinario e’ in genere a capo di un gruppo di più persone, e di default moltiplica per n-volte le sue pubblicazioni, a differenza di un ricercatore e di un PA, che in genere lavorano da soli. Sarebbe più giusto che le mediane venissero calcolate al tempo dell’immissione in ruolo dei PO, e sono pronto a scommettere che molto pochi dei PO attuali nel mio settore avevano questi criteri stabiliti dall’ANVUR al tempo della loro chiamata.
    Un altro punto sul quale concordo pienamente e’ la trasparenza dei calcoli. Come puo’ l’ANVUR mettere numeri senza dimostrare come li ha ottenuti. Per fare un esempio nel mio settore, un commissario deve avere 2457 citazioni, e un candidato PO 103.78 citazioni normalizzate. Il numero non torna. L’eta’ media dei miei PO e’ di 60-63, il che significa che non possono avere più di 23.6 di età accademica (2457/103.78=23.6), ossia hanno “medianamente” cominciato a pubblicare all’eta’ di 37 anni!! Non e’ possibile. Io che ho avuto la “sfortuna” di pubblicare al tempo della laurea ho 50 anni e 26 di eta’ accademica
    Infine, conosco colleghi con produzione zero che non hanno nemmeno aperto il sito cineca o Ugov per aggiornare i loro lavori. Mi domando se loro sono stati contati come zero oppure se sono invisibili al sistema, e quindi contribuiscono ad alzare le mediane?

    • Concordo pienamente con quanto scritto dal collega Baroni. Io mi trovo in una situazione molto simile in un settore pure con mediane impegnative (CHIM02). Guardando alla mia attività scientifica da quando sono entrato di ruolo nei ricercatori potrei soddisfare due mediane di tre. Se invece aggiungo i lavori (pochi) fatti prima quando mi arrangiavo con supplenze nella scuola, contrattini da fame e ripetizioni, esco. Non ha molto senso.

    • Grazie del commmento del tutto condivisibile ed estremamente interessante.

      Del tutto condivisibile la richiesta di trasparenza dei calcoli: l’ANVUR dovrebbe mettere a disposizione informazioni molto più complete sui risultati parziali dei calcoli bibliometrici, soprattutto alla luce di quanto segue.

      Trovo di estremo interesse i calcoli sul settore 06/D2. Dai dati pubblicati sembra che l’età accademica dei PO in servizio sia significativamente sottostimata. Provo a tentare una spiegazione, facendo riferimento al mio caso. Sul mio sito docente del CINECA erano già caricate le pubblicazioni a partire dai primi anni ’90, ovvero quelle pubblicazioni che avevo caricato a corredo delle domande per i progetti PRIN (i quali chiedevano le pubblicazioni degli ultimi 10 anni,se ben ricordo). Quando è circolato l’appello per la popolazione del sito docente, ho provveduto a caricare tutti gli articoli su rivista mancanti che partivano dal 1986 (lavoro noioso che mi è costato parecchie ore di lavoro). Così facendo, ho alzato la mia età accademica. Temo che non tutti i colleghi siano stati così volenterosi da inserire le pubblicazioni meno recenti che non erano già presenti nel curriculum. Non aveva particolari motivazioni per farlo chi non aveva intenzione di candidarsi a commissario. Ma anche chi voleva candidarsi a commissario poteva rimandare il popolamento: credo che per gli aspiranti commissari sia possibile completare il popolamento in questi giorni e poi presentare domanda entro il 28 agosto. Ne derivano tre considerazioni interessanti:

      1. Le statistiche in base a cui sono state calcolate le mediane appena pubblicate sono incomplete. Pertanto le mediane hanno una buona probabilità di essere errate.

      2. Le mediane per la selezione degli aspiranti commissari non passano attraverso normalizzazioni per l’età accademica. Pertanto, se qualcuno (per pigrizia o per calcolo) non ha inserito le proprie pubblicazioni, le statistiche sono errate per difetto e rendono più bassa l’asticella per accedere alle commissioni. Per assurdo, potremmo pensare ad un SSD in cui tutti i PO si accordano per svuotare il loro sito docente prima della scadenza per il popolamento. Le mediane pubblicate dall’ANVUR saranno pertanto nulle o irrisorie (se qualcuno si è sottratto all’accordo). Durante il mese di agosto i congiurati inseriscono tutte le loro pubblicazioni nei loro siti docente e in tal modo il 100% dei PO supera l’asticella per diventare commissario. Per quanto ipotetico, questo scenario rivela la fragilità dell’impianto predisposto da ministero ed ANVUR.

      3. Le mediane per le abilitazioni passano attraverso le normalizzazioni. Il fatto che le età accademiche dei PO siano state falsate per difetto può alzare le mediane (normalizzate per età!) che deve superare chi chiede l’abilitazione di I fascia. Infatti, per un PO calcolare le citazioni/anno limitandosi agli anni recenti in cui ha diretto un gruppo di ricerca bibliometricamente prolifico può essere diverso da calcolare le citazioni/anno riferite all’intera carriera compreso il periodo in cui era un oscuro dottorando. I candidati del settore 06/D2 che non superano le mediane potrebbero chiedere il ricalcolo degli indicatori dei PO (che nel frattempo saranno cambiati anche solo perchè qualche aspirante commissario avrà popolato meglio il suo sito docente). A quel punto scatta un effetto domino sui commissari ed anche sugli altri candidati.

      Che dire? La procedura fa acqua da tutte le parti. Per mandare la nave sugli scogli bastava molto meno, ma forse si è voluto avere la certezza del naufragio perché “l’elevata numerosità degli abilitati preoccupa il Ministro” (Mediane ed altre catastrofi: le dichiarazioni del ministro al CUN, https://www.roars.it/?p=10992).

    • Preoccupante lo scenario di possibile falsificazione delle mediane da parte dei PA. Uno scenario facile da realizzare.

  14. Non mi è chiaro se le pubblicazioni che ciascun candidato può presentare ai fini della valutazione nella procedura di abilitazione debbano essere selezionate tra quelle prodotte negli ultimi 10 anni, o se si può spaziare lungo tutto l’arco della propria carriera.

  15. questa storia dell’età accademica è assurda. Uno magari pubblica nel 2001 un articolo a doppia firma nel quale ha dato un contributo modesto, che magari rappresentava solo uno sviluppo della tesi di laurea o le prime elaborazioni successive al dottorato. In ogni caso un contributo “immaturo”. Non a caso lo stesso ricercatore inizia a pubblicare seriamente solo dal 2008 in poi, ottenendo anche bei risultati. Con che diritto il ministero stabilisce che l’età accademica del soggetto si fissa dal 2001? E chi garantisce che un collega in una situazione simile ma più furbo e spregiudicato non possa eliminare dal sito cineca i vecchi articoli? Tutto questo è assurdo! chi non riconosce il carattere kafkiano di questa situazione è solo un battitore libero che si è fatto i suoi calcoli e ritiene che la situazione gli stia bene. Ma da qui a considerarlo in linea con gli interessi dell’università italiana c’è un abisso.

    • Certamente ho fatto i mei calcoli. E se toglissi i lavori dei primi 4 anni di attivita’ sarei messo ancora meglio. Ma non li tolgo perche’ ho paura di finire in prigione.

      A me interessa dare numerosi ed indipendenti contributi scientifici
      molto innovativi. E penso che questo possa essere implicitamente in linea con gli interessi dell’universita’ italiana. O no?

  16. Concordo al 100 per 100 con Ricercatore INGINF05.

    Trovo vergognosamente basse le mediane di certi settori.

    Avendo lavorato per alcuni anni in un altra area, so che la gente li fa poco, ma non pensavo cosi poco.

    In quel periodo, in ufficio, io passavo il tempo a fare conti e il mio collega non faceva una mazza aspettando l'”illuminazione” (testuale !!!). Illuminazione che si concretizzo per lui in un posto di RU (dal quale non si e’ piu’ schiodato) con il suo linceo boss in commissione.

    Le mediane del mio settore sono tra le piu’ alte di tutti i settori bibliometrici. Nonostante questo, come ho gia’ scritto, diversi PA che conosco (ed anche ric. di enti di ricerca) hanno valori
    ben al di sopra di queste mediane.

    Provocazione: se fossimo in Giappone i PO sotto le mediane si … .

    • Certo certo, va tutto bene madama la marchesa.
      Tanto c’e’ quel pirla di …. che lavora per tutti, mentre noi discutiamo nei blog di quanto siamo fighi.

  17. @lusa. Permettimi una domanda: accetteresti di essere considerato “sotto mediana” se il database utilizzato per i calcoli contiene la metá delle tue pubblicazioni ed 1/5 delle tue citazioni, e ti fosse per giunta detto che é inutile che tu cerchi di riprodurre i risultati tanto verranno di sicuro diversi, e che i dati utilizzati sono invece verosimilmente incompleti ed errati?
    Perché é (anche) di questo che stiamo parlando.

    • Negli ultimi 12 anni della mia carriera ho scelto accuratamente le riviste dove pubblicare al fine di massimizzare la mia visibilita’ su ISI.

      Cio’ non toglie che io abbia piu’ di venti articoli sui libri ed un’altra decina su riviste non indicizzate ISI. E naturalmente il mio h-index su scholar risulta H+3, per non parlare e del mio contemporary h-index che su scholar e’HC+4.

      La carriera va programmata e curata giorno per giorno. Sapendo che ci sono sempre persone cattive pronte a distruggerti.

    • Pensa che c’è chi invece di programmare la carriera ha pensato a produrre contributi scientifici significativi. Aggiungo anche che in certe aree “massimizzare la visibilità ISI” è sostanzialmente impossibile visti i buchi che presenta il loro database.
      Per me H_index_scholar=10+H_index_ISI. In sostanza per la mia area i numero nei database “ministeriali” sono casuali (anzi, peggio, ci sono sottoaree coperte meglio e altre coperte peggio per cui per passare la mediana devi essere di una certa sottoarea).

    • @lusa: non mi sembra che sia stata data risposta alla mia domanda, e credo di intuire il perché.

  18. Premetto che condivido moltissime perplessità finora qui espresse. Trovo anche singolare che in alcuni SSD per abilitarsi come PO si possano avere parametri inferiori che per abilitarsi a PA.
    Penso tuttavia che sarebbe un peccato buttare tutto a mare e far fallire questa tornata di abilitazioni. Le commissioni che non volessero rischiare ricorsi potrebbero forse provare ad avvalersi della famosa discrezionalità che secondo alcune interpretazioni potrebbe essere usata, ed ammettere alla valutazione di merito sia chi supera la mediana di hc sia chi supera quella di h diviso per età accademica (sempre che ANVUR abbia la bontà di fornirla per i vari SSD). Poi le commissioni dovrebbero entrare nel merito dei curricula guardando gli altri parametri (soprattutto posizione del nome nella lista degli autori in lifescience dove è pieno di curricula “trainati”). In questo modo forse si potrebbero evitare ricorsi basati sulla difformità di hc rispetto al decreto ministeriale senza che questo crei troppi danni.

    • In occasione dell’audizione del ministro del 25 luglio scorso, molto opportunamente il CUN ha avanzato richiesta di interpretazione autentica relativamente alla possibilità che le commissioni di abilitazione possano discostarsi dall’adozione “automatica” del criterio della mediana ed anche relativamente al concetto di normalizzazione per età accademica (m-index o contemporary h-index?) (“Mediane ed altre catastrofi: le dichiarazioni del ministro al CUN”, https://www.roars.it/?p=10992).

      Se le commissioni potessero avvalersi della discrezionalità, rimarrebbe comunque il rammarico per aver ritardato un bando che, senza perdere tempo nella predisposizione di pericolanti orpelli bibliometrici, avrebbe potuto essere pubblicato già nell’autunno scorso, dando alle commissioni tutto il tempo necessario per un esame serio dei curricula.

    • D’accordo, però resta un problema: su quali criteri saranno selezionate le commissioni? un membro di commissione tende “naturalmente” a riprodurre il criterio in base al quale è stato selezionato. Se allora il problema sussiste, è a partire dalla formulazione delle commissioni che deve essere posto. Il caso Federico è solo la punta di un iceberg di pasdaran della peggiore bibliometria che infesta l’ANVUR. Commissioni costruite su queste basi ideologiche non sono degne della minima fiducia. Per questo spero che il ricorso dei costituzionalisti faccia saltare tutto. Gli ipocriti finti-meritocrati devono andare a casa.

  19. Ho fatto i conti ANVUR. Posso fare l’abilitazione nazionale poiche’
    supero 2 indicatori su 3. I due indicatori abbondantemente superati
    sono il “contemporary h index” (15) e il numero di citazioni
    normalizzate (64), nonostante quest’ultimo sia fortemente penalizzato
    da una pubblicazione precoce avvenuta quando ero ancora studente.
    Quello non superato e’ quello degli articoli degli ultimi 10 anni: uno
    di meno del necessario. Premesso questo, dico che la mia fiducia circa
    l’attendibilita’ degli indicatori bibliometrici come misura della
    qualita’ scientifica di un ricercatore e’ pari a zero virgola
    zero. Conosco una infinita’ di capre assolute con h-index elevati o
    lunghissime liste di pubblicazioni. Gente che ha impiegato tutta la
    propria attività di ricerca sempre sulle spalle dei giganti per
    manipolare a fini carrieristici gli indici bibliomerici o per allungare
    un insipido brodo di pubblicazioni senza senso altamente citate da
    loro stessi e dai loro amici. Andando avanti con queste idiozie
    assolute (di un provincialismo che addolora, tra l’altro) finiremo per
    distruggere cio’ che deve guidare la ricerca scientifica: la passione
    e la curiosita’, per la la scienza e non per h-index. Voglio
    raccontare una storiella a questo proposito: in un isola tutti i
    nativi suonano il tamburo. Ci sono tamburi di tutti i tipi, alti
    bassi, larghi, tamburi solo tamburi e sull’isola l’unica musica che si
    sente e’ sempre la stessa: tum tum tum,.. Un bel giorno sulla
    spiaggia uno dei nativi trova un violino con tanto di archetto,
    arrivato li’ chissa come. Il nativo porta trafelato lo strumento
    sconosciuto dal capo del villaggio che guarda perplesso l’archetto poi
    guarda ancora piu’ perplesso lo strumento soppesandolo attentamente da
    ogni lato. Improvvisamente il suo volto si illumina, getta via
    l’archetto, mette il violino rigirato con le corde appoggiate sulle
    sue ginocchia e si mette a suonarlo come un tamburo. Tutti i nativi si
    uniscono al capo in una apoteosi di tamburi.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.