Finalmente uniti nel nome delle mediane?

L’amore ai tempi del colera narra di una passione che raggiunge il suo coronamento dopo 51 anni, 9 mesi  e un giorno. Un rapporto non meno difficile è quello tra ANVUR e CUN, ma gli ultimissimi sviluppi lasciano intravvedere la possibilità di una svolta dopo lunghi mesi di aspre e profonde incomprensioni.

Ieri, è stata pubblicata la deliberazione dell’ANVUR su

Modalità di calcolo degli indicatori da utilizzare ai fini della selezione degli aspiranti commissari e della valutazione dei candidati per l’abilitazione scientifica nazionale.

Chi ha avuto la costanza di leggere il documento fino in fondo si è trovato di fronte ad un coup de théâtre: il terzultimo articolo (Art. 16 – Definizione della mediana per livelli inferiori al settore scientifico disciplinare) assegna un ruolo fondamentale al CUN nella gestione di possibili eccezioni al calcolo standard dei criteri di selezione dei commissari e dei candidati. Si tratta di un colpo di scena perché, sul tema delle abilitazioni scientifiche nazionali, già da un anno ANVUR e CUN, da veri duellanti conradiani, avevano ingaggiato un confronto che sembrava lontano dall’essersi esaurito, (Dossier CUN: l’Abilitazione scientifica nazionale, Giugno 2012). Ma, prima di interrogarci su questa svolta, sarà meglio ricapitolare gli eventi.

In mediana stat virtus?

“In principio era la mediana”, potremmo dire. Fin dalle prime mosse, l’uso della mediana come criterio di selezione è stato il segno distintivo delle proposte dell’ANVUR in materia di abilitazione scientifica nazionale (Documento 1/2012 e 2/2012). Non è difficile spiegarne il funzionamento Una volta compilata una classifica, si tratta di tenere solo la metà migliore dei candidati scartando la metà peggiore. Il punteggio che separa i sommersi dai salvati è la cosiddetta mediana della distribuzione. In nome della meritocrazia, l’ANVUR proponeva di ammettere alle procedure di abilitazione solo i candidati il cui punteggio superasse la mediana dei punteggi dei professori del ruolo a cui si desiderava accedere. In concreto: per ottenere l’abilitazione alla prima fascia era indispensabile avere un punteggio maggiore della metà dei professori di prima fascia attualmente in servizio. In modo del tutto analogo, poteva ambire all’abilitazione di seconda fascia solo chi avesse superato metà dei professori di seconda fascia attualmente in servizio. Infine, meritocrazia anche per i commissari: solo la metà “migliore” dei professori di prima fascia poteva candidarsi al sorteggio per entrare nelle commissioni giudicatrici. Splendido: finalmente criteri oggettivi e meritocratici che escludono dalle commissioni e dalle promozioni fannulloni ed incapaci. O no?

Come al solito, il diavolo si nasconde nei dettagli ed il problema sta nella definizione e nel calcolo dei punteggi che servono a dare i voti ai ricercatori. Nella comunità scientifica internazionale c’è parecchio scetticismo sulla possibilità di effettuare comparazioni individuali sulla base di criteri puramente quantitativi come il numero di articoli, le citazioni, l’h-index o il numero di articoli pubblicati in una selezione di riviste etichettate come “eccellenti” da qualche comitato più o meno illuminato:

Since the very first applications of bibliometric indicators in this way, scientists and science organisations have taken strong positions against such purely numerical assessment.

EPS statement: On the use of bibliometric indices during assessment

Nel caso italiano, nemmeno il calcolo è esente da problemi. Per quanto incredibile, sembra che le mediane, invece di essere correttamente calcolate in relazione alla produzione scientifica complessiva, verranno valutate relativamente ai soli lavori che i docenti di buona volontà avranno caricato nel loro sito docente ufficiale.

Inoltre, anche chi ha fede nell’uso di questi criteri, non può negare che i punteggi possono variare in modo significativo a seconda degli ambiti di ricerca. Come ben illustrato da Alberto Baccini è impossibile confrontare le citazioni di uno studioso di storia del pensiero economico con quelle di un economista politico, che pure appartengono allo stesso settore concorsuale. Ignorare queste differenze vorrebbe dire negare l’accesso alle commissioni e persino l’abilitazione scientifica non in base all’impegno e alla bravura, ma in base agli argomenti di ricerca. Come venirne fuori? Se un settore concorsuale contiene più settori scientifici le cui le “abitudini bibliometriche” non sono paragonabili, è necessario rinunciare all’uso di un’unica mediana e calcolare mediane distinte per ogni settore scientifico. Nell’art. 15 della deliberazione ANVUR sono riportate le regole che stabiliscono quando si userà una sola mediana per tutto un settore concorsuale e quando si useranno due o più mediane distinte, riservando ad alcuni settori scientifici criteri di giudizio più benevoli rispetto agli altri.

L’art. 15, se da un lato contiene alcune regole oggettive, introduce però una clausola che consente di usare mediane specifiche anche per SSD di dimensione inferiore a 30 professori ordinari, a fronte di

evidenti eterogeneità negli indicatori non dipendenti dalla produttività degli autori ma da differenze strutturali nelle modalità di ricerca e pubblicazione dei risultati scientifici

I termini usati (“evidenti”, “eterogeneità”, “dipendenza dalla produttività”, “differenze strutturali”, “modalità di ricerca e pubblicazione”) sono ambigui e danno luogo ad un’ampia discrezionalità che mette in mano all’ANVUR la possibilità di discriminare favorevolmente o negativamente interi SSD. Ma questo è solo un antipasto.

La backdoor dell’ANVUR

Le backdoor in informatica sono paragonabili a porte di servizio (cioè le porte sul retro) che consentono di superare in parte o in tutto le procedure di sicurezza attivate in un sistema informatico o un computer entrando nel sistema stesso.

http://it.wikipedia.org/wiki/Backdoor

Già nel documento ANVUR del 25 luglio 2011, un lettore attento avrebbe notato l’esistenza di una scappatoia per “ripescare” gruppi di commissari e candidati. Proprio come un programmatore astuto, l’ANVUR, mentre definiva criteri severi e automatici, aveva riservato a se stesso uno strumento per attenuare il rigore del criterio della mediana. In presenza di “distribuzioni multimodali” era prevista la possibilità di utilizzare più mediane all’interno dello stesso SSD. La motivazione è del tutto sensata: per esempio, sarebbe ingiusto usare una sola mediana, se nello stesso SSD convivessero ricercatori teorici che pubblicano molti articoli e si citano ampiamente tra di loro e ricercatori sperimentali la cui prolificità scientifica è limitata dai tempi necessari a predisporre ed eseguire gli esperimenti.

Tuttavia, riconoscere l’esistenza di due o più comunità scientifiche distinte solo sulla base delle statistiche bibliometriche è tutt’altro che banale. Infatti, dal punto di vista statistico si tratta del problema del riconoscimento automatico del numero di componenti di una “mistura di distribuzioni”, un problema la cui difficoltà è testimoniata dal numero di  approcci proposti in letteratura (Oliveira-Brochado and Martins, 2005).

Dato che non esiste un modo univoco di determinare il numero di componenti, potrebbe esserci margine per decisioni discrezionali. A fronte di una situazione statisticamente incerta, si sceglie il numero di mediane in funzione della volontà di favorire o meno alcuni gruppi di ricercatori e si dà una giustificazione “scientifica” adottando, tra i tanti metodi statistici, quello che conferma la scelta discrezionale. Insomma, c’è il rischio che la valutazione della multimodalità si svolga nell’ombra del retrobottega e che sia condizionata da pressioni e negoziazioni. Per avere garanzia di imparzialità bisognerebbe che la metodologia di analisi, unica per tutti i SSD, venisse dichiarata in anticipo e che l’ANVUR si impegnasse a pubblicare le statistiche bibliometriche in modo da consentire verifiche indipendenti. Uno scenario auspicabile ma tutt’altro che certo. In ogni caso, le eccezioni che verranno introdotte non passeranno inosservate ed esporrebbero l’ANVUR a critiche, anche severe, di possibili favoritismi.

La mossa del cavallo ….

Nell’art. 16 della sua delibera, l’ANVUR affida al CUN proprio il compito di

verificare se le multimodalità riscontrate siano dovute a differenze oggettive nelle consuetudini di pubblicazione di insiemi omogenei di docenti afferenti al SSD.

A più riprese, il CUN ha criticato nel metodo e nel merito i criteri e i parametri proposti dall’ANVUR. Di conseguenza, per quanto l’ANVUR si riservi la decisione finale, è sorprendente che affidi al CUN un compito così delicato, come la giustificazione statistica del “ripescaggio” di commissari e candidati. Come spiegare questa svolta?

L’ANVUR è oramai consapevole che il suo castello di criteri bibliometrici corre il rischio di accartocciarsi sotto l’urto dei ricorsi, di cui quello annunciato dall’Associazione Italiana dei Costituzionalisti potrebbe essere solo l’avanguardia. Soprattutto nelle aree non bibliometriche, il contenzioso legale potrebbe provenire dai professori ordinari esclusi dalle commissioni in base a criteri che si limitano a contare le pubblicazioni di più vario genere o che si basano su classifiche delle riviste varate in modo frettoloso. Ecco allora una vera e propria “mossa del cavallo“.

Dare la possibilità di negoziare mediane più benevole divide il fronte degli scontenti separando i critici più radicali da chi si accontenterebbe di una mediana più blanda che lo riammetta al sorteggio dei commissari, riducendo nel contempo l’eventuale handicap dei propri allievi, “colpevoli” di pubblicare poche monografie invece di numerosi articoli oppure di pubblicare articoli in riviste che non hanno ottenuto il bollino dell’eccellenza.

Ancor meglio se il “lavoro sporco” della negoziazione può essere delegato al CUN. Quando sui quotidiani a diffusione nazionale i cantori della meritocrazia lamenteranno i ripescaggi e le scappatoie a favore di qualche “barone” in difficoltà, l’ANVUR avrà buon gioco a chiamarsi fuori. Potrà infatti recitare il ruolo del riformatore coraggioso che, pur di salvare dal naufragio la barca delle abilitazioni nazionali, ha dovuto fare qualche concessione tattica alla corporazione baronale dei difensori dello status quo, rappresentata da quel dinosauro del CUN, relitto di un passato in via di estinzione.

 

… o la mossa della disperazione?

Rimane però un dubbio. L’ANVUR ha lanciato la sua esca facendosi forte del consenso preventivo del CUN o piuttosto, trovandosi alle corde, sta cercando di levarsi dall’angolo con una mossa tanto abile quanto azzardata?

Se il CUN accettasse di giocare un ruolo cruciale nella definizione delle eccezioni ai criteri che selezionano commissari e i candidati, l’ANVUR depotenzierebbe l’unica voce critica di natura istituzionale. Non sarebbe pensabile, infatti, continuare a criticare criteri e procedure mentre si collabora attivamente a gestire la macchina delle abilitazioni.

Le prossime ore saranno decisive per capire se siamo di fronte all’inizio di un nuovo corso. Il CUN, indebolito dalla pressione della sua base, esasperata dal blocco pluriennale di reclutamento e promozioni, accetterà l’esca in nome della realpolitik e di una presunta riduzione del danno? Oppure, declinerà l’offerta ribadendo ancora una volta le sue critiche all’impianto regolamentare voluto dall’ANVUR tanto scientificamente debole quanto giuridicamente fragile?

 

Appendice: “On the use of bibliometric indices during assessment”

Sulla problematicità dell’uso degli indicatori bibliometrici nella valutazione individuale, viene di seguito riportato un estratto di una recente presa di posizione della European Physical Society e i riferimenti in essa citati.

Although the use of such quantitative measures may be considered at first glance to introduce objectivity into assessment, the exclusive use of such indicators to measure science “quality” can cause severe bias in the assessment process when applied simplistically and without appropriate benchmarking to the research environment being considered. Funding agencies are aware of this, nevertheless experience shows that the reviewing of both individuals and projects on the national and European level is still relying excessively on the use of these numerical parameters in evaluation. This is a problem of much concern in the scientific community, and there has been extensive debate and discussion worldwide on this topic (see for instance [1]).
Since the very first applications of bibliometric indicators in this way, scientists and science organisations have taken strong positions against such purely numerical assessment. Various organisations in Europe have published studies on their potential adverse consequences on the quality of funded scientific research

[1] http://www.nature.com/news/specials/metrics/index.html
[2] Institut de France, Académie des Sciences, Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs, 17 January 2011 (http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf – english version)
[3] European Science Foundation, European Peer Review Guide, Integrating Policies and Practices for Coherent Procedures, March 2011 (http://www.esf.org/activities/mo-fora/peer-review.html)
[4] European Science Foundation, Survey Analysis Report on Peer Review Practices, March 2011 (http://www.esf.org/activities/mo-fora/peer-review.html)
[5] Peer review in scientific publications, Science and Technology Committee, House of Commons, UK, 18 July 2011 (http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/85602.htm)
[6] Peer review, A guide for researchers, Research Information Network, UK, March 2010 (http://www.rin.ac.uk/our-work/communicating-and-disseminating-research/peer-review-guide- researchers)
[7] Swedish Research Council, Quality Assessment in Peer Review, 5 November 2009 (www.cm.se/webbshop_vr/pdfer/2011_01L.pdf)

Print Friendly, PDF & Email

22 Commenti

  1. Ma se si abbassa l’asticella con mediane più benevoli, che vantaggio se ne ha? Ci saranno più abilitati, certo, ma tanto le università non hanno i soldi per assorbirli, quindi si creano solo false illusioni. E tra l’altro mi chiedo se una università è disposta a prendere un abilitato che non è già strutturato in quella sede…
    Non mi pare di avere letto nulla riguardo le autocitazioni, qualcuno ne sa qualcosa?

    • Bisogna distinguere tra vantaggi individuali e collettivi. Per i singoli l’asticella fa molta differenza dato che, pur essendo vero che l’abilitazione è solo il primo passo, senza di essa si rimane al palo e si viene superati dagli altri concorrenti. Per i singoli ordinari è innanzitutto vitale non essere esclusi dalle commissioni e per i singoli candidati non essere esclusi dall’abilitazione. Se gli abilitati saranno, come probabile, molto maggiori delle capacità di assorbimento delle università, i poteri locali giocheranno un ruolo decisivo nella scelta degli “eletti”. Chi è forte a livello locale non teme una possibile onda di abilitazioni, anzi. Le false illusioni saranno quelle di chi non ha appoggi, non di chi ha le spalle coperte. Pertanto, la lotta per le asticelle è tutt’altro che irrilevante. A maggior ragione, se le asticelle possono essere usate per includere o escludere amici e nemici.

      Chiamate di esterni: la 240 prevede una percentuale di chiamate di esterni. Senza questo vincolo il minor costo della promozione di un interno sarebbe un criterio quasi sempre decisivo.

      Autocitazioni: non viene fatta distinzione tra citazioni e autocitazioni.

  2. IL BACIO DELLA MORTE

    Delibera ANVUR n. 50 del 21/06/2012
    Art. 16.3

    “Il CUN, nei casi in cui ritenga possibile l’identificazione mediante indicatori quantitativi di sottoinsiemi omogenei di docenti, propone all’ANVUR una partizione del SSD in insiemi omogenei.”

    Una volta stabilito che un SSD comprende più sottoinsiemi omogenei, a cui si asociano asticelle (mediane) di diversa altezza, la partizione dei professori nei due o più gruppi è un passaggio decisivo. Nel mio articolo faccio riferimento ad un ipotetico SSD in cui convivono:

    A. teorici (che pubblicano e citano molto);
    B. applicativi (bibliometricamente meno prolifici).

    Se la mia ricerca stesse a cavallo tra teoria ed applicazioni potrei esssere escluso se considerato teorico (nel qual caso si applica l’asticella più alta) ed incluso se considerato applicativo (nel qual caso vale l’asticella più bassa). Come sarà possibile decidere se un singolo ricercatore appartiene al gruppo A o B? In base alla “scuola scientifica”? In base al proprio “maestro”? In base alla sede di appartenenza? L’articolo 16.3 della delibera ANVUR parla di indicatori *quantitativi*, ma non li specifica. Potrebbero essere scelti in modo finalistico alla luce del risultato che si desidera ottenere (favorire una scuola scientifica o una sede, per esempio). Se gli allievi di un maestro pubblicano prevalentemente in una certa rivista, userò il numero di articoli pubblicati in quella sede come indicatore “oggettivo” di appartenenza al sottoinsieme omogeneo cui si applica la “mediana speciale”.

    Vista la libertà nella scelta degli indicatori quantitativi (e pertanto adattabili per giustificare decisioni prese in altro modo) la proposta di partizione affidata al CUN potrebbe sconfinare in forme di selezione “ad personam” o quasi. Insomma, al CUN viene affidato (almeno in fase istruttoria) un potere di ripescaggio quasi individualizzato. Un vero e proprio mostro giuridico, capace di stringere in un abbraccio mortale chi accettasse di farsene carico.

    • Provo a contestualizzare in poche righe limitandomi a mettere insieme i fatti e cercando di non interpretare: l’anvur parte due anni fa con questo lavoro “organizzativo” delle abilitazioni, è un lavoro difficile ma l’anvur lo rende impossibile con delle trovate scientificamente improponibili ed operativamente impraticabili; si arena per mesi su problemi di ogni tipo e in effetti la pressione della base (e non solo) per la ripartenza delle procedure concorsuali sale fino a che, non piu di due settimane fa, è di fatto scaricato dal ministro con il decreto merito …

      Qualcuno sta iniziando a realizzare, appunto, che questo “cosa delle mediane” non sta in piedi

      e la stessa ANVUR si sta preoccupando allora manda lettere alla CRUI, inventa la mediana delle libertà, cerca il coinvolgimento del CUN con i pdf on line … la prossima che si puo prevedere è una richiesta ai candidati di fare una autovalutazione tipo test di ingresso alle abilitazioni … cosi da snellire le procedure e prevenire ricorsi…

      se ANVUR vuole davvero un coinvolgimento ampio di altri soggetti, tra cui il CUN, puo iniziare a cestinare le mediane e fare riferimento a proposte piu solide – a questo link una proprio dal CUN che oggi è chiamato in causa

      http://www.cun.it/media/113271/do_2011_05_24_002.pdf

  3. Mi scuso in anticipo per l’ingenuità della domanda, ma mi sono chiesto sin dall’inizio di questa discussione sulle mediane come si potesse porre un valore COMPARATIVO come criterio che deve decidere di un’abilitazione (ergo di una capacità a ricoprire un certo ruolo o svolgere un certo compito). Se devo valutare la capacità di un piastrellista valuterò se sa mettere giù lepiastrelle o quante ne mette giù in una giornata, non se ne mette di più o di meno rispetto ai piastrellisti dei dintorni. La seconda valutazione la farò solo se devo assumerne un numero limitato.

    Ora, se a quanto pare il calcolo delle mediane risulterà oggetto di contenzioso e di pressioni, mi sembrerebbe che il quadro che si profila sia quello di una lotta di tutti contro tutti per comparire nella parte superiore della serie, sapendo che se qualcuno viene spostato sopra, qualcun altro per ciò stesso verrà spostato sotto. Spero di aver frainteso, perché se la situazione è questa intravedo un orizzonte conflittuale di portata tale da non lasciare pietra su pietra dell’istituzione universitaria.

    • Nessun fraintendimento. Ha capito benissimo.

      L’altra faccia della lotta di tutti contro tutti, è l’incentivazione di comportamenti opportunistici: coautori fittizi, autocitazioni, gentili scambi di citazioni, e così via.

      Il professore ordinario avrà buon gioco a chiedere di essere inserito tra gli autori di tutti i lavori dei colleghi che devono ancora fare carriera. È nel loro interesse che il “capo” superi la mediana bibliometrica e sia sorteggiabile come commissario. Negli articoli si presterà attenzione a citare i lavori precedenti del gruppo, soprattutto quelli utili a far salire l’h-index degli autori. Senza scordarsi di citare i lavori dei gruppi di ricerca “amici”, pronti a restituire questo tipo di favori. Un po’ come collezionare e scambiare figurine. Se si è in tanti, è più facile completare l’album.

      Vita dura per i “cani sciolti” che pubblicano da soli e non partecipano agli scambi di citazioni. Benvenuti nella meritocrazia bibliometrica all’italiana.

    • Scusate ma adesso sono io che non capisco: mi sembra che il sistema basato sulle mediane sia comparativo ma NON competitivo. Ovvero: il requisito minimo per l’abilitazione è stabilito in modo comparativo essendo basato sulla mediana della produzione scientifica di chi già ricopre il ruolo in questione; ma questo non esclude che TUTTI i partecipanti possano essere abilitati (se per ipotesi superassero tutti la mediana) quindi non è un processo competitivo. La questione del numero limitato/illimitato delle cattedre non mi sembra dunque rilevante (…o mi sono perso qualcosa?)

    • Quando ci sono da fare delle scelte (nel reclutamento e nelle promozioni), il sistema diventa per forza competitivo (anche se tutti superassero l’abilitazione, la competizione subentrerà nei concorsi locali). Il vero problema non è tanto la competizione quanto averla indirizzata verso obiettivi sbagliati incentivando comportamenti dannosi per la collettività.

      In ogni caso, il sistema è sicuramente competitivo per gli ordinari che desiderano essere sorteggiabili nelle commissioni. Chi “perde” nella gara a incrementare gli indicatori bibliometrici rimane escluso. Una “corsa” ad inflazionare gli indicatori non è da escludere.

      Per quanto riguarda gli altri (associati, ricercatori, etc), l’obiettivo di raggiungere una soglia “mobile” (non è dato sapere quale sarà la mediana che dovrò superare in futuro) costituisce un forte incentivo a collezionare e scambiare più “figurine” che si può (una forma di competizione distorta). Infatti, c’è il pericolo di non averne abbastanza al momento cruciale.

      Per i settori dove non si pubblica da soli, la competizione trova una realizzazione distorta soprattutto a livello di scuole e di gruppi. Riprendo l’esempio di “teorici” e “applicativi” in uno stesso SSD, con i teorici che pubblicano e si citano di più. Gli ordinari “teorici”avranno più probabilità di superare la mediana e, pertanto, di diventare commissari. Gli associati “teorici” a loro volta avranno più facilità a superare la mediana per diventare ordinari. Aumentando il numero di coautori e di scambi di citazioni, i “teorici” possono accelerare il processo di estinzione degli “applicativi”.

      Sono immaginabili altre varianti. Da un lato i gruppi di ricerca numerosi e dall’altro i gruppi meno numerosi. Nei gruppi numerosi gli ordinari impongono la loro firma in tutti gli articoli del gruppo e si fanno citare in modo da incrementare l’h-index. Così facendo, si garantiscono la presenza nelle commissioni e fanno anche salire la mediana. Avendo l’accortezza di inserire tra gli autori (e tra i citati) gli associati e i ricercatori della cordata, un gruppo numeroso diventa una vera e propria “macchina da guerra bibliometrica”. I gruppi più esigui o quelli che non si adeguano, corrono il rischio di vedere i loro ordinari sotto la mediana (e quindi fuori dalle commissioni), mentre associati e ricercatori arrancano per stare dietro ai colleghi che usufruiscono della spinta di una cordata numerosa.

      C’è anche un problema dentro i dipartimenti. In vista delle prossime abilitazioni i dipartimenti stanno cercando di capire come faranno ad assegnare delle priorità nella distribuzione delle risorse (leggi: in quali SSD bandire i posti). Se i regolamenti delle abilitazioni assegnano questa importanza alla bibliometria, è difficile pensare che non si facciano classifiche di h-index anche dentro i dipartimenti. Di nuovo, un forte incentivo alla raccolta di figurine che favorisce le cordate numerose e spregiudicate.

      Last but not least, c’è il problema relativo ai “valori”. Sarebbe disastroso se crescesse una generazione di ricercatori che percepiscono come fine ultimo quello di raccogliere e scambiare figurine.

    • Caro De Nicolao,

      Apprezzo molto i tuoi contributi, e anch’io ho ben chiari i problemi nell’utilizzo di indicatori bibliometrici e le distorsioni che potrebbero generarsi.
      E’ chiaro che impostare le politiche di ricerca a medio e lungo termine sugli indicatori bibliometrici sarebbe folle, ma per raddrizzare il timone nell’immediato forse non sono il male assoluto.
      Cerco di spiegarmi: in questi giorni, nel mio SSD (ma credo anche in altri) stanno circolando delle tabelline di indicatori relativi alle varie fasce di docenza. L’idea è quella di tenersi pronti all’eventuale richiesta di “soccorso” da parte dell’ANVUR nel calcolo delle mediane. Secondo il mio modesto parere, questi ranking non vanno molto lontano da quello che il buon senso (o gli standard internazionali) potrebbero produrre. In altre parole, trovo nella parte alta le persone a cui riconosco statura scientifica e visibilità internazionale, e in quella bassa quelle meno produttive e/o meno visibili a livello internazionale. Per quanto opinabile, è il tipo di ranking che mi aspetterei in un paese “normale”.
      Al contrario, il confronto con i risultati prodotti dalle commissioni giudicatrici delle ultime valutazioni comparative (2010) è impietoso. Ho l’impressione che neanche le più improbabili combinazioni “nonnapaperesche” di questi indici sarebbero riuscite a produrre l’obbrobbrio che (sempre a mio modesto parere) tali commissioni avevano giustificato con giudizi analitici gonfi di “congruo numero di pubblicazioni”, “adeguate citazioni”, etc. Basta dirti che alcuni idonei per la prima fascia nel 2010 si trovano al di sotto delle soglie di accesso per l’abilitazione alla seconda fascia.
      Da ingegnere abituato a valutare i sistemi non solo sulla base delle condizioni a priori, ma anche dei risultati che producono, mi chiedo allora: nel breve termine, se l’alternativa è l’assoluta discrezionalità delle commissioni, non è preferibile un sistema bibliometrico, per quanto imperfetto?

    • Grazie per il commento che tocca un punto dolente ed illustra bene una delle principali (se non la principale) ragione a favore dell’uso di criteri bibliometrici. Capisco bene il problema: in contesti degradati, un argine “oggettivo” appare meglio che nulla. Credo che si possano fare tre osservazioni:

      1. È probabilmente vero che in alcuni settori, se gli indicatori fossero applicati “una tantum”, fornirebbero una fotografia non troppo distorta della realtà. Il problema è che sostituendo all’obiettivo sostanziale (raggiungere la “maturità” o la “piena maturità” scientifica) una misura collaterale (il numero di articoli e/o le citazioni che ricevono) si innescano dinamiche opportunistiche secondo un meccanismo ben noto (la cosiddetta Legge di Goodhart, http://en.wikipedia.org/wiki/Goodhart%27s_law). Insomma, si vanno a modificare le motivazioni ed il significato del fare ricerca con conseguenze di lungo periodo potenzialmente altrettanto, se non più, pericolose delle cricche che si vogliono estirpare. Non è in gioco solo questa tornata di abilitazioni, ma l’indirizzo che verrà dato ad un’intera generazione di ricercatori.

      2. Bisogna stare attenti a dedurre la bontà generale di un indicatore dalla constatazione che “funziona” in un ambito ristretto. Quando la posta in gioco è così alta, è necessario un approccio più scientifico: una dimostrazione logica dell’efficacia e della robustezza dei criteri oppure, in sua assenza, un lavoro di verifica empirica il più generale possibile. A tale proposito, Alberto Baccini ha evidenziato molto bene i problemi che possono sorgere nelle discipline economiche: “Ti chiamala se vuoi valutazione”, https://www.roars.it/?p=7498).

      3. Il mio modesto parere è che, quando fosse assolutamente necessario l’uso di criteri oggettivi per estirpare comportamenti deteriori, sia meglio usare la dovuta cautela e limitarsi a soglie fisse e note a priori (non come le mediane che hanno natura dinamica nel tempo e non sono facili da valutare). Deve risultare molto chiaro che le eventuali soglie servono solo a prevenire abusi e che il vero obiettivo non è la raccolta di figurine, ma saper contribuire al progresso scientifico. Soglie dinamiche o soglie troppo alte finiscono per diventare la vera discriminante e si candidano ad essere il vero obiettivo delle future generazioni di ricercatori. Le soglie proposte dal CUN, per quanto migliorabili, andavano in una direzione molto più corretta rispetto alle regole ANVUR. Insomma, regole semplici e note a priori che si limitano a prevenire gli abusi e non si candidano a sostituirsi ai veri obiettivi scientifici.

      Da ultimo, non credo che le mie posizioni siano isolate. Alla luce delle prese di posizioni di diverse associazioni scientifiche internazionali (ed anche nazionali, si veda la recente mozione dell’Unione Matematica Italiana, https://www.roars.it/?p=9701) sono i seguaci italiani della “bibliometria dura” a trovarsi isolati nel panorama internazionale.

  4. Avrei due considerazioni:
    1. le mediane verranno calcolate esclusivamente sulla base di quanto caricato sul sito docente. Pertanto, se vengono deliberatamente non caricate pubblicazioni dei primi anni di carriera, facilmente di livello inferiore, viene ridotta artificiosamente l’età accademica e gli indici normalizzati salgono. Se così fosse il numero di pubblicazioni sarebbe in qualche modo “blindato” ma l’età accademica no. Tra l’altro, nei diversi documenti recentemente pubblicati, in alcuni casi non è chiarissimo se anche per potenziali commissari le citazioni e l’h-indice siano normalizzati;
    2. relativamente a SSD teorico-pratici, non ho ancora mai sentito nulla riguardo a potenziali criteri extra-bibliometrici. Esempio (a me pertinente, ma che riguarda in varia misura tutti i clinici convenzionati in ospedali): un chirurgo che opera tanto, spesso pubblica meno, sempre che non sia già in carriera “avanzata” e ha un gruppo di lavoro dedicato (quasi sempre un primario). Per contro, chi lavora meno “sul campo”, spesso pubblica di più, anche su argomenti meno “tecnici” e meno settoriali (forse anche meno strettmente pertinenti) e pertanto più citati. A proposito dei criteri CUN di cui sopra, che significa “i lavori devono essere IN MAGGIORANZA COGRUI con il Settore Concorsuale e SSD di riferimento ed IN MAGGIORANZA pubblicate su riviste ricomprese nella lista ISI del
    settore scientifico-culturale di riferimento? Significa il 51% dei lavori? Mi pare evidente come questa “prevalente congruità” con il settore sia una ulteriore variabile fonte di quasi certa discrezionalità. Ma soprattutto: tutta la formazione specialistica post lauream medico-chirurgica, tuttora non è riconosciuta sotto forma di CFU e il fabbisogno didattico è quindi formalmente minimo. Questa riforma sarebbe stata un’ottima occasione per introdurre finalmente il riconoscimento dell’attività clinico-pratica in termini didattico-formativi, al fine di evitare la cronica dicotomia, squisitamente italiana, tra “ospedalieri” e “universitari”, in odio reciproco: gli uni “teorici” (a volte troppo), gli altri solo “praticoni”. In sostanza chi “insegna” medicina clinica dovrebbe essere in grado di “fare” oltre che “pensare e teorizzare”, anche perché è tutt’altro che una Scienza esatta. Altro che bibliometria…

    • Per i commissari non c’è normalizzazione, è scritto molto chiaramente. Quindi gli ordinari non hanno alcun interesse a ridursi l’età accademica omettendo lavori.

    • Sarà anche scritto molto chiaramente. Tuttavia:

      1. in UniMI abbiamo ricevuto e-mail con allegato firmato dall’ex presidente della CRUI che testualmente reca ”
      Milano, 22 giugno 2012
      Ai professori e ai ricercatori dell’Ateneo
      LORO SEDI
      = = = = = = = = = = = == = = = = = = = = = =
      Cari Colleghi,
      come sapete in data 7 giugno 2012 è stato pubblicato il documento “Regolamento recante criteri e parametri per la valutazione dei candidati ai fini dell’attribuzione dell’abilitazione scientifica nazionale per l’accesso alla prima e alla seconda fascia dei professori universitari…”
      http://attiministeriali.miur.it/media/192901/dm_07_06_12_regolamento_abilitazione.pdf
      Il Regolamento fissa criteri e parametri per la ammissione sia dei candidati commissari che dei candidati all’abilitazione.
      Per quanto riguarda le pubblicazioni è previsto che sia i candidati commissari che i candidati all’abilitazione inseriscano nel sito docente la loro produzione scientifica. Su questo dato ANVUR farà uscire entro la prima settimana di agosto i valori (mediane) sopra ai quali verranno accolte le domande dei candidati commissari.
      Criteri e parametri per l’accoglimento delle domande degli aspiranti commissari (pubblicazioni)
      Le mediane per le aree 01-09 (più il macrosettore 11/E: Psicologia) verranno calcolate in base:
      a) al numero di articoli su riviste contenute nelle principali banche dati internazionali,
      b) al numero totale di citazioni riferite alla produzione accademica complessiva di ciascun aspirante commissario
      c) all’indice h NORMALIZZATO per l’età accademica.
      Per ciascuno di questi indicatori verrà calcolata la mediana della distribuzione relativa ai professori ordinari di ogni settore concorsuale. Ottengono valutazione positiva i candidati commissari i cui indicatori sono superiori alla mediana in almeno due dei tre criteri proposti (a,b,c).
      Le mediane per le aree 10-14 (escluso il macrosettore 11/E: Psicologia) verranno calcolate in base a:
      a) il numero di libri, articoli su rivista e capitoli di libro dotato di ISBN pubblicati negli ultimi 10 anni
      b) il numero di articoli su riviste appartenenti alla classe A pubblicati negli ultimi 10 anni.
      N.B. Per ciascun settore concorsuale ANVUR pubblicherà la lista delle riviste di fascia A e fascia B sul proprio sito e su quello del Ministero. Le riviste verranno suddivise in fasce anche avvalendosi dell’aiuto dei GEV e delle società scientifiche.
      Adempimenti relativi
      Poiché la fonte da cui ANVUR potrà calcolare le mediane è costituita dalle pubblicazioni contenute nel sito docente CINECA, sito alimentato quotidianamente da AIR con i prodotti aventi data di pubblicazione a partire dal 2008, si invitano tutti, e in particolare gli interessati a partecipare come commissari o come candidati, ad aggiornare AIR con le pubblicazioni ritenute significative e non ancora presenti. Per tale fine, per gli anni precedenti al 2008, l’Amministrazione ha ritenuto necessario mettere a disposizione dei docenti una funzionalità in AIR per l’invio delle pubblicazioni considerate utili nella determinazione delle mediane e non ancora presenti nel sito docente. L’Amministrazione rende altresì disponibile in AIR la possibilità di integrare i dati di alcune registrazioni molto vecchie (DOI, tipo di referee, lingua dell’abstract, SSD ecc.). Per ogni questione o chiarimento potete rivolgervi a air@unimi.it o consultare la pagina http://www.unimi.it/aree_protette/57508.htm
      Con i migliori saluti
      Il Rettore
      Enrico Decleva

      quindi, almeno TESTUALMENTE, dal presente documento si evince come le citazioni totali NON siano indicizzate, mentre l’indice H sì. Mi pare evidente come è scritto.

      In sostanza, sembra fatto per creare equivoci, tanto che più volte viene richiamto come requisito per i commissari il fatto di possedere i requisiti PER LA 1a FASCIA, pertanto con i parametri normalizzati e non grezzi.

    • Nessuno si arrabbia e conosco anch’io le fonti. Prendo solo atto di quanto scritto e recapitato da altri in merito. Ho solo posto l’accento su evidenti contraddizioni.

  5. Caro Giuseppe grazie perché riesci a chiarire con i fatti e in modo lucido però ti chiedo se esiste un test di multimodalità delle distribuzioni perché non lo hanno applicato nell’articolo 15 della delibera 50? e invece si sono inventati che se l’SSD ha mediana più alta si applica la mediana del settore concorsuale (che in questo caso è più bassa) e se l’ssd ha mediana più basta del settore concorsuale basta il 25% degli ordinari (e gli associati che fine fanno?) affinché si applichi quella più alta del settore concorsuale (in barba al 75%). Così si premiano i soliti settori che usano le banche dati ISI e Scopus con articoli ipercitati e multiautorati e quindi il mainstream delle scienze della natura…questi quando hanno una mediana di settore più alta rispetto al macrosettore concorsuale avranno un abbassamento della mediana, un concorso più facile rispetto al loro SSD e colonizzeranno i settori con cui si sono sposati…Ti chiedo ci sono test statistici per evidenziare le multimodalità (che non sono certo quelli descritti all’articolo 15)? Se ci fossero questo è l’ennesimo elemento (al decreto si parla di multimodalità nella delibera ANVUR si definisce la multimodalità in modo non scientifico)per impugnare un sistema che fa acqua da tutte le parti ed è massimamente soggettivo ed ingiusto.

    • Ottimo commento. Rispondo in due punti

      1. ASSURDITÀ DELL’ART. 15
      ————————-
      Immaginiamo un settore concorsuale con tre SSD, che chiameremo A, B, C.

      ESEMPIO 1

      Immaginiamo che in base all’art. 15, solo A abbia il diritto di essere “scorporato” perché disomogeneo rispetto al settore concorsuale. Pertanto, A userà la sua mediana che chiameremo m_A. La partizione del settore concorsuale può essere indicata come {A, B+C}. Se A usa m_A come mediana, non si riesce a capire perché B+C usi la mediana di A+B+C invece di quella di B+C.

      ESEMPIO 2

      Caso ancora più assurdo. Sia A che B vengono scorporati. Pertanto A usa la sua mediana m_A, mentre B usa m_B. Tuttavia, seguendo le regole ANVUR, C non usa m_C , ma usa la mediana di A+B+C che è più bassa. Si riesce persino a costruire un esempio in cui il 100% degli ordinari di C diventa sorteggiabile.

      2. MULTIMODALITÀ
      —————-
      Se proprio dovessi stare al gioco bibliometrico, io non testerei la multimodalità che è solo una delle possibili conseguenze dell’esistenza di una mistura di distribuzioni. Senza la pretesa di dare pareri definitivi, si dovrebbe testare l’ipotesi che due distribuzioni abbiano la stessa mediana oppure che le due distribuzioni siano uguali (test di Wilcoxon?). Chi ha scritto la delibera ANVUR stava probabilmente pensando a misture di gaussiane abbastanza distanziate tra di loro, nel qual caso il numero di massimi (mode) coincide con il numero di componenti della mistura. Tuttavia, si tratta solo di un caso particolare. Viene da domandarsi perché non abbiano consultato uno statistico. Sembra che nell’ANVUR manchino le competenze necessarie a riconoscere la natura di alcuni problemi tecnici che vengono pertanto sottovalutati e affrontati in modo naive ignorando letteratura ed esperienze internazionali (si veda tutto il dibattito sulla bibliometria fai-da-te). La ricerca scientifica richiede rigore sia nella metodologia che nella documentazione bibliografica. È ragionevole che la stessa richiesta valga per l’agenzia incaricata di valutare l’eccellenza scientifica dei ricercatori.

      Non voglio essere frainteso: non ha senso prescrivere il test di Wilcoxon per decidere se un ordinario può fare il commissario. A me sembra evidente che andare in questa direzione (che è obbligata se si volesse perseguire un approccio quantitativo scientificamente fondato) è una follia. Uno statistico preparato avrebbe avvertito l’ANVUR che si finiva in un terreno del tutto inadatto a fornire requisiti normativi. Le norme che regolano la carriera delle persone devono essere semplici, comprensibili e verificabili in modo trasparente.

    • Esatto: il matto di Lucena o matto affogato. Il bianco sacrifica la regina ma dà scacco matto con l’unico pezzo rimasto, il cavallo.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.