I valori soglia proposti da ANVUR spingono il CUN a sottoporre in urgenza diverse considerazioni all’attenzione della Ministra. In particolare, il CUN segnala modalità di calcolo in contrasto con quanto stabilito nel DM 120/2016 e osserva che l’abilitazione scientifica nazionale non è una procedura di preselezione di natura comparativa quale risulterebbe intrinsecamente essere qualora la determinazione dei valori soglia avvenisse sulla base di percentili. Al contrario, nel documento di accompagnamento dell’ANVUR  emerge che le scelte sono state effettuate quasi esclusivamente sulla base di analisi ed elaborazioni statistiche, producendo effetti paradossali: «Ad esempio, in diversi settori il numero dei lavori per anno necessario per superare la soglia fissata per l’abilitazione alla seconda fascia è maggiore di quello necessario per superare la soglia per l’abilitazione alla prima fascia (in alcuni casi avvicinandosi al doppio)». Ma questo è solo l’antipasto: infatti il CUN riserva al parere che sarà reso in una prossima seduta «ogni ulteriore considerazione che riguardi aspetti più specifici e criticità che possano emergere da uno studio più approfondito dei dati».

 

Ministero dell’Istruzione , dell’Università e della Ricerca

Consiglio Universitario Nazionale

 

All’On.le Ministro

S E D E

 

Oggetto: delibera ANVUR “approvazione valori-soglia degli indicatori da utilizzare per la

valutazione della qualificazione scientifica degli aspiranti commissari e per la valutazione

dei candidati ai fini dell’attribuzione dell’abilitazione scientifica nazionale per l’accesso

alla prima e seconda fascia di professori universitari”.

 

Adunanza del 7/7/2016

 

IL CONSIGLIO UNIVERSITARIO NAZIONALE

VISTO il D.P.R. 95/2016;

VISTO il D.M. 120/2016;

VISTA la nota del Capo di Gabinetto prot. 17038 del 6/7/2016 di trasmissione della proposta dell’ANVUR concernente i valori soglia degli indicatori ASN ai sensi dell’articolo 4 comma 2 DPR 4 aprile 2016 n. 95 e il documento di accompagnamento, con la quale viene chiesto il parere del Consiglio Universitario Nazionale sull’atto di cui all’oggetto;

ESAMINATA la suddetta proposta dell’ANVUR;

CONSIDERATO il parere espresso dal CUN nell’adunanza del 30/9/2015 su “Regolamento recante criteri e parametri per la valutazione dei Candidati ai fini dell’attribuzione dell’Abilitazione Scientifica Nazionale per l’accesso alla prima e alla seconda fascia dei professori universitari, nonché le modalità di accertamento della qualificazione dei Commissari […]”;

CONSIDERATO il parere del CUN del 9 aprile 2014 “Proposte per la revisione delle procedure finalizzate all’attribuzione dell’Abilitazione Scientifica Nazionale” e in particolare la lettera h) di tale parere che recita “introduzione di soglie minime di attività scientifica necessarie all’ottenimento dell’abilitazione, definite in termini assoluti e non grazie ad automatismi correlati a ipotetiche medie. Le soglie dovrebbero essere individuate per ciascuna disciplina prevedendo un adeguato confronto con gli esperti della stessa, tenendo conto ove necessario anche dell’articolazione interna delle discipline”, parere formulato su richiesta del Ministro pro tempore e preliminare alla revisione della disciplina poi intervenuta con l’art. 14 del decreto legge 24 giugno 2014 n°90 convertito con modificazioni dalla legge 11 agosto 2014 n. 114;

RISERVANDOSI di formulare in una prossima seduta il parere richiesto ai sensi dell’art. 4 comma 2 del DPR 4 aprile 2016 n. 95;

SOTTOPONE IN URGENZA

ALL’ATTENZIONE DELLA SIGNORA MINISTRA LE SEGUENTI CONSIDERAZIONI

al solo fine di fornire primi elementi conoscitivi e valutativi che favoriscano l’immediata analisi della proposta dell’ANVUR con particolare riguardo al suo impatto sul sistema universitario e alla correlata idoneità delle soluzioni ad assicurare la tenuta delle procedure.

SEGNALA innanzitutto che il calcolo del secondo indicatore per le aree bibliometriche, almeno secondo quanto specificato nella legenda delle tabelle contenuta nel documento di accompagnamento dell’ANVUR, è stato effettuato considerando “il numero di citazioni ricevute da pubblicazioni dei 15/10 anni precedenti”. Questa modalità di calcolo è in contrasto con quanto stabilito nell’allegato C al DM 120/2016 che chiama in causa “il numero di citazioni ricevute dalla produzione scientifica contenuta nella domanda, pubblicata e rilevata dalle banche dati internazionali «Scopus» e «Web of Science», rispettivamente nei quindici anni (prima fascia) e dieci anni (seconda fascia) precedenti”.

OSSERVA che la ragione dell’intervento legislativo di modifica effettuato con legge 114/2014 può essere fra l’altro ricondotta alla volontà di superare ogni riferimento a valori determinati su base puramente statistica quali erano i valori mediani degli indicatori scelti come valori di riferimento nelle tornate 2012 e 2013 dell’abilitazione scientifica nazionale. Tale metodologia infatti si espone al duplice rischio di:

  • contestazione tecnica dei valori prescelti legata alle fonti dei dati utilizzati e alle modalità di calcolo, già causa di contenzioso nelle precedenti tornate;
  • introduzione nella procedura di effetti distorsivi, non rilevabili statisticamente, che escludono dall’accesso alla valutazione candidati che, pur possedendo una adeguata maturità scientifica, a causa della specificità degli ambiti della loro ricerca non raggiungano i valori determinati su base esclusivamente algoritmica.

RIBADISCE che l’abilitazione scientifica nazionale non è una procedura di preselezione di natura comparativa quale risulterebbe intrinsecamente essere qualora la determinazione dei valori soglia avvenisse sulla base di percentili.

RIBADISCE inoltre che l’ASN dovrebbe essere attribuita a tutti gli studiosi che hanno raggiunto la maturità scientifica per la seconda fascia, e la piena maturità scientifica per la prima fascia. La responsabilità della valutazione del raggiungimento di tali maturità spetta soltanto alle commissioni di abilitazione. Di conseguenza, le soglie, che costituiscono di fatto una condizione necessaria per l’accesso a questa valutazione, debbono individuare livelli adeguati di qualità e quantità della produzione scientifica, fissati sulla base di pareri informati e motivati, e riconosciuti e accettati dalle rispettive comunità scientifiche. Del resto anche il D.P.R. 95/2016 e il D.M. 120/2016 insistono sulla ”adeguatezza” dei valori degli indicatori ai fini del riconoscimento della maturità e della piena maturità scientifica, senza fare alcun riferimento a criteri comparativi statistici tra i possibili candidati.

RILEVA che quanto sopra evidenziato non trova riscontro nel documento di accompagnamento dell’ANVUR, dal quale emerge che le scelte sono state effettuate quasi esclusivamente sulla base di analisi ed elaborazioni statistiche, producendo alcuni effetti paradossali.

Ad esempio, in diversi settori il numero dei lavori per anno necessario per superare la soglia fissata per l’abilitazione alla seconda fascia è maggiore di quello necessario per superare la soglia per l’abilitazione alla prima fascia (in alcuni casi avvicinandosi al doppio). Questo potrebbe essere legato alla scelta della platea sulla quale sono state calcolate le distribuzioni. Scelta peraltro non chiara in quanto l’analisi delle tabelle sembra indicare come platea di riferimento quella dei ricercatori a tempo determinato mentre il documento di accompagnamento chiama in causa, per le aree bibliometriche, quella dei professori associati. Si fa osservare che la dimensione della platea dei ricercatori a tempo determinato, in tutte le aree, è piccola, statisticamente non significativa e pertanto non rappresentativa dell’intera platea dei potenziali candidati che comprende, tra gli altri, la ben più numerosa categoria dei ricercatori a tempo indeterminato.

Inoltre, la scelta di effettuare le estrazioni degli SSD dai settori concorsuali esclusivamente su base statistica ha fatto sì che tali estrazioni non riflettano adeguatamente le differenze culturali esistenti all’interno dei settori concorsuali e in particolar modo di quelli più ampi. Ancora, essa ha determinato in alcuni casi estrazioni diverse fra la prima e la seconda fascia, in aperto contrasto con il dettato del DM 120/2016 allegati C, D ed E. L’estrazione di SSD per una sola delle fasce comporta inoltre che i valori soglia per l’accesso alla seconda fascia di uno specifico SSD possano risultare maggiori di quelli per l’accesso alla prima fascia nel settore concorsuale.

Per quel che riguarda le aree non bibliometriche si osserva che l’identificazione del secondo indicatore quale unico con valenza quali-quantitativa trascura la valenza anche qualitativa del primo indicatore almeno per quel che concerne i prodotti della ricerca pubblicati sulle riviste scientifiche. Ciò ha comportato in alcuni casi, anche dal punto di vista della determinazione delle soglie, una sopravvalutazione del secondo indicatore e la sostanziale sterilizzazione del terzo, anche in aree in cui esso risulta altamente significativo, fatte salve le peculiarità di quei SC per i quali l’ANVUR ha ritenuto necessario proporre la soglia zero.

RISERVA ogni ulteriore considerazione che riguardi aspetti più specifici e criticità che possano emergere da uno studio più approfondito dei dati al parere che sarà reso in una prossima seduta.

 

IL DECANO

 

(Prof. Guido Baldassarri)

Send to Kindle

117 Commenti

  1. La cosa divertente (si fa per dire) è che le soglie ANVUR sono sul punto di essere ritrattate. Voci di corridoio riferiscono che, proprio come nel 2012, arriverà una seconda edizione. Sarebbe interessante vedere la reazione di qualche fan della bibliometria anvuriana se dall’oggi al domani si trovasse scaraventato nell’inferno dei paria bibliometrici. Ovviamente continuerà a sostenere che la bibliometria anvuriana è la medicina giusta e necessaria.
    Nel 2012 era capitato anche questo: ci fu chi stava sopra le mediane nella prima edizione e si ritrovò sotto nella seconda. Se non fosse che si tratta di un remake, il colpo di scena della “retraction” delle soglie ha un che di geniale. Assomiglia ad una finta esecuzione di prigionieri in un film di guerra particolarmente “crudo”.
    Non ci fanno mancare nulla.
    Dimenticavo. Questo è il link alla petizione per chiedere le dimissioni del Direttivo Anvur, se non avete ancora firmato:
    https://www.roars.it/online/la-vera-primavera-delluniversita-inizia-con-le-dimissioni-del-direttivo-anvur/

  2. In seguito alla ritrattazione delle mediane, nel 2012 a sprofondare nell’inferno dei paria bibliometrici erano stati parecchi, come si vede da questo grafico per i commissari:

    ______________
    E oggi?
    Suspense!
    Cambieranno molto o poco le soglie?
    Saliranno?
    Scenderanno?
    Saliranno per alcuni e scenderanno per altri?
    Chi saranno i sommersi e i salvati?
    Quasi più emozionante dell’esito del Brexit.

  3. Veramente. E come l’Inghilterra, un giorno ti svegli pensando di essere Europeo al 52% e il giorno dopo sei fuori dall’Europa al 48 per colpa di un Farage. Ma anche di un Johnson, di un Cameron. Ognuno ha i suoi direttivi ANVUR.

  4. Panem et Circenses… Dopo 2000 anni l’Antica Roma ancora docet.

    Ora appassioniamoci tutti a indicatori, tabelle, pesi e correttivi, per scannarci le poche briciole di quel che la Politica (bontà sua) ancora ci elargisce del Panem Universitarium, anche se che questa, come le precedenti tornate ASN, presenta tutte le caratteristiche dei Circenses…
    Ma nel frattempo ci saremo dimenticati del blocco degli scatti stipendiali, del blocco della VQR, dei nostri indecenti stipendi, del fatto che a breve la Turchia avrà più laureati di noi, etc etc etc…
    Non resta, purtroppo, che constatare che noi docenti universitari siamo una massa informe di beoti. Eppure basterebbe così poco…

    • Supini, egocentrici, abituati a fregare il collega, l’ateneo vicino, a farsi i propri giochini con 4 lire, chi lavora, una larga massa non fa nulla, gli affari suoi nelle faccende di casa o nel suo studio privato….una vera vergogna di categoria ..ben ci sta

  5. @De Nicolao

    Anche io pensavo il DM fosse scritto male

    b) il numero di citazioni ricevute dalla produzione scientifica contenuta nella domanda, pubblicata e rilevata dalle banche dati internazionali «Scopus» e «Web of Science», rispettivamente nei quindici anni (prima fascia) e dieci anni (seconda fascia) precedenti”.

    ma se togliamo l’inciso diventa chiarissimo

    b) il numero di citazioni ricevute dalla produzione scientifica contenuta nella domanda rispettivamente nei quindici anni (prima fascia) e dieci anni (seconda fascia) precedenti”.

    • Io credo invece che la segnalazione del CUN sull’ erroneo calcolo della seconda e terza soglia derivi dal fatto che l’ANVUR le abbia calcolate sull’intera produzione scientifica degli ultimi 15/10 anni
      delle categorie di riferimento (PA e PO) . Il DM recita invece che i parametri citazionali vanno riferiti alla produzione scientifica “contenuta nella domanda”, che prevede però un numero massimo di lavori da sottoporre a valutazione (Allegato B del DM). Nel caso della prima soglia, il DM recita “il numero complessivo di articoli riportati nella domanda”, e quindi può essere riportata l’intera produzione degli ultimi 15/10 anni

    • “contenuta nella domanda”, in questo contesto, è tutta la produzione scientifica del candidato elencata nella domanda, e non le pubblicazioni “presentate”. Il senso è che le pubblicazioni che non saranno elencate non verranno in alcun modo prese in considerazione; è una sorta di autocertificazione della produzione scientifica effettuata.

  6. Quindi il 25-imo percentile per gl’indici bibliometrici…
    Se guarda le soglie da ordinari e il 50-imo percentile degli ordinari sotto le tabelle dei commissari, almeno in diversi bibliometrici, non dovrebbe essere stato adottato un criterio molto dissimile. Sugli associati non posso dire, perché il calcolo delle soglie ed i percentili sono fatti su finestre temporali diverse… Quello che mi é chiaro é che Rtd, associati ed ordinari superano quasi sempre almeno 2/3 delle mediane. I ricercatori a ti sono invece (volutamente?) trascurati.

    • Secondo me la proposta di De Nicolao/CUN per la soglia del primo indicatore è ragionevole.
      Potrei aggiungere che un lavoro su rivista all’anno, ovvero un lavoro di un certo impegno all’anno, è il minimo che ci si puó attendere da un ricercatore attivo. Certo per i gruppi di ricerca tale valore dovrebbe aumentare all’aumentare delle coauthorship, ma non si dovrebbero penalizzare i singoli ed alzare la soglia per tutti.
      Quindi 5/10 lavori su rivista (purtroppo con la sola garanzia di qualità data dalla indicizzazione sui database) in 5/10 anni potrebbe essere la soglia “statica”. Per tutti i settori bibliometrici.
      Resta il problema degli altri due indicatori, rispetto ai quali non vedo uscita rispetto alla statistica (vedi proposta 25° percentile).

  7. Devo ringraziare l’ANVUR perchè mi ha sciolto un dubbio. Infatti, su un tema di ricerca ho generato un bel pò di dati sperimentali e stavo giusto decidendo su quale rivista mandarli. Dato che la prima soglia (numero di articoli in 5 anni) la supero agevolmente scorporerò i dati e farò tre o quattro conference papers differenti (ovviamente indicizzati su scopus) dove, in maniera forzata, autociterò anche 3 dei miei lavori passati in modo tale da portare il mio H-index da 8 a 10. Inutile perder tempo e pubblicare su rivista …

    • @acicchel: cosa vuoi dire…? Io ho voluto dire che l’agitarsi delle altre fascie è meramente “rumore di fondo”. Se si scontanta invece la classe dirigente universitaria, gli ordinari, il discorso è diverso.

  8. Io getto la spugna: tra DM, soglie etc. evidentemente non capisco niente. Da uno dei rappresentanti al CUN, ricevo il commento secondo cui “l’arco temporale delle pubblicazioni e delle citazioni e’ diverso.”.
    .
    Forse il mistero sarà svelato solo quando vedremo i fac-simili delle domande.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.