Io sono il tuo miglior amico. Io sono il tuo peggior nemico. Io sono Giano. Il dio delle soglie. Degli inizi. Delle fini. Delle scelte.
Sono stati da poco pubblicati i valori soglia per la tornata 2018-2020 dell’Abilitazione Scientifica Nazionale (ASN) e risulta abbastanza evidente come molte delle soglie siano aumentate rispetto alla tornata precedente. Purtroppo, nella migliore tradizione della “trasparenza” ministerial-anvuriana, i numeri sono annegati all’interno di documenti in formato PDF, per cui risulta difficile analizzare la reale portata delle variazioni.
In questo documento analizzeremo quantitativamente le variazioni dei valori-soglia usati nell’ASN 2018 rispetto a quelli usati nella precedente tornata 2016. L’analisi mostrerà come i valori siano aumentati nella maggior parte dei settori concorsuali, in alcuni casi fino a raddoppiare. L’aumento interessa sia i settori bibliometrici che quelli non bibliometrici, con la curiosa eccezione della terza soglia dei settori non bibliometrici (numero di libri), il cui valore resta invariato.
Introduzione
In base al D.M. 7 giugno 2016 n. 120 recante “criteri e parametri” per l’attribuzione dell’abilitazione scientifica nazionale, una delle condizioni necessarie (ma non sufficienti) per la valutazione positiva dei titoli consiste nel raggiungimento o superamento di almeno due su tre soglie relative ad altrettanti indicatori di produttività e impatto.
I tre indicatori sono definiti in base alla fascia e al tipo di settore concorsuale (bibliometrico o non bibliometrico) dei candidati. In dettaglio, gli indicatori sono definiti come segue:
| Settori bibliometrici | |||
|---|---|---|---|
| Indicatore 1 | Indicatore 2 | Indicatore 3 | |
| Prima fascia e commissari | n. articoli 10 anni | n. citazioni 15 anni | indice H 15 anni |
| Seconda fascia | n. articoli 5 anni | n. citazioni 10 anni | indice H 10 anni |
| Settori non bibliometrici | |||
| Indicatore 1 | Indicatore 2 | Indicatore 3 | |
| Prima fascia e commissari | n. articoli e contributi 10 anni | n. articoli classe A 15 anni | n. libri 15 anni |
| Seconda fascia | n. articoli e contributi 5 anni | n. articoli classe A 10 anni | n. libri 10 anni |
Per ogni settore concorsuale vengono definiti i valori-soglia dei corrispondenti indicatori, con valori diverse per candidati all’abilitazione e aspiranti commissari. La normativa consente anche di indicare valori differenziati per specifici settori scientifico-disciplinari (ssd) all’interno di ciascun settore concorsuale. I valori-soglia sono calcolati da ANVUR; non è
noto l’algoritmo impiegato per il calcolo.
La tabella delle soglie per l’edizione 2018 presenta una novità. Per il solo ssd 01/A1-FIS/01 FISICA SPERIMENTALE DELLE INTERAZIONI FONDAMENTALI vengono definiti tre gruppi di valori in base al numero medio di coautori del candidato. I gruppi sono definiti come segue:
- Gruppo A: numero medio di coautori riferito alle pubblicazioni inserite in domanda ai fini del calcolo degli indicatori ≤ 500
- Gruppo B: 501 ≤ numero medio di coautori riferito alle pubblicazioni inserite in domanda ai fini del calcolo degli indicatori ≤ 1200
- Gruppo C: numero medio di coautori riferito alle pubblicazioni inserite in domanda ai fini del calcolo degli indicatori ≥ 1201
Purtroppo, oltre ad avere già dimostrato poca dimestichezza con la definizione di mediana — definizione che pur univoca, lascia però un importante punto di ambiguità
— dalla parte dell’ANVUR non se la cavano troppo bene nemmeno con le disequazioni. Il lettore attento avrà infatti notato la presenza di “buchi” tra i separatori dei tre gruppi. Non c’è motivo di ritenere che il numero medio di coautori debba essere per forza intero: se un candidato ha due pubblicazioni, una con 500 coautori e una con 501, il numero medio di coautori è 500.5. Tale valore non ricade né nel gruppo A né nel gruppo B. Similmente, un ipotetico candidato con un numero medio di coautori pari a 1200.2 non ricadrebbe né nel gruppo B né nel gruppo C.
Recupero dei dati
Sul sito del MIUR sono disponibili i documenti in formato PDF contenenti le tabelle dei valori-soglia per candidati e commissari per le edizioni 2016
e 2018 dell’ASN. Il primo passo consiste nell’estrazione delle informazioni dai file PDF per convertirle in un formato più accessibile. Nello specifico si è scelto il formato comma-separated values (CSV), che è supportato da tutti i più diffusi software di analisi dati come ad esempio Libreoffice Calc ed R, usati in questo studio. Dato che la conversione è alquanto laboriosa (viene da pensare che lo facciano apposta…), per agevolare il lettore i dati convertiti possono essere scaricati seguendo il link riportato in fondo alla pagina.
Poiché siamo interessati a studiare le variazioni delle soglie, i dati del 2016 e del 2018 devono essere incrociati per identificare tutte le coppie <settore concorsuale, ssd> che compaiono in entrambe le tornate. Esistono infatti degli ssd con soglie specifiche definite nel 2016 ma non nel 2018 (e viceversa). Ad esempio, nell’ASN 2016 sono definiti dei valori-soglia per l’ssd 02/A1-FIS/04 FISICA SPERIMENTALE DELLE INTERAZIONI FONDAMENTALI, che però non compare nell’edizione 2018 essendo stato inglobato nel settore concorsuale 02/A1. Analogamente nell’ASN 2018 sono definiti dei valori-soglia specifici per l’ssd 06/A2-MED/05 PATOLOGIA GENERALE E PATOLOGIA CLINICA, che non erano presenti nella precedente tornata. Tutti questi casi sono stati esclusi dall’analisi.
Sono presenti alcune situazioni particolari causate dal fatto che alcune soglie dell’edizione 2016 erano definite solo per una delle due fasce. Ad esempio, nella tornata 2016 erano definite soglie per l’abilitazione alla seconda fascia del ssd 01/A2-MAT/02 GEOMETRIA E ALGEBRA, ma non per la prima; nell’edizione 2018 sono invece definite soglie per entrambe le fasce. In questi casi sono state considerate solo le variazioni per la fascia le cui soglie risultano definite in entrambe le tornate.
Le variazioni percentuali dei valori-soglia sono calcolate come:
var % = 100 ⨯ (valore2018 – valore2016) / valore2016
Per poter gestire i numerosi casi di soglie con valore zero in entrambe le tornate, si assume variazione percentuale zero se valore2018 = valore2016. C’è inoltre un singolo valore-soglia che passa da zero a uno, ed è relativo al terzo indicatore per l’abilitazione alla seconda fascia nel settore 01/A1-MAT/04 LOGICA MATEMATICA E MATEMATICHE COMPLEMENTARI. Poiché in questo caso la variazione percentuale risulterebbe infinita, il dato viene escluso.
Variazioni dei valori-soglia per gli aspiranti commissari
Iniziamo considerando le variazioni percentuali dei valori-soglia per aspiranti commissari, riportate nella tabella sottostante (disponibile in formato Libreoffice Calc al link riportato in fondo alla pagina). La colonna “bib” contiene la lettera “B” se si tratta di un settore bibliometrico, “N” se si tratta di un settore non bibliometrico. Per facilitare la lettura, sono indicati in rosso i valori-soglia che risultano aumentati nell’ASN 2018, mentre sono indicati in verde quelli il cui valore è rimasto uguale o è diminuito.
A colpo d’occhio si nota come la maggior parte delle soglie siano aumentate, in alcuni casi anche del 100%, corrispondenti ad un valore doppio rispetto a quello usato nella tornata 2016. Spiccano i casi dei settori 07/A1 ECONOMIA AGRARIA ED ESTIMO, 11/E3 PSICOLOGIA SOCIALE, DEL LAVORO E DELLE ORGANIZZAZIONI e 11/E4-M-PSI/07 PSICOLOGIA CLINICA E DINAMICA in cui tutte e tre le soglie per i commissari sono raddoppiate rispetto ai valori del 2016.
Per studiare meglio l’impatto degli aumenti, calcoliamo le frequenze del numero di soglie aumentate. La tabella seguente mostra il numero di settori in cui sono aumentate n soglie su tre, per n = 0, 1, 2, 3, separando settori bibliometrici da quelli non bibliometrici.
La tabella mostra che nel 10.61% dei settori bibliometrici e nel 11.54% di quelli non bibliometrici non si sono verificati aumenti nelle soglie; nel 8.33% dei settori bibliometrici e nel 32.05% di quelli non bibliometrici è aumentata una soglia su tre è; nel 25.00% dei settori bibliometrici e nel 56.41% di quelli non bibliometrici ne sono aumentate due su tre; infine, nel 56.06% dei settori bibliometrici sono aumentate tutte e tre le soglie, mentre nei settori non bibliometrici non si registra alcun caso in cui ciò sia accaduto. Detto in altri termini, in più di metà dei settori bibliometrici sono salite tutte e tre le “asticelle” per gli aspiranti commissari, mentre in più di metà dei settori non bibliometrici sono aumentate due soglie su tre.
I grafici seguenti mostrano l’ampiezza delle variazioni percentuali dei valori-soglia per gli aspiranti commissari, separando i settori bibliometrici e quelli non bibliometrici. I dati sono raggruppati per area, e all’interno di ogni area i dati sono ordinati in senso decrescente in modo che i primi settori siano quelli con variazioni percentuali maggiori. I valori in blu evidenziano variazioni del 100%, cioè soglie il cui valore è raddoppiato rispetto alla tornata 2016.
Il grafico per i settori non bibliometrici evidenzia che in tutti i casi non c’è stata alcuna variazione del valore del terzo indicatore rispetto alla tornata 2016.
Dai grafici si può osservare come si siano verificati aumenti dei valori-soglia per aspiranti commissari nella maggior parte dei settori di ogni area. Tuttavia, all’interno della stessa area si possono osservare situazioni molto diverse, con soglie fortemente aumentate in certi settori e fortemente diminuite in altri.
Variazioni dei valori-soglia per i candidati
Ripetiamo l’analisi precedente considerando ora le soglie per i candidati all’abilitazione. La tabella che segue mostra le variazioni percentuali dei valori-soglia per i candidati, divisi per fascia. Nella tabella è presente una casella blu per il settore 01/A1-MAT/04 LOGICA MATEMATICA E MATEMATICHE COMPLEMENTARI. Come già segnalato, per tale soglia il valore è passato da zero a uno, per cui la variazione percentuale risulta infinita. Nella tabella sono anche presenti caselle vuote (ad es., quelle in corrispondenza della prima fascia del settore 01/A3-MAT06 BOTANICA). Tali caselle corrispondono a fasce per le quali non erano definiti valori-soglia nell’ASN 2016, e quindi non è possibile calcolare le variazioni percentuali.
Anche nel caso dei candidati possiamo osservare come gli aumenti siano generalizzati e in alcuni casi molto ampi. Come già fatto per i commissari, calcoliamo la frequenza del numero di soglie che hanno registrato un aumento. I dati sono riportati nella tabella seguente, separati per fascia e per settori bibliometrici/non bibliometrici.
Per i settori non bibliometrici risultano 80 terne di soglie per la prima fascia ma solo 77 terne la seconda fascia. Il motivo è dovuto alla presenza di settori in cui le soglie per una delle due fasce non erano definite nella precedente tornata dell’ASN (corrispondenti alle caselle vuote nella tabella delle variazioni per i candidati).
Si osserva che a fronte di frazioni esigue di settori concorsuali in cui le soglie sono rimaste invariate o diminuite, la stragrande maggioranza dei settori bibliometrici subisce aumenti di due o anche tre soglie su tre. Nei settori non bibliometrici non si registrano aumenti contemporanei di tutte e tre le soglie, analogamente a quanto già osservato per i commissari.
Mostriamo nei grafici seguenti le variazioni percentuali dei valori-soglia, iniziando dai settori bibliometrici; sono evidenziati in blu i valori soglia che sono raddoppiati rispetto alla tornata 2016. Ricordiamo che il valore mancante nel settore 01/A1-MAT/04 LOGICA MATEMATICA E MATEMATICHE COMPLEMENTARI corrisponde all’unica variazione percentuale “infinita”.
Colpisce l’elevato numero di soglie i cui valori sono raddoppiati, in particolare per i candidati alla seconda fascia delle aree 06 (Scienze mediche), 07 (Scienze agrarie e veterinarie), 08 (Ingegneria civile ed Architettura) e 11 (Scienze storiche, filosofiche, pedagogiche e psicologiche). In particolare, tutti i settori dell’area 11 riportano un raddoppio dei valori della seconda soglia per l’abilitazione alla seconda fascia.
Anche nei settori bibliometrici, mostrati nelle successive figure, saltano all’occhio i numerosi casi di valori-soglia raddoppiati, soprattutto per l’abilitazione alla seconda fascia nelle aree 10 (Scienze dell’antichità, filologico-letterarie e storico-artistiche), 11 (Scienze storiche, filosofiche, pedagogiche e psicologiche) e 12 (Scienze giuridiche).
Possiamo avere un’idea più precisa della distribuzione delle variazioni dei valori-soglia calcolandone i quartili. Informalmente, data una sequenza ordinata di valori, i quartili sono quei valori che suddividono la sequenza in quattro segmenti di uguale dimensione.
La tabella seguente mostra i quartili delle variazioni percentuali dei valori soglia per i candidati/e, separati per fascia e per settori bibliometrici e non bibliometrici.
Per capire come leggere la tabella, consideriamo la soglia 1 per i candidati della prima fascia nei settori bibliometrici (prima colonna). I quartili ci dicono che:
- La variazione percentuale minima della soglia 1 è del -44.44%;
- Un quarto delle variazioni percentuali sono minori o uguali a zero (primo quartile);
- La metà delle variazioni percentuali sono minori o uguali al 9.52% (secondo quartile, o mediana);
- I tre quarti delle variazioni percentuali sono minori o uguali al 30.38% (terzo quartile);
- La variazione percentuale massima è del 100%;
Un aspetto curioso è che sembra esistere un tetto massimo del 100% alle variazioni percentuali dei valori-soglia. Tale valore è troppo particolare per non destare sospetti, dato che non sembrano esserci motivi evidenti per cui le soglie non potessero aver subito variazioni maggiori.
Conclusioni
Come prevedibile, i valori-soglia sono aumentati in maniera generalizzata e in molti casi considerevole. Non essendo noti i meccanismi con cui sono state calcolati, non è possibile fornire giustificazioni solide di quanto osservato. Supponendo che i valori-soglia derivino dai valori dei corrispondenti indicatori riferiti ad una qualche popolazione di riferimento, come avvenuto con le mediane dell’ASN 2012, potremmo azzardare le seguenti spiegazioni:
- Potrebbe essere cambiato il metodo di calcolo degli indicatori;
- Potrebbe essere cambiata la popolazione su cui i valori degli indicatori sono stati calcolati;
- Il diverso scorporo degli ssd potrebbe avere influito sui valori delle soglie nel settore concorsuale di riferimento;
- La spinta al raggiungimento delle soglie, iniziata con l’ASN 2012, potrebbe avere spinto docenti e ricercatori verso pratiche volte ad incrementare la propria produttività, spingendo verso l’alto molte delle soglie.
Sebbene l’ultima spiegazione sia alquanto suggestiva, è bene osservare che non spiegherebbe i casi — che pure si osservano — di soglie che sono diminuite rispetto alla tornata 2016. Fino a quando non saranno disponibili ulteriori informazioni, si rimarrà sempre nel campo della pura speculazione.
Scarica tutte le figure dell’articolo
Sottoclasse del motivo “Potrebbe essere cambiata la popolazione su cui i valori degli indicatori sono stati calcolati” plausibile per il mio settore (07A1)
– massicci pensionamenti di ordinari anziani e non avvezzi a pubblicare su riviste censite ISI/SCOPUS.
Non è detto che quegli anziani non fossero persone valenti. Nel mio settore c’è gente che ha fatto carriera senza pubblicare con editori prestigiosi, ma ha scritto testi assai validi.
Non abdichiamo alla nostra capacità di giudicare, brandendo sigle.
Per favore: siamo o non siamo intellettuali? Abituati a leggere riflettere confrontare?
@miriam: sono perfettamente in accordo con te. La mia era una notazione statistico-generazionale non un giudizio di merito.
Grazie a Marzolla per l’utilissimo contributo di servizio. Ragionare su dati è il presupposto necessario… A questo proposito, c’e davvero il lei motiv dei dati SEMPRE in pdf ingestibili, se non a prezzo di un lungo lavoro: e se CUN ci desse una mano a spiegare a Miur e Anvur che fornire i dati in una comunità scientifica è il minimo per la convivenza civile?
Ora qualcuno spieghi a questi geni dell’ANVUR il problema di un ricercatore di tipo b che al termine del suo periodo non potrà avere l’abilitazione perchè le soglie gli sono state aumentate all’ultimo momento. Un corso di studio rischia di perdere una risorsa perchè l’ANVUR ha cambiato idea.
Non è possibile andare avanti con tutta questa incertezza su tutto.
Riguarda tutti, non solo i ricercatori. Riguarda tutti anche il problema dei giudizi arbitrari e non motivati. Riguarda tutti un sistema che nasce dall’ingiustizia, perpetua l’ingiustizia ed insegna ingiustizia. Sotto la bandiera del merito.
Riguarda tutti.
Se i valori-soglia corrispondessero alla media degli indicatori del personale in attività sarebbe come dare il diritto di voto non ai maggiorenni ma solo a coloro che raggiungono l’età media degli elettori in vita…
Attenzione, a qualche partito questa proposta piacerebbe molto.
Ci si dovrebbe chiedere come fanno certuni a scrivere 50 e più lavori in dieci anni. Insieme dirigerebbero dipartimenti, o dottorati, sarebbero membri dei comitati editoriali di prestigiose case editrici e/o riviste e/o istituzioni accademiche prestigiose all’estero, svolgerebbero 120 ore e più di lezione, parteciperebbero a commissioni di laurea, di dottorato, di concorsi accademici, di giurie. Ovviamente hanno rigore metodologico, sono innovativi (!!!!!!!!!), chiari nell’esposizione, conoscono tre o cinque lingue, interdisciplinari, ecc. ecc.
Mi dite se conoscete anche voi queste creature dotate di magici poteri?
Uno che la sapeva molto lunga diceva: “a pensar male si fa peccato ma ci si indovina sempre”. Alle luce di ciò penso sia lecito chiedersi, ma non rispondersi, se i valori-soglia siano calcolati a-priori o “scelti “a-posteriori. Comunque sia io non credo ai sistemi di valutazione quantitativi e automatici per le ragioni qui riportate da molti ma soprattutto dopo aver letto il libro che ha recensito ROARS “Valutatemi!: il fascino discreto della meritocrazia”. Penso che la soluzione proposta per risolvere i problemi annosi dell’Università sia peggiore del male che vorrebbe curare.
Sì: qualcuno non noto nei circoli che contano, poteva riuscire per merito. Ora non più.
Se ho ben capito, il massimo incremento è stato livellato al 100%, parebbe un dettaglio, ma secondo me sarebbe indicativo del fatto che queste soglie non hanno alcun fondamento solido. Io penso siano state influenzate a tavolino dai soliti ignoti, come farebbe pensare l’osservazione di queste fluttuazioni un po’ troppo pazzarelle! o la totale mancanza di trasparenza procedurale!
Davvero può essere credibile un cambiamento sostanziale legato a comportamenti di massa ‘virtuosi’ di un’intera popolazione nell’arco di un paio d’anni (costituita anche da gente con una posizione stabile che giustamente se ne infischia delle soglie)? Se fosse così, ammettendo per assurdo correttezza e consistenza delle procedure, verrebbe da pensare che gli indicatori scelti non siano tanto buoni se possono fluttuare rapidamente, mentre dovrebbero misurare qualcosa di abbastanza stabile (legata soprattutto a numero di persone impiegate, grandezza relativa dei settori scientifici, soldi investiti).
Anche gli indicatori dei libri rimasti tutti completamente invariati sono un fatto strano. Che ci siano ‘manine’ all’opera mosse da qualche obiettivo?
E forse condisce il tutto anche un bel po’ di faciloneria e pasticci come ANVUR ci ha insegnato ad apprezzare nel tempo grazie a tutti gli svarioni e gli errori che ha accumulato nella sua breve, ma ricca storia.
Mentre bisogna ringraziare notte e giorno ROARS per il prezioso lavoro di informazione che svolge, sono preoccupato che non esista qualche strumento davvero efficace per far cambiare rotta al governo in materia di politica Universitaria.
A me pare che la ratio, con tutti gli aggiustamentini del caso settore per settore cui la logica nostrana dei rapporti di forza ci ha abituato, sia ancora quella ingenuamente esposta da ANVUR nei primissimi documenti del 2016 relativi alle soglie (li si trova in appendice a questo post di Roars: https://www.roars.it/soglie-per-labilitazione-ecco-la-proposta-anvur/). Ossia: cinquantesimo percentile della fascia ‘superiore’ (PO per gli aspiranti commissari) del relativo SSD, in modo da lasciare fuori il 50% ‘peggiore’. Insomma, una pura e semplice riproposizione sotto altre spoglie delle mediane.
Negli stessi documenti, per quanto riguarda le monografie, si leggeva quanto segue: ‘Poiché in merito alla soglia monografie è noto che: i. Tali “monografie” sono definite in base al mero requisito del possesso di un codice ISBN. ii. Per scrivere e pubblicare una solida monografia scientifica, o prodotto equivalente, ci vogliono di regola diversi anni. iii. Il Regolamento stabilisce che le soglie siano calcolate su un numero limitato di anni, talché adottando valori troppo alti si punirebbero gli studiosi più seri. Si è dunque adottato il valore più basso possibile in base alla regola di cui al punto 4., vale a dire 2 per gli aspiranti commissari, 1 per gli aspiranti ordinari e associati’.
In altre parole poiché gli ISBN di fatto sono ‘in vendita’, alle monografie è stato attribuito un valore bassissimo o nullo. Peccato che un ragionamento analogo potrebbe applicarsi ai capitoli di libro e, almeno in parte, agli articoli su rivista.
In realtà, le soglie non sono significative: ciò che è significativo è il giudizio della commissione. Giudizi contrastanti fra i commissari, fra quello della VQR e quello finale della commissione non valgono a nulla. Lo so ben io, i cui lavori, giudicati eccellenti nella VQR sono stati giudicati non sufficienti per l’idoneità. Come dire: l’istituzione dà un giudizio, si smentisce, dice forse, non so …
Ottima analisi!
Il metodo dell’ANVUR, come sappiamo, è basato su parametri meramente quantitativi. Quindi è ovvio che gli indicatori dei singoli possano cambiare annualmente e di conseguenza non stupisce che cambino anche i valori soglia. In questo caso è molto probabile che molti siano stati spinti a pubblicare di più, anche su miriadi di mediocri riviste online fiorite di recente, determinando un conseguente aumento delle soglie. E questo che non ha nulla a che fare con la qualità della ricerca.
Purtroppo, siamo di fronte a un sistema dove i valori culturali e scientifici non sono assodati, ma aleatori perchè possono variare stagionalmente: una vera mostruosità.