Aggiornamento sull’analisi della prima tornata dell’Abilitazione Scientifica Nazionale (ASN) 2012

Ogni albero che non produce frutti buoni viene tagliato e gettato nel fuoco

Matteo 7,15–20

Questo documento ha lo scopo di aggiornare l’analisi preliminare dei dati ASN 2012 iniziata dopo la pubblicazione dei primi esiti da parte delle commissioni giudicatrici. L’aggiornamento prende in considerazione i risultati dei primi 103 settori concorsuali pubblicati su 184. Complessivamente, i dati riguardano 32524 domande, di cui 10130 per la prima fascia e 22394 per la seconda fascia. Di queste, hanno avuto esito positivo 4570 domande per la prima e 9843 domande per la seconda fascia.

Analisi Generale

Come prima cosa analizziamo il numero di domande complessivamente presentate per ciascuna area, distinguendo le domande in base alla fascia per la quale sono state presentate (prima/seconda fascia) e in base all’esito della valutazione (abilitato/non abilitato). Il grafico seguente mostra la situazione; è importante sottolineare che il numero di domande è necessariamente maggiore o uguale al numero di candidati all’abilitazione, dato che uno stesso candidato può concorrere in più settori concorsuali e per più fasce.

I dati grezzi sono riportati nella tabella seguente.

In base ai dati disponibili fino ad ora, l’area 06 (Scienze mediche) risulta quella col maggior numero di domande presentate (6358), seguita a distanza dall’area 02 (Scienze fisiche, 4372 domande) e dall’area 10 (Scienze dell’antichità, filologico-letterarie e storico-artistiche, 3549 domande). Le aree 12 (Scienze giuridiche) e 14 (Scienze politiche e sociali) si distinguono per l’elevata selettività della valutazione, con rispettivamente il 34% e il 29% di abilitazioni concesse. All’altro estremo si colloca l’area 03 (Scienze chimiche) in cui il 61% delle domande alla prima fascia e il 57% alla seconda fascia hanno avuto esito positivo. Poiché queste cifre si basano su dati parziali, è necessario attendere il termine della pubblicazione dei risultati per avere un quadro definitivo della situazione.

Analisi dei Settori Concorsuali

Scendendo nel dettaglio di ogni area osserviamo situazioni molto disomogenee, a causa della presenza di settori concorsuali con caratteristiche diverse tra loro. Nel grafico seguente mostriamo il dettaglio del numero di domande per ciascun settore concorsuale. Incrociando i nomi dei candidati con i nomi nell’anagrafe nazionale dei docenti e ricercatori è possibile farsi un’idea grossolana di quanti dei candidati all’abilitazione risultano strutturati presso un Ateneo italiano.

La distinzione calcolata in questo modo è molto imprecisa a causa di omonimie. In generale, se il nome di un candidato non compare nell’anagrafe del MIUR, allora possiamo ragionevolmente ritenere quel candidato come non strutturato (salvo errori di ortografia sul nome o ritardi nell’aggiornamento dell’anagrafe); se invece il nome di un candidato compare nell’anagrafe del MIUR, allora quel candidato potrebbe essere strutturato presso un Ateneo italiano, oppure potrebbe essere un omonimo di uno strutturato (falso positivo). Conseguentemente, il numero di candidati strutturati mostrati nei grafici tenderà ad essere sovrastimato rispetto al valore reale, mentre il numero di candidati non strutturati tenderà ad essere sottostimato. Si presti attenzione che stiamo considerando solo il personale di ruolo presso le Università italiane, per cui ad esempio i ricercatori in servizio presso gli enti di ricerca (CNR, INFN, …) vengono considerati non strutturati.

[scarica i dati in formato csv: numero_domande]

Le linee tratteggiate indicano il numero medio di domande per i settori concorsuali dell’area, mentre le linee continue indica la media globale su tutti i settori concorsuali. Dai dati si evidenzia l’elevato numero di domande presentate nei settori concorsuali delle aree 02 (Scienze fisiche), 05 (Scienze Biologiche) e 06 (Scienze mediche), con un numero medio di domande per settore ben al di sopra della media globale. Notiamo che i settori 09/H1 (Sistemi di elaborazione delle informazioni), 10/F1 (Letteratura italiana, critica letteraria e letterature comparate) e 10/C1 (Teatro, musica, cinema, televisione e media audiovisivi) hanno ricevuto circa 600 domande ciascuno, ben al di sopra degli altri settori nella stessa area. Situazioni simili si verificano anche in altre aree, in cui settori “affollati” si affiancano ad altri decisamente meno popolosi.

Distribuzione del numero di domande presentate e di abilitazioni ottenute

Dato che ciascun candidato può presentare più domande di abilitazione, è interessante analizzare la distribuzione del numero C(d) di candidati che hanno presentato d distinte domande di abilitazione, per tutti i possibili valori di d. Anche qui il dato è solo indicativo, a causa di possibili omonimie.

Si osserva che un numero cospicuo di candidati ha presentato più di una domanda; il massimo fino ad ora è un candidato che ha presentato 20 domande di abilitazione su 10 settori concorsuali diversi (nessuna delle quali ha peraltro avuto esito positivo).

In maniera simile possiamo calcolare il numero A(d) dei candidati che hanno ottenuto d abilitazioni (per fasce e/o settori diversi). Il risultato è mostrato nel grafico seguente:

Osserviamo che il numero di candidati che hanno ottenuto due o più abilitazioni è significativo. Il record fino ad ora appartiene ad un candidato che ha ottenuto abilitazioni per la prima e seconda fascia in cinque settori concorsuali (05/F1 Biologia applicata, 05/H2 Istologia, 05/I1 Genetica e Microbiologia, 06/A1 Genetica medica, 06/A2 Patologia generale e patologia clinica). Un fatto curioso: la commissione 05/F1 ha sbagliato a fare copia e incolla della data di nascita nel verbale per la prima fascia, che risulta quindi diversa da quella indicata nel curriculum. La stessa commissione non ha sbagliato il copia e incolla nel verbale per la seconda fascia. Si tratta di una banalissima svista, che però i “controlli” del MIUR non hanno rilevato. Quante altre sviste assai meno banali saranno sfuggite?

Tra coloro che hanno ottenuto più di una abilitazione, le situazioni più frequenti sono costituiti da candidati idonei per entrambe le fasce dello stesso settore concorsuale. Nel grafico seguente riportiamo il numero di candidati per ogni settore che hanno ottenuto l’abilitazione a entrambe le fasce.

Nelle prime tre posizioni troviamo i settori 02/A2 (Fisica Teorica delle Interazioni Fondamentali), 06/C1 (Chirurgia generale) e 05/F1 (Biologia applicata). È importante notare che il grafico riporta valori assoluti, e il numero di abilitati a entrambe le fasce tende ad essere correlato con il numero di candidati del settore concorsuale; non è un caso che i tre settori appena menzionati abbiano ricevuto un numero di domande molto superiore alla media.

Durante l’analisi dei dati è emerso un fatto curioso. Esiste un candidato che ha ottenuto l’abilitazione alla prima fascia nel settore 06/H1 (Ginecologia e Ostetricia), ma non è risultato idonei alla seconda fascia dello stesso settore concorsuale. L’esame dei due cv ha evidenziato che ciò è probabilmente dovuto ad un qualche problema nella compilazione della domanda di abilitazione alla seconda fascia, che presenta una lista di pubblicazioni incompleta da cui probabilmente derivano valori più bassi degli indicatori bibliometrici rispetto a quelli calcolati per la prima fascia. Ancora una volta siamo in presenza di un errore materiale non rilevato né dalla commissione, né dai “controlli” ministeriali. Confido che il MIUR saprà regalarci altre perle di comicità surreale come questa nei futuri risultati.

Percentuali di candidati idonei

Passiamo ora all’esame degli esiti dell’abilitazione. I grafici seguenti mostrano la percentuale delle domande di abilitazione che hanno avuto esito positivo, divise per fasce. Incrociando i nomi dei candidati con l’elenco degli strutturati prelevati dalla banca dati del CINECA, possiamo scomporre in maniera approssimativa le percentuali, distinguendo gli abilitati strutturati dai non strutturati. In ciascuno dei grafici viene mostrata la percentuale media di abilitati dell’area (linea tratteggiata) e la percentuale media di abilitati su tutti i settori fino ad ora pubblicati (linea continua).

[scarica i dati in formato csv: perc_abilitati_fascia_1]

[scarica i dati in formato csv: perc_abilitati_fascia_2]

Le aree 11, 12 e 14 si dimostrano particolarmente selettive, con percentuali di abilitati per settore che si collocano in genere al di sotto della media generale. In altre aree si evidenziano situazioni assai eterogenee; ad esempio, nell’area 02 si passa dal 71% di abilitati a prima fascia per il settore 02/A2 al 25% di abilitati a prima fascia del settore 02/B3. Il settore 03/B1 risulta quello con la maggior percentuale di abilitati a prima fascia (83.2%), mentre il settore 11/D1 risulta avere la minor percentuale di abilitati a prima fascia (appena 12.5%). Per la seconda fascia, le percentuali vanno dall’82.2% del settore 02/A2 al 16.7% del settore 14/C1 (la severità della commissione 14/C1 è già stata oggetto di un altro post).

Come si può osservare dai grafici seguenti, al momento non emerge alcuna correlazione tra la percentuale di abilitati e il numero di candidati dei settori (il test di Pearson non rigetta l’ipotesi di correlazione zero). In altre parole, in base ai dati disponibili non si può affermare che le commissioni dei settori con elevato numero di domande si siano dimostrate né più “morbide” né più “severe” rispetto a quelle dei settori con pochi candidati. Ciascun grafico corrisponde ad un sottoinsieme dei dati relativi ai soli settori bibliometrici/non bibliometrici e prima/seconda fascia; ogni punto rappresenta un settore concorsuale, la cui coordinata x corrisponde al numero di domande, e la cui coordinata y rappresenta la percentuale di abilitazioni concesse.

Superamento delle mediane da parte dei candidati abilitati

Analizziamo ora le frazioni di abilitati di ogni settore che superano 0, 1, 2 o 3 mediane. I dati sono riportati nel grafico seguente.

[scarica i dati in formato csv: ab_supero_mediane_fascia_1]

[scarica i dati in formato csv: ab_supero_mediane_fascia_2]

Ripetiamo l’analisi considerando i non abilitati. I grafici seguenti mostrano, per ciascun settore concorsuale, le percentuali di non abilitati che superano 0, 1, 2 o 3 mediane.

[scarica i dati in formato csv: non_ab_supero_mediane_fascia_1]

[scarica i dati in formato csv: non_ab_supero_mediane_fascia_2]

È interessante cercare di capire se è vero che le commissioni dei settori bibliometrici abbiano dato maggior peso al superamento di almeno due mediane su tre rispetto alle commissioni dei settori non bibliometrici. Per verificare o confutare questa ipotesi calcoliamo le probabilità di ottenere l’abilitazione, rispettivamente in un settore bibliometrico e non bibliometrico, condizionata al fatto di superare M = 0, 1, 2, 3 mediane. Le tabelle seguenti mostrano le probabilità Pr(Ab|sup. M mediane) di ottenere l’abilitazione condizionata al fatto di superare M mediane, separando i valori per la prima e seconda fascia. La terza colonna mostra il parametro del test dell’ipotesi nulla:

H0: La probabilità di ottenere l’abilitazione in un settore bibliometrico, condizionata al superamento di M mediane, è UGUALE alla probabilità di ottenerla in un settore non bibliometrico a parità di condizioni.

Se tale valore risulta inferiore a 0.05, l’ipotesi nulla è rifiutata a favore dell’alternativa (two-sided test):

H1: La probabilità di ottenere l’abilitazione in un settore bibliometrico, condizionata al superamento di M mediane, è DIVERSA dalla probabilità di ottenere l’abilitazione in un settore non bibliometrico a parità di condizioni.

L’asterisco sull’ultima colonna indica i casi in cui le probabilità sono statisticamente differenti, ossia i casi in cui rigettiamo l’ipotesi nulla a favore dell’alternativa.

Dai dati emerge che il superamento di una mediana su tre comporta effettivamente una probabilità inferiore di ottenere l’abilitazione in un settore bibliometrico rispetto ad un settore non bibliometrico; nel caso della prima fascia tale differenza risulta particolarmente marcata (27% in un settore non bibliometrico contro 17% in un settore bibliometrico), mentre la differenza è minore, ma pur sempre statisticamente significativa, per la seconda fascia (27% nei settori non bibliometrici contro 23% dei settori bibliometrici). Osserviamo anche che il superamento di tre mediane sembra avere un peso leggermente superiore per l’abilitazione a prima fascia nei settori bibliometrici (63% contro il 59% dei settori non bibliometrici). Ai fini dell’abilitazione a seconda fascia il superamento di due mediane su tre comporta una probabilità di abilitazione leggermente superiore nei settori bibliometrici (54% contro 51% dei settori non bibliometrici). Non è comunque possibile trarre conclusioni definitive se non dopo che saranno disponibili i dati di tutti i settori, tanto più che in certi casi la differenza risulta solo marginalmente significativa (il p-value 0.0323 che compare nei dati della prima fascia non consentirebbe di rigettare l’ipotesi nulla ad un livello inferiore, ad esempio 0.01).

Suddivisione in classi dei candidati

I dati a disposizione consentono di partizionare la popolazione dei candidati di ciascun settore nei seguenti sottoinsiemi disgiunti:

1. Coloro che hanno ottenuto l’abilitazione e superano almeno due mediane su tre;
2. Coloro che hanno ottenuto l’abilitazione e NON superano almeno due mediane su tre;
3. Coloro che NON hanno ottenuto l’abilitazione e superano almeno due mediane su tre;
4. Coloro che NON hanno ottenuto l’abilitazione e NON superano almeno due mediane su tre;

La frazione di candidati in ciascuno di questi sottoinsiemi è illustrata nei grafici seguenti, in cui i settori sono raggruppati per area e ordinati in base alla percentuale di candidati abilitati (cioè alla somma delle frazioni di candidati delle classi 1 e 2). Le parti interessanti sono rappresentate dalle barre azzurre e gialle, che rappresentano rispettivamente la frazione di candidati abilitati che non supera due mediane su tre, e la frazione di candidati non abilitati che però supera almeno due mediane su tre.

Bonus Track: il Commissari-O-Matic

Uno degli aspetti della precedente analisi che ha destato particolare interesse è l’analisi testuale sui verbali che evidenziava, in alcuni casi, una notevole similitudine tra i testi.

Vediamo quindi una semplice estensione dell’analisi testuale precedentemente introdotta. l punto di partenza è sempre lo stesso: in molti lamentano che i giudizi individuali dei singoli commissari, in certi settori, sono alquanto stringati basati su schemi predefiniti che vengono sommariamente completati alla bisogna, talvolta con risultati grotteschi (il giudizio della commissaria OCSE del settore 06/M1 consiste in una singola frase, che in questo verbale risulta essere La candidata non è idonea ad ottenere l’abilitazione a professore di seconda fascia per il Settore concorsuale 06/M1, nonostante il candidato fosse un uomo).

Il calcolo della distanza di Levenshtein, come già visto, consente di esprimere in termini numerici la diversità di due sequenze di caratteri; sarebbe però molto più istruttivo riuscire a mostrare concretamente quali sono le parti di testo comuni tra un insieme di frasi, in modo da far emergere lo schema che è stato usato per comporre i giudizi.

Questo tipo di problema è conosciuto come Longest Common Subsequence (LCS) problem (Problema della Massima Sottosequenza Comune). Il problema può essere descritto come segue: date due sequenze di caratteri (dette anche stringhe di caratteri), vogliamo identificare la più lunga sottosequenza di caratteri che compaiono, non necessariamente contigui, in entrambe. Ad esempio, la più lunga sottosequenza comune delle stringhe:

thisisatest
testing123testing

è la stringa tsitest (è facile verificare che tutti i caratteri di questa parola compaiono, in ordine, in entrambe le stringhe sopra; un po’ meno facile è convincersi che non esiste altra sottosequenza comune alle due parole sopra che risulti più lunga di tsitest).

Il problema della massima sottosequenza comune ha importanti applicazioni, ad esempio, in bioinformatica. Per i nostri scopi è utile definire una variante del problema, che consiste nell’individuare la massima sottosequenza comune tra due (o più) liste di parole. In altri termini, riformuliamo il problema della massima sottosequenza comune in un contesto in cui maneggiamo sequenze di parole anziché sequenze di singoli caratteri.

Per capire il meccanismo, supponiamo che un ipotetico commissario abbia espresso i giudizi seguenti su tre altrettanto ipotetici candidati (per comodità ho omesso la punteggiatura e tutte le lettere sono minuscole):

1. il candidato alan turing presenta pubblicazioni insufficienti e pertanto è dichiarato non idoneo
2. il candidato albert einstein presenta pubblicazioni scarsamente pertinenti e pertanto è dichiarato non idoneo
3. il candidato guidobaldo maria riccardelli presenta pubblicazioni eccellenti e pertanto è dichiarato idoneo

è abbastanza evidente che le parole in grassetto costituiscono lo schema utilizzato per redigere i giudizi, che pertanto ha la struttura:

il candidato ____________ presenta pubblicazioni ____________ e pertanto è dichiarato ____ idoneo

Nel caso sopra la soluzione è visibile a colpo d’occhio, ma il problema si complica se se i giudizi da esaminare sono decine o centinaia. In più si potrebbe obiettare che i commissari ASN avranno sicuramente scritto frasi ben più articolate di quelle sopra, che renderebbero l’analisi delle parti comuni inconcludente.

Per quanto riguarda la prima obiezione, il calcolo della massima sottosequenza comune può essere facilmente automatizzato, e sebbene l’estrazione dei giudizi dei singoli commissari possa risultare laboriosa, alla fine il processo risulta automatizzabile. Per quanto riguarda la seconda obiezione, le commissioni ASN non difettano di componenti che hanno dimostrato il dono della sintesi. A titolo di esempio, è stato scelto un commissario a caso tra i tanti che hanno fornito giudizi quantomai parsimoniosi. L’applicazione dell’algoritmo ai 478 giudizi espressi per i candidati a prima fascia ha individuato lo schema seguente:

attività ____________ giudizio sulle pubblicazioni __ giudizio sui titoli presentati __

Si potrebbe pensare che queste parti comuni rappresentino solo una piccola porzione dei giudizi (d’altra parte è abbastanza naturale che il testo formale abbia una struttura un po’ rigida e ripetitiva). In realtà, andando a controllare si scopre che i giudizi completi espressi dal commissario di cui sopra sono ad esempio:

• attivita non congrua con il settore XX YY giudizio sulle pubblicazioni e giudizio sui titoli presentati e
• attivita prevalente nel campo dell economia giudizio sulle pubblicazioni d giudizio sui titoli presentati b
• attivita nel campo della meccanica statistica e dei fenomeni critici coerente con il settore XX YY giudizio sulle pubblicazioni a giudizio sui titoli presentati a

(i caratteri accentati sono stati sostituiti con caratteri normali per semplificare il compito del programma; il settore concorsuale è stato omesso per non privare il lettore del divertimento di indovinare di quale settore si tratti).

Sulla scorta di quanto sopra, è stato predisposto un rivoluzionario servizio per le future commissioni ASN: il Commissari-O-Matic. Il servizio, ispirato al celebre generatore casuale di articoli SCIgen, produce giudizi casuali su candidati immaginari a improbabili settori concorsuali; i giudizi sono ottenuti giustapponendo spezzoni di frasi da un dizionario interno, in costante espansione. Il risultato è garantito essere del massimo realismo (provare per credere).

Qualche esempio?

Il candidato Guidobaldo Maria Riccardelli ha svolto attività di ricerca nel campo dello studio delle proprietà endocroniche della tiotimolina risublimata e della progettazione di edifici con mattoncini LEGO. L’attività svolta risulta solo parzialmente pertinente al settore concorsuale 21/H7—Geografia delle ande sudorientali. Il giudizio sulle pubblicazioni è molto buono; il giudizio sui titoli è ottimo. Pertanto si dichiara il candidato non ancora idoneo a ricoprire il ruolo di professore di prima fascia.

Il candidato Giulio Cesare ha svolto attività di ricerca nel campo della ricerca del Sacro Graal e della fisica dei motori a curvatura. L’attività svolta risulta solo parzialmente pertinente al settore concorsuale 82/W1—Medicina tronco-conica. Il giudizio sulle pubblicazioni è ottimo; il giudizio sui titoli è molto buono. Pertanto si dichiara il candidato non ancora idoneo a ricoprire il ruolo di professore di prima fascia.

Il servizio è in continua evoluzione; presto disponibile anche su iPhone e Android.