Sui siti docente degli aspiranti commissari si è acceso il “semaforo”: è affidabile o è solo “puramente indicativo”?

Ecco un esempio di “semaforo verde”:

Da notare la terminologia, volutamente ambigua:

“… la sua posizione rispetto alla candidatura alle commissioni di abilitazione nazionale è suscettibile di essere ammessa”.

A tale proposito, è bene ricordare che in un avviso pubblicato il 22 agosto, l’ANVUR aveva spiegato che il semaforo sarebbe stato puramente indicativo (Abilitazioni: le mediane di Barbapapà) anche perché basato sulle informazioni disponibili sul sito docente alla data del 15 luglio:

Si ricorda tuttavia che l’avviso avrà un valore puramente indicativo, dato che esso si basa sulle informazioni disponibili sul sito docente alla data del 15 luglio, utilizzate per il calcolo degli indicatori. La verifica definitiva sul superamento delle soglie verrà effettuata al momento dell’analisi delle candidatura sulla base dei dati aggiornati alla data del 28 agosto, termine ultimo per la presentazione delle domande. I candidati hanno infatti al possibilità di aggiornare il proprio curriculum in fase di presentazione della propria candidatura.

Alcuni commenti a caldo:

1. Il messaggio fa riferimento alle “informazioni disponibili sul sito docente” ma senza specificare il giorno e l’ora. Dai documenti di accompagnamento delle mediane sappiamo è necessario lanciare interrogazioni multiple sui database bibliometrici per estrarre i dati che poi devono essere elaborati. I semafori fanno riferimento ai dati caricati alla data del 15 luglio, in accordo con l’avviso del 22 agosto di cui sopra, o tiene conto anche quelli caricati successivamente? La procedura funziona in tempo reale? Se aggiorno le mie pubblicazioni posso veder cambiare il colore del semaforo? Oppure, è stata lanciata una volta per tutte verrà verificata definitivamente solo dopo la scadenza ultima (le 17:00 odierne?).

2. Per quanto sia ovvio, è bene ricordare che i docenti che non hanno “luce verde” possono ancora aggiungere pubblicazioni fino alle 17:00 di oggi, con un possibile incremento dei loro indicatori che comporti il superamento di almeno due mediane su tre.

3. Il messaggio fa riferimento  “alla mediana degli indicatori alla data del 15 luglio 2012”. Ma meno di 24 ore fa le mediane, pubblicate da diversi giorni, sono state sostituite da nuovi valori (Attenzione: mediane in movimento!) su cui dovrebbe essere basata il responso “semaforico” di oggi. Tutto ciò suscita dubbi sull’affidabilità dei calcoli degli indicatori bibliometrici. Come dovrebbero comportarsi gli aspiranti commissari che superavano due mediane su tre con le tabelle precedenti e che adesso hanno “semaforo rosso”? Le vecchie mediane erano

un’approssimazione che, ad un più attento esame, non risulta pienamente in linea con la definizione formale di mediana contenuta nel DM 76

E le nuove mediane sono anch’esse un’approssimazione? In che senso sono più valide delle vecchie?

4. È ben noto che i database bibliometrici sono affetti da errori, omissioni e ritardi. Alcuni articoli già pubblicati, anche da mesi, potrebbero non essere ancora disponibili e lo stesso vale per le citazioni, senza tener conto dei possibili errori (Abilitazioni e mediane ANVUR: dipaniamo il “caos strisciante” ). L’ANVUR ha dichiarato esplicitamente di non aver calcolato le citazioni e l’h-index in modo esatto ma solamente approssimando le citazioni dei singoli lavori come il massimo dei due numeri forniti da Web of Science e Scopus. Anche le mediane dei settori non bibliometrici presentano diversi problemi relativamente alla classificazione dei prodotti (Alice nel paese delle mediane non bibliometriche), per non dire delle liste delle riviste in classe A che non sono ancora state rese pubbliche, rendendo impossibile ogni verifica in proposito da parte degli aspiranti commissari. Pertanto, chi non ha “semaforo verde” potrà inoltrare ricorso secondo le  modalità previste dal DM 76 (per tutti i dettagli rimandiamo all’articolo: Abilitazioni: arriva il decreto dissuasivo per gli aspiranti commissari).

Conclusioni

Ieri l’ANVUR ha fatto sparire le vecchie mediane sostuendole con nuovi numeri (Attenzione: mediane in movimento!). Bastano poche basi di statistica per conoscere la definizione di mediana. Da più di un anno  l’ANVUR propone l’uso delle mediane come panacea per determinare i parametri quantitativi per la selezione di commissari e candidati. È possibile che a 24 ore dalla scadenza del termine delle domande degli aspiranti commissari, l’ANVUR scopra di avere usato un’approssimazione “non pienamente in linea con il DM 76”? Di quale approssimazione sta parlando?

“Approssimare” le mediane in un modo o nell’altro può aiutare alcuni settori concorsuali e/o alcuni SSD. Come spiegato in “Efffetto domino: le mediane di Borges“, piccole variazioni nei calcoli cambiano la mappa dei SSD che usufruiscono di mediane più basse e pertanto più favorevoli.

A questo punto rimangono tre possibilità:

  1. L’ANVUR ha parlato di mediane  e delle loro virtù per più di un anno senza sapere  come calcolarle e, a sole 24 ore dalla fine, ha finalmente aperto un libro di statistica.
  2. L’ANVUR, aveva usato la formula corretta e ritoccandola in extremis, ne trarrà vantaggio qualche SSD che, grazie allo scorporo, ottiene mediane più basse di quelle precedentemente pubblicate.
  3. L’ANVUR aveva usato una formula non corretta, che riteneva però soddisfacente per i risultati che produceva. Tuttavia, rendendosi conto che gli inevitabili ricorsi lo costringeranno a scoprire le carte (forse persino in tribunale), ha fatto precipitosamente marcia indietro.

A voi la scelta.

 

 

 

Print Friendly, PDF & Email

102 Commenti

  1. “Forse sarebbe introdurre degli indici di “attività scientifica” di facile gestione con lo scopo di distinguere chi negli ultimi n anni (n = 5?) è scientificamente inattivo da chi è attivo, limitando l’accesso alle commissioni a chi è scientificamente attivo.”

    scusami, ma questo come farebbe ad evitare tutta la questione dei grandi gruppi e della courtesy authorship di cui scrivi in seguito? Renderebbe il tutto molto più semplice.

    “Anche se fosse vero, la differenza tra “de facto” e “de iure” è comunque abissale. Credo comunque che il “de facto” significhi che la valutazione bibliometrica entra nel giudizio dei candidati ma non in maniera automatica.”

    d’accordo che la differenza è abissale. E’ anche vero però che l’Italia è stato negli ultimi anni l’unico paese occidentale avanzato dove svariate commissioni hanno scelto il candidato vincitore infischiandosene bellamente della bibliometria. Non possiamo fingere di non aver visto quello che è successo fino ad oggi. Il discorso che fai sarebbe condivisibile in un sistema normale. Il sistema bibliometrico “de iure” deriva direttamente dall’ignoranza e arroganza degli accademici italiani che hanno curato i propri orticelli a discapito dell’Università e hanno spesso volutamente ignorato gli standard de facto internazionali.
    Le pozioni magiche non esistono, d’accordo. Le mediane però non sono la pozione magica, sono il “precordial thump” che, buon per loro, in altri paese non è (ancora?) necessario.
    V.

  2. Altra cosa, riguardo alla courtesy authorship. Potreste per cortesia scrivere in maniera chiara ed inoppugnabile che tale pratica è contraria all’etica scientifica e in molti casi è da considerarsi scientific fraud? Sempre più spesso viene citata per spiegare perchè le mediane non funzionano, come se fosse una pratica normale. Mi ricorda il discorso per cui in Italia il costo delle assicurazioni auto molto alto è giustificato dal fatto che ci sono molte frodi. La soluzione alla scientific fraud della courtesy authorship non è certo evitare l’uso di strumenti bibliometrici, altrimenti diventa solo una scusa per quello che hanno indicatori bassi. La soluzione è denunciare quelli che sono autori senza aver partecipato al lavoro scientifico. Le regole per l’authorship ci sono e sono molto chiare, e sono applicabili anche ai grandi gruppi. Che poi chi lavora in un grande gruppo con tante relazioni internazionali sia in parte favorito, è pure vero, ma ditemi in quale ambito non è così e forse è anche giusto.
    V.

    • Vabbè….. abbiamo due candidati: uno negli ultimi 10 anni pubblica 15 lavori a singola firma l’altro 40 lavori con mediamente 4 firme. Secondo le mediane amatissime da Vladimir è giusto che il primo sia escluso perchè la mediana è, mettiamo, 30. Ma che ragionamento è? Ed è anche giusto? Se ragiono con onestà intellettuale riconosco che ogni lavoro a 4 firme contiene mediamente il 25% di lavoro da parte del candidato (ho detto mediamente… perchè se in un lavoro il candidato ha fatto il 50% del lavoro, in un altro, magari ha fatto il 10%…etc).
      Questa non è frode scientifica ma ha come conseguenza lo stesso il fatto che il candidato a firma singola, che lavora di più e che ha maggior proprietà intellettuale sui propri prodotti, viene escluso perchè qualche burocrate dell’ANVUR ha deciso così e perchè le grandi reti di ricerca lo ritengono vantaggioso.

    • Inoltre ammettiamo che ogni autore citi in ogni suo articolo tutti i propri articoli precedenti cosa che i parametri e le mediane ammettono tranquillamente. L’autore a firma singola dopo il 15mo lavoro avrà collezionato 105 citazioni e un h index di 7; l’autore a 4 firme invece avrà collezionato 780 citazioni con un h-index di 20. Il tutto sapendo che gli autori che firmano in 4 sono meno qualificati dell’autore che firma da solo per i motivi detti sopra. Possibile che qualcuno degli estensori del decreto non abbia pensato a queste semplici considerazioni? Non posso crederci! Ergo si è deciso deliberatamente di alterare la valutazione per favorire le grandi reti di ricerca.

    • non mi pare di aver mai scritto di non essere d’accordo sulla questione degli autori. Ho qualche perplessità su una normalizzazione secca sul numero perché in alcuni campi penalizzerebbe eccessivamente i “grandi gruppi”. Non è affatto detto che il contributo degli autori sia equamente distribuito. E’ inoltre un pò difficile stabilire una regola che vada bene per tutti in quanto mi pare di capire che usi e costumi cambino molto a seconda del settore scientifico. Nell’Università dove lavoro ora (ambito medico) il “requisito minimo” per diventare associate professor sono 5 articoli come primo o ultimo nome e mi sembra un criterio equilibrato. Sento dire però che da altre parti non funziona.
      Un saluto
      V.

    • Assolutamente d’accordo. Lo scrivo volentieri: “la courtesy authorship è contraria all’etica scientifica e in molti casi è da considerarsi scientific fraud”. E POICHE’ tale pratica e’ MOLTO DIFFUSA, specialmente nei grandi gruppi – e posso assicurare MOLTO PIU’ DIFFUSAMENTE a livello internazionale che italiano -, che le mediane COSI come sono hanno pochissimo senso.

      Ribadisco per essere piu’ chiaro possibile:

      1) Pochissimo senso: non dico zero. E’ ovvio che chi non ha mai scritto nulla rimane fuori, almeno questo.

      2) Lo SCANDALO e’ non voler considerare tra gli indicatori ANCHE per normalizzazione al numero di autori. Come ha scritto il prof. Gott (che non e’ l’ultimo arrivato) su Physics Today, “ogni indicatore per cui io risulti migliore di Einstein e’ assurdo”. Nelle grandi collaborazioni, ci sono oramai BORSISTI che hanno indicatori superiori. Provate pero’ a farne la normalizzazione per numero di autori e vedete dove finiscono.

      3) In diverse grandi universita’ statunitensi – che portiamo spesso ad esempio – candidati alla tenur track (almeno per il campo in cui lavoro, astrofisica) NON vengono presi in considerazione se non hanno articoli a SINGLE NAME, indipendentemente da valori di h-index, numero di articoli e mediane mostruose.

      4) RIPETO: BEN VENGA una valutazione quantitativa, ma per favore che sia seria. Non e’ seria una scrematura che permette l’accesso a “gregari” che firmano centinaia di articoli, escludendo al contempo chi probabilmente ha lavorato con piu’ creativita’ in piccoli gruppi. Non si puo’ sostituire un metodo (non necessariamente cattivo) eseguito male (come i vecchi concorsi), con un cattivo metodo (non necessariamente eseguito tanto bene)

    • d’accordo su più o meno tutto. Il punto 3 però nel mio settore sarebbe impensabile. Non è fattibile condurre una ricerca da soli, nè particolarmente utile. Si potrebbe tranquillamente sostituire con “primo nome”, come penso facciano anche negli USA. Resta il problema che questi criteri on possono essere gli stessi per tutti i settori perchè non calzano allo stesso modo.
      Rispetto al punto 4 sono d’accordo in linea generale anche se, non mi pare che gli indicatori attuali precludano l’accesso a chi ha lavorato bene in piccoli gruppi. Alla fine si richiedono 3-5 prodotti all’anno negli ultimi 10 anni. Non è sicuramente poco ma nemmeno troppo per chi “lavora bene”.
      V.

  3. Purtroppo oltre a condizioni materiali svantaggiate di chi fa ricerca in Italia:
    1) Sistemi di Selezione Corrotti
    2) Polverizzazione delle responsabilità
    3) Finanziamenti non efficienti ed efficaci.

    Tenderei a sottolineare che al punto 3 non ho parlato di pochi ma non efficienti ed efficaci.

    Oltre a questi ostacoli di tipo materiale ci si mettono anche quelli di tipo “epistemologico” (chiamamoli così), che assumono la forma di varie mitologie che si sono affermate con un metodo che definirei “iterativo”.

    E cioè si dice una cosa non vera tante volte si insiste con pazienza, il numero di persone che la ripete aumenta la cosa diventa vera.

    Mi riferisco ai vari miti sulla ricerca in Italia.

    Uno di questi è stato appena enunciato da De Nicolao.

    “Nonostante tutto il livello Italiano è alto”. Il tutto adesso viene anche supportato da grafici e numeri.

    Una prima critica che verrebbe da fare allora e la seguente. Chi dice questo non può dire contemporaneamente che i finanziamenti non sono adeguati. Se siamo bravi e produttivi quello che viene impiegato ci basta?

    Ovviamente ci deve essere un inghippo da qualche parte perchè così non è.

    Questa analisi è stata criticata da più parti, mi riferisco sia al libro di Perotti, che da un post recente di Andrea Moro

    http://noisefromamerika.org/articolo/italia-produce-poca-ricerca-qualche-dato-in-piu

    In maniera un meno ingenua, Moro calcola quanta ricerca si produce nei vari paesi rispetto al PIL e alla dimensione della popolazione usando gli stessi indicatori usati da De Nicolao (SCIMAGO). (per maggiori dettagli si veda il link in alto)

    Riassumendo i risultati. In testa al gruppo si trova la Svizzera, che è ultima secondo il criterio adottato da De Nicolao. Nel gruppo dei 40 paesi (e presumibilmente fra tutti i paesi al mondo), l’Italia è 23esima nel rapporto citazioni/PIL, 30esima nel rapporto articoli/PIL, 23esima nel rapporto citazioni/popolazione, e 20esima nel rapporto citazioni/popolazione.

    Un’altro risultato interessante (deprimente per me) è l’elenco di paesi che stanno sotto l’Italia. Ad eccezione del Giappone, tutti i paesi industrializzati e di livello economico – culturale equivalente a quello Italiano stanno sopra l’Italia. A questi, vanno aggiunti, sempre sopra l’Italia, paesi come Grecia, Singapore, Ungheria, Nuova Zelanda, Irlanda.

    • Ho già mostrato che gli argomenti di Perotti, ripresi da Alberto Bisin e Andrea Moro non reggono nei seguenti post:

      1. Quello che Bisin e De Nicola non sanno (o fingono di non sapere) (https://www.roars.it/?p=7092)
      2. Quanta ricerca produce l’università italiana? Risposta a Bisin (https://www.roars.it/?p=8305)

      In particolare, nel secondo discuto in dettaglio perché la normalizzazione di Andrea Moro in realtà rafforza la tesi di una rierca italiana sottofinanziata che, nonostante tutto, mantiene un’efficienza per nulla scandalosa.

    • Insomma il risultato è che non siamo tanto male tutti mediamente. E per migliorare, a questo punto leggermente, le cose basterebbe finanziarci un pò in più tutti. Ovviamente a pioggia ma con una pioggia un pò più sostanziosa.

      In questo schema, ovviamente, L’ANVUR sta facendo cose folli con queste mediane e criteri sballati.

      Quindi in un quasi idillio di un sistema molto efficiente
      (pochi finanziamenti ma output dignitosissimi) sono arrivati i cattivoni dell’ANVUR (ovviamente emissari delle potenze straniere che si vedono scavalcate da noi) ad inguaiarci.

      E cosi?

    • Gentile Celenteron, le sarei davvero grato se potesse indicarmi in dettaglio i post di Roars dove si possono leggere le affermazioni sintetiche che ci attribuisce nel suo commento. Essendo noi un “collettivo rivoluzionario” ogni membro della redazione legge tutto ciò che viene pubblicato. E a me francamente quell’insieme di bestialità che lei ci attribuisce mi sono sfuggite. Ma forse non ho capito ciò che ho letto in questi mesi. Grazie molte del suo contributo.

    • Gentile Alberto,
      non ho virgolettato e quindi non ho attribuito niente a nessuno.

      Ho provato a tirare delle conclusioni finendo poi con un punto di domanda “E cosi?”

      Se non sono queste le conclusioni me ne potrebbe dare Lei almeno le sue oppure quelle del suo “collettivo rivoluzionario”?

      Ne sarei molto confortato.

    • Avevo chiesto un post a De Nicolao del tipo come avremmo fatto noi di ROARS.

      E’ un consiglio lo scrivo senza alcuna vis polemica. Dopo un pò che vi si legge si ha l’impressione che il blog si avviti attorno ad una polemica permanente ma non appare chiara una vision e dopo un pò la cosa non appassiona più (almeno me).

      Sempre per restare nel gergo del “collettivo rivoluzionario” mi piacerebbe leggere un bel “Che Fare” del ROARS.

      Quando ero studente avevamo un bollettino del collettivo ma il suo nome era Iskra ed era ciclostilato il che da tutto un altro sapore.

      Non avete mai pensato di postare scannerizzazioni dei ciclostilati invece dei “modernisti” posts? Darebbe tutto un’altro tono alla cosa :-).

      Ovviamente scherzo non ve la pigliate a male

    • Collettivo rivoluzionario -forse è il caso di ricordarlo- è il modo in cui siamo stati più volte chiamati dai rumoristi di nfa. E di recente in qualche commento è tornato il rivoluzionario. Anch’io scherzavo con questo appellativo :-). E la gran parte di noi sono troppo giovani per ricordare il ciclostile.

      Per il “che fare” ci stiamo lavorando. Appuntamento per autuno inoltrato.

      Nel frattempo può rileggersi le

      10 proposte al neoeletto ministro Profumo: https://www.roars.it/?p=1946

      7 proposte per la vqr fatte all’anvur https://www.roars.it/?p=9079

      Ed una mia personalissima idea di come avrebbe dovuto essere disegnato nelle sue linee generali il sistema di reclutamento: https://www.roars.it/?p=1946

      Nessuno le ha ascoltate.

    • Inoltre “po’” si scrive con l’apostrofo e non con l’accento, e “dà” con l’accento. E queste regole valgono per tutti i settori (bibliometrici e non).

  5. Che ne dite di un parametro che valuti le pubblicazioni nel seguente modo?

    Score = (IF/n position);
    n position = 1 for first and last author; 2= for second and penultimate author; 3 = for third author; 4 = for fourth author … and so on.

    • Il peso di una pubblicazione relativamente al rank dell’autore si calcola così:
      w_i=1/(r_i sum(j) 1/r_j)

      dove r_1=1,2,3,…. eventualmente come hai scritto tu.
      Nota che sum(i) w_i = 1. La somma è ovviamente estesa agli autori.

    • Attenzione però a distribuire il peso uniformemente laddove gli autori compaiono in ordine alfabetico. L’errore che si compie quando si tratta di ordine alfabetico “casuale”, soprattutto nei lavori a due nomi, è senz’altro un male minore rispetto a dare più peso al primo autore che si trova invece li per caso.

  6. Interessanti notizie sui “semafori” nelle FAQ dell’ANVUR:

    “Qual è il significato del “semaforo” comparso su loginmiur (sito docente) dei professori ordinari?

    Il semaforo si basa sulle informazioni al 15 luglio 2012 e informa circa il superamento o meno delle mediane degli indicatori allo stato delle informazioni disponibili.

    Il semaforo ha esclusivamente valore indicativo e non preclude il diritto a presentare la domanda per la commissione di abilitazione.

    Di conseguenza, chi ha ricevuto un semaforo rosso non è in alcun modo obbligato a ritirare la domanda entro il 3 settembre, in quanto l’ANVUR ricalcolerà tutte le posizioni individuali sulla base delle informazioni contenute nella domanda stessa.

    I semafori saranno resi disponibili anche per i candidati alla abilitazione?

    L’ANVUR renderà disponibili su loginmiur dei professori associati, prima della scadenza del bando, l’indicazione circa il superamento delle mediane, sulla base del contenuto di loginmiur a quella data, confrontato con le mediane già pubblicate sul sito nel mese di agosto 2012 valide ai fini della abilitazione a professore ordinario. Tale indicazione si potrà riferire solo al settore concorsuale di appartenenza dei candidati. Si ribadisce che tale indicazione non preclude in alcun modo il diritto a partecipare alla abilitazione nazionale.

    Come si applicano le mediane ai fini del superamento delle stesse?

    Il DM 67 specifica che ogni indicatore si intende superato se il soggetto presenta un valore maggiore della rispettiva mediana. Il dettato della norma va inteso nel senso di strettamente maggiore. In pratica se l’indicatore è frazionario, si intende la frazione superiore, troncata alle due cifre decimali (es. se il numero di citazioni normalizzato ha mediana 12,25, passano il criterio coloro che hanno un indicatore di 12,26 o superiore). Se l’indicatore è per costruzione un numero intero, come nel caso dell’ h contemporaneo, si intende l’intero superiore.

    Si ricorda che per i settori bibliometrici devono essere soddisfatti due criteri su tre, per i settori non bibliometrici uno su tre (uno su due nel caso dell’area 12).

    A quale data sono state calcolate le mediane? Cosa accade se sono state prodotte nuove pubblicazioni dopo la scadenza dal calcolo delle mediane?

    Le mediane sono state calcolate con riferimento allo stato di loginmiur al 15 luglio 2012.

    In riferimento alle procedure aperte per la selezione degli aspiranti commissari e per la abilitazione, si ricorda che principio generale delle procedure di selezione è che i candidati possono presentare le pubblicazioni fino alla data indicata nel bando. Ciò significa che:

    per il bando aspiranti commissari i candidati hanno potuto inserire nella domanda fino al 28 agosto 2012 le pubblicazioni edite prima della data di pubblicazione del bando stesso (27 giugno 2012);

    per l’abilitazione i candidati potranno includere le pubblicazioni edite fino alla data di scadenza del relativo bando.

    Con riferimento agli aspiranti commissari l’ANVUR dovrà quindi esaminare le posizioni individuali alla data del 28 agosto, relativa alle pubblicazioni edite prima della data di pubblicazione del bando.

    In tutti i casi nei quali ha fatto domanda di partecipazione alla commissione di abilitazione un professore ordinario che, alla luce dei dati al 15 luglio 2012, aveva semaforo rosso, l’ANVUR ricalcolerà tutti i dati individuali presentati entro la data del 28 agosto 2012 e secondo le regole del bando. Nel caso in cui pubblicazioni valide ai fini della abilitazione fossero state omesse, per qualunque ragione, dal calcolo dei semafori, esse saranno considerate ex novo ai fini del giudizio che l’ANVUR è tenuta a comunicare al MIUR sulla ammissibilità dei candidati alla commissione nazionale.

    Si ricorda che tale giudizio è riservato e viene comunicato esclusivamente al diretto interessato”.

  7. Perchè l’Anvur alla domanda “I semafori saranno resi disponibili anche per i candidati alla abilitazione?” risponde riferendosi solo ai candidati a PO? I ricercatori candidati a PA sono figli di un dio minore?

« Commenti meno recenti

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.