Il 27 agosto l’ANVUR ha ritrattato le “vecchie mediane” (biblio_old.zip, nonbiblio_old.zip), rimpiazzandole con “nuove mediane”, che dovrebbero essere “definitive”. La motivazione ufficiale è stata l’adozione di una procedura di calcolo maggiormente “in linea con la definizione formale di mediana contenuta nel DM 76“. Ma il confronto tra le “vecchie” e le “nuove mediane” sembra smentire l’ANVUR. Dal grafico risulta infatti evidente che le mediane dei settori bibliometrici (le “scienze dure”) hanno subito modifiche profondamente diverse da quelle dei settori non bibliometrici (“scienze umane e sociali”). Un semplice ritocco della formula di calcolo non può spiegare il diverso comportamento delle “mediane bibliometriche” (in azzurro), che salgono tutte, rispetto a quelle “non bibliometriche” (in rosso) che, eccetto tre casi, scendono tutte. La mediana è una nozione matematica, proprio come la media aritmetica: pertanto deve essere calcolata allo stesso modo sempre e comunque. A fronte delle differenze evidenziate nel grafico, possiamo concludere che sono state pubblicate delle mediane “addomesticate” o che l’ANVUR, senza dichiararlo, ha modificato e/o integrato in modo differenziato i dati dei settori bibliometrici e quelli dei settori non bibliometrici.Mediane truccate? Analizziamo le prove (2 settembre 2012)
pur univoca, lascia però un importante punto di ambiguità
ALLEGATO: messaggio inviato ai docenti in data 20 aprile 2018
Gentile Collega,
Come forse avrai letto aprendo il tuo sito IRIS,
“A partire dal mese di marzo, le informazioni sull’attività di ricerca presenti in loginmiur saranno utilizzate da ANVUR per importanti attività valutative, relative in particolare all’accreditamento dei Corsi di Dottorato e delle Scuole di Specializzazione di area medica e all’avvio, sulla base di quanto previsto dalla legge 240/2010, della terza tornata dell’Abilitazione Scientifica Nazionale…”
Appare sempre più rilevante, quindi, che la banca dati IRIS dei prodotti della ricerca di Pavia sia aggiornata e che le relative schede siano complete dei campi richiesti, soprattutto dei codici ISI e Scopus.
Abbiamo fatto un’attenta verifica delle schede dei prodotti presenti in IRIS al 12 Aprile e individuato, in alcuni di esse, la persistenza di errori che ne pregiudicherebbero l’utilizzo.
Ti chiedo di aggiornare in IRIS le eventuali pubblicazioni mancanti nel periodo 2003-2018 e di correggere gli errori entro il 30 di Aprile in modo che l’Ateneo possa fornire un quadro completo e corretto della sua produzione scientifica.
Per aiutarti, ti allego un file che riporta tutti i tuoi prodotti attualmente inseriti in IRIS dal 2003 ad oggi. Nel file vengono riportate le informazioni principali delle schede prodotto (autori, titolo, anno, etc…).
Sono evidenziati in azzurro i prodotti in cui vanno inseriti i codici Scopus e WOS ove disponibili.
Sono evidenziati in giallo i prodotti con altre problematiche, la cui tipologia è riportata nell’ultima colonna.
Il Servizio Ricerca e Terza Missione potrà aiutarti nell’utilizzo della banca dati IRIS.
[…]
‘Da un lato, potrebbe essere prevalsa l’idea di dare una stretta alle abilitazioni dei settori bibliometrici (scienze dure) e di dare invece una spinta a quelle dei settori non bibliometrici (scienze umane e sociali)’.
Obiettivo poi mancato, però, dal momento che le aree non bibliometriche 11, 12 e 14 sono agli ultimi posti per percentuale di abilitati, tra il 30 e il 35%; mentre aree bibliometriche come la 2, la 3 e la 7 hanno abilitato oltre il 50% dei candidati.
Queste percentuali (fonte?) non dicono nulla sugli effetti del cambiamento delle mediane sugli abilitabili.
A me invece sembra dicano qualcosa di preciso, ossia la maggiore litigiosità interna di certe aree (perlopiù non bibliometriche) rispetto ad altre (perlopiù bibliometriche). La fonte sono le analisi di Moreno Marzolla (ad esempio qui: https://www.moreno.marzolla.name/publications/talks/ASN-moreno-marzolla.pdf , ma le avete pubblicate anche voi…. ad esempio qui: https://www.roars.it/aggiornamento-sullanalisi-della-prima-tornata-dellabilitazione-scientifica-nazionale-asn-2012/).
Non ho detto che non dicono nulla in generale. Ho detto che non dicono nulla sul problema sollevato da De Nicolao.
Cito: Anvur scrisse che la definizione di mediana “pur univoca, lascia però un importante punto di ambiguità”.
Prima ancor di giocare coi numeri e con le formule si gioca colle parole.
UNIVOCO …… 1. a. (ling.) [che ha un significato solo e ben determinato: i termini scientifici devono essere u.] ….. b. [che non può determinare ambiguità, che non può dar adito a dubbi] ≈ inequivocabile. ↔ ambiguo, equivoco. 2.(matem.) [di funzione matematica che ammette un solo risultato] ≈ monodromo, uniforme. ↔ plurivoco, polidromo. http://www.treccani.it/vocabolario/univoco_%28Sinonimi-e-Contrari%29/
Nella frase dell’Anvur si infrangono queste restrizioni semantiche vincolanti, poiché una certa definizione sarebbe univoca e ambigua insieme. Si tratta dunque di “enantiosemia (dal greco enantíos, “contrario”, e sema, “segno”) [che] è la caratteristica di una locuzione (in genere di singole parole ma anche di intere proposizioni) di avere due significati opposti. Si tratta di una forma di polisemia.” https://it.wikipedia.org/wiki/Enantiosemia.
Si gioca e basta. Sulla pelle degli altri. E su questo gioco si fondano le regole, le norme ecc. per valutare, per incidere sulla vita delle persone, per rendere efficienti le istituzioni.
A me fa venire in mente il Marchese del Grillo: io sono io e voi non siete un ….
Le soglie sono state imposte e non sono ricalcolabili da nessuno. Questa è la sostanza. Quanti candidati commissari nella prima ASN non erano in regola con gli indicatori? Anche se non estratti hanno condizionato l’estrazione. Per non parlare della vicenda dei candidati commissari stranieri, sul loro reale CV e la corretta posizione in lista per l’estrazione.
Forse non è attinente ma con la nuova GDPR 2018 è ancora possibile costruire indicatori o cose simili senza il controllo dei diretti interessati i cui dati sono usati?
[…] le soglie/mediane non contenga errori analoghi a quelli riscontrati nel 2012 da De Nicolao (Su che dati sono state calcolate le mediane ASN 2012? Erano inventate?), si possono solo formulare delle ipotesi: la prima è che la popolazione degli associati (vecchi e […]
[…] atenei (non tutti, per fortuna) che hanno sborsato i soldi? Ben scarso. Come testimoniato dalle richieste di inserire correzioni inviate ai docenti degli atenei, fino alla scorsa primavera gli errori e l’incompletezza della base dati hanno reso […]