« … Stavvi Minòs orribilmente, e ringhia:

 essamina le colpe ne l’intrata;
    giudica e manda secondo ch’avvinghia.

Dico che quando l’anima mal nata
    li vien dinanzi, tutta si confessa;
    e quel conoscitor de le peccata

vede qual loco d’inferno è da essa;
    cignesi con la coda tante volte
    quantunque gradi vuol che giù sia messa.… »

Inferno, V,4-12

 

Come già osservato sia da Roars che da CUN e CRUI, una delle criticità dei criteri ANVUR per l’accreditamento dei dottorati di ricerca è costituita dal fatto che essi fanno riferimento ai voti VQR individuali dei membri del collegio. Si tratta di un’informazione che i singoli non sono tenuti a fornire e, di conseguenza, la proposta di un collegio dei docenti diventa una specie di scommessa al buio. Un avviso sul sito dell’ANVUR, comunica però la possibilità di chiedere una pre-valutazione degli indicatori VQR e I. L’ANVUR, da novello Minosse, riceverà la confessione, esaminerà le colpe e, pur senza cingersi la coda, segnalerà le soglie che non vengono superate.

Se da un lato, questa pre-valutazione aiuterà gli atenei a superare le forche caudine bibliometriche dell’accreditamento dei dottorati, non si può fare a meno di notare la messa in pericolo della riservatezza dei voti VQR. Per fare un esempio, immaginiamo che un dottorato chieda il calcolo degli indicatori per una data composizione del collegio dei docenti. L’ANVUR comunica il mancato superamento di una o più soglie bibliometriche per R e X. Per ovviare al problema, viene rimosso dal collegio uno dei membri, e viene chiesto un nuovo calcolo all’ANVUR. Se la nuova valutazione diventa positiva, vengono di fatto rilasciate informazioni sulla valutazione VQR di un singolo docente.

In effetti, da più parti era stato obiettato che l’utilizzo dei voti VQR era del tutto improprio. Come precisato dalla stessa agenzia,

l’ANVUR sottolinea che i risultati della VQR non possono e non devono essere utilizzati per valutare i singoli soggetti. I motivi sono molteplici, e qui ne citiamo alcuni rilevanti: la scelta dell’associazione prodotti-soggetti valutati, dettata dall’ottimizzazione del risultato di struttura e non del singolo soggetto, la richiesta di conferire solo tre prodotti di ricerca pubblicati in sette anni, che costituiscono in molti settori della scienza un’immagine della produzione complessiva dei singoli soggetti molto parziale, la non considerazione del contributo individuale al prodotto nel caso di presenza di coautori, e, infine, l’utilizzo di metodi di valutazione la cui validità dipende fortemente dalla dimensione del gruppo di ricerca cui sono applicati.
Tutti gli indicatori descritti nel rapporto sono ottenuti come medie di elementi appartenenti a popolazioni molto eterogenee: grandi atenei generalisti attivi in tutte o quasi le Aree con molti ricercatori, atenei medio-grandi specializzati (come i Politecnici), atenei piccoli attivi in poche Aree, grandi enti di ricerca come il CNR attivo in tutte le quattordici Aree accanto a enti di grande tradizione presenti in molte università ma attivi in una singola Area, come l’INFN e l’INAF. I valori medi degli indicatori, man mano che si scende dalla valutazione di area della struttura a quella di sub-GEV, di SSD e di dipartimento, sono caratterizzati da un margine di incertezza statistica crescente, perché l’affidabilità della media campionaria dipende dalla dimensione del campione.

La dimensione di un collegio può ridursi anche a soli 16 docenti: che margine di incertezza può avere l’uso dei voti VQR? Per non dire della sostanziale inaffidabilità dei voti stessi. Originariamente, essi avrebbero dovuto essere confrontabili entro la medesima area CUN, ma la stessa ANVUR si deve essere convinta dell’esistenza di scale di giudizio disomogenee, al punto di introdurre una normalizzazione diversa per ogni singolo SSD. Senza essere però nemmeno troppo convinta di questa soluzione dato che per l’accreditamento vengono usate due normalizzazioni alternative (per area CUN e per SSD) adottando infine il risultato più favorevole al collegio sottoposto a valutazione. Impossibile non ricordare che il Gruppo di lavoro della CRUI ha criticato entrambe le normalizzazioni ANVUR, proponendone una terza e, a distanza di una settimana, anche una quarta.

Un ulteriore problema che si riscontra rispetto all’uso dei voti della VQR riguarda l’attribuzione dei voti attribuiti alle pubblicazioni a tutti i coautori delle stesse.

Anvur dice:

Nella consapevolezza che l’attribuzione dei 3 (per gli atenei) e 6 (per i ricercatori degli enti di ricerca) prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, a scapito in taluni casi della attribuzione ai singoli dei loro prodotti “migliori”, verranno scelti per la valutazione del collegio i 3 (6 per i ricercatori degli enti) prodotti che hanno ottenuto la valutazione migliore, fra tutti quelli presentati alla VQR dalla struttura con un membro del collegio come coautore.
Ad esempio, se un(a) docente dell’ateneo x appare come coautore in 7 prodotti presentati dall’ateneo alla VQR (di cui solo 3 attribuiti personalmente a lui (lei)), verranno scelti per il calcolo dell’indicatore R e X del collegio soltanto i 3 prodotti che hanno avuto la valutazione migliore.

Ora, i dati sul loginmiur arrivano in due modi. O li inviano le anagrafi locali, attribuendo ogni pubblicazione ai siti di tutti i coautori dell’Ateneo che fa l’invio, o li caricano i docenti direttamente nel proprio sito. Visto che i singoli siti docente non comunicano fra di loro  e che la registrazione non indica le affiliazioni dei coautori ci si chiede in quale modo la valutazione del docente di cui sopra (coautore di 7 prodotti di cui solo tre attribuiti a lui) potrà essere attribuita anche ai coautori della stessa istituzione.

Una rapida  verifica ai voti assegnati a ciascuno dimostra che non è così.


Informazioni importanti sulla procedura di accreditamento dei Dottorati del XXX Ciclo

Come promesso, e nello spirito di collaborazione con gli atenei, l’ANVUR è disponibile , su richiesta, a calcolare il valore degli indicatori VQR e descritti nella sezione 5.4.2 del documento sui criteri di accreditamento. E’ inteso che valori positivi degli indicatori non prefigurano l’accreditamento del corso di dottorato, che sarà invece basato su tutti i criteri previsti. La richiesta va indirizzata a dottorato@anvur.org, e deve essere accompagnata dalla composizione del collegio inserita nel template di file excel scaricabile qui. Le richieste verranno esaudite secondo un algoritmo first in – first out, in tempi rapidi (2-3 giorni) compatibilmente con il numero delle richieste pervenute.

L’ANVUR ha ricevuto svariate richieste di chiarimenti sul documento contenente i criteri di accreditamento; poiché alcune di queste sono di interesse commune a tutti gli atenei, le risposte saranno inserite nelle FAQ “Accreditamento dottorati”, che suggeriamo di consultare periodicamente.

L’ANVUR sta esaminando con il CINECA le modifiche all’interfaccia utilizzata per le proposte dei corsi di dottorato del XXIX ciclo che si rendono necessarie l’esame dei corsi del XXX ciclo sulla base del documento sui criteri di accreditamento.  Prossimamente, pubblicheremo un file Word che anticipa la disponibilità dell’interfaccia on line, e che potrà essere usato (con parsimonia) per chiedere l’accreditamento di quei corsi di dottorato (tipicamente quelli internazionali) che presentano requisiti di urgenza imposti dagli accordi o convenzioni in essere.

Send to Kindle

8 Commenti

  1. Una domanda (provocatoria): ma perché limitarsi al dottorato?
    Proporrei all’Anvur di cominciare ad esaminare i Consigli dei Corsi di Laurea e via tutti i professori/ricercatori che non superano certe soglie.

    E vediamo che succede.

  2. A titolo informativo faccio presente che, a causa della scadenza dei termini presso la Humboldt Universität di Berlino, è appena sfumata la possibilità di un dottorato in partnership tra tre diverse università europee. L’unica a non poter rispettare i termini è stata quella italiana. Non lo trovo giusto nei confronti 1. dell’Università italiana, che non è stata messa in grado di rispettare certi termini. 2. Nella persona di chi (io, in questo caso) aveva preso i contatti con i due Atenei europei e che si è dovuta giustificare chiamando in causa le farraginose procedure di accreditamento dei dottorati italiani. Purtroppo l’accaduto lede comunque i rapporti accademici, personali e istituzionali. Certo non a vantaggio della tanto necessaria internazionalizzazione del sistema di ricerca italiano.
    Quando si deciderà, l’ANVUR, a fare tabula rasa di un sistema che evidentemente non funziona mai (abilitazioni, valutazioni degli enti e degli atenei, del personale ricercatore e docente, dei dottorati etc.)?
    Mi sembra invece che pur di non dichiarare il proprio fallimento continui a modificare ad hoc, esplicitare, contraddirsi, aprire linee di comunicazione con l’utenza (sempre intasate, raramente risolutive), fare ammenda per i ritardi.
    Ricordo infine che tutto ciò causa una mostruosa perdita di tempo per il docente che, invece di pensare alla didattica e alla ricerca, trascorre ore a compilare moduli, comprendere i regolamenti che si succedono quasi quotidianamente, aggiornare dati su ogni sito possibile.
    Spesso inutilmente, come nel mio caso. E con lunghe email “internazionali” di scuse.

  3. Condivido. Abbiamo avuto un interessante colloquio con un candidato rettore, il quale ci ha detto:
    il ministero è allo sbando,
    CUN e CRUI non contano niente;
    l’ANVUR partorisce regole sempre più assurde su ogni cosa, p. es. che per l’accreditamento dei dottorati bisogna segnalare cosa fa un addottorato tre anni dopo aver conseguito il titolo (!).
    Fermare l’ANVUR sta diventando un’esigenza di elementare buon senso, oltre che di democrazia universitaria.

  4. L’accreditamento di un dottorato è condizionato (una clausola delle quattro) al superamento del quoziente 0,6 quanto alle mediane da parte dell’intero collegio dottorale. Come è noto, si assegna 0 a chi non supera le mediane, 0,2 a chi ne supera una, 0,8 a chi ne supera due, 1,2 a chi ne supera tre. Si sommano i valori individuali e si divide per il numero dei componenti del collegio. L’inghippo è che
    – chi non era almeno professore associato nel 2012 non si vede computate le mediane, anche se nel frattempo è stato assunto come professore;
    – agli associati che non hanno partecipato all’ASN e agli ordinari che non hanno fatto domanda di entrare in commissione non sono state calcolate le mediane, perciò tutti questi contribuiscono col valore “0”;
    – i ricercatori che hanno partecipato all’ASN e ai quali sono state calcolate le mediane contribuiscono col valore “0”.
    Tutti questi vanno al denominatore, e l’ANVUR suggerisce di… depennare i ricercatori dai collegi. Siamo nel 2014, e facciamo riferimento a dati e a posizioni vecchie di due anni per accreditare il 30° ciclo dottorale (2014-2015). Qualcuno mi può spiegare perché?

    • Gli indicatori di tutti i PO e i PA dovrebbero essere stati calcolati nel luglio 2012. Altrimenti non sarebbe stato possibile costruire la distribuzione statistica (che in base al DM 76 l’ANVUR era tenuta a pubblicare ma non ha mai pubblicato). Pertanto, in linea teorica dovrebbe essere possibile calcolare il punteggio “medianico” di tutti i PO e PA in servizio nel luglio 2012. Buon senso vorrebbe che il calcolo venga aggiornato alla data odierna (sarà fatto?). I problemi di “aggancio” delle pubblicazioni dei candidati ASN (a proposito, quando saranno resi disponibili gli indicatori alle commissioni?) suggeriscono che gli indicatori siano tutt’altro che affidabili e con loro anche le valutazioni dei dottorati. Questo sia nel caso di un aggiornamento, sia nel caso dell’uso dei dati 2012.

    • “i ricercatori che hanno partecipato all’ASN e ai quali sono state calcolate le mediane contribuiscono col valore “0″.”

      Sulla base dei documenti MIUR e ANVUR non mi pare proprio che le cose stiano così. L’indicatore I relativo alle mediane dovrebbe essere computato solo sui componenti del collegio che sono PO e PA. Gli indicatori R e X anche sui ricercatori. L’indicazione è che i ricercatori siano al massimo il 25% del collegio.
      Cosa vuol dire poi che “agli associati che non hanno partecipato all’ASN e agli ordinari che non hanno fatto domanda di entrare in commissione non sono state calcolate le mediane, perciò tutti questi contribuiscono col valore “0″? Le mediane (periodo 2003-2012) si possono calcolare ora per allora, ovviamente, a patto che le pubblicazioni siano inserite in ugov; il problema della data a cui aggiornare il calcolo si pone solo per i settori bibliometrici.

  5. Prima una correzione: 1 mediana = 0,4.
    Non è vero che «i ricercatori [sono] al massimo il 25% del collegio»: sono al massimo il 25% dei docenti universitari che stanno nel “gruppo dei 16 obbligatori”, perciò al massimo 4 su 16 – ma non c’è limite al loro numero nel collegio, per intenderci, “esteso”.
    Le mediane sono computate solo su PO e PA in servizio nel 2012, ma tutti i PO+PA+RU sono al denominatore. Perciò se in un dottorato i PO e i PA, tutti con 3 mediane, sono 20 e accumulano 24 punti, ma il totale dei componenti il collegio è 48 (compresi RU, stranieri e in genere tutte le figure alle quali le mediane non sono state calcolate o sono comunque escluse dal computo) il quoziente è 0,5, quando per l’accreditamento bisogna superare (o raggiungere? ma non cambia) 0,6. Dottorato kaputt.
    «Le mediane si possono calcolare ora per allora»: chi l’ha detto? A meno che non prevalga il buon senso, come auspica De Nicolao, l’orientamento ANVUR “sembra” diverso. “Sembra”, perché le contraddizioni ANVUR sono infinite. Come l’oracolo di Delfi: non afferma, non nega. E perlopiù nei responsi si contraddice.

  6. Non sono affatto certa che tutti i professori compresi i RU siano al denominatore:
    Indicatore I. Tale indicatore deve essere maggiore di 0,6. L’indicatore I, in grado di tener conto della produzione scientifica complessiva dal 2003 al 2012, è ottenuto mediando sui professori ordinari e associati che fanno parte del collegio completo il seguente indicatore A:
    • A = 0, 0,4, 0,8, 1,2 se il relativo componente del collegio, professore ordinario o associato, supera 0, 1, 2 o 3 mediane, calcolate nella categoria di appartenenza del componente del collegio, degli indicatori di cui alle lettere a), b) e c) del comma 2 dell’allegato A, e alle lettere a) e b) del comma 3 dell’Allegato B del Decreto Ministeriale n. 76 del 7 giugno 2012.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.