Il 24 febbraio è stato pubblicato il documento finale di Anvur sull’accreditamento dei corsi di dottorato approvato dal Consiglio direttivo il 21 febbraio scorso. Di seguito lo commentiamo brevemente evidenziando alcune criticità che ne renderanno problematica l’applicazione all’interno degli atenei e suggeriamo un modo di procedere alternativo che avrebbe potuto essere più semplice  e trasparente.

Il testo è il risultato di una consultazione nazionale a cui hanno partecipato con interesse e preoccupazione Atenei, CRUI e CUN.  Pur riconoscendo ad Anvur lo sforzo di aver cercato di tenere in considerazione le osservazioni (in gran parte legittime) dei diversi soggetti interessati (si veda il documento esplicativo che analizza i principali commenti pervenuti e ne illustra il grado di accoglimento nel documento finale), il risultato ci pare avere ancora alcuni grossi limiti.

In particolare appare macchinoso e poco trasparente quanto previsto per il criterio A4 e relativi indicatori.

Riferimento normativo:

… il possesso, da parte dei membri del collegio, di documentati risultati di ricerca di livello internazionale negli ambiti disciplinari del corso, con particolare riferimento a quelli conseguiti nei cinque anni precedenti la data di richiesta di accreditamento

Indicatori:

gli indicatori R e X della VQR calcolati sul collegio nella sua composizione completa. Nella consapevolezza che l’attribuzione dei 3 (per gli atenei) e 6 (per i ricercatori degli enti di ricerca) prodotti ai singoli soggetti è stata fatta dalle strutture con l’obiettivo di massimizzare il risultato per la struttura, a scapito in taluni casi della attribuzione ai singoli dei loro prodotti “migliori”, verranno scelti per la valutazione del collegio i 3 (6 per i ricercatori degli enti) prodotti che hanno ottenuto la valutazione migliore, fra tutti quelli presentati alla VQR dalla struttura con un membro del collegio come coautore. Ad esempio, se un(a) docente dell’ateneo x appare come coautore in 7 prodotti presentati dall’ateneo alla VQR (di cui solo 3 attribuiti personalmente a lui (lei)), verranno scelti per il calcolo dell’indicatore R e X del collegio soltanto i 3 prodotti che hanno avuto la valutazione migliore. Per il calcolo degli indicatori la normalizzazione verrà fatta sia utilizzando la media di SSD che la media di area a livello nazionale, e si sceglierà il risultato migliore per il collegio. Si sottolinea che, come nel caso dei Dipartimenti e degli Atenei, l’uso dei risultati della VQR sarà limitato alla valutazione dell’aggregato (collegio dei docenti) e mai dei singoli componenti, i cui valori convergeranno appunto nella valutazione dell’insieme. Poiché i risultati pubblicati nel rapporto VQR non contengono i valori degli indicatori per tutti i SSD, l’ANVUR, per agevolare il lavoro degli atenei, li renderà disponibili sul suo sito. Resta il problema legato all’impossibilità di pubblicare i risultati per SSD che hanno presentato alla VQR meno di 10 prodotti. Per ovviare a tale problema, l’ANVUR è disponibile a fornire agli atenei, su richiesta, i valori degli indicatori relativi all’intero collegio nel suo complesso sulla base di una composizione provvisoria del collegio trasmessa dagli atenei.

Resta anche in questa versione il limite evidente del calcolo retrospettivo su strutture che devono assicurare ORA

un ambiente di ricerca di livello elevato che sia aperto al confronto e alla collaborazione internazionale

o ancora

un tutoraggio efficace e continuo

o ancora

la possibilità di partecipare attivamente alla vita scientifica nazionale e internazionale anche attraverso l’avvio alla pubblicazione dei risultati delle loro ricerche nelle migliori sedi possibili

Questo calcolo retrospettivo, anche in questa nuova versione emendata, che assicura l’utilizzo degli indicatori più favorevoli non è comunque effettuabile nelle singole sedi, non è verificabile ex post, e l’offerta di Anvur di calcolo degli indicatori su liste provvisorie di membri di collegio (stiamo parlando di 900 dottorati!) appare quanto mai azzardata. Cosa succede se la lista provvisoria sta sotto le soglie? Come possono provvedere i coordinatori? Cambiano tutti i membri? Ne sostituiscono alcuni? Quali? E poi? Ripropongono la nuova lista all’Anvur? Che tempi avrà tutta questa attività considerato le scadenze piuttosto strette già definite dall’Agenzia?

Per ovviare alla critica di retrospettività legata all’utilizzo dei risultati VQR,  l’Agenzia nazionale ha fatto uno sforzo di attualizzazione inserendo anche gli indicatori relativi alla ASN (mediane per PA e PO nel settore concorsuale di riferimento), indicatore per altro non considerato in parecchie commissioni ASN. Ma anche questo indicatore risulta di difficile controllo per un coordinatore che volesse cercare di aderire virtuosamente ai criteri previsti dall’Agenzia. I dati dei singoli non sono disponibili, né possono essere richiesti.

Se ci deve essere una valutazione ex ante dei corsi essa dovrebbe avvenire rispetto a criteri e indicatori calcolabili e verificabili da Anvur e dagli Atenei. Non sarebbe allora più sensato fissare anche per il criterio A4 soglie di attività scientifica (così come si fissano delle soglie per il numero di borse o per il numero dei componenti il collegio)?

Non si potrebbe pensare di considerare la produttività recente (ultimi 5 anni) e verificare delle soglie minime di produttività che tengano conto delle diverse abitudini e dei diversi canali di comunicazione dei risultati della ricerca?  Queste soglie potrebbero essere diverse da area ad area, e potrebbero tenere in considerazioni molte delle osservazioni fatte dai GEV nei loro rapporti di area.  La valutazione vera e propria potrebbe invece essere lasciata alla fase ex post.

In sintesi l’idea che ci siano indicatori che vanno bene per valutare strutture, dipartimenti e anche aggregazioni di individui come il dottorato appare abbastanza fantasiosa. Le diverse dimensioni (Ateneo, Dipartimenti, Aree/gruppi di SSD, SSD, individui, collegi) non sono direttamente scalabili o cumulabili in quanto rispondono a criteri e metodi diversi, se il valore del Dipartimento non può essere la sommatoria dei voti dei singoli, a maggior ragione non lo può essere quello di un collegio di dottorato.

Gli Atenei sono soffocati da procedure burocratiche e adempimenti. L’appello è quello di cercare di renderli il più semplici e trasparenti possibile.

 

Print Friendly, PDF & Email

29 Commenti

  4. Leggendo il documento ANVUR, direi che la priorità del ministero dovrebbe essere una: finalmente implementare l’anagrafe della ricerca, ovvero un sito web in chiaro nel quale sono contenute tutte le pubblicazioni dei docenti universitari.

    ———————-
    1) E’ previsto dalla legge.

    2) Finalmente, si avrebbe un database affidabile per calcolare le mediane per ASN.

    3) Non mi dite che in ogni università c’è qualcosa di simile; quello può andare bene per valutare singoli ricercatori; solo con un database omogeneo si potrebbero calcolare i valori delle mediane.

    4) Il database CINECA, che ha “suffragato” o meglio surrogato l’anagrafe nazionale della ricerca non è consultabile in chiaro (non sono quindi disponibili i dati primari per verifica) e per ammissione di ANVUR e ministero largamente incompleta.

    5) Tra le altre cose, probabilmente chi non ha partecipato all’ASN potrebbe non aver neppure compilato l’elenco delle pubblicazioni in CINECA, quindi come giustamente aveva osservato GAB si rischia di commettere errori notevoli sui calcoli degli indicatori.

    6) Il discorso emergenziale “dovevamo calcolare le mediane in qualsiasi modo per far finalmente partire i concorsi e quindi si è scelto un sistema imperfetto ma rapido” poteva eventualmente essere comprensibile a Luglio 2012, adesso però sarebbe il caso di passare a qualcosa di più affidabile.

    7) Non vorrei riprendere un argomento spinoso, ma la mia opinione è che i dati VQR comprese le valutazioni individuali dovrebbero essere assolutamente pubblicati e penso che alla fine succederà almeno a qualche livello, nonostante le rassicurazioni di ANVUR. Il modo più corretto per pubblicare i dati VQR individuali sarebbe per me nell’elenco delle pubblicazioni presenti nell’anagrafe della ricerca sottolineare quali sono andate a valutazione VQR. In questo modo, si avrebbe per il pubblico subito una visione della produttività globale del docente in funzione della valutazione VQR.

    8) Al fine di massimizzare la valutazione del Collegio Docenti del Dottorato, è necessario conoscere i dati VQR dei singoli docenti. Di nuovo: qui la trasparenza aiuterebbe tutti. Che i docenti universitari si “nascondano” invocando la privacy per me non è accettabile. Un docente universitario ha anche degli obblighi morali non scritti, tra qui quello di prendersi le proprie responsabilità e aggiungerei anche quello che se scrive in un Blog di firmarsi con nome e cognome…

    • Dissento fortemente:
      1) ricordo che i voti sui singoli prodotti della VQR sono singolarmente incredibili. Per esempio, i prodotti andati in peer review (nei settori bibliometrici) hanno ricevuto voti sistematicamente più bassi (non lo dice ROARS, lo dice ANVUR). Dove sono state usate le liste di riviste (area13) anche peggio.
      2) le regole del gioco devono essere chiare fin dall’inizio. Nella VQR si sapeva che i voti non sarebbero stati pubblici. Siamo un paese abituato a non rispettare le regole, per cui non mi meraviglia che molti colleghi non siano sensibili sul punto.
      3) Scrive Marco Bella “Al fine di massimizzare la valutazione del Collegio Docenti del Dottorato, è necessario conoscere i dati VQR dei singoli docenti.” Che la valutazione del dottorato richieda i voti individuali lo dice ANVUR, non è scritto nelle tavole divine della legge. E’ una evidente scorrettezza (che da parte di ANVUR non mi meraviglia per nulla) inventare indicatori che vanno in conflitto con le regole del gioco. Su questo rifletterei, non sulla privacy.

      Per firmarsi su un blog c’è bisogno che le regole del gioco siano chiare. Siccome siamo in un paese in cui le regole del gioco si cambiano sempre a gioco iniziato, e proprio il suo commento è un esempio lampante di ciò, beh è opportuno lasciare a chi lo ritiene il sacrosanto diritto di scrivere su un blog senza firmarsi. Ricordo che siamo il paese in cui alcuni rettori hanno pensato/stanno pensando di fare approvare codici di comportamento che prevedono sanzioni per gli interventi dei dipendenti sui social network.

    • Caro Alberto Baccini,
      Per quanto riguarda la pubblicità dei dati individuali VQR la mia opinione è che dovrebbero essere pubblici, ma ovviamente non mi permetterei mai di divulgarli se mai li dovessi avere. Una cosa è criticare una legge, un’altra non rispettarla.

      Per quanto riguarda le opinioni espresse su social network da parte dei docenti universitari: innanzi tutto dipende da cosa si scrive. Spero di essere ancora in un paese dove esista la libertà di opinione. Se ci si limita ad opinioni e raccontare fatti documentati, non riesco a capire quale azione disciplinare potrebbe essere intentata.

      Dall’altro estremo, è chiaro che
      se un docente dovesse scrivere insulti, falsità o peggio propagandare pseudoscienza sfruttando il nome dell’università, in casi estremi vedrei bene un’azione disciplinare a tutela dell’ateneo.

      Per chi è in una situazione di potenziale difficoltà come studenti e personale non ancora strutturato, posso anche capire l’anonimato. Meno dai docenti universitari che davvero non rischiano nulla. Tuttavia, le riforme efficaci sono sempre partite da persone che ci hanno messo la faccia, mai da anonimi. La critica anonima è davvero poco efficace, e spesso scade nel semplice personalismo, vedi alcuni commenti nello spazio “monitoring ASN” per esempio.

    • Sono d’accordo con Marco Bella sul fatto che si dovrebbe implementare una “anagrafe della ricerca” dei docenti universitari.

      Ed una anche per i “ricercatori e tecnologi” degli enti di ricerca. In questo case se ne scoprirebbero delle belle (o meglio, brutte).

    • Caro Marco Bella, per quanto mi riguarda il problema (lo scrivo qui su Roars almeno per la sesta volta) è che la valutazione delle strutture e NON dei singoli, per la VQR, è stata alla base – nel mio e in molti altri casi – del diniego da parte di ANVUR all’accesso della peer review sui miei prodotti.
      Questa sequenza di fatti è a mio avviso inaccettabile: 1) mi si chiede di fornire dei prodotti per una valutazione della mia struttura (non mia personale); 2) i miei prodotti vengono di conseguenza valutati con dei numeretti, senza che mi venga fornito, su mia richiesta formale, accesso agli atti del procedimento di peer review, con la motivazione che quei dati non riguardano me, ma la mia struttura; 3) però, nonostante i punti 1 e 2, mi si chiede a un certo punto di fornire ufficialmente i dati individuali della VQR ai fini della mia partecipazione a dottorati o quant’altro.
      La trasparenza non c’entra nulla, sono d’accordo che non dobbiamo aver nulla da nascondere: tant’è vero che ho reso pubblici i miei dati VQR sul mio sito. MA se mi verranno richiesti ufficialmente dal mio Ateneo ai fini di quasivoglia valutazione della mia partecipazione a dottorti o altro, è un mio diritto – anzi, un mio dovere per come la vedo io – negare tale accesso. Spero sia chiaro, perché è ora di farla finita con questa storia che i docenti non vogliono essere valutati. Più che cambiare in corsa le regole del gioco, qui si vuole giocare con doppie regole: al singolo vanno solo tutti gli svantaggi, ad ANVUR tutti i vantaggi (opacità circa la modalità di valutazione, utilizzo comunque di quella valutazione per punire – perché di questo si tratta in definitiva – i singoli docenti).

    • Caro Fausto,
      Sono d’accordo con te. Pensiamo a cosa succede quando mandiamo un articolo scientificco o un progetto di ricerca: riceviamo un feedback con i pareri rigorosamente anonimi dei referee. Questo succede in tutto il mondo.

      Non riesco proprio a capire perché ANVUR, come chiesto da più voci non possa sul sito personale di ciascuno postare questa informazione: i giudizi dei referee se ci sono o l’analisi bibliometrica. Semplice paura di contestazioni?

    • Il mio sospetto è che, soprattutto nelle aree non bibliometriche, la corrispondenza tra referaggio e “voto” non sia immediata: i GEV secondo me sono intervenuti piuttosto pesantemente nell'”adattare” i referaggi a griglie di voto piuttosto “strette”. Questo a mio avviso è il motivo principale del rifiuto di mettere a disposizione i giudizi, ma naturalmente potrei sbagliarmi.

  5. Il coordinatore del dottorato di cui faccio parte mi ha chiesto i miei “voti” VQR, necessari per l’accreditamento del dottorato. Glieli ho detti: ma non era un dato che non avrebbe dovuto servire altro che per valutare le strutture?

    • Io non glieli avrei detti, infatti. In questo paese il rispetto delle regole è sempre un optional. E la sensibilità degli accademici sulla questione sono convinto (sulla base di sola evidenza aneddotica!) sia inferiore a quella del paese reale (opinione molto amara). E stia rapidamente peggiorando, a colpi di mediane.

  6. Marco Bella: Finalmente, si avrebbe un database affidabile per calcolare le mediane per ASN.
    La istituzione di una anagrafe pubblicamente accessibile non risolve il problema dell’inaffidabilità dei dati se non è associata ad un meccanismo di validazione seria, indispensabile anche se l’inserimento del dato fosse molto guidato.

    • Cara Paola,
      è chiaro che l’anagrafe della ricerca non risolve tutti i problemi, ma è sicuramente migliorativa rispetto al sistema attuale che utlizza il database cineca.

      1) sarebbe in chiaro, accessibile a tutti, ed eventuali errori sarebbero visibili.

      2) in base ai dati, ciascuno potrebbe proporre sistemi di validazione più o meno sofisticati.
      Ricordo che un problema del calcolo delle mediane attuali non è solo quello della base di dati incerta, ma che non è noto il programma che esegue questo calcolo, quindi ad oggi ci dobbiamo fidare delle parole dell’ex ministro profumo che parlava di un 96% delle pubblicazioni agganciate correttamente.

      3) quello che mi auguro, è che in qualsiasi valutazione siano noti gli indici bibliometrici con la massima accuratezza, ma che poi chi esegue la valutazione li usi esclusivamente in modo informativo e non automatico. Insomma, che si consideri il grado di proprietà e l’importanza scientifica degli articoli leggendoli. Al limite si potrebbero utilizzare sistemi automatici solo per escludere le code, ad esempio chi ha pubblicato un solo articolo poco citato forse non è il caso che si presenti come professore ordinario…

    • A me sembra che le cose siano cambiate rispetto al 2012. Ora dobbiamo immettere tutto attraverso U-GOV. Quello che entra attraverso U-GOV finisce alla pagina personale del Cineca ma può anche finire in chiaro (come succede nella mia università) sul sito dell’università. Noi abbiamo CV e pubblicazioni on line. Confrontare i voti VQR con l’elenco delle pubblicazioni non ha alcun senso.

    • non sono sicuro però che tutti gli atenei abbiano U-Gov… sicuramente questo sistema potrebbe diventare l’anagrafe della ricerca. Inoltre, è vero che U-Gov aggiorna Cineca, ma gli articoli vecchi di Cineca non sono atomaticamente su U-Gov.

    • non sono sicuro però che tutti gli atenei abbiano U-Gov… sicuramente questo sistema potrebbe diventare l’anagrafe della ricerca. Inoltre, è vero che U-Gov aggiorna Cineca, ma gli articoli vecchi di Cineca non sono automaticamente su U-Gov.

  7. Leggevo i commenti precedenti, pensando che tra di essi c’è una contrapposizione solo apparente. Anch’io ritengo che la trasparenza sia utile, ma sono anche fermamente convinto che se si inizia una partita di calcio sapendo che c’è la regola del “fuori gioco”, non si deve cambiare la regola a partita in corso e men che mai rimuoverla a partita finita per convalidare un gol che al momento in cui era stato segnato non era valido, condizionando “post mortem” il risultato.
    In sintesi, lasciando immodificate le regole VQR, si potrebbe utilizzarne, PER IL FUTURO, gli errori per migliorare. Partendo dall’anagrafe della ricerca, sono d’accordo che debba essere resa pubblica, si potrebbero evidenziare le pubblicazioni soggette alle FUTURE VQR, anche complete di “voto”: naturalmente, ciascuno sceglierebbe le pubblicazioni da sottoporre a valutazione secondo il proprio interesse e NON PIU’ per massimizzare il risultato del dipartimento o della struttura. Se invece le future VQR richiedessero, nei fatti, nuovamente una scelta di carattere generale, i “voti” dei singoli dovrebbero rimanere evidentemente riservati.

    • Sono d’accordo con la proposta di Occhiuzzi, con la clausola che – com’è ovvio – se si dà un voto a una pubblicazione, tale voto dev’essere adeguatamente motivato da chi lo conferisce e le motivazioni devono essere, proprio come il voto, rese PUBBLICHE.

    • Caro Fausto,
      Direi che ci si dovrebbe comportare come nei referaggi delle riviste e grants:
      Agli autori la Motivazione SI.
      Renderla pubblica da parte degli autori solo se LORO lo desiderano.

      Non è accettabile che si obblighi qualcuno a rendere noto il giudizio di un referee anonimo. Non esiste in nessuna parte del mondo.

    • Caro Alberto Occhiuzzi,
      Grazie per il commento. Io sono convinto che con ANVUR si possa e si debba dialogare. E’ improbabile che VQR/ASN siano cancellate da un qualsiasi ministro, tanto meno quello attuale. Per cui, l’atteggiamento più costruttivo è quello di mantenere una forte capacità critica ma proporre anche correttivi.
      Come esempio, la modifica ai fini del dottorato di utilizzare per la valutazione individuale dei docenti le tre/sei migliori pubblicazioni e non quelle effettivamente valutate per le strutture è sicuramente apprezzabile. Potrebbe creare però il problema delle pubblicazioni duplicate all’interno del collegio dei docenti, con il paradosso che se tutti hanno firmato gli stessi lavori la valutazione potrebbe essere falsata.
      La mia impressione è che adesso, passata la fase di “emergenza” (troppe scadenza ravvicinate) con ANVUR un dialogo sia possibile ed auspicabile.
      Tornando alle valutazioni individuali, è vero che è stato detto inizialmente che i voti VQR NON saranno utilizzati per valutare le persone, ma è in PRATICA è quello che atenei e ANVUR (con il collegio docenti del dottorato ) stanno facendo. A questo punto, IL MALE MINORE, sarebbe rendere tutto pubblico. Tornando alle regole, sarebbe come se prima della partita le squadre si accordano con l’arbitro per abolire la regola del fuorigioco e poi l’arbitro fischia un fallo ogni volta che qualcuno finirebbe in fuorigioco. Con l’aggravante che solo alcuni sanno che di fatto il fuorigioco esiste ancora. La tentazione di utilizzare i voti VQR per le valutazioni individuali è troppo forte per essere fermata, a qualsiasi livello, per cui ripeto che il male minore è renderli pubblici: almeno tutti i giocatori sanno che non è vero che la regola del fuorigioco vale ancora. Il mio è un ragionamento pratico: in linea di principio sono assolutamente d’accordo con Alberto Baccini e gli altri che inorridiscono di fronte alle regole cambiate in corsa.
      Infine, spero davvero che per la prossima imminente VQR (2011-2014) si riparta con regole più chiare come suggerisce Antonio Occhiuzzi. In fondo, una valutazione come quella precedente, con articoli di oltre dieci anni fa, ha senso limitato per valutare le strutture oggi.

    • L’uso dei dati VQR individuali renderà impossibile o folle la prossima valutazione. Pensiamo soltanto a cosa diventerà la peer-review e cosa sta già succedendo in termini di citazioni “ingegnerizzate”. Intanto, l’uso feticistico dei dati VQR sta desertificando ogni capacità e voglia di fare valutazione interna. Il dato VQR è oltremodo rumoroso e le ingegnerizzazioni a posteriori (in questo momento girano quattro indicatori diversi: R normalizzato per area, R normalizzato per SSD, R by CRUI, IPR by CRUI) configurano una vera e propria Babele della valutazione. Come al solito, l’ultima trincea è quella giudiziaria. A Venezia, di fronte alla richiesta dei dati VQR, verrà chiamato in causa il TAR.

    • @Marco Bella
      Io non sono sicuro che esistano giudizi scritti da qualche parte sui lavori valutati nella VQR. I giudizi negativi o critici dei revisori delle riviste sono dettagliati e in genere cercano di essere chiari. Qui mi aspetto al più due righe di circostanza che sanciscono la superiorità del revisore sugli autori del lavoro. La prossima VQR? Una faida.

    • @ Marco Bella
      “La tentazione di utilizzare i voti VQR per le valutazioni individuali è troppo forte per essere fermata, a qualsiasi livello”

      faccio notare che questa è la motivazione con cui in Italia si giustifica ogni infrazione di regole, dall’evasione fiscale all’omicidio (in fondo, se viene voglia di farlo, perché non farlo?). Soprattutto, aggiungo, se a mettere in atto tali comportamenti è un cosiddetto “potente”.

    • ancora @ Marco Bella
      “Non è accettabile che si obblighi qualcuno a rendere noto il giudizio di un referee anonimo. Non esiste in nessuna parte del mondo”

      Quel che non è accettabile è rendere noto il risultato finale (in sintesi, “bocciatura” o “promozione”). Se questo viene reso noto, rendere note ANCHE le motivazioni serve a tutelare, almeno dal punto di vista della sua onorabilità, il soggetto valutato (ognuno tra i suoi colleghi potrà verificare se dette motivazioni sono risibili o no).

    • Caro Fausto,
      In realtà diciamo una cosa molto simile.

      In mia opinione, le valutazioni VQR compresi i giudizi, dovrebbero essere fornite ad ogni docente valutato, esattamente come l’editore della rivista rigira i commenti dei referee.
      ———–
      ANVUR si rifiuta di fornire questi dati perchè ne fa una questione giuridica: la risposta di Fantoni a domanda esplicita è stata: nego l’accesso agli atti perché non c’è l’interesse giuridico. La questione secondo me, è invece esclusivamente scientifica: tutto il modo accademico invia i commenti dei referee agli autori! Perchè ANVUR si deve comportare diversamente?
      ———-
      Se poi la persona che ha ricevuti li vuole rendere pubblici, per una questione di trasparenza o perché si sente danneggiato, questo è una scelta personale. C’è chi in rete posta i commenti dei referee delle riviste dei propri articoli.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.