«Vuolsi così colà dove si puote/ciò che si vuole, e più non dimandare» diceva Virgilio a Caronte. Non meno perentorio è l’invito che ci rivolge l’agenzia di valutazione: «L’ANVUR non fornirà altre informazioni sulla valutazione oltre a quelle mostrate nella scheda. Si raccomanda quindi di non richiederle». La scheda è quella che contiene i voti individuali della VQR 2011-2014 che da oggi i valutati possono consultare nei loro siti docente (https://loginmiur.cineca.it/).

 

 

Print Friendly, PDF & Email

33 Commenti

    • Il caso di un punteggio zero ad un articolo peer-reviewed su rivista internazionale.
      1. La valutazione secondo i criteri definiti dal gruppo di esperti dell’area 14 consiste (punto 5.2) nell'”attribuire un punteggio per ciascuno dei tre criteri di valutazione stabiliti dal DM e dal bando, vale a dire originalità, rigore metodologico e impatto attestato o potenziale e da un campo libero con numero limitato di parole nel quale inserire obbligatoriamente un breve giudizio riassuntivo dei motivi che hanno determinato le risposte alle domande”.
      2. Secondo il DM (art.5.2) “Il giudizio di qualità si baserà sulla valutazione della pubblicazione in base alla sua originalità, rigore metodologico e impatto attestato o potenziale nella comunità scientifica internazionale, con riferimento a standard internazionali di qualità della ricerca”
      3. Pur richiamando il DM, i criteri del gruppo 14 omettono il riferimento a standard internazionali di qualità della ricerca.
      4. A seguito del giudizio di qualità ogni pubblicazione verrà attribuita a un livello di qualità: eccellente (peso 1), elevata (0,7), discreta (0,4), accttabile (0,1), limitata (0). Per ogni livello c’è una descrizione. Si ha peso 0 in due casi:1. art. 5 punto f: quando “la pubblicazione non raggiunge livelli di originalità e rigore metodologico tali da essere considerata significativa dalla comunità scientifica di riferimento”; 2 art.5 punto g: quando “la pubblicazione appartiene a tipologie escluse dal presente esercizio o presenta allegati e/o documentazione inadeguati per la valutazione o è stata pubblicata in anni precedenti o successivi al quadriennio di riferimento”.
      5. L’articolo rientra nel quadriennio di riferimento, è peer-reviewed in rivista edita da Francis and Taylor con impact factor 2174, “received 18 Jul 2011, Accepted 17 May 2012, Published online: 10 Jul 2012”.
      Conclusione. Il punteggio ZERO attribuito dalla VCR in base a criteri ignoti cozza con la posizione che l’articolo ha in seno alla comunità scientifica internazionale.
      Si tratta di pretendere di conoscere il giudizio VCR, per agire a propria tutela, ma in una prospettiva di dissoluzione di questo sistema di valutazione. E’ necessario convergere su azioni collettive.

    • HO SCRITTO ALLA MINISTRA

      Gentilissimo Ministro,
      sono un docente universitario che ha partecipato alla VQR 2011-2014 nonostante la fronda di colleghi che invitava a non caricare i propri lavori per la valutazione.
      All’indomani dei risultati mi ritrovo delle valutazioni appiattite sul voto di 0.4 su lavori così eterognei tra loro, dalla valenza completamente differente (alcuni ne valevano meno, altri più).
      L’aspetto per cui l’interpello però è il seguente: c’è scritto CHIARAMENTE sul sito ANVUR

      «L’ANVUR non fornirà altre informazioni sulla valutazione oltre a quelle mostrate nella scheda. Si raccomanda quindi di non richiederle». La scheda è quella che contiene i voti individuali della VQR 2011-2014 che da oggi i valutati possono consultare nei loro siti docente (https://loginmiur.cineca.it/).

      Secondo il suo autorevole parere, da sindacalista prima e da ministro poi, è giusto dare un voto sul lavoro di un lavoratore senza spiegarne i criteri, le motivazioni e le determinazioni?

      E’ un’ azione fatta in trasparenza?

      Si riconosce in un ministero che “RACCOMANDA DI NON CHIEDERE INFORMAZIONI” ?

      IL 21 Febbraio Lei parteciperà a Roma all’Auditorium Antonianum, in viale Manzoni 1 alla presentazione del rapporto VQR 2011-2014… spero faccia sentire la nostra voce … diciamo dispiaciuta.

      LEI HA COSI’ RISPOSTO

      Grazie per gli elementi che mi ha sottolineato

    • sarebbe interessante sapere cosa pensa il TAR di una valutazione – che incide sulle carriere e sul trattamenti economico – priva di qualsiasi motivazione e dunque non sindacabile nel merito (non falsificabile). Mi riferisco soprattutto alle scienze umane e sociali, per le quali non vedo come si possa prescindere da una argomentazione discorsiva, che non consista solo nel barrare caselle in modo anonimo

    • OK ma ricorrere al TAR costa. Non è il caso che qualche studio legale raccolga le richieste dei colleghi per organizzare azioni collettive?

  4. Le solite vendette trasversali o segnali in codice… complimenti un ottimo lavoro! L’auspicio è un fioccare di ricorsi al TAR con conseguente accesso agli atti e condanna a rifondere le spese legali… con la speranza che l’agenzia fallisca… finalmente. L’accesso agli atti e la conseguente pubblicità dei valutatori dovrebbe mettere a nudo molte cose. Che succede quando un articolo pubblicato da una rivista di fascia A (riconosciuta come tale dall’Anvur) prende 0 alla VQR? Delle due l’una: o l’Anvur ha sbagliato a classificare la suddetta rivista o i valutatori VQR hanno agito in malafede. In entrambi i casi l’Anvur contraddice se stessa e rende inutile, o ancor peggio pericolosa, la VQR, servita solo per fare qualche dispetto.

    • Non sarebbe il caso che qualcuno organizzasse una azione collettiva sul piano giuridico per demolire VQR?

  5. Sul sito personale non compare la valutazione solo dei lavori che sono stati presentati per la propria VQR, ma anche quelli presentati da altri ricercatori (in parte a propria insaputa e magari anche in maniera inappropiata) in cui compare il proprio nome. Non vi è tra l’altro nessuna indicazione di quelli che l’autore ha selezionato per la valutazione, e quelli che sono stati selezionati da altri. Il risultato è che possono comparire valutazioni non positive basate su decisioni fatte da altri. Tra l’altro questa procedura va contro la riservatezza delle valutazioni, in quanto si viene a conoscenza dei risultati di altri ricercatori.

    • C’è anche il caso dei lavori caricati forzosamente. I nomi dei coautori talvolta non ci sono e talvolta sono scritti male per cui non viene avvisato il coautore coinvolto. Per noi che abbiamo partecipato alla protesta no-VQR i lavori sono stati caricati a nostra insaputa. Ora possiamo anche vedere il risultato del codice usato per lo scopo.

  6. Quindi ora che ho preso due «eccellente» sono anche io eccellente? Mi sa di no. In ambito di ricerca e con campionamento non significativo, come quello della vqr, non è così. L’unico risultato è che due paper hanno preso 1.0 e le conclusioni sono che… due paper hanno preso 1.0.
    Esempio: vado in un allevamento per fare il test per la tubercolosi ai bovini (a proposito c’è un bel servizio su sky canale 100): l’allevatore sceglie due animali su 30 e la prova viene negativa. Cosa concludo? Che l’allevamento è indenne da TB o che quei due animali non hanno la TB?
    Mala tempora…

  7. Alla fine la VQR trionferà. MIUR e ANVUR hanno colpito nel segno: i professori e i ricercatori sono contenti di misurarsi e di confrontarsi e di far sapere a tutti quanto sono belli e bravi, anche quando fingono di protestare o protestano davvero, ritenendo di non essere stati ben misurati e dunque di non potersi poi vantare con colleghi e allievi, come avrebbero meritato

  8. Io non ho aderito alla protesta perché sono un PA idoneo PO e non ho avuto il coraggio necessario per andare ufficialmente contro il mio preside e il mio rettore.

    In ogni caso, l’essermi esposto qui con i miei commenti mi è costato. Per es, sarà un caso, ma per la prima volta dai tempi del CiVR prima e dell’ANVUR poi, non sono stato arruolato tra i revisori.

    E non nego che aver preso due 1.0 mi ha fatto piacere perché temevo che, nonostante le cravatte, qualche revisore potesse rimettere mano alla valutazione.

    La critica alla procedura resta e sarebbe impossibile negare che una procedura basata su un campionamento inefficace non è valida.

  9. Buongiorno,
    dai miei risultati vedo:
    – 1 prodotto caricato da me (solo 1 causa maternità) valutato secondo la corrispondente classe di merito;
    – 1 prodotto caricato da un mio coautore che nonostante la classe di merito C è stato valutato 0,0, senza alcuna spiegazione in nota.
    Questo nonostante il sito scriva “Nel caso in cui il punteggio attribuito non corrisponda alla classe di merito del prodotto, la colonna “Note” ne spiega il motivo.”.
    Ora scrivo a vqr@anvur.it (con speranze molto ridotte), qualcuno di voi ha esperienze simili?
    Grazie mille

  12. Ho scritto all’Anvur (che come sapete spesso non risponde, o con molto ritardo), e per conoscenza al presidente Andrea Graziosi, al Responsabile della Trasparenza, Valter Brancati (valter.brancati@anvur.it) e al direttore dell’agenzia, Sandro Momigliano (sandro.momigliano@anvur.it), perché mi facciano avere i commenti scritti alle mie valutazioni VQR, a norma della legge sul diritto all’accesso (Legge 241, 1990, articolo 22). Se non mi rispondono in tempi brevi passo alle vie legali.
    Consiglerei a tutti di fare la stessa cosa, indipendentemente dal ‘voto’ preso. E’ inaccettabile che una decisione così rilevante per la nostra vita scientifica sia tenuta segreta. Come è inaccettabile venire trattati come bambini capricciosi; quel “si raccomanda di non chiederle”, oltre ad essere contro la legge, dichiara esplicitamente che le nostre richieste sono richieste da bambini, appunto.
    Felice Cimatti, Università della Calabria

    • Il caso di un punteggio zero ad un articolo peer-reviewed su rivista internazionale.
      1. La valutazione secondo i criteri definiti dal gruppo di esperti dell’area 14 consiste (punto 5.2) nell'”attribuire un punteggio per ciascuno dei tre criteri di valutazione stabiliti dal DM e dal bando, vale a dire originalità, rigore metodologico e impatto attestato o potenziale e da un campo libero con numero limitato di parole nel quale inserire obbligatoriamente un breve giudizio riassuntivo dei motivi che hanno determinato le risposte alle domande”.
      2. Secondo il DM (art.5.2) “Il giudizio di qualità si baserà sulla valutazione della pubblicazione in base alla sua originalità, rigore metodologico e impatto attestato o potenziale nella comunità scientifica internazionale, con riferimento a standard internazionali di qualità della ricerca”
      3. Pur richiamando il DM, i criteri del gruppo 14 omettono il riferimento a standard internazionali di qualità della ricerca.
      4. A seguito del giudizio di qualità ogni pubblicazione verrà attribuita a un livello di qualità: eccellente (peso 1), elevata (0,7), discreta (0,4), accettabile (0,1), limitata (0). Per ogni livello c’è una descrizione. Si ha peso 0 in due casi:1. art. 5 punto f: quando “la pubblicazione non raggiunge livelli di originalità e rigore metodologico tali da essere considerata significativa dalla comunità scientifica di riferimento”; 2 art.5 punto g: quando “la pubblicazione appartiene a tipologie escluse dal presente esercizio o presenta allegati e/o documentazione inadeguati per la valutazione o è stata pubblicata in anni precedenti o successivi al quadriennio di riferimento”.
      5. L’articolo rientra nel quadriennio di riferimento, è peer-reviewed in rivista edita da Francis and Taylor con impact factor 2.174, “received 18 Jul 2011, Accepted 17 May 2012, Published online: 10 Jul 2012”.
      Conclusione. Il punteggio ZERO attribuito dalla VQR in base a criteri ignoti cozza con la posizione che l’articolo ha in seno alla comunità scientifica internazionale.
      Si tratta di pretendere di conoscere il giudizio VQR, per agire a propria tutela, ma in una prospettiva di dissoluzione di questo sistema di valutazione. E’ necessario convergere su azioni collettive.

  13. A proposito del ricorrere a via legali, nel dicembre 2013 raccontai, proprio su ROARS, la mia vicenda: tramite uno studio di Firenze avevo presentato l’istanza ma l’accesso agli atti mi era stato negato in base alla paradossale motivazione secondo la quale gli esiti della VQR non avrebbero avuto ripercussioni sui singoli. Mi era dunque sembrato giusto, all’epoca, diramare urbi et orbi tale risposta per così dire rassicurante ma destinata a essere poi smentita dai fatti, come tutti e tutte sappiamo. Questa volta sono diventati più aggressivi e ci mettono in guardia. Peccato che stiano infrangendo una legge (o più d’una?) dello Stato.

    • Ora la VQR viene usata per selezionare i membri dei Collegi di Dottorato, ai fine di ottimizzarne la valutazione (parametri R ed X). Quindi, ci sono dirette ripercussioni sui singoli (dentro/fuori dal Collegio).

    • Ma viene usata anche per le chiamate degli abilitati (in modo surrettizio) da molti dipartimenti. E’ inutile prenderci in giro. La VQR è un modo per esercitare potere in modo blindato, per fare fuori avversari e nemici o per consumare vendette (concorsuali ecc.). Il collegamento della VQR alla classificazione delle riviste ne è la prova.

  14. E’ ormai evidente che l’ANVUR sta agendo con un evidente arbitrio (per usare un eufemismo). Faccio appello a tutti quelli che abbiano uno straccio di rapporti internazionali, per confermare che da NESSUNA PARTE AL MONDO la valutazione avviene in questo modo, sia nel campo della VQR, sia nel campo delle riviste, la cui classificazione è blindata dai risultati della VQR. Sarebbe bello se qualcuno rendesse noto il cv dei vari Gev e Sub-gev, per vedere chi realmente tra loro merita di avere responsabilità di giudizio così importanti, avute grazie a una nomina che calpesta le più elementari regole meritocratiche.

  15. Esattamente come green_baron paventa! Si forzano i Rettori e i CdA a chiamate basate su VQR ‘compiacenti’. Per SSD numericamente piccoli e’ un gioco da ragazzi fare in modo di ottenere una serie ripetuta di valutazioni eccellenti in un particolare Ateneo, millantandosi primi. Si strappano cosi posizioni a SSD in cui la competizione e’ reale e soprattutto nei quali la valutazione e’ forse più’ seria. Il risultato finale sarà una diminuzione della qualità dei reclutati

  16. Qualcuno sa se, oltre all’impact factor della rivista, i valutatori vqr tengono conto di altri parametri (numero di citazioni effettive di un articolo, citazioni rilevanti, etc). Non mi spiego infatti come un lavoro sulla rivista X abbia avuto nella VQR 2004-2010 voto 0.8 e un’altro sulla stessa rivista X (che nel frattempo ha aumentato l’impact factor) abbia avuto voto 0.1 nella VQR 2011-2014. Mi scuso per la mia ignoranza di ste cose.

  17. Ho visto lavori del 2014 che ricadevano nel 10° percentile di IF e non ricadevano nella classe eccellente per una citazione valutati 0.1….
    Il problema è semplice: se a calcio giocano due squadre, e l’arbitro lo fa un giocatore di una delle due squadre, come può andare la partita??
    Che interesse ha uno non proprio onesto intellettualmente a valutare in modo oggettivo un articolo di un potenziale concorrente?
    E’ quindi evidente il motivo per cui non si può sapere nulla se non il proprio “voto”… Tra l’altro, la guerra fratricida ha come risultato macroscopico di abbassare in modo sistematico i punteggi delle singole università (tutte?) grazie agli articoli andati in revisione.

  18. La settimana scorsa sono andato direttamente alla sede dell’Anvur, a Roma, per avere chiarimenti su come avere i giudizi verbali collegati ai voti dei ‘prodotti’. In generale, dopo qualche esitazione iniziale su chi dovesse accogliere la mia formale richiesta di accesso agli atti (in tutti gli uffici pubblici deve esserci un Ufficio Protocollo, e ci deve essere qualcuno che vi rilascia una ricevuta ufficiale relativa alla ricezione della richiesta), un dirigente molto educato mi dice che si può inviare una richiesta esplicita, via email, corredata del PDF di un proprio documento d’identità. Il giorno stesso ho mandato una lettera in cui, dopo essermi identificato, e aver ricordato i ‘prodotti’ sottoposti, chiedo di accedere agli atti che mi riguardano.
    In una email successiva mi è stato scritto quanto segue, che riporto integralmente:

    “Le domande di accesso agli atti relative alle valutazioni VQR vanno inviate all’indirizzo di posta certificata ANVUR anvur@pec.anvur.it o via semplice email, all’indirizzo vqr@anvur.it, allegando in questo caso copia fotostatica di un documento di identità.
    Le domande di accesso agli atti relative alle valutazioni VQR vanno inviate all’indirizzo di posta certificata ANVUR anvur@pec.anvur.it o via semplice email, all’indirizzo vqr@anvur.it, allegando in questo caso copia fotostatica di un documento di identità.
    Come sa, a partire dallo scorso 25 gennaio ANVUR ha messo a disposizione nella pagina Loginmiur di tutti i partecipanti alla VQR 2011-14 i risultati delle valutazioni dei prodotti da essi conferiti. L’informazione fornita riguarda la classe di merito attribuita al prodotto e il punteggio ad essa associato, che riassumono l’esito dell’intero processo valutativo.
    Per ogni ulteriore dettaglio, occorre avanzare formale richiesta di accesso agli atti nel modo su riportato. Al riguardo, va rilevato che, per i prodotti valutati tramite peer review, le informazioni ulteriori disponibili riguardano i punteggi attribuiti dai revisori ai criteri di valutazione stabiliti dal Decreto Ministeriale VQR (originalità, rigore metodologico e impatto) con i relativi giudizi riassuntivi e l’eventuale giudizio finale del Gruppo di Esperti della Valutazione (GEV) ad esempio nel caso in cui i punteggi dei revisori fossero risultati discordi. Per i prodotti valutati con l’ausilio di indicatori bibliometrici, sono disponibili le informazioni che hanno determinato l’attribuzione della classe finale, ossia quelle relative agli indicatori utilizzati e all’eventuale giudizio del GEV.
    L’ANVUR non ha ritenuto opportuno rendere automaticamente noti tali dettagli del processo di valutazione, in quanto essi sono da intendersi come strumentali alle verifiche effettuate dai GEV nell’ambito della procedura di informed peer review utilizzata per la formulazione della classificazione finale. Tanto i voti iniziali, quanto i relativi giudizi, possono quindi essere stati superati nel corso del processo di valutazione, che è quindi correttamente riassunto solo dal voto finale, che è quello che è stato reso disponibile a tutti i partecipanti”.
    Buona serata

    Felice Cimatti

    • Mi stupisco un pochino del generale stupore rispetto al rifiuto di ANVUR di rendere disponibili gli atti, dal momento che la cosa era stata già proposta da loro, negli stessi identici termini, nella passata tornata (forse allora gli odierni scandalizzati avevano avuto valutazioni migliori). Avevo pubblicato qui su roars, e rimetto qui sotto il link, la lettera da me ricevuta allora dopo la mia ufficiale richiesta di accesso agli atti:
      https://faustoproietti.files.wordpress.com/2013/11/risposta_anvur.pdf
      Goiuridicamente la motivazione non sta in piedi, dal moemnto che, come è stato fatto notare, ormai le vqr individuali vengono chieste per far parte dei collegi di dottorato e per le progressioni di carriera (ma l’ANVUR potrebbe rispondere: non è obbligatorio far parte di commissioni di dottorato, né avanzare nella carriera…). Leggo qui nel commento postato da Cammalleri che il TAR Palermo avrebbe sentenziato contro ANVUR, costringendolo a mostrare gli atti al ricorrente. Non lo sapevo. Ad ogni modo, quella del ricorso al TAR è l’unica via percorribile (per chi pensa davvero che ne valga la pena).

    • Pensa che io l’ho chiesto per scritto a Graziosi (presidente Anvur)! che mi ha serenamente risposto che loro non entrano nei lavori delle commissioni…diciamo che per l’abilitazione….potrebbe servire anche qualcos’altro…o forse gli ordinari che giudicano la VQR sono meno uguali degli altri

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.