Segnaliamo ai lettori il bando provvisorio relativo alla VQR 2011-2014. Commenti e proposte sono attesi entro il 27 luglio, dopo di che sarà emanato il bando definitivo.

Dal sito ANVUR:

Il  Consiglio Direttivo dell’ANVUR è cosciente che si tratta di tempi strettissimi, ma purtroppo la scadenza finale del 31 ottobre 2016 prevista dal Decreto Ministeriale  sulle  Linee Guida della VQR 2011-2014 (DM)  non consente alternative. Il giorno 30 luglio il CD ANVUR  approverà e pubblicherà la versione definitiva del Bando,  dando così il via ufficiale alla VQR 2011-2014.
Per agevolare la lettura e il confronto, nella versione provvisoria sono stati commentati i principali cambiamenti rispetto alla VQR precedente, che sono in parte dovuti al rispetto di quanto contenuto nel DM.  Nella versione definitiva questi commenti saranno  rimossi.
Segue il testo
Send to Kindle

15 Commenti

  1. Già l’ inizio è una garanzia della solito dilettantismo del lavoro anvur. Possibile che non lo sapessero prima che c’era da mettere in piedi la nuova VQR ? E adesso, accompagnata da scuse puerili (non e’ colpa nostra se c’è poco tempo, è colpa del DM…) arriva questa richiesta di commenti e proposte con scadenza poco piu’ di 2 settimane, con 3 giorni per considerarli ? Nella migliore tradizione delle “pseudo-consultazioni/ascolto” del governo…
    .
    Va ricordato che sono le stesse persone che, sempre per motivi di urgenza, a suo tempo chiesero di “popolare” il sito docente del cineca, su base volontaria, sempre in 2 settimane di fine luglio…
    .
    In un Paese normale il Ministro chiederebbe conto e ragione di questo modo di procedere ad un direttivo che da solo costa piu’ di un milione di euro l’ anno! Ma questo non è un paese normale, come ben sa il mitico professore di Yale.

  2. Forse mi sfugge qualcosa… Un ricercatore deve aver prodotto più di un ordinario e poi stiamo parlando di 1-3 prodotti di ricerca in 3 anni compresi gli atti dei congressi???
    Va bene la qualità, ma qui si parla di gente che è pagata (lautamente) per 2 cose: didattica e ricerca. Un atto di congresso in tre anni che ricerca è??

    • No, qui non si parla di “gente”. Qui si parla di valutare le *strutture*, facendo loro selezionare il “meglio” della produzione scientifica, non la quantita’. Ed e’ una cosa diversa dal valutar le persone. Anche se poi l’ Anvur riesce a far confusione anche su questo.
      .
      Una considerazione a parte meriterebbe poi il fatto che per far ricerca, non e’ sufficiente lo stipendio, occorrono soldi. Che non ci sono. In altri paesi si dice “What you pay, what you get”, e quindi in moti atenei, anche 1 prodotto in tre anni sarebbe troppo. Ma noi siamo un popolo di gente che fa miracoli…

    • Roars non ha mai risparmiato critiche, quando queste erano motivate. Tuttavia, la scelta di valutare un numero limitato di prodotti (3 nella VQR 2007-2010 e 2 nella VQR 20011-2014) è ispirata alla stessa logica “campionaria” utilizzata nel RAE/REF britannico. Per non incentivare logiche eccessivamente quantitative, si decide di valutare solo la produzione “migliore”. Per inciso, se si replicheranno i criteri valutativi della precedente VQR, l’atto di congresso difficilmente otterrà una valutazione più che limitata.

  3. Scusate, insisto. L’ho riletto e posso giurare che per chi come me sputa sangue per rimanere nel precariato continuativo una cosa del genere è a dir poco offensiva. Non mi sembra di aver letto che i contributi debbano essere come primo/ultimo autore/ corr author, quindi va bene tutto, va bene anche essere un co-autore generico (generalmente gli autori dal n 3 al n 5 che nessuno si prende la briga di leggere o considerare) al congresso-sagra della società x. Magari mi sbaglio perché forse in Italia scrivono tutti su Nature, ma che valutazione è? Che qualità è? Di che ricerca stiamo parlando? E c’è anche chi si lamenta dello “short notice”?
    Ma perché poi non viene valutato per esempio a quanti e quali bandi di finanziamento si è partecipato? Come p.i. e come membro, quanti progetti sono stati finanziati, quanti contratti di ricerca sono stati fatti con quei soldi?
    Questa mi sembra solo una presa in giro.

  4. @Pastore

    Mando giù il boccone amaro del numero di prodotti, passi e puntiamo alla qualità. Detto questo, penso che valutare nel complesso una struttura voglia anche dire valutare le persone che ci lavorano. La mancanza di risorse è una realtà che affligge una vasta fetta delle università italiane. Su questo forum si parla tanto di atenei di serie a e atenei di serie b, è una situazione avvilente, ma una volta passata l’idea di una valutazione spendiamoci sullo strumento perché pensare che non ne vale la pena per una mancanza generale di fondi mi sembra come nascondersi dietro un dito.
    Ora seriamente, è pensabile che un professore ordinario oppure un associato si presentino con prodotti che non siano di “prima fascia” (penso ai settori bibliometrici), che non siano primi o ultimi autori del contributo?
    Sono super cosciente della mancanza di fondi, del circolo vizioso dei grant (soldi-ricerca-pubblicazioni-soldi), lo chiedo dal basso del mio precariato.
    Nel mio dipartimento, nel mio ssd, nella scorsa vqr più del 60% dei prodotti presentati dal personale strutturato sono stati giudicati di bassa qualità: ho pensato di tutto, tranne che a compatirli. È chiaro che ad essere più ricchi sono tutti più bravi, che in questo paese si investe poco nel settore universitario, che si tratta di fare un miracolo partendo dal niente, ma ci vuole onestà intellettuale, nei confronti di tutti i precari che mandano avanti la baracca e le vqr di tutti.

    • Chiederei di precisare:
      1. Cosa si intende per “bassa qualità”? Per esempio, è sinonimo di giudizio “limitato” o comprende anche gli “accettabile”?
      2. Di quale SSD stiamo parlando? Lo stesso numero di valutazioni “limitate” (o “accettabili”) ha un significato molto diverso se siamo in un settore di Fisica piuttosto che di Economia, le cui distribuzioni di voti sono molto diverse a livello nazionale.
      3. Di quale dipartimento stiamo parlando?
      ———————–
      È già capitato che un commentatore affermasse che i suoi colleghi di SSD nei loro congressi nazionali presentano “relazioni al 99% di qualità scientifica imbarazzante”, per poi scoprire che in quel settore (MED/25), secondo SCImago l’Italia occupava il settimo-ottavo posto mondiale per numero di citazioni, un dato incompatibile con quel 99% di relazioni “di qualità scientifica imbarazzante”.
      Molto probabilmente, Hear My ROARS ha tutte le sue ragioni, ma mi sembra giusto dargli l’occasione di rendere più credibile il suo intervento circostanziando meglio i suoi dati.

    • Per chiarezza: non penso minimamente che le scelte anvur siano le migliori delle scelte possibili (inclusa quella di valutare 2-3 prodotti a testa). E non penso neanche che non vada fatta una valutazione. Ma proprio per non riprodurre in piccolo gli errori dell’ anvur, ci vuole estrema chiarezza sui fini e gli obiettivi della valutazione. Valutare “come che sia” usando questo o quel parametro, come sembra soggettivamente piu’ ragionevole e nell’ illusione che ci siano parametri neutri universali, non e’ il modo migliore di affrontare il problema. E neanche fare un avalutazione di qualcosa per valutare poi anche qualcos’altro. Una vera valutazione non si limiterebbe a fare una classifica di un campionario di prodotti ma entrerebbe molto piu’ nello specifico, anche del numero e della qualita’ intrinseca degli stessi. Tuttavia, e’ un esercizio che ha senso su scala locale, al fine di avere un “assessment” esterno della situazione di una struttura da cui poter far partire un processo di miglioramento/potenziamento, mentre sarebbe troppo costoso e inefficiente su scala nazionale, soprattutto se il vero scopo non detto e’ la creazione del solito “ranking” tra sedi al fine di poter “tagliare meglio”.
      .
      Il discorso delle risorse non e’ indipendente da quello sulla valutazione. Se si parte dall’ idea che si possa far ricerca a costo zero, vuol dire che si ha un’ idea veramente miserabile di cosa sia “ricerca”. Che poi sia passata come normale l’ idea che un buon ricercatore e’ anche un buon fund-raiser e’ un altro segnale dei tempi. Va bene che chi ha bisogno di budget particolarmente cospicui sia in grado di cercarli “sul mercato”. Ma non che questo sia necessario anche per un livello minimo di necessita’. Se ci sono sedi in cui anche per acquistare un desktop occorre mettere in piedi un progetto europeo e altre in cui c’e’ una dotazione minima di fondi di ricerca facilmente accessibile, evidentemente la valutazione dovrebbe tenerne conto. Ma cosi’ non e’. Invece si fa finta che tutti partano dallo stesso livello e poi si crede acriticamente alla certificazione delle differenze.
      .
      Che in alcuni settori o in alcuni dipartimenti ci si a una “piramide invertita” per cui un RTD puo’ avere una produzione migliore di un PA e questo di un PO non e’ un mistero (basta guardare alle famose mediane ASN per trovare conferma anche a livello di singoli setori concorsuali). O basta leggere i CV ed elenchi di pubblicazioni. E capisco l’ amarezza per queste situazioni, soprattutto viste con gli occhi di un precario. Tuttavia pensare che la VQR sia pensata o debba essere adattata allo scopo di valutare le persone invece delle strutture, magari distinguendo tra posto privilegiato o meno nell’ ordine degli autori (parametro quanto mai ballerino in funzione del tempo, dell’ SSD e delle coordinate geografiche, peraltro) o altro, non fa che aggravare la confusione esistente (e incoraggiata dalla stessa anvur) sulla VQR e sul suo significato. Confusione che nuoce a tutti indifferentemente: strutturati e non strutturati.

  5. Premesso che ritengo la valutazione un processo irrinunciabile e che condivido per certi aspetti alcuni criteri selezionati dall’ANVUR, è importante però considerare che la valutazione a sua volta scatena fenomeni adattativi.
    Per questo ritengo fondamentale (l’ho ribadito anche alle conferenze sulla valutazione organizzate nel mio Ateneo alla presenza di “ANVUR” ) che per molte aree scientifiche sia fondamentale definire chi è responsabile di un lavoro.
    E’ prassi consolidata che l’autore corrispondente ed il primo autore abbiamo un ruolo più importante di TANTI altri co-autori (cosa sottolineata anche dagli interventi precedenti). In molte discipline scientifiche possiamo trovarci in presenza di decine di co-autori.
    Se non interveniamo con dei correttivi si osservano due fenomeni.
    i) comportamenti opportunistici dove un collega o un allievo/a non troppo brillante viene incluso nei lavori per non non penalizzarlo e non penalizzare la struttura
    ii) premiamo di più la ricerca non fatta in Italia (o comunque non valutiamo correttamente le performance di un dipartimento) in quanto io posso essere co-autore insieme ad altri 20 di un importante lavoro pubblicato sulla prestigiosissima rivista ma la testa e l’operatività di quel lavoro non stanno in Italia o nell’ateneo oggetto di valutazione (posso aver contributo ad un grosso studio semplicemente perché ho inviato un campione per un’ analisi). In un esempio diametralmente opposto io sono co-autore assieme al mio dottorando di una lavoro pensato e sviluppato interamente nell’ateneo oggetto di valutazione ma pubblicato su una rivista prestigiosa ma non prestigiosissima (Impact factor un po’ più basso per intenderci) e sarò per questo penalizzato rispetto all’esempio precedente.

    Non applicando un correttivo che valuti dove sta effettivamente la “testa” di un lavoro alla fine porterò ad un depauperamento dell’attività di ricerca. Introdurre il criterio di “proprietà” del lavoro nella valutazione è IRRINUNCIABILE per una seria valutazione in particolare quando parliamo di pochi prodotti che dovrebbero rappresentare il meglio della produzione scientifica di una struttura.

    • “E’ prassi consolidata che l’autore corrispondente ed il primo autore abbiamo un ruolo più importante di TANTI altri co-autori (cosa sottolineata anche dagli interventi precedenti).”
      .
      Ecco, questo e’ un tipico punto di vista parziale, che, preso acriticamente, estenderebbe a sistema universale pratiche solo di alcuni settori o di alcuni periodi. A mio parere e’ anche un ingiustificato pretendere di ricostruire in automatico informazioni difficilmente codificabili in modo non ambiguo.
      .
      In alcuni settori, penso p.es. alla biochimica, alla medicina, ma non solo, ormai e’ prassi che venga dichiarato il contributo dei singoli autori al lavoro. In questo caso l’ ordine di elencazione ha un ruolo meno ovvio. Anche cosi’ non e’ 100% risolto il problema di valutare il peso dei contributi individuali: se c’e’ scritto che X e Y hanno avuto l’ idea e Y ha fatto l’ esperimento e K i conti, chi ha avuto un peso maggiore ? La mia risposta e’ che e’ impossibile dirlo senza entrare nel merito del contenuto del lavoro. Per qualsiasi scelta automatica posso fornire controesempi.
      .
      In altri settori l’ analisi dei contributi non e’ dichiarata esplicitamente. Possiamo prendere l’ ordine come indicatore ?
      In alcuni casi ci possono essere delle tradizioni ben stabilite e immmutabili nel tempo. Pero’ non ho nessuna evidenza di validita’ universale. Posso dire che nella mia area (Fisica) ho visto tutto e il contrario di tutto:
      . primo autore come piu’ importante;
      . ultimo autore come piu’ importante;
      . ordine alfabetico rigoroso;
      . autore corrispondente piu’ importante;
      . autore corrispondente lasciato come ruolo allo “sguattero” della collaborazione perche’ “tanto e’ un compito di segreteria”;
      . collaborazioni con migliaia di co-autori dove la strutturazione della collaborazione e’ tale che difficilmente qualsiasi criterio basato sull’ ordine di apparizione servirebbe a qualcosa.
      .
      E per ciascuno di questi criteri (in alcuni casi variati nel tempo) ho anche visto alterazioni della realta’ per motivi “opportunistici” di vario tipo (e parlo di realta’ non solo italiane ma anche all’ estero).
      .
      E’ veramente cosi’ ovvio che siano criteri utilizzabili ? O non e’ l’ n-esimo esempio dei mostri generati dal sonno del buonsenso di fronte alla frenesia di voler trovare criteri automatici a tutti i costi ?
      In quale posto al mondo si entra nella short-list per una posizione sulla sola base del posizionamento tra gli autori e non piuttosto su quella di giudizi individuali di referee che “ci mettono la faccia” ?
      .
      E comunque tutta questa smania di risoluzione fine nella valutazione dei contributi ad un lavoro, che giustificazione ha ? Tutto ha un costo. Potrei usare una termocoppia da laboratorio per misurare la temperatura fuori la finestra. Ma ne vale la pena ? E valutare se il contributo di X, membro del dipartimento, e’ il 22% o il 33% su una qualche scala, e’ veramente cosi’ cruciale se vogliamo avere una misura dello stato di salute nella ricerca di quel dipartimento ? Non sara’ piu’ importante sapere se quel lavoro e’ stato letto e citato da 0 o da 5000 studiosi ? Nel primo caso, anche con una percentuale di “proprieta” del 100% su una rivista a IF stellare siamo in presenza di un contributo probabilmente interessante ma marginale. Nel secondo caso, anche con una percentuale del 5% una ricerca di altissimo interesse ha trovato coinvolgimento nel Dipartimento con quel che ne consegue di trasferimento di conoscenze e coinvolgimento in attivita’ di forte interesse.
      .
      E soprattutto ricordiamo che finora la VQR e’ servita a capire dove tagliare di piu’ e dove di meno. Non *dove investire risorse aggiuntive* !
      Finche’ non finira’ questa distorsione del sistema non ha nessun senso cercare di essere piu’ bravi dell’ anvur nell’ escogitare IL metodo di valutazione automatico migliore del mondo.

    • “O non e’ l’ n-esimo esempio dei mostri generati dal sonno del buonsenso di fronte alla frenesia di voler trovare criteri automatici a tutti i costi ?”
      _________________________

    • Criteri bibliometrici automatici come quelli dell’ASN hanno ovviamente favorito quei gruppi che pubblicano lavori a molti autori che in tal modo diventano funzionali a garantire l’eleggibilità dell’ordinario nelle commissioni e allo stesso tempo danno una spinta agli associati e ai ricercatori che aspirano ad abilitarsi. Tutto ciò a scapito di chi lavora da solo o con pochi coautori. Una “unintended consequence” oppure qualcosa di più intenzionale? Nella VQR, se non altro, un lavoro con 20 autori può essere messo in gioco una sola volta ai fini della valutazione della struttura.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.