Sono molte e faranno discutere le novità introdotte dal D.M. sulle Linee Guida della prossima VQR. Ne citiamo alcune, rimandando al testo allegato chi volesse farsi un quadro completo.
1. Le Istituzioni sceglieranno un numero di prodotti di ricerca relativi al quadriennio 2015-2019, pari al triplo del numero dei ricercatori prevedendo: a) che per ogni ricercatore si possa presentare un numero massimo di prodotti pari a 4; b) che, di regola, nel caso di più di cinque coautori, salvo quanto previsto nel bando ANVUR in base alle caratteristiche di pubblicazione dell’Area, l’Istituzione possa presentare comunque solo prodotti in cui il primo o ultimo autore (o “autore corrispondente”) appartenga all’Istituzione stessa”.
2. I prodotti della ricerca sottoposti a valutazione dovranno essere liberamente e gratuitamente accessibili a tutti in almeno uno dei seguenti repertori: a) Repository di ateneo; b) Open subject repository (ad es. PubMed, ArXiv); c) Discussion papers series; d) Siti web personali dei ricercatori. Per le monografie, l’ANVUR potrà definire accordi specifici con gli editori.
3. Ai fini della valutazione della terza missione, ciascuna Istituzione presenterà un numero di case studies pari alla metà del numero di dipartimenti.
4. I componenti dei GEV sono estratti a sorte tra coloro che possiedano i requisiti previsti dall’avviso pubblico (almeno 3 pubblicazioni scientifiche dotate di ISBN/ISMN/ISSN o indicizzate su WOS o Scopus negli ultimi 5 anni).
5. Per la valutazione della terza missione verrà costituito un GEV interdisciplinare, formato per metà da valutatori accademici con Esperienza di lavoro nel trasferimento tecnologico e/o incarico dirigenziale di attività di terza missione. Per la restante metà il GEV sarà composto da esperti non accademici, nominati dall’ANVUR tra: dirigenti di amministrazioni pubbliche o private, esperti nazionali ed internazionali di open science, presidenti o direttori di incubatori di impresa, presidenti/amministratori delegati/soci di società di gestione del risparmio o di società/fondi di investimento, presidenti o direttori di fondazioni, presidenti o direttori di parchi scientifici o tecnologici, musei, ‘science centres’, etc, etc.
5. Non sono previsti voti numerici ma 5 categorie: A, B, C, D, E. Non verranno valutati gli SSD, ma solo gli atenei e i dipartimenti, attraverso “profili di qualità” rappresentati dalle percentuali dei prodotti nelle 5 categorie.
6. Da segnalare infine lo sdoppiamento dell’Area 13 in due aree distinte: Scienze economiche e statistiche e Scienze economico – aziendali, che sembra preludere all’adozione della “peer review informata” da indici citazionali internazionali (depurati dalle autocitazioni) per la prima e di semplice “peer review” per la seconda.
DM n.1110_29.11.2019_Formato Accessibile
Dopo aver letto l’articolo. Prima reazione. A questo giro me ne frego della VQR. Seconda reazione. Ma non voglio neanche perderci il tempo di capire fino in fondo. Terza reazione. Ho già perso abbastanza tempo su questa cosa.
Caro Epsy, non so cosa mi ha preso, ma mi è venuto spontaneo trasporre il suo sfogo in versi. Prima, però, occorre ringraziare comunque la Redazione per aver riportato le parti più sensibili per gli addetti allo studio e alla ricerca, alla didattica e alla non so quale missione (e se fosse segreta?). Segue la ‘poesia’: “L’articolo avendo letto io / La vuquer decisi d’ignorare. / Non voglio perder tempo – quindi addio – / Con l’analisi d’un flop ministeriale.” Perché vorrei veramente sapere perché il numero dei ‘prodotti’ deve essere il triplo del numero dei ricercatori, se non perché nelle fiabe il numero tre è obbligatorio, tre oggetti, tre prove, tre fratelli o sorelle. Anche la “cosiddetta” missione è terza, non sia mai che si esca dal fiabesco. E perché si inventano ogni volta norme diverse, GEV diversi e complicatissimi, questa fissa della divulgazione-intrattenimento a tutti i costi, senza garantire nessun supporto organizzativo.
… ma questi ci prendono x il cun … se avessi saputo che mi pubblicavano a fare il saltimbanco avrei scelto un altro mestiere …. un cantante vale più di un laureato …Guccini
bello il correttore freudiano del telefonino: obbligavano/pubblicavano
Beh, come numeri fatidici avrebbero potuto scegliere tra 3 (virtù teologali o prove di Giasone), 7 (vizi capitali o virtù corporali) e 10 (piaghe d’Egitto, comandamenti), ecc ecc. Hanno faticato non poco e alla fine è venuto fuori il 3, ovvero il triplo, poteva andarci peggio…..
Parlando seriamente, un altro problema è quello del metodo di valutazione.
Nelle classi di merito più alte sono presenti riviste con alto indice di rifiuto, ovvero dove è molto difficile pubblicare, e riviste con basso indice di rifiuto, dove si pubblica abbastanza facilmente. L’utilizzo combinato di questo aspetto e del parametro citazionale produce non poche aberrazioni. Ad esempio, in ambito scientifico, nelle precedenti VQR è accaduto che articoli pubblicati su Nature siano stati valutati meno di uno su Journal of Pizza & Fichi. Una VQR così concepita tende ad appiattire o addirittura a ribaltare i valori in campo.
Scusate, ho dimenticato le 12 fatiche di Ercole!
@PatrizioDimitri “nelle precedenti VQR è accaduto che articoli pubblicati su Nature siano stati valutati meno di uno su Journal of Pizza & Fichi”. Indipendentemente alle critiche alla VQR degli precedenti, a me non risulta. Ci può segnalare un caso reale? A me risulta il contrario. Ci si è arresi acriticamente alla logica bibliometrica per cui un paper su una rivista top (il contenitore) è stato valutato top indipendentemente dal contenuto del lavoro.
Nicola Ferrara
Personalmente sono stata peer reviewer per la VQR: ho letto gli articoli e li ho giudicati. Erano tutti rigorosamente affidati in base alle mie competenze.
Che dire della terza missione, che dovrebbe essere lavoro per il territorio? Come mai si è accresciuta in questo senso l’attività di alcuni e sono stati esclusi altri che se ne erano sempre occupati?
Come mai proprio quando è stata inserita? Chi sa sempre tutto in anticipo?
https://www.roars.it/collaborazionisti-o-resistenti-laccademia-ai-tempi-della-valutazione-della-ricerca/
Il vero problema della vqr è l’anonimato dei revisori. Il “giudice anonimo” è un aberrazione, alla quale ci siamo purtroppo abituati. Ormai i casi di peer review selvaggia non si contano più.
Quindi in media 3 prodotti per ricercatore con un massimo di 4 per il singolo. Quindi per uno che ne presenta 4 ce ne sarà uno che ne presenta 2. Qualche volta può essere necessario ma, visto l’uso improprio dei risultati VQR, potrebbe accadere che chi ne presenterà 2 (o meno), pur potendone presentare di più, si troverà un giudizio personale che potrebbe incidere negativamente sulla sua vita accademica. Sebbene tale uso della VQR sia improprio, è già successo con le passate VQR (prima di tutto l’esclusione dai collegi di dottorato).
Concordo. Dato che è una valutazione di struttura, la scelta dei lavori da valutare sarà verosimilmente effettuata per ottimizzare la valutazione complessiva senza preoccuparsi di rappresentare tutti i docenti (che non sono oggetto di valutazione). Sarebbe assurdo e grave che dei dati, non più rappresentativi dei singoli docenti, venissero usati abusivamente per altri scopi. Ma come osservato da Thor, gli abusi non sono mancati in passato. Sperabilmente, la terza VQR dovrebbe essere inutilizzabile (e inutilizzata) per comparare i singoli.
già, certo, tutto il dipartimento saprà che dei miei lavori ne sono stati utilizzati solo due, non ci sarà nemmen bisogno di accedere più o meno illegalmente a dati riservati… Tanto valeva allora direttamente il marchio dell’infamia di dumasiana memoria!
Il modello è quello UK con ricercatori refable e non-refable. https://blogs.lse.ac.uk/impactofsocialsciences/2017/02/09/the-importance-of-being-ref-able-academic-writing-under-pressure-from-a-culture-of-counting/
Tutto si giocherà su come anvur scriverà le linee guida.
Il DM ha buttato fuori dalla porta alcune cose che ANVUR potrà far rientrare tranquillamente dalla finestra delle linee guida.
Peppe e Gedeone applicherebbero immediatamente l’algoritmo del simplesso. Il numero di prodotti è 3N, i ricercatori sono N, la numerosità di ciascun gruppo di ricercatori è positiva e poi la funzione obiettivo fornita nei dettagli da ANVUR.
Un dipartimento a caso… 58 docenti, criterio unico basato sull’IF della rivista , mi porta a 36 con 4, 4 con 3, 6 con 2, 6 con 1 e ben 6 con 0. Per la ragion di stato si può finire inattivi senza esserlo.
Vedremo. Nel mio istituto la volta scorsa si era fatta la lista dei lavori di tutti e si era assegnato ad ognuno gli N che massimizzavano il punteggio di istituto (mentre nel nostro giro tutti i lavori hanno in genere molti co-autori, di istituzioni e paesi diversi, possono averne solo uno o due dell’istituto, e magari qualcun altro di altri istituti dell’ente).
Questa volta mi sa che, nonostante che nel periodo abbia firmato (in qualita’ di “builder” e/o di database administrator) 11+16 lavori in due “special issues” legate a una survey internazionale che e’ finalmente giunta a una fase produttiva, potro’ contribuirne solo uno come primo autore, o al massimo quelli con primo autore dell’ente, se non li presenta una altra struttura. Vedremo.
Ho letto l’articolo di Baccini.
Nella speranza che venga compreso ciò che vi è scritto e si reagisca. Fossimo in tanti a resistere la vita accademica sarebbe più cooperativa, utile davvero al territorio.
Il testo è scritto piuttosto male, e si presta – forse inconsapevolmente – a interpretazioni rivoluzionarie, come ha osservato Roberto Caso nella mailing list OA-Italia. Per commentarlo analiticamente è probabilmente opportuno attendere il cosiddetto “bando”.
Per il momento, mi limito a un paio di osservazioni sintetiche:
una (relativa) apertura della scienza imposta amministrativamente ha poco a che vedere con l’ideale di scienza aperta pensato e attuato autonomamente dalle comunità scientifiche:
perché i Gev, ora, sono selezionati per sorteggio e non per elezione?
Sul punto (2): l’elezione, come ben conosceva la democrazia ateniese che per questo preferiva il sorteggio, ha una componente aristocratica: nella competizione elettorale sono infatti favoriti i candidati più noti. Ad Atene però i sorteggiati prima di entrare in carica dovevano affrontare un esame (dokimasia), e, soprattutto, le cariche che richiedevano particolari competenze (strateghi) erano elettive. Ragionando “all’Ateniese”, la scelta del sorteggio per i Gev è indice di due cose:
l’Anvur pensa che per valutare la ricerca non occorrano competenze particolari, e che un (auto-)candidato valga l’altro;
l”Anvur pensa che la valutazione della ricerca sia un’operazione non scientifica, bensì politica – così politica che per proteggere la massa dal rischio di eleggere i più noti si è preferito il sorteggio, perfino in una situazione in cui i potenziali elettori sarebbero studiosi dell’una o dell’altra disciplina.
L’Anvur, per sottrarsi all’accusa di autoritarismo, ha scelto il sistema ultra-democratico del sorteggio, invece di continuare a nominare i Gev. Ma perfino questa scelta tradisce la convinzione che le comunità scientifiche siano incapaci di esprimere valutatori competenti – tanto che ad esperti eletti sono preferibili studiosi scelti a caso.
A questa mossa, una comunità scientifica che avesse rispetto per se stessa potrebbe dare una risposta chiara: non esprimere nessun (auto-)candidato per sovraintendere alla valutazione di stato. Candidarsi, infatti, significherebbe accettare il principio che in un’operazione presentata a parole come scientifica, sotto il controllo di un’autorità nominata dal governo, è più affidabile il giudizio di un auto-candidato preso a caso di quello di uno studioso eletto dai colleghi. Capisco che la carriera accademiche sia accidentale: ma questa scelta non ne riduce l’accidentalità – non serviva anche a questo la valutazione amministrativa? – bensì la esalta.
Con il “bando” sotto gli occhi, leggo che l’articolo 3 comma 6 prevede che, nel caso in cui il numero di autocandidati sorteggiabili per un GEV sia insufficiente a formarlo secondo i requisiti del comma 4, l’Anvur integrerà il GEV individuando “ricercatori non candidati, comunque in possesso dei requisiti e titoli richiesti”. Quindi:
1. il sorteggio è una concessione provvisoria, per eludere le critiche di chi vede nell’ANVUR un ente autoritario emanazione del governo: se i ricercatori non collaborano, rimane sempre possibile rastrellarli tramite nomina;
2. che succederebbe se i ricercatori “individuati” dall’ANVUR non si fossero candidati perché rifiutano di partecipare alla valutazione di stato ritenendola incostituzionale, e intendessero continuare a non farsi “individuare”?
Grazie. Grazie. Queste osservazioni fanno capire che dovremo opporci al controllo della ricerca. Uniti.
Si inserisce in modo confuso una sorta di peer review “informata” con tanto di analisi qualitativa affidata a un GEV sorteggiato; vedo ampie possibilità di soggettività discutibili. Rimpiangerete i tempi in cui si usava la blibliometria secca.
L’informed peer review però non è una novità di questa tornata: v. per esempio https://www.roars.it/roars-da-radio-londra-non-si-possono-usare-insieme-bibliometria-e-peer-review/ . Si chiama così perché i revisori anonimi selezionati dai GEV sanno che è l’autore, dove ha pubblicato e quali sono i punteggi bibliometrici del testo loro sottoposto. Dal lato del valutato, che non conosce né i revisori e né i criteri con cui sono scelti, la medesima procedura meriterebbe invece il nome di uninformed hierarchical review.
Mi pare che avere usato l’espressione “informed peer review (IPR)” nel testo del DM senza definirla sia il cavallo di Troia con cui ANVUR nelle linee guida e i GEV potranno fare rientrare cravatte bibliometriche, liste di riviste e quant’altro nel processo di valutazione. Sulla pluralità di procedure che nella prassi anvuriana rientrano sotto la dizione di IPR rimando all’appendice B di questo: https://link.springer.com/article/10.1007/s11192-016-2055-6. (Non ho versione OA sottomano)
Se si vuole capire l’origine di questo mostro chiamato “ANVUR”, bisogna andare alla fonte. E la fonte si trova nell’università Bocconi e nella sua ideologia liberista (ovvero basata sull’idea dell’uomo-animale-da-preda). Anche la pratica barbara dell’ “anonimato in una sola direzione” viene da lì. La riforma Gelmini è stata scritta in quella università.
Certo. Quello che però mi stupisce è che la malafede più che la soggettività siano entrate in gioco e nessuno lo abbia denunciato.
Ho sentito io con le mie orecchie discorsi fumosi ma assertivi per distruggere candidati.
Sull’anonimato. Non si sa perché venga considerato imprenscindibile ai fini del giudizio obiettivo. Io sono a favore di chi formula un giudizio evidenziando i criteri e ammettendo anche che si sappia chi è. Gli studenti danno giudizi anonimi. Vengono considerati affidabili. Temono ritorsioni. Anche gli esperti? Anche i pochi che gestiscono l’asn?. Non parlo dei commissari, ma quelli che agiscono nascostamente.
Non credo. Ma possono fare tutte le cattiverie che vogliono.
Gli studenti non esprimono giudizi anonimi. Gli studenti mettono crocette anonime.
Nella peer review (fra PARI) l’anonimato è accettabili ma perché poi prevede un contraddittorio argomentato.
L’anonimato che non prevede un contraddittorio argomentato si chiama DELAZIONE! SPIATA! Atteggiamento riprovevole: Infamità.
Mobsourcing.
Crocette messe a casaccio e giudizi. Anche giudizi. Noti ad una parte dei colleghi, che ne fanno un uso improprio.
Nella VQR, nella ASN non vi è contraddittorio. Nella peer review per pubblicazione si. E i giudizi ti aiutano a far meglio.
In tutti gli altri casi no. Nei casi peggiori, come quelle che si chiamano come Ernst e pro. Obb dicono ti spezzano la carriera. Per avvantaggiare un altro. Sic et simpliciter. Cattiveria. Manipolazione dei risultati.
Leggi fatte ad personam. Valutazione prodotti per finanziamenti: gli articoli di fascia a valgono più di articoli in volume. I libri 1 punto più degli articoli di fascia a. Curatele si curatele no recensioni si recensioni no. Tutto a seconda di…alcuni … regole rifatte ad hoc…
Domanda non totalmente retorica: come si concilia la regola bibliometrica di molti GEV, per es. “25% per l’insieme corrispondente al 35%-60% della distribuzione della produzione scientifica *internazionale* della Subject Category cui appartiene,” (enfasi su “internazionale”) …
…con la regola “mediocritas ex iure” del bando (art. 7 §11): “Ciascun GEV è tenuto a suddividere la valutazione dei prodotti utilizzando tutte le categorie di cui al comma 9, attribuendo, indicativamente, a ciascuna categoria almeno il 5% e non più del 25% dei prodotti.” ?