Molti Rettori e Direttori di dipartimento (fortunatamente non tutti) non ne vogliono proprio sapere di operare scelte politiche e di mettersi in gioco sullo spinoso tema del reclutamento e del finanziamento delle strutture interne all’ateneo. Perché esporsi a conflitti interni lunghi e laceranti? Perchè assumersi responsabilità? Qualche volta ci sono delle formule, più o meno abborracciate, come ci insegna l’ateneo di Palermo. Altre volte, basta la VQR. Fu fatta per altri scopi e con criteri che la rendono per lo più inutilizzabile, ma in fondo, sempre meglio che metterci la faccia, a costo di compiere scelte non solo discutibili, ma palesemente illegittime.
Segnaliamo ai lettori il documento con cui il rettore dell’Università di Perugia chiede ai docenti del proprio ateneo di rendere pubblici gli esiti individuali della VQR.
Richiesta di rendere pubblca VQR
più che altro bisognerebbe cominciare a sottolineare che l’uso dei risultati individuali della VQR per scopi selettivi oltre che illegittimo è persino desueto: siamo nel 2014 inoltrato e la VQR si riferisce alla produzione scientifica fino al 2010. Nei quattro anni successivi uno nel frattempo potrebbe anche aver pubblicato saggi importantissimi, aver fatto scoperte decisive o aver vinto un nobel!
Il vero problema è che Atenei medio-piccoli, gestiti in modo a dir poco “allegro” negli anni passati, faticano ad entrare nella logica dell’autovalutazione con criteri seri, se non altro per una questione di costi. I dati VQR individuali, così, diventano una sorta di bacchetta magica, perché hanno almeno un pregio agli occhi di chi, in quattro e quattr’otto, deve “inventarsi” una valutazione interna: esistono.
La soluzione a tutto ciò ci sarebbe: basta che nella prossima tornata VQR, se (come nella precedente, del resto) ad essere valutate saranno le strutture e non i singoli, i dati individuali non vengano resi noti in forma disaggregata a nessuno, né agli aenei né ai singoli ricercatori. Infatti, se da qualche parte i dati disaggregati a livello individuale esistono, sarà troppo forte, nonostante la rassicurazioni di ANVUR e MIUR, la tentazione di usarli, soprattutto in certi contesti; e questo non aiuta di certo la formazione di una vera cultura della valutazione a livello di singolo ateneo.
Dinanzi ad un tale invito c’è un interesse del singolo a mostrare i propri risultati se ha ottenuto un buon punteggio. Per converso, chi ha ottenuto risultati non buoni non li mostrerà.
Conoscendo il Rettore la valutazione complessiva del dipartimento, egli potrebbe ricavare la valutazioni di tutti con il seguente procedimento:
0) comunicare che ci saranno vantaggi per chi ha i risultati VQR migliori, svantaggi per chi li ha peggiori
1) dire che coloro che non mostrano i risultati saranno considerati come avere un valore medio, valore M1
2) a questo punto chi ha ottenuto punteggi sopra la media li mostrerà, convenendogli agire così
3) il Rettore può quindi scorporare i punteggi noti dai dati che possiede e calcolare la media dei rimanenti (ben più bassa di quella del primo calcolo), valore M2
4) comunica che coloro che non mostrano i risultati saranno considerati come avere un valore medio, ma secondo l’ultimo computo, cioè pari a M2
5) a questo punto anche coloro che avevano punteggi compresi fra M1 e M2 li riveleranno
6) di nuovo, scorporo dei punteggi noti, nuovo calcolo della media M3 dei rimanenti, nuova comunicazione, etc.
In 3 passaggi o poco più si riesce a sapere il punteggio VQR di ogni singolo, assumendo che ogni singolo agisca secondo convenienza. Dato che possiamo assumere che il direttore ed i singoli agiscano come più loro conviene, la conclusione di fausto proietti è anche formalmente corretta da un punto di vista logico: se l’ANVUR comunica i risultati VQR ai singoli, tanto vale che li comunichi anche ai Rettori.
Sono solo io o anche qualcun altro ha difficoltà a capire se il testo è scritto in sciatto burocratese o in sublime stile furbesco?
In merito, invece, alla richiesta, io credo che anche con triple-one ci sia qualcuno comunque danneggiato. Infatti poiché non ci sono risorse per tutti, un conto è prendere decisioni (ri)valutando il curriculum dei singoli, un altro è appiattire tutto con TRE prodotti VQR.
Il mio caso è emblematico: un potenziale rivale nullafacente per una ipotetica chiamata (per fortuna io ho avuto l’idoneità e lui no) si ritrova triple-one grazie a tre miei lavori (nel senso che io sono primo e corresponding e lui è in mezzo). Nel mio sito docente sono apparsi i punteggi di tutti i miei 6 prodotti che sono 1-1-1-1-0.8.-0.8
Cosa dovrei mandare al direttore?
a) Tutti e 6?
b) i prime tre (1-1-1) col rischio di sentirmi dire: “ne usiamo uno solo perché gli altri due li ha indicati il collega”
c) i tre che furono inseriti a suo tempo dal mio sito docente (1-0.8-0.8) (ovvio che non potei cedere gli 0.8 al collega nullafacente per due motivi: non aveva il nome e non si era certi della valutazione, tra centili e mediane).
Se mettessi c) oltre al danno anche la beffa di stare sotto, in un’ipotetica classifica al collega nullafacente.
A suo tempo ci fu detto di “cedere” senza remore i lavori al colleghi nullafacenti per il bene dell’ateneo e del dipartimento e ora alcuni rettori si rimangiano la parola…
A me questo commento interessa molto. Potrebbe Bengi chiarire quando (“A suo tempo…”) e in che forma fu detto di cedere? Da quello che capisco la cessione è avvenuta prima della vqr, visto che i lavori in collaborazione sono stati evidentemente pubblicati nel periodo 2004-2010. Questo signfica che la sparizione dei nullafacenti era pilotata prima della vqr? Quanto? (mi sembra un questione non da poco). Infine: di quale area scientifica stiamo parlando?
Cedere: virgolettato, nel senso di inserire nel sistema il maggior numero di prodotti. Nella fattispecie è capitato che autori con produzione limitata, ma che figuravano oltre la 3° o 4° posizione (non primo o ultimo autore, né corresponding) in alcuni articoli (in virtù o di una reale partecipazione limitata e maginale alla ricerca o inseriti per motivi politici), hanno inserito tra i TRE prodotti alcune pubblicazioni la cui paternità (primo, ultimo, corresponding) era evidentemente di altri. Ciò si rese necessario per far sí che tutti inserissero i TRE prodotti richiesti.
A suo tempo: nel 2012 quando dovevamo scegliere i TRE migliori prodotti da inserire e in caso di sovrapposizioni ci fu chiesto di dare la priorità al numero dei prodotti.
Nel mio caso tre dei miei migliori prodotti annoveravano tra gli autori il nullafacente di cui sopra, che peraltro non avrebbe avuto altro da inserire. Se io avessi preteso di inserire nel mio sito docente quei tre prodotti, il nullafacente si sarebbe ritrovato senza prodotti da inserire e il dipartimento avrebbe avuto tre lavori di meno.
Il caso ha voluto che i tre lavori inseriti dal nullafacente hanno preso 1-1-1, mentre i miei tre hanno avuto 1-1-0.8!
Spero di aver chiarito.
Tutto ben noto e previsto dalle regole del gioco. È una delle ragioni per cui la VQR non è fatta per usare i singoli. Nasce per valutare le strutture e i prestiti” erano del tutto previsti.
capisco benissimo il problema (perchè l’ho vissuto) ma, con sana autocritica ed un pò di provocazione mi chiedo se: per questo specifico caso, il danno subito da “bengi” sia attribuibile al sistema VQR o alla pratica di inserire un nullafacente come coautore?
Il “danno” nasce dall’uso improprio della VQR, un uso esplicitamente escluso dalla stessa ANVUR:
___________________________
“Last but not least, l’ANVUR sottolinea che i risultati della VQR non possono e non devono essere utilizzati per valutare i singoli soggetti. I motivi sono molteplici, e qui ne citiamo alcuni rilevanti: la scelta dell’associazione prodotti-soggetti valutati, dettata dall’ottimizzazione del risultato di struttura e non del singolo soggetto, la richiesta di conferire solo tre prodotti di ricerca pubblicati in sette anni, che costituiscono in molti settori della scienza un’immagine della produzione complessiva dei singoli soggetti molto parziale, la non considerazione del contributo individuale al prodotto nel caso di presenza di coautori, e, infine, l’utilizzo di metodi di valutazione la cui validità dipende fortemente dalla dimensione del gruppo di ricerca cui sono applicati.”
Rapporto finale VQR, p. 9
___________________________
A volte, basterebbe leggere le istruzioni.
Non capisco questa polemica, se era coautore e aveva anche solo scritto o pensato un rigo dell’articolo, aveva il diritto di inserire quei 3 lavori nel sistema VQR. Come si fa a chiamarlo nullafacente? Al massimo, poco-facente. La recriminazione secondo me potrebbe essere verso il sistema stesso che obbliga due coautori dello stesso dipartimento a decidere da sé chi può presentare un lavoro alla VQR e chi no. Poi, forse, bengi dovrebbe evitare di inserire come coautori persone che disprezza. Oppure, non lamentarsene dopo…
@delrosi e @marc:
non è polemica, è solo una segnalazione di quanto può essere fuorviante una simile raccolta di dati. Il nullafacente, cosí definito per intenderci (nessun disprezzo da parte mia ma solo oggettiva constatazione), si ritrova triple-one e io 1-1-0.8.
Sulla scelta dei nomi da inserire la mia regola è che tutti quelli che hanno fatto qualcosa si meritano il nome, anche quello che ha solo trasportato i campioni per le analisi. Molte riviste oggi chiedono di indicarlo chiaramente in un’apposita sezione.
In ogni caso, al di là di queste considerazioni che esulano dal tema della discussione, nessuno di noi si sognerebbe di fare una ricerca raccogliendo di dati in come stanno tentando di fare alcuni rettori e comunque rompe un po’ che il nulla o pocofacente si ritrovi triple-one…
Infine, se ce lo avessero detto a suo tempo, che dopo due anni i dati sarebbero anche stati usati per decidere chi chiamare (perché è di questo che si parla…), probabilmente saremmo stati meno larghi di manica nel fare questi “prestiti”.
il sistema è SBAGLIATO perché si dovrebbe valutare il curriculum del singolo (e se ha prodotto poco, va MANDATO VIA!)
con il sistema attuale, invece, si valuta il curriculum COLLETTIVO di una facoltà! il che è ASSURDO e se quella facoltà non potrà più reclutare, chi CI RIMETTE è chi non verrà reclutato (il PRECARIO) e chi invece è dentro, anche non avendo prodotto nulla, anche avendo fatto abbassare la media del proprio gruppo, NON PAGHERA’ MAI!!!!!
c’è qualcuno che ha il coraggio di smentirmi?
grazie!
Anto
Qualcuno ha mai comparato i risultati della VQR e della ASN ?
Tanto per dire, io ho avuto una VQR di 5.6/6 e una non-abilitazione con 1 mediana passata, 1 marginale e 1 sotto
Posto che la VQR mi pare di grandissima discutibilità, ma che questo sarà già stato detto in tutti i modi, quello che mi sembra positivo (se mai non sia solo demagogia) è la volontà dell’uso (anche, mi auguro) della VQR per elaborare una “strategia di supporto diffuso, con piani di azione diversificati e valutazioni ex-post, finalizzata a stimolare e consentire l’espressione di ogni creatività scientifica, di ogni sinergia, per far crescere l’ateneo nel suo complesso”.
Ecco, si parla ormai sempre e solo di premiare il merito, in una sorta di caccia alle streghe per chi è “poco produttivo”, ma ormai troppo poco di chi ha e ha avuto difficoltà negli anni, per i più svariati motivi, ad essere da mediamente a molto produttivo. Per questioni di scarso potere, per questione di numero (gli SSD di nuova attivazione, ad esempio), per questioni di mobilità, periodi all’estero (che penalizzano nell’immediato la produzione scientifica) e così via. Cioè, più che pensare di premiare solo il merito e in maniera conseguente di squalificare e “punire” chi questo “merito” non lo ha, vedo positivamente un approccio di crescita globale dell’ateneo, dove si sostengano i gruppi meno potenti (con professori meno bravi a far politica e meno abili nelle pubbliche relazioni, ci sono, e la ricerca costa, in termini di risorse umane e strumentali), la formazione e il trasferimento di conoscenze attraverso la mobilità (piuttosto che penalizzarla anche se comporta periodi meno produttivi) ecc…
Per la VQR servivano 3 pubblicazioni in 7 anni (2004-2010), non un grande numero quindi. Mi pare difficile fare grandi valutazioni, ma di certo se quelle 3 pubblicazioni presentate sono scarse e non sono neanche 3, può essere interessante capire i motivi ed elaborare eventuali strategie di crescita complessiva, piuttosto che pensare solo di premiare chi ha avuto 1-1-1 o giù di lì. Ed io, lo dico anonimamente!, parlo come una che ha avuto 1-1-1.
Potenziare gli atenei nel loro complesso piuttosto che le sole eccellenze o anche “eccellenze” (3 pubblicazioni individualmente possono dire molto ma anche molto poco!), è una strategia che mira ad aumentare anche il valore medio della ricerca nazionale nel tempo, con benefici che sono comprensibili da tutti.
@ Lilla, mi spieghi in italiano intelligibile cosa significa: “strategia di supporto diffuso, con piani di azione diversificati e valutazioni ex-post, finalizzata a stimolare e consentire l’espressione di ogni creatività scientifica, di ogni sinergia, per far crescere l’ateneo nel suo complesso” e cosa c’entrano i risultati VQR dei singoli?
Mah, occhio e croce è politichese per dire in sostanza che si vorrebbe dar supporto anche a chi non ha avuto risultati eccelsi nella VQR.
Non conoscendo i dati dettagliati individuali delle VQR (visto che non sono conoscibili, appunto) non so pronunciarmi sulla loro variabilità, né su quella che potrebbe essere poi l’efficacia nel capire dove eventualmente intervenire.
Mi interessava più di tutto l’idea di non focalizzarsi solo sul premiare il merito ma anche di capire cosa c’è dietro ai numeri, per prendere decisioni che riguardino anche chi non sembra eccellere come produttività.
Tutto qui.
a parte il fatto che se uno è un brocco (per ovvi limiti, per svogliatezza o altro) non può diventare un purosangue, con i risultati VQR il “nostro” (chiamiamolo cosí per non irritare la suscettibilità di chi non ama la definizione di nullafacente) non sarebbe incluso tra quelli bisognosi di supporto, col suo bel triple-one già pubblicizzato senza pudore in vario modo, guardandosi bene dal mostrare titoli e autori dei suoi tre begli uno!
5.6/6 e abilitato PO
Importante la segnalazione, utili e interessanti i commenti. Bisognerebbe ribadire i principi: 1. la VQR, limitata al 2010 (e siamo a metà del 2014), aveva e ha altri obiettivi, ed è stato riprecisato anche dall’Anvur, se non erro. 2. I rettori e il senato dovrebbero attenersi e questo non dovrebbero indurre a comportamenti che possono determinare non soltanto ingiustizie ma anche inutili e improprie graduatorie rivalità e discordie. 3. Ciò che non è vietato espressamente è permesso, ma l’incentivazione in tal senso non deve essere alimentata dall’alto per facilitare i compiti dei vertici. Se fossi direttore di dipartimento al quale dovrebbe stare a cuore il dipartimento nel suo insieme, mi rifiuterei di collaborare. Tanto la valutazione complessiva del dipartimento si ha già.
@Lilla, bengi, Marinella, Lorinczi:
ma secondo voi, questo sistema è giusto?
valutare il dipartimento è giusto?
chi lo prende lo stipendio? il dipartimento o il singolo?
il concorso per entrare (o per non entrare e aspettare anni), chi è il candidato? singolo o il dipartimento?
non dovrebbe essere valutato il singolo?
non dovrebbe essere premiato il singolo?
non dovrebbe essere sanzionato il singolo?
non dovrebbe essere cacciato il singolo improduttivo?
ma dove stiamo nell’URSS? dove tutto era collettivo?
Non sono esperta in materia, ma il rapporto tra singolo e istituzione, tra singolo e collettività è fondamentale dal momento che l’uomo è un animale sociale. Precisato questo, bisogna scendere ad analizzare le singole reti di rapporti. Le valutazioni dei dip. danno indicazioni, indicazioni di massima, sul livello del dip. La carriera del singolo ne può beneficiare o meno, però nel concorso sarà valutato il singolo, anzi saranno valutati tanti singoli (che con-corrono, appunto), se concorso ci sarà. Se avessimo saputo che il Vqr a questo serviva, anzitutto non si doveva limitare la documentazione; due, ci saremmo comportati diversamente: ognuno per sé e nessuno per tutti, tolti, anzi, quelli o che non volevano (ancora) concorrere o non ne avevano più necessità. Invece tutti, dal più giovane al più anziano, dovevano collaborare per il bene di tutti, ognuno con le sue esperienze di ricerca, che sono ugualmente un bene collettivo prezioso e soprattutto significativo. Se questa era la regola, anzi la legge, va rispettata e fatta rispettare.
E poi lasciamo stare l’Urss “dove tutto era collettivo”; magari lo fosse stato. Ora si vedono i risultati dell’educazione all’individualismo feroce d’élite. E poi con tutti questi grandi scandali collettivi delle grandi opere, rifletterei piuttosto sul rapporto tra individuo e collettività qui e ora.
@anto: nessuno ha detto che questo sistema sia giusto, anzi mi pare che qui nessuno sostenga che la VQR sia stata efficace per gli scopi per i quali era stata pensata (distribuire la quota premiale di FFO, fare graduatorie di università ecc). Si criticava soprattutto chi va oltre, e cioè la usa anche per gli scopi per i quali la VQR non era neanche stata pensata, e cioè valutare i singoli o confrontare aree diverse.
Per il resto, bisogna mettersi d’accordo sugli strumenti per la valutazione, globale o individuale che sia, e anche quindi sulla definizione di produttività, visto che le università non sono aziende.
L’errore (da principianti) e’ stato quello di valutare in modo analitico i singoli prodotti e non quelli cumulativi della struttura tenendo eventualmente segreti “a tutti” i giudizi dei singoli.
E’ quindi questo peccato originale che sta creando queste morbose richieste.
Il punto secondo me e’ che, il collega “nullafacente” di Bengi sara’ probabilmente uno dei primi a rispondere all’appello ed a segnalare il suo “triple one”. A quel punto tutti coloro che non rispondono, non solo saranno i “contestatori molesti” che non permettono la pianificazione della struttura, ma si vedranno attribuire “d’ufficio” i punteggi piu’ bassi.
Ormai il danno e’ fatto. Bisogna imparare la lezione.
Voglio far notare che oltre all’esempio lampante di Bengi, e’ evidente che in un sistema “normale”, dato che la valutazione e’ della struttura e non del singolo lavoro, puo’ anche succedere che due lavori di attribuzione incerta si possa anche scegliere di premiare uno e sminuire l’altro. Poco importa se questi sono legati a persone diverse.
Marinella Lorinczi
mi sapete dire a cosa serve la valutazione se nessuno paga o se un altro non viene premiato?
chi paga alla fine?
paga il precario come me, che anche avendo un grosso curriculum (grosso considerato che sono fuori perché precario),
si vede le porte delle facoltà e dei dipartimenti chiusi perché non hanno risorse, in quanto non sono stati bravi gli altri
(non io! che c’entro io, che sono fuori e che ho prodotto 10 volte tanto rispetto ad un ricercatore che è entro da 30 anni e che ha scritto un solo articolo, facendo abbassare la media di quel dip. o facoltà e non è licenziabile per questo?)
“le porte delle facoltà e dei dipartimenti chiusi perché non hanno risorse, in quanto non sono stati bravi gli altri ”
____________________
Ci sarà anche qualcuno che non è bravo, ma la ragione principale per cui le porte sono chiuse è questa:
______________________
______________________
Se non si torna ad investire sulla formazione universitaria a livelli da paese civile, è illusorio pensare di trovare spazio per i precari dando la caccia al “ricercatore che è entro da 30 anni e che ha scritto un solo articolo” (locuzione che curiosamente riecheggia il perottiano “L’ordinario a fine carriera che non ha mai scritto una riga in vita sua” magistralmente discusso da Moretti, https://www.roars.it/lordinario-a-fine-carriera-che-non-ha-mai-scritto-una-riga-in-vita-sua-lintervento-di-mauro-moretti-al-secondo-convegno-roars/). In un sistema che sta implodendo non ci sono abbastanza fannulloni la cui caccia possa sfamare tutti.
Se la prende con me, quando anzitutto si parla della Vqr e del suo uso distorto, se non addirittura della distorsione di una inutilità (che non serve nemmeno per nuove assunzioni) che però è costata (come la Asn accanto alla Anvur) una marea di danaro pubblico di cui nessuno risponde? Vi sono stati fior fiori di ministri, di cruisti, di rettori, di presidi che hanno gestito il reclutamento; con graduatorie che si facevano e rifacevano sulla base dei piani ‘triennali’ che non valevano un fico secco. Tutti i soldi che si sono investiti nei precari potevano essere investiti in carriere continuative (in numero inferiore, chiaramente), ma ci sono e c’erano CdA e Senati che avevano accesso immediato ai bilanci e alle voci di bilancio. Il singolo come me cosa ne sa(peva) dei dettagli? strappare le informazioni e controllarle era un lavoro titanico (ora supera qualsiasi energia). Per non dire che mi si rimproverava anche : il preside non è un un ufficio di informazioni, uno si informa per conto proprio; alla faccia della trasparenza. Ma su cosa ci si informa, se non si conoscono nemmeno i problemi (p. es. quanti precari ci sono?), tanto meno in profondità? Del resto si dice che l’università è un organismo sociale che si deve autogestire secondo i suoi equilibri interni (e virtuosi!). L’autonomia di massima ha portato però da un lato alla deregolamentazione, dall’altro all’inasprirsi di un controllo centralizzato cervellotico e assurdo, che fa acqua da tutte le parti se un rettore si sveglia addirittura a “invitare” a violare volontariamente ma nel ‘rispetto’ della privacy (cosa impossibile per via di tutti i passaggi) un principio basilare della Vqr, tanto per tornare all’inizio del discorso.
@Giuseppe De Nicolao,
concordo, ma allora a che serve la valutazione, se nessuno paga e nessuno viene premiato?
non voglio fare la rivoluzione, ma almeno che non si perda tempo e denaro per cosa che non servono.
la valutazione o è oppure non è: anche nei contesi più semplici la valutazione ha un senso: prendiamo la SERIE A di CALCIO: a fine campionato, il primo vince lo scudetto (e credo anche premi in denaro) e le ultime 3 retrocedono: capperi, QUESTA è UNA VALUTAZIONE!!!!! non crede?
Gentile Anto: può evitare di usare LE MIAUSCOLE ogni commento che scrive? Sappiamo leggere il corsivo e l’uso delle maiuscole indispone chi legge.
concordo, ma allora a che serve la valutazione, se nessuno paga e nessuno viene premiato?
====================
Attribuire alla valutazione una funzione esclusivamente premiopunitiva è una caratteristica del dibattito italiano. Probabilmente, è dovuta all’ignoranza quasi completa del dibattito e delle esperienze internazionali. In un contesto così naive, alcuni opinionisti non particolarmente competenti hanno buon gioco nel plasmare il senso comune degli stessi accademici.
Per rendersi conto che oltre la siepe dei ritornelli premiopunitivi c’è un universo inesplorato (almeno per noi italiani) basta documentarsi un po’. Consideriamo per esempio la seguente tabella (fonte: http://www.rand.org/pubs/monographs/MG1217.html) che mette a confronto 6 research assessment framework. Come si può vedere solo 3 sono finalizzati all’allocazione di risorse.
___________________
___________________
Per ulteriori dettagli sui sei framework si rimanda alla fonte: http://www.rand.org/pubs/monographs/MG1217.html.
D’altronde, è pure noto che nei Paesi Bassi la valutazione della ricerca non ha un utilizzo immediato nell’allocazione dei fondi:
___________________
“In contrast to performance based funding systems, the Dutch system does not have a tight coupling between assessment outcomes and funding for research.
This does not mean, inter alia, that research assessments in the Netherlands do not have consequences. On the contrary, these may be quite severe but they will usually be implemented by the university management with considerable leeway for interpretation of the assessment results.”
http://citationculture.wordpress.com/2014/05/08/the-new-dutch-research-evaluation-protocol/
___________________
Esiste poi anche della letteratura che mette in guardia relativamente ai possibili danni di una valutazione condotta in modo inadeguato. L’idea che una cattiva valutazione sia comunque meglio di nessuna valutazione è forse persino più ingenua che ideologica. La scienza si è sviluppata rigogliosamente sino ai giorni senza bibliometria ed esercizi di valutazione. Da più parti ci si interroga se l’uso sconsiderato di leve premiali estrinseche al sistema di valori della comunità scientifica (essenzialmente basato sul riconoscimento dei pari) non costituisca uno dei maggiori pericoli per il progresso scientifico, molto più insidioso di inefficienze spesso enfatizzate ad arte.
La VQR e’ partita in modo ambiguo, infatti e’ stato richiesto un inutile livello di dettaglio visto che la finalita’ era valutare solo le strutture. Un elemento di debolezza, che poi ha generato polemiche, e’ stata la mancanza di chiarezza preventiva tra i risultati dell’esercizio di valutazione e il meccanismo di distribuzione delle risorse.
Inoltre un livello di dettaglio cosi elevato, inutile per produrre poche grandezze macroscopiche, ha chiaramente prodotto un eccessiva mole di dati, che poi ha portato ai tentativi maldestri e alle soluzioni “fai da te”.
Non getterei pero’ la croce sui Rettori, infatti gli Atenei e i Dipartimenti in una situazione di carenza di risorse devono fare scelte strategiche e quindi e’ necessario avere un quadro chiaro della forza e delle prospettive dei vari gruppi di ricerca.
In particolare gli atenei medio piccoli non possono fare bene tutto, per loro e’ necessario darsi una “mission” e allora in una situazione in cui si puo’ spendere poco per promozioni e reclutamento, avere a disposizione delle valutazioni su SSD e macroaree puo’ dare indicazioni importanti. Detto cio’ l’uso dei dati individuali non si puo’ fare e ha poco senso.
in una situazione in cui si puo’ spendere poco per promozioni e reclutamento, avere a disposizione delle valutazioni su SSD e macroaree puo’ dare indicazioni importanti. Detto cio’ l’uso dei dati individuali non si puo’ fare e ha poco senso.
===================
L’ANVUR mette in guardia anche nei confronti di un uso disinvolto anche ai livelli aggregati, quando si tratta di aggregazioni piccole, come spesso sono quelle dei SSD:
____________________
“I valori medi degli indicatori, man mano che si scende dalla valutazione di area della struttura a quella di sub-GEV, di SSD e di dipartimento, sono caratterizzati da un margine di incertezza statistica crescente, perché l’affidabilità della media campionaria dipende dalla dimensione del campione.”
Rapporto finale VQR, Parte prima, p. 9
Capisco i limiti di questa VQR ma non mi piace nemmeno il “tana libera tutti” abbiamo scherzato e si ritorna come prima. La storia del’ università italiana e’ piena non solo di storie nobili ma anche di enormi porcherie, in cui dei poteri forti mafiosi hanno fatto cose indicibili. In qualche caso il re ora e’ stato messo a nudo e ciò’ non e’ male. La VQR e’ la panacea? Assolutamente no !!
Ma avere delle indicazioni su scala macroscopica, macro aree o in certi casi anche SSD può essere utile. Poi la valutazione si può fare molto meglio, ma il principio che si valuti onestamente non si può mettere in discussione. Quando si usano strumenti imperfetti come la VQR bisogna avere l’intelligenza di capirne i limiti, ma nonostante tutto non mi pare sia un esercizio da buttare.
Nemmeno l’ANVUR crede più nei numeri che ha prodotto (https://www.roars.it/vqr-da-buttare-persino-anvur-cestina-i-voti-usati-per-lassegnazione-ffo-2013/). Ci sono in circolazione quattro diverse normalizzazioni dei voti VQR e sono tutte inutili perché è fallato il disegno sperimentale. Che valore possono avere i voti VQR quando si evidenzia la seguente dipendenza dei voti medi di SSD in funzione della percentuale di prodotti valutati tramite peer review?
_________________________
L’analisi della VQR mostra tanti e tali falle da candidarla ad essere il peggiore esercizio di valutazione della ricerca che sia mai stato condotto:
https://www.roars.it/vqr-da-buttare-persino-anvur-cestina-i-voti-usati-per-lassegnazione-ffo-2013/
Se misuro i cento metri di diversi atleti con cronometri starati in modo diverso l’uno dall’altro ed uso cronometri diversi persino all’interno della stessa batteria cosa mi trovo in mano? Posso standardizzare quanto voglio ma “garbage in – garbage out” (se alimento un algoritmo con del pattume all’uscita trovo ancora pattume).
@Giuseppe: e’ che dopo aver tirato fuori tutti quei soldi dalle tasche, nessuno si rassegna al fatto di aver preso una sola.
Per non essere oggetto di mazziate, l’ANVUR ora prova a distendere il clima accettando consigli su come si fanno le valutazioni:
http://www.corriere.it/scuola/universita/14_giugno_06/anvur-valuta-valutazione-1b3f6244-ed72-11e3-8271-5284bdbf132d.shtml#
a volte tocca rassegnarsi … stando attenti a non farsene rifilare altre
Sì creando il centro studi per la bibliometria di stato https://www.roars.it/anvur-e-il-centro-studi-per-la-bibliometria-di-stato/
Mi pare che il problema nasca da una certa deformazione professionale di alcuni colleghi che tentano sistematicamente di ” ingegnerizzare” i processi. Se io tento di decidere riducendo tutto a un foglio Excel e applicando acriticamente gli indicatori, ovviamente rischio di avere risultati inaffidabili. Però se un ateneo si trova un dipartimento con R> 1 e uno con R< .5, puo' ragionevolmente dedurre che il primo va meglio del secondo? Secondo me si. Allora tra i due poli estremi ovvero credere ciecamente nei fogli Excel o buttare tutto nel water, esiste anche una ragionevole posizione intermedia che è quella di combinare gli indicatori VQR con altre indicazioni (e.g. presenza di riconoscimenti come ERC etc..), ed fare una sorta di quantizzazione "naive", ad esempio ridurre l'informazione VQR a tre indicazioni tipo buono, medio, scarso senza tirarci fuori classifiche puntuali.
Nelle decisioni sulle linee di sviluppo un ateneo o anche un dipartimento possono tirare fuori informazioni utili anche da VQR. Personalmente sono critico e concordo sui molti limiti evidenziati, ma devo anche dire che trovo una battaglia di retroguardia quella di volerla buttare via, la critica deve servire a fare le cose meglio la prossima volta, non a ridare fiato ai vecchi tromboni che di valutazione non vogliono sentire neanche l'odore.
A me francamente questa storia del “ridare fiato ai vecchi tromboni che di valutazione non vogliono sentire neanche l’odore” sta diventando insopportabile. Su questo sito da due anni ormai stiamo facendo di tutto per mostrare che la valutazione all’italiana sta alle peggiori(!) prassi internazionali di valutazione, come uno sciamano ai protocolli medici dell’OMS. Se ogni tanto lo sciamano indovina il tempo che farà il giorno dopo, o se il paziente dello sciamano guarisce non è detto che sia lo sciamano la causa o che lo sciamano sia un metereologo. Si tratta di una battaglia di retroguardia? O è più di retroguardia (qualsiasi cosa voglia dire) crede agli sciamani, ma solo moderatamente, come suggerisce p.marcati?
Il “Centro studi per la bibliometria di stato” provoca in effetti inquietanti echi da regime. Chissà perché torna in mente la Stasi di “Le vite degli altri” (film bellissimo fra l’altro).
Tutto sommato è meglio che ognuno si faccia i VQR suoi, pena trovare qualche collaborazionista nei corridoi delle università e, se poco attivo, sparire in qualche sotterraneo laboratorio, in qualche esperimento sui plasmi.
@Alberto Baccini Sulla storia dei vecchi tromboni capisco che si possano avere punti di vista diversi che spesso dipendono dal fatto se uno nel trentennio precedente era oppure no tra le ” elite” molto poco illuminate, che si sono fatti i comodi loro.
Certamente avremmo fatto meglio a copiare la valutazione come e’ stata fatta in UK oppure in Francia da AERES ( due modalità radicalmente diverse tra loro). Però bisogna capire che per chi e’ stato fuori dal circuito dominante qualsiasi perturbazione che destabizzi gli equilibri esistenti e’ da considerare positiva. A giudicare poi da quanto si agitano, direi che la teoria dei “tromboni” non è tanto campata per aria.
La VQR 2010 sarà pure vecchiotta…ma rendiamoci conto che sicuramente fornisce indicazioni delle persone che hanno lavorato in tempi non sospetti …….ora in un solo anno le persone che hanno preso 0-0-0 producono sino a 12 pubblicazioni in un anno ( nel mio settore è tanto) mentre prima pascolavano….e fanno giochetti vergognosi con le citazioni.
La VQR 2010 resta significativa a mio avviso.
“La VQR 2010 resta significativa a mio avviso”
=================
Ho buone ragioni per non condividere questa opinione e le ho già esposte in dettaglio, fornendo tutti i riscontri tecnici del caso:
__________________
VQR da buttare? Persino ANVUR cestina i voti usati per l’assegnazione FFO 2013
https://www.roars.it/vqr-da-buttare-persino-anvur-cestina-i-voti-usati-per-lassegnazione-ffo-2013/
“ora in un solo anno le persone che hanno preso 0-0-0 producono sino a 12 pubblicazioni in un anno”
————
Questa è una cosa buona scaturita da una procedura sbagliata: aver svegliato alcuni che prima non scrivevano, più per abitudine che per mancanza di capacità. Ho l’impressione, però, che il tono fosse di reprimenda, visto l’accostamento al “giochino delle citazioni”. Perché non va bene se alcune persone hanno ripreso a scrivere, e tanto?
Con questi sprint da 0 a 12 vedo profilarsi grandi avanzamenti della scienza
Ho l’impressione che la questione dipenda dai settori considerati. Evidentemente voi parlate di settori dove è impossibile riprendere a scrivere tanto dopo uno stop. Se è così, d’accordo, ma allora sarebbe opportuno dire di che settori si tratta quando si fanno esempi.
In un momento di risorse limitatissime occorre munirsi di criteri per poter fare delle scelte. Sottolineo che nel mio dipartimento ci sono persone che non hanno presentato un bel niente alla VQR….penalizzando ovviamente l’intera struttura. Ora per strane logiche per quelle stesse persone si prospettano possibilità di avanzamenti ….
La VQR cosí come le mediane può servire per tagliare i rami secchi..
“La VQR cosí come le mediane può servire per tagliare i rami secchi”
=====================================
Abbiamo messo in piedi un baracccone il cui costo è stato stimato intorno ai 300 milioni di Euro (https://www.roars.it/si-puo-stimare-che-la-vqr-costera-300-milioni-di-euro-e-a-pagarli-sara-luniversita/) e, vista l’inaffidabilità dei risultati, ci serve essenzialmente per scovare gli inattivi? Sarebbe lo “scova-fannulloni” più costoso della storia dell’umanità.
ci sono due parole:
1)valutazione: normalmente rivela qualcosa e si prendono provvedimenti (in positivo o in negativo)
2)constatazione: si prende atto di una cosa e basta.
secondo voi, la VQR è una valutazione o una constatazione?
per me è una mera constatazione, visto che non si prendono provvedimenti, nel senso che si dice: “voglio sapere quanto produci!” “ok, e poi?” “e poi niente, perché se produci tanto, non avrai alcuna promozione né aumento di stipendio e se produci poco, non avrai nessuna detrazione dal tuo stipendio né verrai licenziato”.
La VQR non è mai stata pensata come strumento di valutazione individuale. Invece, è stata concepita per guidare la distribuzione premiale tra gli atenei e basta leggere il decreto FFO per constatare che è stata utilizzata ed ha avuto effetto:
https://www.roars.it/ffo-2013-la-ripartizione-della-quota-premiale/
Siamo ancora fermi all’ABC della valutazione, ma non disperiamo. Se continuiamo a riscrivere queste cose su Roars per migliaia di volte, potrebbe persino accadere che qualcuno le impari.
Per imparare si deve leggere. E purtroppo chi parla di valutazione in questo paese in genere è già nato imparato e ritiene superfluo leggere alcunché.
Sono in accordo con la distinzione tra valutazione e constatazione. Se chi non fa nulla non ne paga in alcun modo le conseguenze, continuando a percepire lo stipendio ed in alcuni casi avanzando in carriera per le solite logighe universitarie, continuerá a non fare nulla. Occorre iniziare a “pagare” in prima persona delle scelte sbagliate. Occorre valutare chi si recluta e se si è sbagliato occorre assumersi le conseguenze….ma non la struttura, bensì la persona ( direttore, rettore….).
E poi tornando sullo sprint da 0 a 12 pubblicazioni in un anno
(ribadisco che nel mio settore è un numero inverosimile a meno di non barare) poi si scopre che sono ricicli e scopiazzamenti vari. Ma stiamo ci stiamo prendendo in giro?