Idee e prospettive

Proposte per la prossima VQR

Come più volte annunciato nelle presentazioni che Anvur ha tenuto in molti atenei italiani in occasione della sperimentazione della SUA RD e della campagna di accreditamento del dottorato di ricerca,  l’avvio di una nuova VQR pare imminente.  Malgrado gli appelli di Roars, non è stata prodotta alcuna riflessione sui costi e sui benefici dell’operazione. Tale riflessione sarebbe stata particolarmente necessaria perché MIUR ed ANVUR hanno messo in piedi una delle macchine di valutazione più costose (e più discutibili) al mondo. Cui adesso si affiancherà SUA-RD ovvero uno strumento di controllo burocratico della ricerca che dovrà essere adottata in continuo dalle Università italiane. Ma, come ormai sappiamo, l’opinione prevalente è che valutare faccia bene anche se è fatto male. Ed eccoci quindi di nuovo in pista (o quasi) con la VQR.

Abbiamo dedicato moltissimi post a mostrare gli errori di disegno, metodologici e tecnici che hanno reso non credibili i risultati della VQR. In questo ci concentreremo sulla pars construens, dando per nota la pars destruens (e rimandando i lettori interessati ai post ad essa dedicati da ROARS in questi anni).

Una premessa necessaria è la seguente. Gli esercizi nazionali di valutazione non dovrebbero essere utilizzati per una ripartizione automatica delle risorse. Perché i danni che così si provocano  sono a nostro avviso nettamente superiori ai benefici che si possono conseguire da una malintesa e mal gestita competizione tra istituzioni (per una discussione del punto si può leggere qui). Le informazioni rilevate, al contrario, dovrebbero essere utilizzate quali strumenti per assumere responsabilmente decisioni strategiche da parte degli organi di governo democraticamente eletti.

Ciò premesso, non è inutile ribadire (specie in Italia) che le informazioni rilevate con un esercizio di valutazione, devono comunque essere attendibili, e rilevate con le corrette metodologie.

Ecco gli interventi correttivi che proponiamo.

Cambiare modello di valutazione

Gli esercizi di valutazione in giro per il mondo sono -ci si passi la semplificazione- di tue tipi. Esercizi basati sulla peer review, come nel REF britannico. Ed esercizi basati su modelli bibliometrici puri, del tipo dell’ERA australiano. In Italia abbiamo inventato un modello ibrido che usa al contempo peer review e bibliometria. I risultati sono stati disastrosi perché bibliometria e peer review hanno dato luogo a esiti che non concordano. Poiché la bibliometria permette valutazioni “più generose”  della peer review, i risultati della valutazione per settori disciplinari finiscono per premiare sistematicamente quei settori con quote più basse di peer review. E i risultati delle istituzioni valutate dipendono dalla loro composizione in termini di settori disciplinari. Il problema è così evidente che la CRUI ha ritenuto di sviluppare un algoritmo alternativo a quello ANVUR per la distribuzione delle risorse; algoritmo che non ha però risolto i problemi.

Per il nuovo esercizio è a nostro avviso auspicabile l’adozione della metodologia del REF britannico, pur con tutti i suoi difetti. In tal modo, l’uso sistematico della peer review ed una corretta definizione di una unica scala di qualità dei prodotti permetterà la comparazione dei risultati tra settori e aree.

E’ altresì auspicabile che i risultati dell’esercizio basato sulla peer review vengano affiancati da una analisi bibliometrica puntuale condotta sulle banche dati internazionali a livello di aree disciplinari e singoli atenei, in modo da poter confrontare sistematicamente i risultati interni della valutazione con un controllo bibliometrico esterno. A tal fine è indispensabile che il Ministero abbia una propria base di dati (TR o Scopus) e che la manutenga costantemente rispetto alla disambiguazione, alle affiliazioni, al legame con l’anagrafe.

Cosa si valuta

La valutazione è istituzionale non individuale. I risultati sono presentati per università, dipartimenti, discipline. Prima dell’inizio dell’esercizio di valutazione deve essere chiaramente stabilito che in nessun caso i risultati individuali potranno essere utilizzati per la valutazione dei singoli docenti, per la loro carriera e remunerazione né di singole aggregazioni fittizie (come ad esempio i collegi di dottorato o i gruppi di ricerca). I risultati individuali non sono comunicati né ai docenti né alle strutture. I dati individuali resi anonimi sono invece disponibili per ricerca dietro opportuna richiesta.

La questione della terza missione delle università ha a che fare con l’idea di valutare l’impatto economico e sociale delle attività dei ricercatori. Le comunità internazionali si stanno sempre più orientando ad una valutazione in context e verso le diverse applicazioni che la ricerca ha non tanto e non solo nell’industria, ma nella società in senso lato. Il REF sta sperimentando le metodologie di valutazione e i risultati dovrebbero essere presto disponibili. Anche i Paesi Bassi stanno introducendo l’analisi sull’impatto sociale. Visto il ritardo con cui stiamo affrontando il tema è opportuno attendere gli esiti di queste sperimentazioni prima di avventurarsi in ulteriori improbabili fai-da-te quantitativi.

Come sottoporre i lavori scientifici per la valutazione

Nella VQR c’è stata una ambiguità di fondo tra valutazione dei singoli e valutazione delle istituzioni, dovuta verosimilmente alla volontà punitiva di scovare i fannulloni, ma i dati della VQR hanno mostrato che ricercatori silenti (almeno secondo la definizione data da Anvur di ricercatore inattivo) sono una quota del tutto fisiologica. Ecco come si potrebbe pensare di organizzare la raccolta delle pubblicazioni

a. sono responsabili dell’invio dei prodotti della ricerca i dipartimenti:

b. per ogni ricercatore/docenti del dipartimento si inviano un massimo di 2 lavori;

c. il dipartimento può decidere di inviare lavori per tutti i docenti/ricercatori o solo per un sottoinsieme di essi.

d. i risultati finali saranno ponderati tenendo conto della quota di docenti attivi sul totale; un dipartimento potrà scegliere se tenere alta la media inviando un insieme ristretto di lavori buoni, oppure presentare una quota elevata di lavori anche se ciò abbasserà la media.

Come si valuta

Tutti i lavori presentati sono valutati secondo una unica scala di valori definita univocamente. La scheda di valutazione utilizzata dalla VQR aveva notevoli problemi documentati qua. La stessa definizione di qualità della ricerca adottata nel DM appariva logicamente incoerente. E’ auspicabile che si adotti la scheda di valutazione del REF britannico. Che per comodità riproduciamo qua sotto.

REF quality profile

I membri dei panel sono sensibilizzati a non valutare i lavori sulla base del loro contenitore, in particolare si raccomanda ai valutatori di non usare in alcun caso liste di riviste.  Il nuovo esercizio di valutazione nazionale, infatti, non dovrebbe comprendere il ricorso a classifiche o ratings di riviste.

Chi valuta

Nel modello REF britannico sono i membri dei panel che svolgono direttamente la peer review. Ogni lavoro presentato è valutato da un solo revisore. Questo permette non solo di contenere i costi, ma anche di responsabilizzare direttamente i membri dei panel sui risultati della valutazione, che possono anche rivolgersi a esperti esterni la cui identità è comunque resa nota. Il modello italiano con la doppia peer review anonima ha verosimilmente favorito comportamenti opportunistici da parte dei valutatori anonimi e la completa opacità del processo.

Chi nomina i valutatori

Nel passato esercizio VQR le modalità opache di nomina dei GEV hanno dato luogo a problemi di mancanza di fairness nella loro composizione. In particolare ANVUR ha utilizzato una procedura di nomina a due stadi. Contrariamente a quanto previsto dal DM, ha infatti nominato prima i presidenti e solo in un secondo momento i membri dei GEV (A. Bonaccorsi: “abbiamo nominato i 14 presidenti dei Gruppi di esperti della valutazione, i GEV, che costituiranno l’organismo di base del processo valutativo, prima dell’approvazione del Decreto!“). Questo ha probabilmente permesso al presidente scelto di avere voce in capitolo sulle nomine degli membri, riducendo la varietà dei punti di vista del GEV.

Nel modello REF la questione della composizione dei panel è particolarmente delicata ed oggetto di test severi di fairness (gender, età, etc.). Il fatto che i membri dei GEV svolgano direttamente la valutazione dei lavori richiede gev più numerosi e una attenzione particolare alla loro composizione disciplinare.

Per la costituzione dei panel italiani si dovrebbero seguire le seguenti procedure:

1. procedura pubblica per entrare a far parte dei panel;

2. nomina da parte del consiglio direttivo dei membri del panel in modo da rispettare elementari norme di fairness (gender, età, sul modello britannico). Adozione della semplice regola per cui non più del 10% dei membri di un panel possono essere co-autori tra loro o avere un co-autore comune;

3. Nessun presidente GEV, nessuno dei coordinatori dei sub-gev e nessuno dei membri GEV della VQR 2004-2010 può far parte del GEV nel nuovo esercizio;

4. Il presidente GEV è eletto dai membri del GEV nel corso della prima riunione.

Una base informativa credibile per la valutazione

VQR e ASN hanno messo in luce in modo drammatico le difficoltà relative alla gestione dei dati bibliografici. Si potrebbe tentare di cogliere almeno l’occasione del passaggio di tutti gli atenei ad uno stesso modello di anagrafe della ricerca locale (il sitema di gestione dei dati della ricerca IRIS), per cominciare a costruire l’anagrafe nazionale, a definire le regole di inclusione, validazione e dediplicazione delle pubblicazioni. Solo a partire da dati certi e validati sarà possibile costruire indicatori attendibili

Send to Kindle
Tag: , , , , , , , , , , , , ,

22 Comments

  1. Plymouthian says:

    Sottolineo una cosa molto importante: nel REF vengono valutati i dipartimenti, quindi pubblicato solo il dato aggregato non la valutazione delle singole pubblicazioni.
    Per conoscere quali pubblicazione sottomettere alla valutazione le singole universita’ pagano dei revisori esterni che valutano le pubblicazioni.
    Questo processo, consolidato nel tempo, permette alle singole universita’ di programmare al meglio le submission e di identificare il valore dei singoli, ma nel contempo scollega i risultati del REF dai singoli impedendo un improprio uso dei dati.

  2. Desolation says:

    Salve, visto che fate interessanti proposte, vorrei chiedervi anche a che cosa deve servire la VQR.
    Nella precedente ho conseguito un risultato che mi ha posto, io ricercatore, ampiamente sopra la media di tutti i docenti del mio settore.
    Quindi, pur non toccando l’eccellenza assoluta, dietro di me risultava collocato oltre il 60 per cento di Ordinari, Associati e Ricercatori.
    I tre lavori presentati per la VQR, insieme a tanti altri, sono stati presentati all’ASN dove sono stato sonoramente bocciato con giudizi ridicoli. Aggiungo che sono a conoscenza di soggetti insufficienti alla VQR che sono passati all’ASN.
    In casi come questo, credo, occorrerebbe fare proposte ben diverse dalla Vostre. Personalmente riterrei che chi ha avuto una valutazione come la mia alla VQR con l’esito successivo dell’ASN, dovrebbe rifiutarsi di partecipare alla prossima VQR finché quei geni dell’ANVUR non mi spieghino perché ciò che è più che validamente scientifico per il mio GEV non lo sarebbe per la mia commissione.
    Vorrei un’opinione di Roars…
    Grazie.

  3. Siccome il REF volge la sua valutazione al dipartimento e quindi agli strutturati che lo compongono, come dato aggregato o in proiezione come singolo docente / area disciplinare,
    non vedo tra le proposte il divieto di sottomettere lavori il cui “main author/ primary author ” sia un non strutturato.
    Grazie.

    • Giuseppe De Nicolao says:

      Non sembra un divieto praticabile: a seconda dei settori scientifici diventa rilevante essere primo autore, corresponding author oppure ultimo autore. Per non dire dei settori dove si usa l’ordine alfabetico. Inoltre, abbiamo chiarito che la valutazione è una valutazione della struttura e non dei singoli.

  4. Gentilissimo Desolation,
    la risposta è davvero semplice: perché è tutta una gigantesca pagliacciata, messa in piedi da pagliacci
    e gestita da una classe docente in marciume fatiscente.

  5. Sono d’accordo con alcune delle premesse. La ripartizione delle risorse non può essere automatica e soprattutto l’impatto sulle risorse rivenienti delle VQR (che in realtà ad oggi sembrano più mancata penalizzazione visti i tagli al FFO) dovrebbe essere sul lungo periodo.
    Però non si può pensare che le informazioni rilevate siano usate soltanto per assumere responsabilmente decisioni strategiche.
    Qualcuno, su qualunque tipo di regola, dovrà rispondere, prima o poi, delle scelte fatte come accade nei paesi esteri a cui tanto ci riferiamo?
    Inoltre, in questi mesi, purtroppo, negli atenei si stanno discutendo i criteri per l’assegnazione degli scatti una tantum, sulla base di una legge a dir poco indecorosa. Quindi, se vero che la valutazione non deve essere individuale, come ci si pone con la necessità, imposta per legge, di valutare anche i singoli, all’interno degli atenei, in modo coerente con la valutazione complessiva?
    Infine, la regola, “c. il dipartimento può decidere di inviare lavori per tutti i docenti/ricercatori o solo per un sottoinsieme di essi”, sembra un po’ troppo orientata alle, famigerate e discutibilissime, classifiche internazionali: pochi, ma buoni, da valutare per tirar su le classifiche ed attirare finanziamenti.
    E tutti gli altri?

    • Alberto Baccini says:

      “Però non si può pensare che le informazioni rilevate siano usate soltanto per assumere responsabilmente decisioni strategiche.Qualcuno, su qualunque tipo di regola, dovrà rispondere, prima o poi, delle scelte fatte”

      Le decisioni sul finanziamento sono per eccellenza decisioni strategiche. Le decisioni strategiche hanno responsabili politici. Gli automatismi nel finanziamanto sono un modo per de-responsabilizzare la politica e ammantare il tutto di “oggettività tecnocratica”.

      ————————————————–

      Concordo sulla legge indecorosa. E aggiungo che lo spettacolo che stanno dando gli atenei nello scrivere le regole per la ripartizione dei soldi è altrettanto indecoroso. Nel post di sostiene che debba essere chiaro fin dall’inizio che la valutazione non è sugli individui, ma sulle strutture. Per evitare le ambiguità attuali i docenti non entrano neanche nel processo. Sono le strutture a sottoporre i lavori di ricerca alla valutazione, discutendo con i singoli ricercatori.

    • Sono perfettamente d’accordo sulla strategicità delle decisioni.
      La mia perplessità rimane sull’impossibilità, in Italia, di individuare un metodo, dei criteri, con cui, a valle delle scelte fatte, qualcuno risponda delle stesse, se non personalmente almeno sul piano istituzionale.
      Tradotto in modo eccessivamente semplificato:
      se per qualche ragione l’Ateneo delle Alpi Venete, ovvero il suo rettore ed il suo cda (nell’attuale impostazione sono sovrani), decidono di reclutare 100 nuovi ricercatori, p.a., p.o., nel SSD delle protesi mandibolari per cammelli e poi l’Ateneo ne risente pesantemente sul piano finanziario, didattico e di ricerca dovrà pur esistere un modo, in un paese civile, per chiederne conto e, magari, impedire ai suddetti regnati di continuare a mal amministrare.

    • Alberto Baccini says:

      Beh io mi aspetterei se l’ateneo è pubblico che un ministro di una repubblica democratica prenda atto dello spreco di risorse e decida di tagliare i finanziamenti all’ateneo, magari chiuderlo o commissariarlo spiegandolo ai suoi elettori. Se lo fa (e i suoi elettori smettono di votarlo perché sono tutti amici del rettore e del cda dell’ateneo delle alpi venete) avrà almeno il mio di voti. Se non lo fa, il mio voto non se lo prende; se i suoi elettori continuano a votarlo ho l’impressione che non ci sia soluzione. Ci dobbiamo tenere ministro e protesi per cammelli.

    • Giuseppe De Nicolao says:

      “pochi, ma buoni, da valutare per tirar su le classifiche ed attirare finanziamenti”
      ==================
      Anche se in Italia quasi nessuno è ancora riuscito a capirlo (ma insisteremo fino a quando almeno l’1% ci riuscirà) la ripartizione del finanziamento in base all’esercizio di valutazione della ricerca (RAE/REF o VQR che sia) c’entra ben poco con le classifiche. Già nel lontano 2012 avevamo spiegato che la ripartizione dei fondi basata sugli esiti del RAE fa uso dei cosiddetti “quality profiles” (https://www.roars.it/online/vqr-gli-errori-della-formula-ammazza-atenei-dellanvur/). L’HEFCE dichiara pubblicamente:
      __________________________
      RAE2008 results are in the form of a quality profile for each submission made by an HEI [Higher Education Institution]. We have not produced any ranked lists of single scores for institutions or UoAs [Units of Assessment], and nor do we intend to.
      http://www.rae.ac.uk/faq/default.asp?selcat=15&q=225
      __________________________
      Riguardo all’idea che far leva su “pochi ma buoni” aiuti ad aumentare il finanziamento pubblico, non posso che citare un commento che, attraverso l’esempio deil’università di Leicester, spiega bene perché ridurre ad arte il numero di lavori sottoposti a valutazione sia una scelta lecita (soprattutto per i feticisti delle classifiche) ma con potenziali connotazioni masochistiche:
      ______________________
      “Le regole del RAE permettevano di scegliere che professori sottoporre alla valutazione, e Leicester aveva adottato una politica inclusiva, sottoponendo (quasi) tutti; altre universita’, invece, avevano sottoposto solo i migliori. Il finanziamento, pero’ si basava sul numero di professori sottoposti, quindi sottoporre un professore “debole” riduce si’ la media per persona, ma aumentando il numero di persone, a Leicester aveva aumentato il finanziamento complessivo. ”
      https://www.roars.it/online/lanvur-la-classifica-degli-atenei-della-vqr-e-la-legge-dellimbuto/comment-page-1/#comment-1423
      ______________________
      In ogni caso la convenienza a sottoporre a valutazione tutto il sottoponibile (a prescindere dalla sua qualità) dipende dal “reward”. Se si decide di valutare positivamente i lavori presentati anche quando vengono giudicati nella categoria più bassa, è evidente che i dipartimenti sottoporranno tutto il sottoponibile (appesantendo il lavoro di peer review). Se invece si sa che i lavori giudicati nella categoria più bassa non procureranno alcun finanziamento, è possibile che si rinunci a sottoporre quei lavori che sono palesemente destinati a non fornire benefici. Tutto ciò senza caccia alle streghe: se il rettore, pro-rettore o il direttore di un dipartimento non hanno lavori a sufficienza, il mancato guadagno potrebbe essere più che compensato dal servizio reso all’ateneo.

    • Sono completamente d’accordo.
      Ma se esistesse un ministro con il coraggio sufficiente a promuovere o soltanto discutere una simile impostazione normativa sarebbe dato in pasto ai leoni.
      Tutti i rettori e tutti docenti si scaglierebbero, inorriditi, contro un simile attacco, indegno, all’autonomia della ricerca.
      Ma la parola chiave è sempre la stessa: responsabilità.
      E questa, perdonatemi, deve essere un richiesta, forte, di dignità, della classe docente tutte. Non può essere una imposizione normativa.
      Altrimenti continueremo a discutere di VQR, AVA, ASN, ripartizioni locali, scatti, ecc: guerra tra poveri.
      Nel mentre, con delle regole di valutazione condivise in piccole stanze con pochi, vedremo scendere il finanziamento pubblico fino a sfiancare e distruggere le piccole università e l’intero sistema nel suo complesso della formazione, o ancor più, della cultura su base pubblica.

  6. Pingback: CLUG Newsletter » Blog Archive » Workshop internazionale: La valutazione della ricerca nelle Humanities and Social Sciences, Roma 17 novembre

  7. mi scuso del ritardo, ma cerco di andare su roars volentieri quando ho tempo, e ultimamente purtroppo non ne ho tanto!
    @de nicolao semplice,
    è già previsto nel caso di più autori che ” la struttura provvede a risolvere al suo interno i conflitti di attribuzione” basta includere che tali conflitti siano estesi ai soggetti non strutturati. Si può gestire la cosa internamente e poi penso che l’onestà intellettuale sia ancora una garanzia anche di fronte al “Trahit sua quemque voluptas”.
    Altrimenti, per evitare …. , si facciano presentare i tre lavori anche ai non strutturati, se sono pagati (speriamo) dai dipartimenti e collaborano con gli strutturati non vedo perché non possano presentare il frutto del loro lavoro. Attualmente in qualche caso possono presentarsi occulte operazione di valutazione/appropriazione indebita.

    • Giuseppe De Nicolao says:

      “si facciano presentare i tre lavori anche ai non strutturati, se sono pagati (speriamo) dai dipartimenti e collaborano con gli strutturati”
      _____________________
      In teoria, consentire la presentazione solo dei lavori degli strutturati dovrebbe incentivare l’istituzione di posizioni con maggiori tutele (se un’istituzione fa svolgere il grosso della ricerca a collaboratori precari, non può far valere la loro ricerca per accedere al finanziamento derivante dall’esercizio di valutazione della ricerca).

  8. Spero che Roars si faccia portavoce di questa piccola nota meritocratica.
    Grazie

    • Ma non era la struttura ad essere valutata??
      Vorrà dire che si è saputo scegliere bene i collaboratori precari, ma lasciategli la paternità, ovvero la disponibilità del proprio lavoro, se questa v’è!! Magari potrebbe essere un incentivo a strutturarli per esempio!!

    • Giuseppe De Nicolao says:

      È la struttura ad essere valutata e viene valutata solo sulla produzione di chi è strutturato. Nella filosofia del RAE/REF è proprio questo fatto che incentiva ad assumere come strutturati ricercatori di valore. Altrimenti, sarebbe possibile rastrellare il finanziamento legato alla valutazione imbottendo i propri ranghi di ricercatori precari. Dato che costano meno e sono scaricabili con più facilità, premiare la loro produzione nella valutazione delle strutture significa disincentivare la creazione di posizioni stabili.

    • E questa filosofia tiene conto di??

      calcando la mano,forse,
      caso A:
      Pippo è uno strutturato che da alcuni anni è un improduttivo di fatto, ma risulta all’apice della produzione grazie alla spremitura e alla competizione interna di uno o di alcuni suoi collaboratori precari (e.g. li tiene sulla graticola prima di rinnovargli l’assegno; se e quando lo rinnova). Strutturare uno o alcuni dei suoi collaboratori precari significa contendersi poi il malloppo e magari in casi estremi uscirebbero fuori alcune magagne relative alla sua singola posizione.
      Quale vantaggio (tutti svantaggi) ha Pippo nel farsi promotore per la strutturalità del suo collaboratore/i precario??

      caso B.
      Il dipartimento Beta ha alcuni settori disciplinari forti, tali settori sono rappresentati da un numero di strutturati sostanzialmente più basso rispetto al numero di precari che ci lavorano (magari possono permetterseli perché hanno molti progetti sempre ottenuti da curricula rimpinguati anche dai precari medesimi o da quelli passati, oramai espatriati ma degnamente rimpiazzati dagli attuali precari che poi espatrieranno, tutto come un noto ma silente circolo perverso).
      Dato che la valutazione risulta espressa come normalizzata sul numero di strutturati, quale incentivo ha il dipartimento Beta a strutturare il precario/i???

    • Giuseppe De Nicolao says:

      Non vorrei passare per uno sfegatato sostenitore del RAE/REF (su cui esiste un’ampia letteratura critica), ma prima di criticare è bene capire.
      ============
      basta: “Pippo è uno strutturato che da alcuni anni è un improduttivo di fatto, ma risulta all’apice della produzione grazie alla spremitura e alla competizione interna di uno o di alcuni suoi collaboratori precari … Quale vantaggio (tutti svantaggi) ha Pippo nel farsi promotore per la strutturalità del suo collaboratore/i precario??”
      ____________
      Faccio l’esempio di un collega di ruolo in un’università inglese (che chiamerò “C”) di cui ero stato relatore di tesi. Qualche anno fa C era PostDoc a Cambridge e un’altra università gli ha offerto una posizione permanente anche in considerazione delle sue pubblicazioni. Assumendolo, quell’università si è acquisita il diritto di presentare le pubblicazioni di C al RAE e, presumibilmente di aumentare il proprio finanziamento. Il vantaggio è di chi fa campagna acquisti. Per Pippo, lo svantaggio è che i suoi collaboratori precari verranno ingaggiati da altri atenei, lasciandogli le scartine. Va anche detto che Pippo presenta tre lavori e che, assumendo il precario, sarebbe possibile presentarne 6, con un potenziale raddoppio del finanziamento (ma qui veniamo al secondo punto).
      ==================
      Basta: “Dato che la valutazione risulta espressa come normalizzata sul numero di strutturati, quale incentivo ha il dipartimento Beta a strutturare il precario/i???”
      __________________
      L’incentivo è sul finanziamento il quale non dipende eslcusivamente dal voto medio (voto normalizzato sul numero di strutturati), ma dal voto medio moltiplicato per il numero di prodotti attesi. Se una struttura ha lo stesso voto medio di un’altra, ma il doppio di strutturati, il suo finanziamento è il doppio. L’illusione prospettica di cui è rimasto vittima “basta” illustra bene la confusione indotta dal rankitismo dilagante. Non è vero che il primo in classifica prenda più finanziamento. Al limite, prenderà più finanziamento pro-capite. Avere un numero maggiore di prodotti valutabili (che richiede un aumento degli strutturati) consente di aumentare il finanziamento globale.

  9. @De Nicolao hai fatto bene a riferirti all’UK,
    forse sfugge il fatto che in Italia il precariato è talmente diffuso che uno o più precari bravi, in attesa da anni (vedasi ASN) di entrare nei ranghi, sono un po’ in pancia a molti dipartimenti e in molti SSD afferenti ai dipartimenti. Ho vissuto anch’io per qualche tempo la realtà inglese ed è ben altra storia.
    Sul fatto di prendersi il bravo da altro dipartimento, Pippo pensa: “bravo per bravo mi prendo il mio di bravo che qualche lavoro poi magari me lo passa, fosse altro per riconoscenza, oltre al fatto che ha evoluto la mia antica ricerca (semmai vi fosse stata)”. Ma questo può non succede per il caso A nell’opzione “spartizione del malloppo”.
    Ancora caso A, Pippo pensa: “dov’è la sicurezza che poi il precario produca anche i miei 3 oltre che i suoi 3 lavori, adesso tale sicurezza è matematica e poi non si stresserebbe nemmeno a produrre i suoi, ed io avrei più scelta e viaggiare alla grande con le mie 3A perche eventualmente scendere”!!
    Questo è sano egocentrismo universitario, sta a chi fa le regole evitare di farlo entrare nei sistemi di valutazione, mai e poi mai!!

    Caso B,
    @De Nicolao, e qui la sua difesa la vedo un po’ fumosa.
    Semplicemente perché, se così fosse, perché chiedere che un lavoro possa essere presentato da uno solo degli strutturati nel caso in cui nello stesso dipartimento vi fossero altri coautori strutturati, qui qualcosa mi sfugge!
    Fatto è che il REF da buon babbo vuole sapere chi ha fatto cosa dei suoi figli legittimi, per poi dargli la paghetta, anche con articolati metodi di ripartizione, ma la sostanza non cambia. Di quelli illegittimi per ora se ne dimentica o non li vuole vedere (e qui evito di utilizzare gli inglesismi del caso) ma sa che esistono e che contribuiscono al menage familiare. In poche parole evita di quantificare o di defalcare dal totale tale contributo. Penso sia inutile aggrapparsi alle modalità di ripartizione quando a monte c’è questo vizio. Mi ripeto, sostanziale in alcuni casi.

    Fatto è che se è pur vero che esistono ricercatori strutturati e non strutturati (precari),
    sulla valutazione non devono esistere ricercatori di serie A (valutabili e premiabili) e ricercatori di serie B (non valutabili quindi non premiabili, o meglio premiabili in funzione di quelli di serie A).

    Grazie comunque ROARS per l’opportunità, ma capisco che non basta una web-community a cambiare così radicalmente lo stato delle cose !

  10. Devo dire che non capisco perche’ l’opinione espressa da un peer reviewer nella fase di valutazione della ricerca sia migliore di quella espressa da un peer reviewer nella fase di pubblicazione di un articolo e dai tanti peers che nel corso degli anni citano l’articolo stesso. Se il mio articolo e’ accettato da una rivista seria e citato da altri articoli di altre riviste serie, vuol dire che la comunita’ dei peers lo considera buono. E allora perche’ rifare tutto da capo? Non so quale sia la metrica migliore, e non ho ovviamente obiezioni all’idea del peer review in generale, ma mi sembra tutto una enorme duplicazione dello sforzo. Una forma mista (metrica+peer review per casi dubbi) mi sembra la piu’ efficiente.

    • Giuseppe De Nicolao says:

      Qui non è in gioco “buono” – “no buono” ma la pretesa di definire una metrica comparativa con cui distribuire fondi (e stilare persino classifiche, nello sciagurato caso italiano). Una percentuale di revisioni peer è inevitabile per quei prodotti che non sono valutabili bibliometricamente. A questo punto si pone il problema della legittimità di una valutazione “duale” (da non confondere con la cosiddetta “informed peer review” che è una valutazione peer che tiene conto anche di risultanze bibliometriche) in cui alcuni prodotti subiscono una valutazione “peer” e alcuni una valutazione bibliometrica. La letteratura, confermata dagli esiti di un esperimento condotto dalla stessa ANVUR, mostrano che la concordanza tra le due valutazioni è debole (o peggio). Questo compromette l’uso comparativo dei risultati dell’esercizio di valutazione. Per saperne di più:
      https://www.roars.it/online/peer-review-e-bibliometria-non-concordano-neanche-in-italia/
      _________________
      Il senso del post è chiaro: in UK c’è stata una riflessione che ha condotto ad una procedura di valutazione (il REF) che, per quanto controversa, sarebbe pur sempre un male minore rispetto alla sgangherata VQR italiana, dove, oltre al sistema di valutazione duale, gli algoritmi bibliometrici fanno ricorso a tecniche di “junk arithmetic”:
      https://www.roars.it/online/la-junk-arithmetic-della-bibliometria-fai-da-te-della-vqr-2011-2014/

Leave a Reply

Sostieni ROARS

Sostieni ROARS