Un messaggio del Direttore del Dipartimento di Informatica, Sistemistica e Comunicazione di Milano Bicocca chiede ai colleghi di trasmettere alla direzione del Dipartimento i dati individuali VQR, per trarne indicazioni utili per le future valutazioni. Eppure, più volte ANVUR ha messo in guardia gli Atenei, spiegando chiaramente l’illegittimità dell’utilizzo dei dati della VQR per le valutazioni individuali. Contro l’andazzo che si sta verificando e che ancora una volta sarà inevitabilmente fonte di contenzioso, sarebbe bene che prendesse direttamente la parola il Ministro.
Un laconico messaggio del Direttore del Dipartimento di Informatica, Sistemistica e Comunicazione di Milano Bicocca, inviato ai colleghi, chiede loro – a quanto ci risulta – di trasmettere alla direzione del Dipartimento i dati individuali VQR, per trarne indicazioni utili per le future valutazioni. E’ solo l’ultimo di una serie di casi. La VQR sembra quasi si stia sostituendo alla valutazione interna di Ateneo, pur non essendo adatta allo scopo. A Palermo, pare, le richieste di bandi per ricercatore a tempo determinato sono valutate sulla base dello score VQR del settore all’interno del Dipartimento. Ove il settore non sia sufficientemente numeroso, si richiede di documentare le valutazioni individuali. Anche il Senato di Bologna avrebbe dato indicazione di esplorare i possibili usi dei risultati individuali per fini interni.
Eppure, più volte ANVUR ha messo in guardia gli Atenei rispetto all’utilizzo dei dati della VQR per le valutazioni individuali. Ha anche spiegato chiaramente l’illegittimità di tale utilizzo.
La tentazione deve essere davvero troppo forte: infatti abbiamo già segnalato i casi di Roma e Messina. Una tentazione irresistibile soprattutto (ma evidentemente non solo) in quegli atenei che nel corso di questi anni non hanno sviluppato un sistema interno di valutazione degno di questo nome. Le valutazioni della VQR vanno così a riempire un vuoto (procedurale e soprattutto culturale) poiché sembrano poter essere la soluzione più facile e più a portata di mano per una serie di problemi scottanti: distribuzione di fondi, borse, assegni e così via.
Come è stato più e più volte ripetuto, la VQR analizza un numero limitato di prodotti, quelli che ciascun docente, o in certi casi lo stesso Dipartimento di afferenza, ha considerato come la migliore espressione della propria produzione nell’arco temporale 2004-2010. La scelta dei prodotti da sottoporre a valutazione è stata in parte condizionata dalla necessità di massimizzare i risultati dell’ateneo e del dipartimento di afferenza: nel caso di più coautori i prodotti sono stati scelti non per massimizzare la valutazione individuale, ma quella di struttura.
Infatti, giova ripeterlo, sulla base delle pubblicazioni selezionate per la VQR ANVUR traccia un quadro della produzione dei Dipartimenti. Se avesse voluto valutare i singoli individui avrebbe preso in considerazione l’intera produzione scientifica, o comunque una sua vasta parte, per un arco temporale significativo, come ad esempio è stato fatto per la ASN. Pensare di utilizzare valutazioni che sono state fatte per uno scopo ben preciso piegandole a scopi del tutto diversi è sbagliato e costituisce un grave errore metodologico, che ancora una volta conferma l’arretratezza scientometrica del paese.
Resta a questo punto la curiosità di capire in che misura le valutazioni future potranno trarre giovamento dall’invio al Direttore di Dipartimento di valutazioni individuali all’interno di un esercizio che valuta esclusivamente le strutture. Ai destinatari della richiesta, ci permettiamo di suggerire di attenersi alle indicazioni chiaramente espresse da ANVUR in materia di utilizzazione dei dati individuali.
Infine, un’ultima considerazione: l’ANVUR ha già espresso chiaramente e in modo corretto il proprio orientamento circa l’uso da farsi dei dati individuali. A questo punto, contro l’andazzo che si sta verificando e che ancora una volta sarà inevitabilmente fonte di contenzioso, sarebbe bene che prendesse direttamente la parola il Ministro.
Posto che a qualcuno con 0,8 e 1 potrebbe far piacere far sapere a tutti come è andata, trovo sensa senso vedere nella mia schermata, oltre ai miei tre lavori, il risultato (0 spaccato) di un articolo su atti di convegno che ha inserito un collega in prepensionamento che non aveva altro da mettere. Sarebbe come dire che Bolt (scusate l’immodestia nel paragone) venisse valutato/giudicato non solo per gli ori mondiali, ma anche per un risultato scadente nella staffetta inserito nel sistema da un suo compagno giamaicano.
A quanto mi risulta gli Atenei già dispongono dei risultati VQR dei singoli docenti. Forse vengono richiesti per problemi di privacy ? (non essendo appunto gli Atenei legittimati all’utilizzo di questo dati personali dei singoli)
Altra questione: obiettando l’utilizzo scorretto dei dati VQR si passa ovviamente per coloro che non hanno interesse a che ciò avvenga, ovvero per coloro che hanno avuto valutazioni basse. Come uscirne?
Tra l’altro la VQR è un mero esercizio di applicazione degli I.F. delle riviste agli articoli su queste pubblicati, cosa questa ancora più scorretta di tutto il resto messo assieme…!
@ gab
Che gli atenei dispongano dei risultati dei singoli docenti è smentito da questo passaggio della lettera con cui ANVUR mi ha negato l’accesso agli atti della VQR relativa a un mio prodotto:
“l’ANVUR non ha reso note le valutazioni sui singoli prodotti della ricerca neppure alle strutture valutate, al fine di salvaguardare i singoli docenti da usi impropri delle stesse valutazioni”. Devo pensare che siano pronti a difendere questa posizione in tribunale, dunque fino a prova contraria per me le strutture NON dispongono dei dati dei singoli docenti.
Confermo che nella mia sede si dice che l’amministrazione dispone dei dati dei singoli docenti, ma non ha autorizzazione per il loro utilizzo (e tantomeno pubblicazione). Per questo motivo saranno richieste in alcuni casi (non sto qui ad entrare nel merito, è in corso di approvazione un regolamento) delle “autocertificazioni”, che comunque l’amministrazione è in grado di verificare.
Certo, non si sa più a chi credere…
Allora, io ho preso 1, 0,8 e uno zero tondo tondo di cui ho chiesto formali spiegazioni che l’ANVUR non ha voluto (legalmente?) rilasciarmi. Che roba è questo zero? Ho scritto una porcheria? Articolo su prestigiosa rivista americana, ISI, peer-review, simile agli altri due etc. Si può sapere che diavolo di valore ha questo giudizio??? Non mi sento “valutata”, mi sento presa in giro da questi anonimi semidèi che condannano dall’alto dei cieli.
Sinceramente, per una volta, non mi trovo d’accordo con questa polemica a riguardo della pubblicazione dei dati dei singoli.
Ovvero il peccato originale è stato dare l’informazione della valutazione dei singoli prodotti. Questa infatti doveva restare nelle minute delle riunioni dei vari GEV e non essere divulgata nemmeno ai singoli docenti.
Una volta che questa informazione è “fuori” è di per se già pubblica, infatti chi ha voti “alti” si sarà già premurato di farlo sapere a tutti, così si può ricavare il risultato degli altri per esclusione.
Aggiungo che in UK questo dato non viene diffuso ed in alcuni casi nemmeno calcolato vengono valutati i prodotti nel complesso e non singolarmente, proprio perché si stanno valutando le strutture e non i singoli.
Conclusione: la frittata ormai è fatta ed è inutile piangere sul latte versato, questi risultati ci sono ed è giusto che vengano discussi all’interno delle strutture. La lezione per la prossima volta è che non dovranno essere resi pubblici, nemmeno agli interessati, i singoli risultati.
Il problema non è (solo) la pubblicazione dei dati (dei singoli) ma quello del loro utilizzo. Utilizzo che non richiede alcuna pubblicazione.
Nell’area 13, cui appartengo, i lavori su rivista sono stati valuati attraverso la sede di pubblicazione: in tal caso i dati della VQR coperti da privacy sono dunque facilmente riproducibili.
Però molti colleghi hanno presentato volumi e/o contributi a volume, ed in tal caso le informazioni che i dati VQR potrebbero fornire (relative ai risultati di valutazioni tra pari) sono (a parer mio) potenzialmente preziose. Aggiungo che nella mia area i lavori sono usualmente frutto di poche mani (2 o 3 coautori), ed è lecito attendersi che i 3 prodotti selezionati siano largamente rappresentativi della produzione dei ricercatori che li hanno presentati nel periodo selezionato (persino nel caso in cui si trattasse di una frazione relativamente piccola della produzione complessiva). Immagino che ragionamenti simili si applichino alle aree 12 e 14, in cui tutti i lavori sono stati valutati per peer review.
Siamo sicuri che le ragioni invocate dall’ANVUR (e sottoscritte da ROARS) per il non utilitzzo dei dati VQR si applichino anche a queste aree?
Con le stesse ragioni, l’ANVUR mi ha rifiutato l’accesso agli atti della mia valutazione tramite peer review (e appartengo all’area 14): dunque sì, si applicano a tutte le aree.
Vero. Ma il fatto è che ANVUR e la VQR valutano le strutture (tra l’altro in maniera largamente retrospettiva), strutture che non esistono più e nuove strutture come sommatoria dei risultati dei singoli docenti.
Nei diversi atenei la scelta delle pubblicazioni è stata lasciata ai singoli o orchestrata dai Dipartimenti e dai loro direttori, o definita centralmente da algoritmi o da altri calcoli perché si trattava di massimizzare il risultato della struttura (ente, area, dipartimento). Certamente non ovunque i tre prodotti presentati sono quelli che un autore avrebbe selezionato anche per una abilitazione o un concorso ad esempio, perché lo scopo dichiarato era diverso da quello del risultato individuale.
E tutto ciò al netto di errori o esiti poco comprensibili come quello citato in uno dei commenti precedenti.
Ciò dovrebbe mettere in guardia dall’utilizzo delle valutazioni dei singoli. Non è che gli atenei non abbiano dati da cui trarre indicazioni per le future valutazioni. Ciascuno ha la certificazione finale di ANVUR con tutte le pubblicazioni presentate da tutti i docenti dell’ateneo. Di materiale su cui lavorare ce n’è moltissimo.
Proietti@ solo per essere sicuro che ci intendiamo: quello che volevo dire è che forse nelle aree 12-14 le ragioni addotte dall’ANVUR per sostenere che i dati VQR non vanno utilizzati per valutazioni individuali non hanno la stessa fondatezza che in altree aree.
Non c’è reciprocità. Da un lato si chiedono i dati personali e dall’altro non vengono fornite agli interessati le valutazioni dei revisori. O si va a fondo, e in questo caso la VQR andrebbe messa sotto inchiesta, o è meglio lasciare perdere e metterci una pietra sopra. La prossima VQR non potrà certo essere fatta su una base così prevedibile a questo punto.
Caro Paolo, direi che Roars non ha sottoscritto le ragioni di ANVUR. Direi che ha ricordato alcune delle ragioni per cui è opportuno che i dati individuali non siano resi pubblici.
Sulla significiatività dei dati individuali io sono molto più radicale. Credo che i risultati individuali contengano così tanto rumore da essere non utilizzabili. [E ritengo che la speranza che la loro composizione in medie (di area/SSD/Ateneo) riduca il rumore, sia solo appunto solo una speranza]. Per anni ho fatto indagini sul campo ed ho imparato una cosa: se disegni male una rilevazione non puoi sperare che i risultati siano signficativi. E la VQR è stata disegnata in modo così strampalato che si fa fatica anche a descriverlo.
Nelle aree bibliometriche la valutazione a base di quadrati magici dà luogo a risultati che dipendono in larga parte dalle modalità del disegno del quadrato magico stesso. Nelle aree bibliometriche confesso di non essere ancora riuscito a capire chi ha dato il giudizio sugli articoli. Parlare genericamente di peer review non è corretto perché nelle aree non bibliometriche sono state usate procedure diverse. In molti casi -sicuramente in area 13- la valutazione finale è stata appannaggio dei GEV che hanno usato la revisione dei pari come semplice informazione da combinare con altre. In altri casi la valutazione è probabilmente stata decisa dai revisori. Davvero serve a qualcosa sapere i voti individuali? In molti casi -sicuramnete in Area13- Non si sa né chi (gev o revisori) li ha decisi, né come (con quale procedura) sono stati decisi.
Ha ragione Plymoutian: se la VQR fosse stata un esercizio di valutazione serio la questione dei dati individuali non si sarebbe semplicemente posta.
Verissimo quel che dice Baccini. In area 14, stando al rapporto finale del GEV, i referaggi (due per ogni prodotto, una cosa mostruosa in termini di mole di lavoro) sono stati “trasformati” dai membri del GEV nei numeretti da 1 a 0 che sappiamo. Poter leggere i referaggi permetterebbe anche di farsi un’idea circa la effettiva corrispondenza tra questi e i “voti” finali assegnati dal GEV. Anche perché, sentendo in giro i colleghi di area 14, mi sto convincendo del fatto che la tipologia di prodotto, al di là della migliore o peggiore valutazione dei referee, abbia influito non poco sull’assegnazione del voto finale (i.e. molti 0 assegnati a prodotti pubblicati in atti di convegno). Ma se mi si impedisce di prendere conoscenza dei rapporti dei referee, di che stiamo parlando? Cosa diamine si vorrebbe “usare” da parte delle strutture?
Fausto: hai poi provato a fare ricorso contro il diniego di accesso? considera che puoi farlo senza spese anche ein via di mero ricorso amministrativo (non giurisdizionale) alla commissione per l’accesso presso la PCM, ex art. 25, co. 4, l. 241/1990:
4. Decorsi inutilmente trenta giorni dalla richiesta, questa si intende respinta. In caso di diniego dell’accesso, espresso o tacito, o di differimento dello stesso ai sensi dell’articolo 24, comma 4, il richiedente può presentare ricorso al tribunale amministrativo regionale ai sensi del comma 5, ovvero chiedere, nello stesso termine e nei confronti degli atti delle amministrazioni comunali, provinciali e regionali, al difensore civico competente per àmbito territoriale, ove costituito, che sia riesaminata la suddetta determinazione. Qualora tale organo non sia stato istituito, la competenza è attribuita al difensore civico competente per l’àmbito territoriale immediatamente superiore. Nei confronti degli atti delle amministrazioni centrali e periferiche dello Stato tale richiesta è inoltrata presso la Commissione per l’accesso di cui all’articolo 27 nonché presso l’amministrazione resistente. Il difensore civico o la Commissione per l’accesso si pronunciano entro trenta giorni dalla presentazione dell’istanza. Scaduto infruttuosamente tale termine, il ricorso si intende respinto. Se il difensore civico o la Commissione per l’accesso ritengono illegittimo il diniego o il differimento, ne informano il richiedente e lo comunicano all’autorità disponente. Se questa non emana il provvedimento confermativo motivato entro trenta giorni dal ricevimento della comunicazione del difensore civico o della Commissione, l’accesso è consentito. Qualora il richiedente l’accesso si sia rivolto al difensore civico o alla Commissione, il termine di cui al comma 5 decorre dalla data di ricevimento, da parte del richiedente, dell’esito della sua istanza al difensore civico o alla Commissione stessa. Se l’accesso è negato o differito per motivi inerenti ai dati personali che si riferiscono a soggetti terzi, la Commissione provvede, sentito il Garante per la protezione dei dati personali, il quale si pronuncia entro il termine di dieci giorni dalla richiesta, decorso inutilmente il quale il parere si intende reso. Qualora un procedimento di cui alla sezione III del capo I del titolo I della parte III del decreto legislativo 30 giugno 2003, n. 196, o di cui agli articoli 154, 157, 158, 159 e 160 del medesimo decreto legislativo n. 196 del 2003, relativo al trattamento pubblico di dati personali da parte di una pubblica amministrazione, interessi l’accesso ai documenti amministrativi, il Garante per la protezione dei dati personali chiede il parere, obbligatorio e non vincolante, della Commissione per l’accesso ai documenti amministrativi. La richiesta di parere sospende il termine per la pronuncia del Garante sino all’acquisizione del parere, e comunque per non oltre quindici giorni. Decorso inutilmente detto termine, il Garante adotta la propria decisione”
Faccio parte del dipartimento di informatica on oggetto. La richiesta non era per valutare i singoli docenti (cosa che non ha senso visto che so valutavano strutture epnon persone) semplicemente si voleva capire come sono stati valutati i prodotti. Anche dai commenti emergono delle “stranezze” nelle valutazioni e cercavo di capire per esempio come sono state gestite le conferenze che per gli informatici conta più delle riviste (con tassi do accettazione del 15%). Ci sembra che non siano atate fatte peer review (o almeno non abviamo questa evidenza) i brevetti contano poco. Per completezza, non tutti hanno fornito i dati.
I criteri elaborati dall’ANVUR per la VQR sono ampiamente criticabili; quelli elaborati per le ASN ancora di più. Il fatto più grave, però, è che i due criteri sono in contrasto tra loro e danno ai ricercatori indicazioni non coerenti. Per rendere coerenti tra loro (sebbene cattivi) i criteri sarebbe stato necessario adottare per le ASN gli stessi metodi di valutazione delle pubblicazioni adottati per la VQR, consentendo però a ogni candidato di immettere tutte le pubblicazioni dell’ultimo decennio (o di qualunque periodo si fosse voluto).
Allo stato attuale il pasticcio è irrimediabile e gli atenei che usano criteri diversi da quelli di VQR e ASN si trovano a dare ai loro docenti e ricercatori indicazioni ulteriormente contrastanti.
Penso che sia opportuna una moratoria sui criteri di valutazione: non è pensabile continuare a sfornarne di nuovi. I dati VQR sono inutilizzabili per la valutazione dei singoli docenti e in realtà anche dei Dipartimenti, ma se proprio è necessario valutare qualcosa bisogna cercare di mettersi d’accordo, anche con l’ANVUR su almeno un punto: che esista un criterio condiviso per valutare le singole pubblicazioni dei docenti, in assenza di accordo su qualcosa di meglio anche la griglia IF/citazioni ideata per la VQR.
Non si possono però mescolare peer review e assegnazione automatica di punteggio come è stato fatto nella VQR. Le revisioni possono cambiare a piacere i risultati delle strutture (bastano pochi punti in più o in meno). Meglio un algoritmo da applicare ad U-GOV, c’è anche il vantaggio che non costa nulla.
Mettiamoci pure d’accordo su qualcosa. Ma che abbia un fondamento. Ed i quadrati magici bibliometrici hanno lo stesso spessore scientifico deil’astrologia.
Perché dovremmo parlare male dell’astrologia, che se non altro ha una tradizione millenaria? ;-)
Baccini:…i quadrati magici bibliometrici hanno lo stesso spessore scientifico deil’astrologia.
—————————————–
OK allora tutti a peer review. Ci sarebbe stato qualche 1 in meno (probabilmente giustamente). Di questa VQR non difendo nulla. Se non si ha il coraggio di andare a fondo per vederci veramente dentro, è meglio voltare pagina. Attaccarsi al giudizio su 3 lavori fatti ormai quasi 5-10 anni fa è solo penoso (mi riferisco a chi li vorrebbe usare per una qualsiasi altra cosa diversa dalla VQR 2004-10).
Io credo che non se ne esca. Se si vuol fare un esercizio di valutazione della ricerca nazionale (e prima di farlo andrebbero verificati bene e i costi ed i benefici del farlo) credo che si debba usare la peer review (ma non quella roba che anvur ha chiamato peer review e che è un ibrido mai visto). Se ad anvur fossero capaci di fare analisi bibliometriche serie potrebbero utilmente produrne un po’ nel frattempo, usando le basi dati commerciali e non commerciali disponibili. L’uso congiunto di peer-review-spesso-fai-da-te e bibliomeria-fai-date della VQR è un disastro.
L’uso congiunto di peer-review-spesso-fai-da-te e bibliomeria-fai-date della VQR è un disastro.
—————————————–
Pienamente d’accordo.
Siete proprio sicuri che la peer-review pura sia la soluzione di tutti i nostri problemi? Per esempio, tra i risultati della VQR in area 06, un’informazione interessante è che c’è una concordanza maggiore tra metodo bibliometrico ed un singolo reviewer, che non tra i due reviewers distinti. Non crediamo alla VQR perchè è stata la cosa peggiore del mondo, mal concepita da menti diaboliche? OK. Poi mi trovo davanti a due reviewers, i migliori che possiamo immaginare, che danno giudizi diametralmente opposti di uno stesso lavoro, perchè in un caso supporta o nell’altro contrasta le loro ipotesi. Come la mettiamo? Chi di noi, quando agisce da reviewer, non è meglio disposto verso i lavori che supportano le nostre tesi e più critico verso quelli che le contrastano?
Io continuo a dire che non si può far passare continuamente il messaggio che l’eccesso di valutazione è il male assoluto dell’Università italiana, quando in realtà nessuna decisione è mai stata presa tramite valutazione su criteri numerici…
In fin dei conti, il reclutamento è un esempio perfetto di applicazione della peer review, dove l’esperto commissario ha tutto il potere di decidere quale sia il candidato migliore(anche contro i valori degli indicatori). Sarà per questo che mi riesce difficile concepire come la peer review possa rappresentare il sistema perfetto che salva l’Università dai perfidi anvuriani….
Concordo. Personalmente trovo difficile credere alla neutralità dei revisori esterni.
Supponiamo che Tizio fa parte di una università i cui colleghi si sono messi al sicuro dagli esiti di una peer-review pubblicando su riviste di fascia A, B, C (tiè!). Tizio non avrebbe potuto fare domanda come revisore e segare i prodotti dei colleghi per fare emergere il suo gruppo di ricerca? per non parlare di conoscenze etc
Nella mia area, 13,la revisione bibliometrica ha prevalso su quella peer, nel senso che solo un 5% di articoli sono stati sottoposti alla doppia revisione, ma per prova poiché in caso di giudizio difforme ha prevalso la valutazione bibliometrica(per inciso i giudizi in peer erano peggiori di quelli biblio). Sono andati in peer solo i prodotti diversi da articoli pubblicati nei journal compresi nella lista VQR (note dopo la consegna dei prodotti).
Dei prodotti sottoposti a peer, 87 su 100 ha avuto la valutazione D (=0). Sono (siamo) tutti inetti?
E perché invece in area 12, dove tutti i prodotti sono andati in peer review, c’è stato un’ampia varietà di giudizi eccellenti? maggiore spirito “corporativista”?
Stante così le cose, per chi è più debole (in termini di università appartenenza & network relazionali) conviene blindarsi pubblicando su riviste presenti nelle liste Anvur, almeno non ti possono levare i punteggi ottenuti; è vero, è una valutazione sul contenitore e non sul contenuto, ma meglio così che affidarsi ad una revisione tra pari che spesso non è scevra da considerazioni politiche, relazionali etc.
Ci sono molte differenze tra ciò che è successo in Area 13 e in Area 12 con la peer review. In Area 12 la peer review è stata fatta in modo ragionevole. In Area 13 è stata fatta per sperimentare. E l’esperimento doveva dare dei risultati desiderabili -sennò che esperimento è?). Che sono puntualmente arrivati. Perché la peer review non l’hanno atta i revisori o l’hanno fatta solo in piccola parte. I punteggi finali li ha decisi il GEV, sapendo che stava facendo un esperimento. BTW: la % di prodotti eccellenti in area 13 (18,25%) è superiore alla percentuale di prodotti eccellenti in area 12 (10,44%)! Suggerimento per risolvere il puzzle: c’è qualcosa che non va in area 13…
Il problema sta nella uniformità del processo di valutazione. Nella VQR questa uniformità non c’è stata. Chi ha perso punti gli ha persi solo per effetto della peer review. Magari bastava una manciata di citazioni e la evitava e si prendeva la valutazione più alta. La peer review parziale inoltre non ha coinvolto tutti ma solo una parte dei ricercatori e, per di più, scelti dai rispettivi panels. Con quali criteri? Almeno una peer review su vasta scala avrebbe coinvolto tutti e, se non altro, da parte di tutti ci sarebbe stato, forse, un po’ più di autocontrollo. Chi si sente in una botte di ferro perchè casca in una casella magica del quadratino si può anche permettere di fare il gradasso. Lo dico senza cattiveria, ma può succedere.
Non è il caso di reinventare la ruota. In Italia abbiamo deciso di effettuare un “research assessment exercise” basato su un campionamento di pochi lavori selezionati (un po’ come il RAE/REF inglese). Gli inglesi si sono posti il problema se fosse praticabile la soluzione valutare bibliometricamente i singoli lavori. Hanno lanciato uno studio pilota (http://www.hefce.ac.uk/research/ref/biblio/), analizzato i risultati e sono giunti alla seguente conclusione:
“Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”
http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
Gli australiani hanno ugualmente cercato un’alternativa alla peer review ed hanno fatto ricorso alla classificazione delle riviste in categorie di merito nel loro esercizio ERA 2010. Ci sono state controversie e nel maggio 2011, Kim Carr ha motivato la futura abolizione delle fasce di qualità per le riviste, dichiarando che
“There is clear and consistent evidence that the rankings were being deployed inappropriately … in ways that could produce harmful outcomes”
(http://theconversation.edu.au/journal-rankings-ditched-the-experts-respond-1598).
Il direttore dell’HEFCE (l’ANVUR inglese) in un’audizione alla Camera dei Comuni, nel sottolineare che “we do not use our journal impact factors as a proxy measure for assessing quality” si è anche tolto la soddisfazione di sbertucciare gli australiani (sto esagerando, ma non troppo):
“David Sweeney [Director HEFCE]: With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.
Sir Mark Walport: I would agree with that. Impact factors are a rather lazy surrogate. We all know that papers are published in the “very best” journals that are never cited by anyone ever again. Equally, papers are published in journals that are viewed as less prestigious, which have a very large impact. We would always argue that there is no substitute for reading the publication and finding out what it says, rather than either reading the title of the paper or the title of the journal.
Professor Rylance: I would like to endorse both of those comments. I was the chair of an RAE panel in 2008. There is no absolute correlation between quality and place of publication in both directions. That is you cannot infer for a high-prestige journal that it is going to be good but, even worse, you cannot infer from a low-prestige one that it is going to be weak. Capturing that strength in hidden places is absolutely crucial.
Q256 Stephen Mosley: … a concern that the Research Excellence Framework panels in the next assessment in 2014 might not operate in the same way. Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
David Sweeney: I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used. I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way.”
House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
___________________________________________
Tutto ciò è accaduto prima della VQR. Lo stato dell’arte scientifico in campo bibliometrico e l’esperienza internazionale erano concordi nell’indicare che la valutazione bibliometrica dei singoli articoli non è praticabile. Non che adesso si sia diventati più indulgenti. Nel 2013 è stata sottoscritta la San Francisco Declaration on Research Assessment (sottoscritta da più di 400 organizzazioni, tra cui riviste di rilievo come Science, PLOS e PNAS):
“1. Avoid using journal metrics to judge individual papers or
individuals for hiring, promotion and funding decisions.
2. Judge the content of individual papers and take into
account other research outputs, such as data sets, software
and patents, as well as a researcher’s influence on policy
and practice.”
http://am.ascb.org/dora/
A questo va aggiunto il “position statement” della IEEE, la più grande associazione mondiale in ambito tecnologico:
“Any journal-based metric is not designed to capture qualities of individual papers and must therefore not be used alone as a proxy for single-article quality or to evaluate individual scientists“.
https://www.roars.it/anche-lieee-contro-luso-di-indici-bibliometrici-per-la-valutazione-individuale/
______________________________
La ciliegina sulla torta è l’uso congiunto di peer-review e bibliometria nella VQR. La mancata calibrazione tra le due modalità di valutazione (il rapporto finale dell’ANVUR si affanna a sostenere che c’è concordanza, ma deve arrampicarsi sugli specchi) rende la misurazione della VQR simile all’uso di bilance scalibrate per comparare il peso di diverse persone (per esempio per comparare atenei o dipartimenti). Non c’è perfidia, c’è solo scarsa conoscenza dello stato dell’arte ed inadeguatezza tecnica.
Non ci muoviamo su un terreno vergine in cui ogni fai-da-te diventa lecito. Se ho la bronchite, prendo gli antibiotici, non vado dalla fattucchiera.
Mah, da quello che leggo io, a me sembra che dicano soltanto che non useranno il solo impact factor per valutare un paper. o nessun altro indicatore da solo…
Nessuno di questi interventi dice di usare la sola peer review.
Per usare la stessa analogia: se hai la bronchite e vai da due medici diversi: uno ti dice di prendere gli antibiotici e l’altro ti dice assolutamente di no, cosa fai? a chi dei due dai retta? Non è meglio cercare di avere delle linee guida che stabiliscono quando prendere gli antibiotici e quando no…
“Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF” (dove è scritto che non usaranno solo l’IF per valutare un paper?)
Simonetta Baraldo: “se hai la bronchite e vai da due medici diversi: uno ti dice di prendere gli antibiotici e l’altro ti dice assolutamente di no, cosa fai? a chi dei due dai retta? Non è meglio cercare di avere delle linee guida che stabiliscono quando prendere gli antibiotici e quando no…”
============================
Per evitare fraintendimenti: ci riferiamo alla valutazione automatica di singoli articoli e singoli ricercatori effettuata mediante indicatori bibliometrici (come accaduto nella VQR con i “quadrati magici” e nell’ASN con le mediane). Ecco le linee guida (oltre a quelle già citate di HEFCE, DORA e IEEE). Nessuna è favorevole all’uso automatico della bibliometria inaugurato in Italia dall’ANVUR:
____________________________
[1] Joint Committee on Quantitative Assessment of Research, Citation Statistics – A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Robert Adler, John Ewing (Chair), Peter Taylor, released: 6 November 2008, corrected version: 6 December 08
http://www.iciam.org/QAR/CitationStatistics-FINAL.PDF
“Thus, while it is incorrect to say that the impact factor gives no information about individual papers in a journal, the information is surprisingly vague and can be dramatically misleading….Once one realizes that it makes no sense to substitute the impact factor for individual article citation counts, it follows that it makes no sense to use the impact factor to evaluate the authors of those articles, the programs in which they work, and (most certainly) the disciplines they represent.”
____________________________
[2] Code of Practice – European Mathematical Society, p. 5
http://www.euro-math-soc.eu/system/files/COP-approved.pdf
“1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people.
2. It is irresponsible for institutions or committees assessing individuals for possible promo- tion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.”
____________________________
[3] On the use of bibliometric indices during assessment – European Physical Society, p. 2
http://www.eps.org/news/94765/
“The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.”
____________________________
[4] Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”- Institut de France, Académie des Sciences, p. 5
http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
“Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.”
Ma esistono documenti (ufficiali) che descrivono la modalità della valutazione da parte dei GEV? Intendo i criteri, i parametri, la procedura, senza entrare ovviamente nei casi specifici. Di certo i GEV avranno verbalizzato quanto concordato al loro interno. O no?!?!
Le informazioni pubbliche al momento sono quelle (più o meno laconiche) scritte nei rapporti finali. Leggendo attentamente si capiscono un bel po’ di cose. Tra un po’ uscirà un post sul tema…
Per evitare fraintendimenti, voi siete contrari alla bibliometria pura, ma poi mi proponete come soluzione la peer review pura. Ed è quest’ultima cosa che mi spaventa … noi siamo sempre stati governati dalla peer review pura. Ringrazio Giuseppe per i riferimenti come sempre puntuali, ma mi sembra che nessuno di questi proponga la peer review pura.
Io sarei pronta a sottoscrivere l’affermazione dell’European Physical Society “the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct” o l’indicazione dell’Academie des Sciences francese.
Chiaro che gli indici bibliometrici non sono perfetti, chiaro che non vanno usati da soli, però che senso ha demolirli per poi proporre la peer review pura?
Voi continuate a parlare di quadrati magici, che hanno lo stesso valore dell’ astrologia, avete fatto interventi molto spiritosi sul D-index e sul confronto Higgs-Frati, ma dove ci porta tutto questo? Ce l’avete un indicatore bibliometrico migliore? Se tutto questo dibattito ci porta alla peer review pura …per favore, anche no.
“voi siete contrari alla bibliometria pura” e chi l’ha detto ? La bibliometria e’ uno strumento che puo’ essere usato bene o male. Se si usa male, come fa Anvur, si fanno solo danni. Il problema non e’ dove ci porta il confronto Frati-Higgs il problema e’ dove ci porta una agenzia di valutazione che automaticamente esclude due premi nobel dalle abilitazioni e da commissari di queste. Per favore anche no.
ps se si applicasse il decalogo dell’accademia delle scienze francese alle abilitazioni non rimarrebbe nulla
Leggendo dove …?
per Francesco Sylos Labini.
c’è scritto in quello che aveva postato Giuseppe:
Il direttore dell’HEFCE (l’ANVUR inglese) in un’audizione alla Camera dei Comuni, nel sottolineare che “we do not use our journal impact factors as a proxy measure for assessing quality”
poi più sotto, gli viene addirittura chiesto da Stephen Mosley: Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
Forse che gli risponde: YES, OF COURSE? No, gli dice:
I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used.
Vedi la cosa bella, è che siamo due esseri umani, che hanno letto lo stesso documento e ci abbiamo visto due cose completamente diverse (probabilmente perchè siamo influenzati dalle nostre idee di fondo), quindi siamo due reviewers altamente inattendibili…Io e te come performance faremo peggio dell’indicatore bibliometrico più sgangherato. Non perchè uno di noi due sia migliore dell’altro, ma soltanto perchè la pensiamo in modo diverso su un certo argomento e questo influenza il nostro giudizio.
stiamo anche parlando di due cose diverse tu di VQR e io di ASN. il problema per la VQR e’ avere dei criteri che siano omogenei tra i diversi campi per non lasciare il farwest in cui ognuno si inventa cose assurde come da noi. La VQR e’ una valutazione strutturale dunque onde evitare di confrontare pere con mele deve avere dei criteri che vadano bene in tutti i settori, quelli bibliometrici e quelli no. Il risultato degli studi pilota RAE e’ che non viena usata la bibliometria perche’ e’ inaffidabile per uno studio strutturale tipo RAE.
La posizione dell’HEFCE sull’uso della bibliometria (niente Impact Factor ed uso cauto delle citazioni senza *uso automatico*) è riassunta qui: https://www.roars.it/no-bibliometrics-please-were-british/
Ecco un estratto dai documenti HEFCE
“Citation data
131. Some sub-panels will consider the number of times that an output has been cited, as additional information about the academic significance of submitted outputs. Those panels that do so will continue to rely on expert review as the primary means of assessing outputs, in order to reach rounded judgements about the full range of assessment criteria (‘originality, significance and rigour’). They will also recognise the significance of outputs beyond academia wherever appropriate, and will assess all outputs on an equal basis, regardless of whether or not citation data is available for them.
132. Panels will state in their criteria documents if they will make use of citation data, and if so, provide further details about how they will make use of the data to inform their assessments. In using such data panels will recognise the limited value of citation data for recently published outputs, the variable citation patterns for different fields of research, the possibility of ‘negative citations’, and the limitations of such data for outputs in languages other than English. Panels will also be instructed to have due regard to the potential equality implications of using citation data as additional information (5).
Assessment framework and guidance on submissions
http://www.ref.ac.uk/media/ref/content/pub/assessmentframeworkandguidanceonsubmissions/GOS%20including%20addendum.pdf
(Luglio 2011), p. 25″
Ciao Francesco,
il commento che ho appeno postato si riferiva al tuo sull’IF.
Invece per rispondere al “voi siete contrari alla bibliometria pura” e chi l’ha detto ? Tu avevi postato:
“Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF” . Quindi mi sembravi contrario all’uso della bibliometria pura. Ho interpretato male?
Il mio commento iniziale era sul posto di Alberto Baccini “Se si vuol fare un esercizio di valutazione della ricerca nazionale (e prima di farlo andrebbero verificati bene e i costi ed i benefici del farlo) credo che si debba usare la peer review (ma non quella roba che anvur ha chiamato peer review e che è un ibrido mai visto).
Da questo ho dedotto che foste contrari alla bibliometria pura e favorevoli all peer review pura, ma forse ho sbagliato ad interpretare.
Di nuovo stai facendo confusione tra VQR e ASN. Per la ASN va bene considerare il doc. della accademia delle scienze francese che tratta il problema dell’uso degli indicatori bibliometrici per la valutazione individuale appunto
Mah, la discussione era partita dalla VQR. Gli interventi di Giuseppe de Nicolao erano sulle agenzie di valutazione inglese ed australiana, quindi sì io parlavo di VQR. Poi, per inciso, applicherei lo stesso concetto anche per l’ASN: niente bibliometria pura, ma soprattutto niente peer review pura neppure per il reclutamento.
Giuseppe ha linkato vari documenti che mostrano che l’uso della bibliometria per la valutazione individuale e’ sconsigliata a livello internazionale. I motivi sono ben spiegati nel doc dell’Accademia delle Scienze Francese che consiglio di leggere in quanto e’ molto dettagliato.
.
Per quel che riguarda la VQR ed esercizi di valutazione simili, di nuovo Giuseppe ha linkato dei documenti che illustrano i motivi per cui i metodi anvur-like non sono stati usati in UK e AU che magari un filino di esperienza in piu’ l’hanno.
No,no
Giuseppe ha linkato correttamente in un contesto in cui si parlava di VQR diversi interventi che parlavano di Quantitative Assessment of Research (International Mathematical Union (IMU), European Mathematical Society, European Physical Society) e poi anche uno riguardante la valutazione individuale (academie des Sciences). Nel suo post precedente paralva ancora di valutazione della ricerca nel contesto anglosassone. Sicuro che sono io a fare confusione?
C’è una certa simmetria nelle raccomandazioni relative alla valutazione bibliometrica di singoli articoli e individui. Vedi per esempio la San Francisco Declaration on Research Assessment:
“1. Avoid using journal metrics to judge individual papers or
individuals for hiring, promotion and funding decisions.”
Io non ho nulla in contrario ad una peer review che usa tutti gli elementi a disposizione, incluse le informazioni bibliometriche, ma sono contrario a strumenti automatici. Non mi sembra di essere isolato, anzi è l’ANVUR che si trova isolata a livello internazionale. Per fare un esempio, basta questo passaggio dell’HEFCE che ho già citato:
“Panels will state in their criteria documents if they will make use of citation data, and if so, provide further details about how they will make use of the data to inform their assessments. In using such data panels will recognise the limited value of citation data for recently published outputs, the variable citation patterns for different fields of research, the possibility of ‘negative citations’, and the limitations of such data for outputs in languages other than English. Panels will also be instructed to have due regard to the potential equality implications of using citation data as additional information (5).”
La distanza dai quadrati magici mi sembra siderale. HEFCE non si occupa di reclutamento, ma se applichiamo le stesse considerazioni alle mediane e all’indice h contemporaneo che esalta il peso delle citazioni recenti (HEFCE: “panels will recognise the limited value of citation data for recently published outputs”) c’è di che riflettere.
Io ho riguardato anche i commenti precedenti, stavamo tutti parlando di VQR, e quindi il post di Giuseppe mi sembrava chiaramente riferito alla VQR. Poi per sostenere la sua tesi, ha citato anche il documento dell’Academie des Sciences, che si dovrebbe applicare esclusivamente alla valutazione degli individui (ma non siamo quì a spaccare il capello in 4) mentre tutti gli altri documenti sono perfettamenti applicabili nella valutazione degli articoli scientifici nel contesto di assessment of research quality…quindi VQR. C’è solo una persona che ha nominato l’ASN, e non sono io…
ho cercato di chiarire due punti (valutazione strutturale VQR e valutazione individuale ASN) che si intrecciano ma che sono diversi. Cmq il punto di fondo rimane lo stesso: al di la’ di Chiasso nessuno utilizza la bibliometria ne’ per l’una ne’ per l’altra cosi’ come e’ stato fatto da noi. Questo non vuole dire essere contro la bibliometria ma essere contro l’uso modello fai-da-te della bibliometria.
Vorrei solo osservare che lo HEFCE (Higher education funding council of England) non è lo ANVUR inglese. Si occupa infatti, come dice il nome, della distribuzione dei fondi non associati a progetti di ricerca, quelli che da noi costituiscono lo FFO. La valutazione della ricerca universitaria è stata affidata allo HEFCE, ma quella della didattica è di competenza di un altro organismo che se ricordo bene si chiama QAA, cioè Quality Assurance Agency, e precedentemente, con lo stesso acronimo Quality Assesment Agency. Anche il QAA, come gli HEFC, è diviso per macroregioni (Inghilterra, Scozia, Galles e Irlanda del Nord). Questo significa che sono divisi per macroregione i Reserch Assesment Exercises. In altre parole, prima di decidere come si dividono i fondi statali tra le diverse università, il fondo nazionale destinato alle università viene diviso per macroregione. In pratica le università della Scozia competono per fondi tra di loro ma non competono per fondi con le università inglesi. Infine nessuno si sogna in GB di valutare le università assieme agli enti di ricerca.
per Francesco,
hai scritto (rileggiti il tuo post) che io facevo confusione tra VQR e ASN, quando nessuno, dico nessuno, a parte te ha mai parlato di ASN in questa discussione. Se stiamo parlando di VQR, e tu vuoi chiarire qualcosa, non mi sembra molto utile introdurre un altro argomento (così en passant senza analizzarlo in profondità) e poi dire che sono gli altri che fanno confusione.
Sottoscrivo quello che scrive Giuseppe “Io non ho nulla in contrario ad una peer review che usa tutti gli elementi a disposizione, incluse le informazioni bibliometriche, ma sono contrario a strumenti automatici” e aggiungo che io sono contraria ad una peer review che si rifiuta di usare indicatori bibliometrici, perchè un reviewer può sostenere una cosa un minuto prima e l’esatto opposto un minuto dopo (prova a rileggere i tuoi post di oggi).
Adesso ci resta il problema degli indicatori, perchè sappiamo che considerate quelli di ANVUR astrologia, ma mi sembra che non abbiate proposte più concrete…
I quadranti magici sono un’integrazione tra IF della rivista e numero di citazioni di quell’articolo specifico, che possono non piacere e sicuramente non sono perfetti, ma non sono stati creati dai fattucchieri. Mi sembrano più propensi al vaticinio quelli che pensano che 2-3 reviewers “perfetti” che leggono una per una pubblicazioni di 100 studiosi, sapranno individuare tra questi i prossimi premi Nobel. Come fanno? Usano la sfera di cristallo?
“Io non ho nulla in contrario ad una peer review che usa tutti gli elementi a disposizione, incluse le informazioni bibliometriche, ma sono contrario a strumenti automatici” questo e’ esattamente il punto che sottoscrivo in pieno e se tu sei d’accordo me ne compiaccio. La confusione e’ nata dal fatto chegli argomenti contro l’uso di strumenti bibliometrici automatici sono simili ma non gli stessi per VQR e ASN.
.
“I quadranti magici sono un’integrazione tra IF della rivista e numero di citazioni di quell’articolo specifico, che possono non piacere e sicuramente non sono perfetti, ma non sono stati creati dai fattucchieri. ”
.
Ecco invece qui non siamo proprio d’accordo. I quadrati magici sono stati creati dai fattucchieri e non si usano da nessuna altra parte al mondo ne’ per la valutazione delle strutture ne’ per quella individuale. Chiaro ora?
Quand’è così aspetto i tuoi indicatori perfetti, creati con il rigore scientifico e la logica che hai dimostrato nei tuoi commenti di oggi..
Ringrazio Giuseppe De Nicolao per i suoi contributi, sempre utili e dettagliati, e Alessandro Figà Talamanca per il chiarimento su ruolo di HEFCE e valutazione della ricerca in UK.
Buona serata
Gli indicatori perfetti non esistono ma di sicuro studiare quello che e’ stato fatto in altri paesi aiuta sopratutto se stanno facendo valutazioni strutturali tipo VQR e abilatazioni nazionali (eg qualificazione francese) da qualche decina di anni con risultati ragionevoli. Il problema da noi e’ che ci si e’ rimessi a inventare la ruota da zero.
Parafrasando Zlatan Ibrahimovic:
“Metodo perfetto uno solo: il mio”.
Solo stamani posso re-intervenire in questa discussione. Me ne scuso.
Nessuno aspetta l’indicatore perfetto. E soprattutto nessuno pensa che il “suo” sia l’indicatore perfetto. Ecco il mio ragionamento per punti (mi riferisco solo a roba tipo VQR):
1) C’è una letteratura sterminata che studia gli indicatori e la loro applicazione. Forse sarebbe stata una buona idea per ANVUR darci un’occhiata invece di ricominciare daccapo.
2) Gli esercizi di valutazione realizzati in giro per il mondo a mia conoscenza sono condotti o a) con peer review o b) con metodi bibliometrici. Il mix di strumenti l’abbiamo adottato noi. Nel secondo caso si rinuncia al giudizio “fine” sul singolo prodotto, e si fa valutazione massiva di tutti i prodotti di un dipartimento. (BTW: si studia una cosa diversa dalla qualità della ricerca: se ne studia l’impatto nella comunità scientifica). Costa meno ed è più facile. Ciò che non ha alcun senso è selezionare prodotti e poi valutarli in modo “rozzo” con bibliometria, per l’appunto fai-da-te. Ho argomentato a suo tempo intorno al non senso dei quadrati magici: https://www.roars.it/il-vqr-ed-il-vino-a-due-stadi/ E intorno al disegno molte volte in giro non solo su roars. per cui non ci ritorno in dettaglio.
3) Parlare genericamente di peer review non aiuta a capire. Nella vqr siamo di fronte ad una peer review assai strana, che niente ha a che fare con quella adottata dalle riviste. Ex-post; anonima; con i revisori che conoscono l’autore; ed il gev che non solo consoce i revisori, ma ha la facoltà di modificarne i giudizi. Francamnete roba che io non ho mai visto in giro (e assicuro che negli ultimi anni ho letto molto su questi temi).
La mia affermazione perentoria a favore di esercizi condotti con peer review va letta così: se si vuole fare un assessment, il modello è quello inglese, con tutti i suoi enormi limiti. Altrimenti ci potremmo limitare con pochi costi a svolgere analisi statistiche su dati bibliometrici. Forse più utili e soprattutto enormemente meno costose.
In effetti Simonetta Baraldo parlava di VQR, non è lei che ha tirato fuori l’ASN, dei due non è certo lei quella che fa confusione tra ASN e VQR
Il documento dell’ Academie des Sciences francese si chiama “Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”: siccome ad un certo punto si e’ citato e commentato questo ha creato la confusione (che sia mia o meno). Ma e’ stato chiarito grazie al cielo.