Anvur / Argomenti / Meritocrazia / Valutazione / VQR

Il tribunale d’appello della valutazione

Anvur chiarisce il funzionamento del proprio tribunale d’appello per la valutazione delle riviste. L’equo giudizio è assicurato?

L’utilizzo di classifiche di riviste nel corso di esercizi di valutazione è già stato discusso più volte su queste pagine. Vi sono infatti ragioni di carattere generale che dovrebbero indurre a prudenza nell’uso di strumenti di questa natura, per gli effetti distorsivi che essi possono produrre, sia nel panorama scientifico che nel mondo dell’editoria.

Al di là di queste riserve sullo strumento in sé, va detto che l’esperienza italiana in materia presenta alcune anomalie significative, in particolare (ma non solo) per quanto riguarda le aree per le quali non possono essere utilizzati strumenti di valutazione bibliometrica (aree CUN 10, 11, 12, 14, parte dell’area 13).

Le liste sono state costruite in tempi brevi, a cura dei singoli Gruppi di Esperti della Valutazione (GEV), con un coinvolgimento delle comunità scientifiche di riferimento che non si può che ritenere largamente insufficiente. Mentre per le aree “bibliometriche” si è fatto ricorso a un mix di indicatori – non senza produrre esiti discutibili – per le cosiddette scienze umane e sociali è stato reso noto unicamente il processo[1] che ha portato alla stesura delle classifiche, ma non i criteri che sono stati utilizzati.

La mancata pubblicazione dei criteri desta più di una perplessità e lascia supporre che essi non siano neppure stati definiti. Va anche osservato che la distribuzione per fasce di qualità, stabilita dal bando VQR, non è stata rispettata nelle aree delle scienze umane e sociali. E’ verosimile dunque che in più di un caso l’attribuzione del giudizio di qualità alle riviste sia stata frutto di concertazioni non trasparenti fra soggetti in alcuni casi neppure chiaramente identificabili.[2]

In ogni caso, non stupisce che su queste liste si stia sviluppando un’accesa polemica, tanto più significativa in quanto voci insistenti fanno ritenere che tali rankings o ratings avranno un qualche ruolo nel processo delle abilitazioni nazionali. In ogni caso, mi limito qui a segnalare solo alcune anomalie relative a tali classifiche:

1. le liste per le scienze umane e sociali sono incomplete: non coprono che una parte limitata delle sedi di pubblicazione, trascurando larga parte delle sedi internazionali, anche di grandissimo rilievo, il che è in contraddizione con la volontà programmatica di ANVUR di favorire l’internazionalizzazione e di indirizzare gli studiosi verso le sedi migliori, per favorirne, fra l’altro, la competizione;

2. l’attribuzione del rating non pare connessa ad alcun criterio oggettivo, e in alcuni casi vengono violate alcune regole basilari non solo dei processi di valutazione, ma anche di carattere biblioteconomico. Infatti, dal punto di vista biblioteconomico, non essendo stata data una definizione di rivista, sono entrati nei rating titoli che non ne hanno affatto le caratteristiche (titoli con solo ISBN) o che hanno una natura mista essendo in realtà collane;

3. sono classificate nelle fasce più elevate riviste prive di peer review double blind. Il che se non significa automaticamente che si tratti di “contenitori” di scarsa qualità, getta comunque un ombra pesante su tutto il procedimento di classificazione, che appare, nel suo complesso, arbitrario;

4. la disciplina del conflitto di interessi relativamente alla costruzione dei rankings è stata del tutto carente, con l’effetto di minare alla base l’attendibilità dei rankings stessi.

In questo quadro, l’ANVUR ha più volte difeso il proprio operato in maniera infelice, richiamandosi al carattere sperimentale dell’operazione. Il che è sbagliato, poiché la VQR non è una sperimentazione – contribuirà infatti a definire l’allocazione di una quantità consistente di risorse – e poiché è evidente che molti revisori ai quali saranno fornite tali classifiche saranno tentati di farne uso, trasferendo il “rating” dal contenitore al contenuto, specie se sarà loro sottoposta una mole ingente di prodotti da valutare. Inoltre, è ben chiaro dai documenti di alcuni GEV delle aree in questione, che le classifiche non hanno una funzione meramente sperimentale, ma potranno essere utilizzate per concorrere alla determinazione della qualità dei prodotti valutati.

Più in generale, sfugge a chi scrive quale sia il pro di una sperimentazione frettolosa e poco trasparente di uno strumento già discusso a livello internazionale e la cui efficacia è da molti esperti di valutazione messa in dubbio.

Tutto ciò premesso, l’Agenzia ha recentemente informato la comunità accademica della possibilità di provvedere a una revisione del rating assegnato a una singola rivista, con una comunicazione dello scorso 8 maggio. Senza entrare nei dettagli della procedura, merita di essere segnalato come unicamente il direttore della rivista o il suo editore siano legittimati a chiedere la revisione del rating.

Se questa scelta può apparire per certi versi comprensibile, va però osservato che essa avrà la conseguenza di rimettere in discussione unicamente il rating di riviste designate come non eccellenti: l’attribuzione della classe A si configura pertanto come un giudizio inappellabile. Infatti nessun direttore o editore ne chiederà mai la revisione, né questa possibilità è concessa a eventuali controinteressati. Il che, ancora una volta, suscita dubbi sulla fairness della procedura: si ammette la possibilità di sottovalutazioni, ma non quella di sopravvalutazioni. Il che non pare ragionevole.

In realtà, è l’idea della procedura di revisione che è sbagliata: una toppa, come si usa dire, peggiore del buco. Infatti se si fosse ottenuto un largo consenso sui rankings, sulla base di criteri chiari e verificabili e di una consultazione ampia, approfondita e trasparente delle comunità scientifiche, prevedendo al contempo una revisione delle liste con cadenza annuale, si sarebbe potuto evitare di escogitare meccanismi di revisione che finiscono per confermare l’inattendibilità dell’intero sistema di rankings.

In effetti, l’impressione è che la procedura di revisione sia un tentativo di prevenire possibili contenziosi giudiziari, piuttosto che uno strumento per assicurare la correttezza dell’intera procedura.


[1] Un processo a tre stadi: richiesta degli elenchi alle società disciplinari, loro revisione da parte di esperti anonimi (senza alcuna disclosure ex post), successiva revisione finale e pubblicazione per cura del GEV.

[2] Il che – sia detto per inciso – è frutto del fatto che criteri oggettivi e verificabili (a partire dalla peer review) non erano certificabili per larghissima parte delle riviste delle scienze umane e sociali coinvolte nel processo di valutazione per il periodo 2004-2010: il problema, in sostanza, deriva dall’applicazione retroattiva di criteri di valutazione non unanimemente condivisi dalle comunità scientifiche. Un problema che si sarebbe potuto almeno in parte risolvere adottando tempi più lunghi per preparare le comunità scientifiche all’esercizio di valutazione, oppure ricorrendo, per questo primo esercizio, alla sola peer review.

Send to Kindle
Tags: , , , , ,

3 Comments

  1. La cosa piu’ “divertente” in tutto cio’ e’ la seguente: come fare a convincere un direttore di rivista “dimenticata” in uno degli elenchetti ?
    Es di lettere (nel mio consueto inglese maccheronico):
    “Dear Editor in Chief of X,
    all scientists working in the field Y know that your journal is very important, but unfortunately your journal does not appear in the ANVUR list for the scientific sector Y. They simply forgot youe very esteemed and well-known journal.
    What is the ANVUR ? Well, it is a long history…”

    Ancora piu’ imbarazzante chiedere a un direttore di andare ad elemosinare la promozione del suo giornale da una incomprensibile serie B alla serie A:

    “Dear Editor in Chief of A,
    all scientists working in the field B know that your journal is very important, but unfortuntately your journal has been classified in the series B of the the ANVUR list for the scientific sector Y.
    What is the ANVUR ? Well, it is a long history… [segue speigazione]. Might you be so kind to officially write the ANVUR committee in order to implore them to upgrade your journal to series A ?
    You know, my career depends on your writing the above-mentioned letter ! In attachment you can find a photo of my 6 children, my poor wife and my 94-years old uncle Ambrogio : their future welfare depends on you !!”

    Non sto solo facendo dell’ironia sugli elenchetti di riviste, ma parlo anche sul serio: mi trovo nella condizione di dover scrivere due lettere del primo tipo e 3 del secondo.

    Best wish… ehmmm Cari Saluti,
    Alberto

  2. Scrivo solo per dire che anch’io ho inviato due lettere del primo tipo di quelle descritte da D’Onofrio, a due direttori di riviste (una di storie l’altra di filosofia), che erano state dimenticate dal GEV, nonostante le società di settore le avessero proposte all’ANVUR e nonostante si tratti di riviste con una diffusione buona, migliore di quella di molte riviste listate.

    Assieme al direttore di una di queste riviste scrissi tempo fa a Graziosi, il quale ci rispose che i rankings erano immodificabili fino alla prossima tornata.
    Probabilmente devono avere ricevuto molte lettere di protesta come la nostra. Speriamo che i nuovi elenchi siano esaustivi.

    Luca

  3. Guido Abbattista says:

    Vorrei invitare a distinguere tra le liste di riviste di aree 10-14 elaborate ai fini VQR e quelle che serviranno ai fini delle abilitazioni/qualificazioni. Queste ultime non rischiano omissioni, perché devono riguardare le riviste su cui hanno pubblicato gli appartenenti a un dato settore concorsuale, irrilvante se nazionali o internazionali. Il fatto che certamente le valutazioni delle prime liste si trasferiranno sulle seconde mantiene tuttavia al centro dell’attenzone il problema dei criteri. Sarebbe indispensabile che questi criteri – a tutti noi ben noti – fossero ufficialmente formulati. E ancora di più che le modalità di loro applicazione da parte delle società scientifiche fosse sorvegliata, almeno inducendo forme ampie di condivisione e collaborazione (mancate in occasione della VQR). Un altro problema assai serio di cui tenere conto è quello della retro-attività di quei criteri. Già si è posto per la VQR, anche se in misura inferiore, dato il carattere limitato e selezionato delle pubblicazioni. Ma per le abilitazioni/qualificazioni si chiedono valutazioni che riguardano pubblicazioni dei 10 anni antecedenti. Si tratta di un intervallo di tempo in cui le prassi di pubblicazione possono essere cambiate anche significativamente. Estendere all’indietro criteri che oggi consideriamo acquisiti rischia di cancellare dai computi un numero eccessivo di pubblicazioni e quindi di potenziali candidati e commissari. Ciò detto, penso che un punto di equilibrio possa essere sicuramente raggiunto, se le società lavorano seriamente, se l’ANVUR fa la sua parte con la necessaria chiarezza e se viene lasciato tempo sufficiente per non fare operazioni affrettate. Certo, sono molti “se”…Ma stiamo attenti a un rischio serissimo: che a suon di critiche finisca col prevalere un orientamento tale da impedire di distinguere il grano dal loglio, anche se, come dice Gillies, è meglio far passare un po’ di loglio in più che rischiare di buttare via qualche bel chicco di grano.

Leave a Reply

Newsletter Powered By : XYZScripts.com
http://alicefilm.com/ - http://alittleboysblog.net/ - http://brasssolutions.com/ - http://brunodunker.com/ - http://aoload.com/ - http://benidilusso.com/