In due documenti ufficiali di Anvur troviamo riferimenti (per certi versi inquietanti) ad un nuovo filone per la valutazione della ricerca nelle aree umanistiche, ovvero all’idea di valutare i lavori contando le recensioni ricevute  sulle sole riviste di fascia A e/o in quelle presenti nelle basi di dati Web of Science e Scopus. Naturalmente, l’Agenzia non è in grado di distinguere recensioni favorevoli e sfavorevoli. Quindi tutto nel calderone: tutto fa brodo, Ora, se questa trovata dovesse prendere piede, ci troveremo di fronte ad un’incentivazione di comportamenti opportunistici, quando non fraudolenti, oltre che al rafforzamento del potere accademico di chi siede nei board di riviste di classe A. Osiamo sperare in un ripensamento, e soprattutto in un intervento deciso da parte degli umanisti, prima che larga parte dell’accademia italiana sia trasformata in uno squallido “mercato delle recensioni”.

La valutazione della ricerca nelle scienze umane continua a non disporre di strumenti adeguati; ciò vale in particolare per i criteri di tipo quantitativo o quali-quantitativo, come è di moda dire in questi ultimi tempi. In particolare non esistono attualmente sistemi di valutazione che si fondino su indicatori capaci di rispecchiare anche lontanamente la qualità dei lavori degli umanisti, il che conduce spesso alla scelta, peraltro anch’essa sbagliata, di limitarsi a una semplice conta dei lavori.

In un workshop organizzato da Anvur il 17 novembre 2014 sono stati presentati alcuni progetti di valutazione della ricerca nella HSS svolti in altri paesi europei: essi, tuttavia, sono ancora a livello di ricerca scientifica e non hanno trovato alcuna applicazione pratica nelle valutazioni nazionali.

In Italia la riflessione sulla valutazione nelle scienze umane non ha fatto grandi progressi, e soprattutto non sono stati avviati studi scientifici o progetti pilota su queste tematiche.

In due documenti ufficiali di Anvur troviamo però riferimenti (per certi versi inquietanti) a quello che, a quanto pare, potrebbe diventare un nuovo filone per la valutazione della ricerca nelle aree umanistiche.

Nelle linee guida per la compilazione della Scheda SUA RD si legge quanto segue:

Nei settori non bibliometrici, il cui elenco è riportato nell’allegato B al DM 76/2012 e nella Delibera ANVUR n. 50 del 21/06/2012 (consultabile sul sito ANVUR), rispetto alle sole monografie di ricerca e alle edizioni critiche, l’autore potrà segnalare in un’apposita finestra le recensioni ricevute nel corso dell’anno di riferimento sulle sole riviste di fascia A e/o in quelle presenti nelle basi di dati Web of Science e Scopus. Le riviste di fascia A sono quelle presenti nella lista ANVUR aggiornata (consultabile sul sito dell’ANVUR) .

Analogamente, nel documento finale sulla valutazione dei dottorati si legge che:

Per le aree non bibliometriche l’indicatore è rappresentato da una valutazione delle pubblicazioni presentate da ogni membro del collegio, opportunamente pesate in modo da tener conto delle specificità di ogni area. Ogni membro del collegio selezionerà le sue pubblicazioni sulla base della tipologia dell’Allegato 1 tenendo conto che verrà data preferenza, nell’ordine,alle monografie di ricerca e prodotti equivalenti recensiti su riviste di fascia A (ASN),dei cui organi di direzione gli autori non fanno a vario titolo parte, rispetto a quelli non recensiti; ai saggi, o prodotto equivalente, e in subordine agli altri contributi pubblicati in volumi recensiti su riviste di fascia A (ASN),dei cui organi di direzione gli autori non fanno a vario titolo parte, rispetto ai contributi in volumi non recensiti; agli articoli e in subordine agli altri contributi in rivista di fascia A (ASN) rispetto ai prodotti equivalenti apparsi sulle riviste classificate come scientifiche (ASN); agli altri tipi di pubblicazione recensiti o discussi in riviste di fascia A (ASN) rispetto a quelli né recensiti né discussi. I membri del collegio avranno cura di indicare gli estremi della o delle recensioni alle loro pubblicazioni, escludendo quelle apparse su riviste dei cui organi di direzione fanno a vario titolo parte. Non verranno considerate riedizioni e/o traduzioni di opere proprie già pubblicate in passato. L’indicatore si calcola come rapporto tra la somma pesata delle pubblicazioni dei membri del Collegio, divisa per cinque volte il numero di membri del Collegio, e la somma pesata delle pubblicazioni presentate da tutti i membri dei Collegi di Dottorato di quel Settore Concorsuale (o in subordine di quell’Area), divisa per cinque volte il numero di membri dei Collegi nel medesimo Settore Concorsuale (o in subordine di quell’Area)

Appare a questo punto opportuno elencare alcune perplessità e criticità, anche tenendo conto che nella breve storia di Anvur è già accaduto che ciò che nasce come esperimento o richiesta alla quale è facoltativo aderire sia poi diventato regola, senza un adeguato periodo di sperimentazione.

  1. Il dato non è obbligatorio. La sua mancanza non indica nulla rispetto alla qualità dell’opera perché l’autore potrebbe non aver inserito le recensioni. Il dato risulta dunque inutilizzabile sia come elemento di discriminazione (monografia con recensione vale più di monografia senza recensione), sia come elemento di confronto
  2. Il contenuto delle recensioni non è verificabile. La recensione potrebbe essere anche fortemente critica o pesantemente negativa. Una monografia con una recensione fortemente negativa vale davvero di più di una senza recensioni?
  3. I tempi di maturazione delle recensioni variano molto da settore a settore, e sono legati oltre ai tempi tipici di diffusione delle ricerche nelle diverse comunità disciplinari, anche al mezzo di disseminazione (una monografia cartacea fatica di più a raggiungere tutti i membri della comunità che una monografia digitale, a parità di qualità intrinseca di un lavoro le possibilità di disseminazione offerte da una grande casa editrice internazionale e quelle offerte da una casa editrice nazionale non sono identiche)
  4. la scelta delle opere da recensire, in molti settori, è spesso casuale, e comunque non sistematicamente correlata all’importanza effettiva del contributo

Inoltre, fino ad ora è stato detto agli autori che le recensioni non valgono per la loro valutazione. Vale a dire che le recensioni che un autore scrive, anche se critiche e di vasta estensione non gli sono attribuite come prodotto valido per la valutazione: così è stato per la scorsa VQR. Ora esse diventano però fondamentali (in alcuni casi discriminanti) per la valutazione dei lavori dei colleghi.

Cosa potrebbe succedere quindi alla luce di queste nuove indicazioni di Anvur?

Per antica tradizione le recensioni critiche sono una parte importante del dibattito scientifico nelle comunità accademiche delle scienze umane. Basti dire che esistono tuttora riviste prestigiose costituite integralmente o in larga parte di sole recensioni: fra queste, ad esempio, Gnomon e il Bonner Jahrbücher. Inoltre, fino a non  molto tempo fa – ma talvolta capita ancora – una severa stroncatura ricevuta con una recensione vergata da autore autorevole, poteva incidere in modo determinante (quando non fatale) sulla carriera accademica del recensito. Ora, dopo aver umiliato questo pur nobile genere letterario nella scorsa VQR, l’Agenzia, in caccia di nuovi strumenti per la valutazione delle HSS, lo riscopre in modo tanto improvvido quanto insensato.

Naturalmente, l’Agenzia non è in grado di distinguere recensioni favorevoli e sfavorevoli – e questo è ovvio, anche perché le sfumature di una recensione sono infinite dalla stroncatura alla critica benevola, alla recensione entusiastica a quella del tutto neutra. Quindi tutto nel calderone: tutto fa brodo, verrebbe da dire.

Inoltre, in questo modo si rafforzano gli effetti perniciosi già visti all’opera nel corso dell’ASN, per la quale anche solo una mezza paginetta (segnalazione bibliografica, non recensione!) apparsa su di una rivista di classe A poteva favorire il superamento della famosa “terza mediana” (peraltro solitamente di valore bassissimo).

Chi scrive ha già ricordato tante volte le ragioni per le quali le classifiche – o i “ratings” di riviste, come ama chiamarli l’Agenzia – fanno male alle comunità scientifiche: ingessano il panorama editoriale e inducono comportamenti opportunistici quando non fraudolenti. Ora, se la trovata delle recensioni su riviste di  classe A dovesse prendere piede, ci troveremo di fronte in tempi rapidi a un rafforzamento di questi fenomeni, oltre che del potere accademico di chi dirige riviste di classe A o siede nel loro board. Tanto più che tutto può passare per recensione: anche dieci sciatte righe collocate al posto giusto e al momento giusto per fare un favore a un collega.

Peggio ancora, se si pensa che nella scheda SUA-RD si è perfino previsto che possano essere indicate recensioni non ancora pubblicate, ma semplicemente accettate per la pubblicazione: chi verificherà la loro effettiva pubblicazione?

Cattura

 

Noi non siamo contrari a che si rifletta su nuovi criteri e nuovi indicatori, ma troviamo sbagliata la modalità con cui Anvur ogni volta li introduce, in mancanza di una valutazione e di un dibattito scientifico approfondito. Non si può andare sempre a tentoni nel buio.

Se lo studio sull’impiego delle citazioni per la valutazione delle monografie era una priorità, la richiesta poteva essere inclusa nel bando per idee di ricerca sulla valutazione nelle scienze umane che recentemente ha finanziato progetti di tutt’altro indirizzo.

Si poteva creare una banca dati contenente le recensioni (tentando una pur difficilissima suddivisione fra positive e negative) e si poteva cominciare a riflettere su come utilizzare le recensioni, al di fuori però da qualsiasi processo di valutazione in atto. Nulla di tutto ciò è avvenuto.

Ancora una volta l’Agenzia non si rende conto (non osiamo pensare al dolo) di come la valutazione sia esercizio delicatissimo perché occorre evitare a tutti i costi che esso orienti al peggio e non al meglio i comportamenti delle comunità scientifiche. Osiamo sperare in un ripensamento, e soprattutto in un intervento deciso da parte degli umanisti, prima che larga parte dell’accademia italiana sia trasformata in uno squallido “mercato delle recensioni”.

Send to Kindle

8 Commenti

  1. “Ciascuno in ogni tempo fa storia di quel che sa” e l’Anvur – o meglio – gli estensori dei documenti dell’Anvur hanno rivelato, per l’ennesima volta, di avere una idea alquanto vada delle cose di cui parlano e scrivono. Occorre distinguere innanzi tutto tra recensione e notizia. La notizia è breve, succinta, descrive il contenuto del saggio, libro, articolo, ma non emette giudizi di valore, non segnala errori o inconcruenze – a meno che non siano davvero eclatanti – . Così sono, ad esempio, le migliaia di notizie raccolte ogni anno da Medioevo latino. Segnalano che su quel determinato autore/argomento etc. è stato scritto un determinato studio (articolo, monografia, etc). Nient’altro. Nessun giudizio di valore; nessun plauso e nessuna stroncatura. Una banca dati, niente di più.
    Ben altro sono le recensioni. Memorabile è rimasta quella di Carlo Dionisotti su The Classical Heritage and its Beneficiaries (Cambridge 1954) di R.R. Bolgar. Una recensione come quella di Dionisiotti (consiglio ai membri dell’Anvur di andarsela a leggere, in Geografia e storia della letteratura italiana, Einaudi) distrugge una carriera, rende vano tutto quello che è stato fatto fino a quel momento e getterà un’ombra di sospetto su tutto quello che si deciderà di pubblicare in futuro.
    Soltanto un folle potrebbe segnalare nel proprio curriculum una recensione in cui il proprio lavoro è stato stroncato. Non restano dunque che le recensioni ‘buone’, che esistono, ma sono rare, perché una recensione che tesse solo allori – senza che sia segnalata alcuna menda, alcun errore – è una recensione che puzza di bruciato lontano un miglio, che potrebbe essere stata scritta (e spesso è stata scritta) da un amico, da un collega, etc. Con questo non intendo affatto dire che non esistono buoni lavori e recensioni corrette ma il “mercato delle recensioni” di cui si parla in quest’articolo è sempre esistito e una decisione in tal senso da parte dell’Anvur non farebbe che aumentare lo strapotere dei baroni i quali da sempre si sono arrogati il potere di decidere cosa deve essere recensito e su cosa deve invece calare il silenzio.

    • “Una recensione come quella di Dionisiotti (consiglio ai membri dell’Anvur di andarsela a leggere, in Geografia e storia della letteratura italiana, Einaudi) distrugge una carriera, rende vano tutto quello che è stato fatto fino a quel momento e getterà un’ombra di sospetto su tutto quello che si deciderà di pubblicare in futuro.”
      ______________________
      Veramente terribile: un marchio infamante e senza appello. Qualcosa di simile al destino che dovrebbe essere riservato a chi gestisce le agenzie di valutazione come fabbriche di cucù.

  2. Il problema indicato è parte di un problema più generale: la confusione tra lo stimatore e la variabile di interesse.
    L’ANVUR vorrebbe valutare se un ricercatore/dipartimento/ateneo è buono o no: questa è la variabile, ma non è di facile misurazione. L’ANVUR adotta allora (come fanno tutti) uno stimatore: se pubblica tanto, se viene citato, se viene recensito, etc. Nella migliore delle ipotesi lo stimatore correla con un valore di r elevato con la variabile; nel caso in esame si presume che correli. Una volta però che la procedura entra nell’uso la gente anziché perseguire la variabile (essere bravi) si mette a perseguire lo stimatore (pubblicare tanto e procurarsi citazioni o recensioni). Questo fa abbassare la correlazione r tra stimatore e variabile, fino a rendere inservibile lo stimatore stesso. Chissà se l’ANVUR lo capirà prima di aver definitivamente distrutto la ricerca italiana e la sua etica?
    Ovviamente uno potrebbe chiedersi: se la variabile non è misurabile e lo stimatore può essere truccato cosa dovrebbe fare l’ANVUR? La risposta a questa domanda è duplice: 1) meno arroganza – le misure della qualità della ricerca sono intrinsecamente imprecise e non possono essere usate per tagliare teste; 2) usare stimatori resistenti alla manipolazione del valutato: ad esempio scartare le autocitazioni, leggere le recensioni anziché contarle, etc.

    • Concordo in pieno con questo commento. Meno che sul punto 2. Esistono stimatori resistenti alla manipolazione del valutato? Io ne dubito.
      Sui tuoi due esempi. Scartare le autocitazioni purtroppo non è sufficiente. Basta costruire un bel triangolo citazionale: io cito te e lui, lui cita me e te, tu citi me e lui. Dove io, te, lui sono individui o riviste. Di riviste che hanno adottato questa strategia per scalare i ranking citazionali ne abbiamo esempi eclatanti in Italia (riviste bloccate da WoS nel 2012), che probabilmnete hanno avuto effetti molto forti sui risultati della VQR di alcune aree mediche.
      E leggere le recensioni non è sufficiente se la scelta dell’agenzia è considerare le recensioni come metro di valutazione, perché non è per nulla difficile mettere in piedi un bel suk recensorio in cui tu recensisci me, io recensisco lui che lui in cambio recensisce te etc. etc.

    • Non solo: leggere le recensioni è impossibile. C’è una varietà infinita di recensioni che vanno dalla stroncatura all’elogio pieno e in non pochi casi le recensioni possono essere lunghe come articoli. Ma poi dobbiamo fare la peer review o no? Se è per review, che i pari leggano ciò che devono valutare e si assumano la responsabilità di valutarlo. Possibilmente con nome e cognome ben in vista.

  3. E’ vero quello che dice Alberto Baccini sul fatto che nessuno stimatore è assolutamente resistente alla manipolazione da parte del soggetto valutato; ma alcuni sono più deboli di altri. Ad esempio, nelle scienze con parametri bibliometrici, l’impact factor di una rivista che pubblica 20.000 pagine all’anno è difficile da modificare ad opera del soggetto, mentre quello di una rivista che ne pubblica 1.000 è relativamente facile (ci sono esempi di riviste escluse da ISI per le autocitazioni). L’ANVUR stesso a volte ha privilegiato stimatori deboli, anche quando ce ne erano di meno deboli: ad esempio, con tutti i loro difetti, i criteri di valutazione delle pubblicazioni adottati nella VQR erano più robusti di quelli adottati nelle ASN.

    • ” i criteri di valutazione delle pubblicazioni adottati nella VQR erano più robusti di quelli adottati nelle ASN”
      ===================
      Difficile fare una rigorosa analisi comparativa, ma bisogna tener conto che le soglie degli indicatori usati nella VQR si basavano sui percentili delle Subject Categories (SC) di Thomson-Reuters (concepite per scopi del tutto estranei alle necessità di un esercizio di valutazione della ricerca). Se TR contempla una SC di nicchia, dentro quella nicchia c’è inevitabilmente una quota di riviste “eccellenti” per ANVUR. Se quella stessa nicchia, non è ritenuta degna di avere una SC tutta sua, ma viene inclusa in una SC più grande, magari a grande intensità bibliometrica, nessuna delle riviste di quella nicchia sarà “eccellente” per ANVUR e gli articoli faticheranno a superare anche le soglie citazionali. È evidente che l’esistenza o meno di una SC nel database della TR influisce sul futuro di intere linee di ricerca. A chi spetta questa decisione? Nel nostro sistema valutativo viene delegata ad un’azienda che fornisce servizi bibliometrici …

  4. Caro Giuseppe, il punto di questa discussione non era se gli stimatori VQR o ASN fossero buoni o cattivi (cioè avessero una correlazione alta o bassa con la variabile di interesse, nella fattispecie la validità della ricerca del soggetto valutato, qualunque esso fosse). Il punto era se gli stimatori fossero deboli o resistenti rispetto alla futura e prevedibile ottimizzazione da parte dei soggetti valutati: infatti uno stimatore debole rispetto all’azione del candidato perde la sua correlazione con la variabile di interesse.
    Ad esempio se tu prendi come stimatore della qualità della ricerca il numero delle citazioni nudo e crudo, questo parametro è debole, perché il candidato da ora in avanti prenderà ad autocitarsi il più possibile. Se tu prendi il numero delle citazioni, ma scarti le autocitazioni, rinforzi il tuo stimatore, che resta permeabile ad accordi crociati (io cito te e tu citi me). Se tu prendi le citazioni ma scarti le autocitazioni e le citazioni provenienti dallo stesso paese dell’autore rinforzi ulteriormente il tuo stimatore (l’accordo crociato bisogna farlo su scala internazionale); etc.
    Uno stimatore è buono se ha alta correlazione con la variabile che deve misurare; è debole se le azioni del candidato interessato hanno effetto sulla sua correlazione con la variabile. La tua tesi è che i parametri VQR non erano necessariamente equi e buoni (e io sono d’accordo); la mia tesi è che i parametri VQR, buoni o cattivi che fossero, erano meno deboli di quelli ASN.
    Ovviamente stiamo facendo una questione piuttosto sottile, che all’ANVUR forse neppure capirebbero …

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.