In questo periodo sono in fase di svolgimento le riunioni dei presidenti di molte società scientifiche di discipline umanistiche (per lo più appartenenti alle aree 10 e 11) in ordine alle possibili indicazioni da fornire all’apposito “Gruppo di ricerca” Anvur che ha il compito «di esplorare lo stato dell’arte internazionale della valutazione nelle discipline umanistiche e di discutere vantaggi e svantaggi delle varie soluzioni sperimentate, nel confronto puntuale con la situazione italiana in vista della predisposizione delle prossime schede per la VQR». Il problema che ci si pone è semplice: formulare pareri e raccomandazioni su una serie di temi sollevati dal Direttivo Anvur e così migliorare il prossimo esercizio della VQR, rispetto a quello passato, in base all’esperienza maturata, specie nella valutazione dei “prodotti scientifici”, nella precisazione del significato di “internazionalizzazione” e nel lavoro dei referee. Già su Roars avevamo elaborato delle proposte in riferimento a tutti i settori disciplinari, ma che potrebbero essere utilmente presi in considerazione anche per i settori umanisti. Eppure questi hanno delle specificità che sono emerse nel corso della discussione in seno alle società scientifiche di area.
Nel corso delle riunioni – a quanto mi risulta – è in effetti risultato evidente l’imbarazzo nel cercare di formulare criteri che possano tradursi operativamente in concreti indirizzi e suggerimenti da fornire all’opera dei reviewers per la VQR o da tradurre in indicatori quantitativi controllabili e riproducibili per l’ASN o la scheda SUA dipartimentale, giacché v’è la consapevolezza di quanto sia difficile – appunto nelle discipline umanistiche – ingabbiare in pochi indicatori un giudizio di peer review, che inevitabilmente deve tenere conto di fattori assai numerosi e che non può prescindere da quella “sapienza” ed esperienza che ciascun “interno” alla disciplina matura nel tempo, con la quale valuta un’opera scientifica. E così accade che le indicazioni espresse – spesso improntate a indubbia ragionevolezza e in un’ottica positiva di “riduzione del danno” – suscitano sempre controesempi, obiezioni, possibili escamotage che i “furbetti” potrebbero mettere in atto, sicché ad ogni mossa fa riscontro una contromossa che sembra vanificarne l’efficacia; per ogni misura v’è l’antidoto che ne disinnesca la pericolosità o che induce a “trucchi” e scappatoie.
Uno dei punti più critici che le società di indirizzo umanistico si trovano ad affrontare è quello della valutazione delle monografie e dell’apprezzamento del loro grado di “internazionalizzazione” (che è un aspetto più generale che riguarda nel suo complesso la produzione scientifica). Dando per scontata e accettata l’importanza di questo tipo di “prodotto” per le discipline umanistiche, diversamente da quanto accade in quelle “bibliometriche” dove contano più gli articoli su riviste specializzate, nasce il problema della loro qualità. Ciascuno potrebbe, infatti, far stampare una ponderosa opera dal tipografo sotto casa, piena di insulsaggini. Come evitare questi casi e quindi avere degli indicatori affidabili da suggerire ai reviewer per tenerne conto? Una volta era il commissario del concorso a cui si sottoponeva la monografia a dare un giudizio ed eventualmente bocciare impietosamente quelle palesemente truffaldine, ma quando si voglia addivenire a parametri condivisi e quanto meno possibile soggetti all’arbitrio soggettivo (o addirittura rientranti in una griglia predisposta), come fare? È sufficiente accertare l’esistenza di un comitato scientifico della collana in cui l’opera viene pubblicata? Certo sarebbe opportuno. Ma nel caso in cui l’editore dovesse fare un comitato scientifico con gli amici del condominio, chi discrimina la qualità dei suoi componenti? Bisognerebbe ricorrere ad altri indicatori oggettivi, ad es. l’essere o meno incardinati in università ed enti di ricerca. Ma anche in questo modo, sarebbe assai facile trovare 8-10 nomi disponibili, anche per semplice cortesia verso il direttore della collana; tanto più che il fare parte del comitato scientifico di una collana potrebbe rientrare tra i meriti valutabili (come sta accadendo, ad es. in alcuni atenei, per il riconoscimento premiale dello “scatto biennale”!). Ancora, bisogna ricorrere alla qualità dell’editore, se sia o meno di “rilievo nazionale”? In effetti mi risulta che parecchie persone non abbiano conseguita l’abilitazione perché il commissario straniero ha addotto proprio questa motivazione. Ma a parte l’impraticabilità giuridica di una simile opzione (sono pronti i ricorsi alla giustizia per alterazione del mercato, sicché pare che il Miur non voglia saggiamente sentirne parlare), anche essa porterebbe a conseguenze indesiderate: monopolio (scientifico e commerciale), innalzamento dei “contributi” per la pubblicazione, e così via.
Inoltre, come valutare la loro internazionalizzazione? Bisogna premiare le opere pubblicate in lingua straniera? E perché solo l’inglese e non, ad es., anche il tedesco? E inoltre è ormai noto che anche primari editori internazionali hanno smagato un po’ gli italiani e si sono attrezzati per pubblicare le loro opere, magari mal tradotte; senza considerare gli editori nati ad hoc, a volte in esotici paesi, pronti a pubblicare a pagamento qualunque paccottiglia venga loro proposta. E dunque qualcuno potrebbe giustamente suggerire che a caratterizzare l’internazionalità non sia la lingua, ma la qualità dell’opera, in grado di inserirsi ai livelli alti del dibattito disciplinare. Ma chi valuta ciò e come si concretizza in eventuali formulari preimpostati tale giudizio, inevitabilmente di merito e ascrivibile all’esperienza e alla maturità scientifica di chi esamina il “prodotto”? Ci si deve affidare alla discrezionalità del valutatore: appunto quanto avviene con la VQR, per cui qualsiasi criterio si potrà formulare questo varrà come un “suggerimento” per chi valuta, che comunque avrà l’ultima parola in base alla sua “esperienza”; e non sembra sia possibile – allo stato attuale dell’arte – andare al di là di queste “colonne d’Ercole”. Più complessa e difficile diventa la soluzione del problema, per i motivi detti, per l’ASN e le schede SUA dipartimentali, specie quando si voglia dare un operatività concreta a criteri quali quelli suggeriti dall’Anvur: “pesare” diversamente le monografie rispetto agli articoli nei vari esercizi di valutazione, classificare i libri per categorie o utilizzare le recensioni che se ne fanno in riviste prestigiose. Anche in questi casi ad ogni misura corrisponderebbe una contromisura pronta a vanificarla.
Ne segue che – almeno per la VQR – ha un peso decisivo il problema della scelta dei reviewer. Sulla base della passata esperienza si è riscontrato non solo la difficoltà di reperirne in numero sufficiente (viste anche le numerose defezioni), ma spesso si sono pure constatati comportamenti anomali, caratterizzati da eccessiva indulgenza (todos cabelleros) o severità (tutti asini). Per il primo problema, non si può fare a meno di utilizzare i ricercatori come fatto nella passata VQR, nonostante il mugugno di molti docenti ordinari. In effetti – a parte la situazione di necessità – vi sono ricercatori spesso più bravi degli ordinari e degli associati. E nondimeno non si può fare a meno di rilevare come di fatto tale utilizzo impatta – a mio avviso – con una incongruenza che è nelle cose stesse: si dà il caso che i ricercatori siano valutati nella ASN dagli ordinari per accertare la loro conseguita “maturità scientifica” alle fasce superiori; e poi i ricercatori “ricambiano” valutando a loro volta gli ordinari in merito alla eccellenza o meno dei loro prodotti scientifici. Ma a parte questa incongruenza di carattere logico-concettuale, se poi capitasse che un ricercatore dovesse valutare l’ordinario che è stato nella commissione e che lo ha bocciato all’ASN? Come non temere che il suo giudizio sia condizionato da questa evenienza? Certo, la proposta saggia di poter da parte dei giudicati proporre un lista di “embargo” di tre (o più) persone può in qualche modo evitare plateali “vendette”; ma purtroppo per vendicarsi ci sono tante vie, spesso assai tortuose. Sarebbe pertanto in questo caso indispensabile assicurare delle forme di controllo che impediscano possibili “conflitti di interessi” o vendette trasversali, in modo da dare una maggiore garanzia per una valutazione serena.
Per il secondo problema (il caso dei giudizi estremi) si potrebbe pensare a una possibile “valutazione dei valutatori” – così come avviene in Inghilterra –, in modo che questi ultimi, sapendo che il loro operato sarà controllato, siano più morigerati nelle loro pulsioni giudicatrici. Ma a parte la difficile realizzabilità di questa ipotesi, essa potrebbe innescare un processo all’infinito, dando ragione a Eduardo: “le valutazioni non finiscono mai”. Sicché alla fine l’unica garanzia che resta per far fronte ad arbitri e “malversazioni” è la piena trasparenza del processo di peer reviewing, le cui modalità di attuazione devono essere con cura definite e pensate: e sarebbe questo un punto su cui occorrerebbe avviare una riflessione più approfondita rispetto a quanto sinora fatto.
Un’ultima cosa è infine da rilevare, ovvero l’assenza nel dibattito sulla valutazione delle discipline umanistiche nelle società scientifiche del riferimento e quelle che sono le migliori pratiche internazionali e alla abbondante letteratura sul tema, che a sua volta riflette un vizio costitutivo della valutazione made in Anvur, e cioè la pretesa di elaborare criteri tutti propri, senza avere né l’esperienza né la competenza per farlo. Ad es., le mediane sono una invenzione del tutto italiana, non riscontrabile altrove, e sappiamo a quali problemi essa abbia portato.
Resta il fatto – a mio avviso – che la valutazione nelle discipline umanistiche solleva in ogni caso una tale ridda di difficoltà da far sorgere spontanea la domanda: non sarebbe più opportuno e utile spendere le elevate somme per essa necessarie allo scopo di adottare delle misure ad hoc, oculatamente finalizzate, che effettivamente premino e incoraggino il merito e non abbiano invece il senso di una logica “premio-punitiva”? La quale ha, tra gli altri, lo svantaggio di essere un’arma con un solo colpo in canna: sparato il quale, la selvaggina sa ormai in quali nascondigli rintanarsi e come evitare i futuri colpi, predisponendo i comportamenti idonei alla propria sopravvivenza. Le discipline umanistiche correrebbero così il rischio di essere – per parafrasare Isaiah Berlin – “il legno storto della valutatività” e quindi di essere ulteriormente penalizzate nella considerazione sociale della loro utilità (o “inutilità”).
Alla domanda:”non sarebbe più opportuno e utile spendere le elevate somme per essa necessarie allo scopo di adottare delle misure ad hoc, oculatamente finalizzate, che effettivamente premino e incoraggino il merito e non abbiano invece il senso di una logica “premio-punitiva”? ”
la risposta e’ tali misure ad hoc NON ESISTONO. Il peccato originale di tutta la VQR e’ il tentativo di ingegnerizzare la valutazione superando il “peer – review”. Questo e’ stato giustificato in due modi: 1-presunta neutralità dei criteri numerici, 2- gran mole di lavori da valutare. Il punto 1) si e’ dimostrato palesemente falso perché’ i numeri si possono distorcere e molti criteri erano instabili (cioè variano di molto pur con piccole modifiche dei dati). I sistemi di valutazione seri si affidano al peer review valutando solo una quota dei prodotti, infatti se lo scopo e’ valutare dipartimenti e NON I SINGOLI, si può restringere la valutazione peer -review ad un numero limitato di prodotti selezionati dalle strutture. Ma questo comporta che i finanziamenti dovrebbero andare direttamente ai dipartimenti e ovviamente per avere una logica, il finanziamento andrebbe legato al rapporto tra prodotti valutati positivamente e membri della struttura. Sul fatto che i ricercatori partecipino quali valutatori mi pare che debba essere scontato che CHIUNQUE abbia competenze possa farlo senza distinzione di ruolo accademico. La questione e’ garantire,come accade nei sistemi seri, l’anonimato dei referees.
Attenzione a non confondere la peer review anonima che si fa per i progetti e per l’accettazione degli articoli su rivista, con una valutazione ex-post nell’ambito di un research assessment nazionale.
In questo secondo caso l’anonimato dei referee non è detto che sia una buona scelta. Nel sistema serio per eccellenza (REF britannico) sono i membri dei panel a fare le revisioni. E tutto alla luce del sole. Credo che questo avvenga perché si vogliono evitare comportamenti opportunistici, visto che il valutatore ci mette la faccia. Non c’è bisogno di sapere chi ha valutato che cosa. Si sa solo chi ha valutato. (Siamo lontani anni luce dalla “trasparenza anvuriana” che ha rilasciato un inutile elenco di migliaia di nomi in ordine alfabetico, a mesi di distanza dalla conclusione della VQR, da cui sono stati espunti tutti coloro che hanno chiesto di esserlo).
[
Non e’ esattamente così infatti nel REF i membri del panel prendono su di loro la responsabilita’ della valutazione ma possono avvalersi di tutti gli esperti anonimi che vogliono. La bibliometria non e’ usata in nessun caso per valutare ma al più come controllo ex post, per evidenziare potenziali distorsioni nei giudizi.
“Non e’ esattamente così infatti nel REF i membri del panel prendono su di loro la responsabilita’ della valutazione ma possono avvalersi di tutti gli esperti anonimi che vogliono.”
——————————————–
Invece è così. “The final lists of REF panel members and specialist advisers are provided below, containing details of all individuals that served on the REF2014 panels.” http://www.ref.ac.uk/panels/panelmembership/
——————————————–
“La bibliometria non e’ usata in nessun caso per valutare ma al più come controllo ex post, per evidenziare potenziali distorsioni nei giudizi.”
——————————————–
La bibliometria non è usata per i giudizi. Ma non mi risulta che sia usata nel ref per evidenziare le distorsioni dei giudizi (ma non ho letto tutti i report). Mi sembra naturale che non venga usata perché la nozione di “distorsione del giudizio” non entra nella logica REF (a differenza della logica italica). Un prodotto è **** se è giudicato **** dal panel. Non c’è nulla rispetto al quale valutare una distorsione del giudizio. Si possono invece valutare comportamenti anomali di parti dei panel che possono aver percepito male la classificazione di qualità. Per questo i panel hanno svolto esercizi di calibrazione statistica dei giudizi.
Buongiorno, vi chiedo se le logiche ANVUR non violino
1) I diritti umani e la vita privata: premiare chi ha trascorso almeno 30 giorni in istituzioni estere non può essere un criterio. Molti docenti non possono né vogliono lasciare la propria famiglia (figli piccoli, genitori anziani) e questo non significa che studino meno di altri;
2) Il buon senso: la coautorialità con un docente straniero ha senso in un settore come l’italianistica in cui, ohibò, è normale scrivere in italiano e con italiani?
3)la conoscenza dei meccanismi di pubblicazione: l’inattività su un anno è insensata: uno studioso può avere quattro pubblicazioni in corso che l’editore stampa l’anno successivo. Talvolta capita e non significa nulla circa la sua produttività. L’inattività va misurata su periodi più lunghi.
4) Infine, se in un dipartimento l’unico inattivo risulta un ope legis del 1980, ha senso punire il dipartimento o lo stato dovrebbe punire se stesso per l’assunzione allegra di venticinque anni prima?
Volevo dire trentacinque, scusate.