“Io speriamo che mi selezionano”, 14 temi di candidati anvuriani – Parte I.

“Io speriamo che mi selezionano”, 14 temi di candidati anvuriani è un post a puntate in forma di  raccolta di quattordici temi svolti dai professori universitari che sono stati selezionati da un apposito comitato per far parte della rosa da cui il Ministro dell’Università e della ricerca Stefania Giannini ha appena scelto i prossimi membri del consiglio direttivo di ANVUR. Nei loro scritti, i selezionati raccontano ciò che pensano dell’ANVUR e della valutazione con innocenza, umorismo, refusi, errori grammaticali e di sintassi (appositamente non corretti, e dalla redazione opportunamente indicati con un [sic] o brevemente commentati). Si ricava un affresco realistico dello stato della “cultura della valutazione” nel nostro paese e di un’accademia italiana piena di professori che con coraggio sono disposti a farsi valutare e soprattutto a divenire valutatori. E si ricava anche una rappresentazione plastica della competenza e dell’attenzione con cui la commissione ha selezionato i candidati per il ministro.
(Il titolo del post e questa presentazione sono stati riadattati da questa voce di wikipedia.)

Per non togliervi il gusto di indovinare gli autori dei temi, abbiamo deciso di non rivelare subito i loro nomi, ma indicarli semplicemente come “Selezionato n. X”. Abbiamo anche attribuito un titolo sintetico ad ogni tema e un nom de plume al selezionato. I temi saranno 14, perché il quindicesimo pare alla Redazione di Roars ben fatto e del tutto condivisibile. I testi sono tratti verbatim dai documenti dei selezionati. La Redazione ROARS ha introdotto commenti esplicativi tra parentesi quadre in blu […], e sottolineato alcuni passaggi particolarmente involuti dal punto di vista sintattico o grammaticale, oltreché spesso, concettuale.

Selezionato n. 1 – Daniele Checchi [CV, elaborato] direttivo ANVUR
Sottomissione (quasi) obbligatoria – L’utilizzatore finale

Nonostante l’esercizio precedente del CIVR riferito al 2001-2003 avesse già sollevato il velo delle differenze  esistenti tra atenei e all’interno degli stessi atenei tra aree disciplinari diverse, la modalità con cui è stata organizzata la VQR riferita al periodo 2004-2010 (tutto il personale incardinato ha dovuto inviare prodotti di ricerca, proporzionalmente al periodo in cui è stato in servizio). [il periodo purtroppo rimane sospeso e qui il velo di mistero rimane non sollevato]

La nota legge di Goodhart, nata [sic] nel contesto delle politiche monetarie … produce effetti discorsivi [?]  anche nel campo della valutazione. Basti citare come esempio le liste delle riviste di fascia A: dal momento della loro pubblicazione esse sono diventate un criterio di scelta quasi obbligatorio per la sottomissione [sic] di articoli, con i pregi e i limiti che tale pratica ingenera [altro passaggio misterioso] (specialmente nell’intorno della soglia di ingresso in tale fascia) [nell’intorno della soglia? O è in fascia A o non lo è, tertium non datur]. In particolate [sic], nell’ambito delle discipline economiche e sociali analoghi rilievi possono essere rivolti alla scelta di pubblicazione [sic] nel formato di articoli o nel formato di volumi (dove [?] nella percezione comune i primi rappresentano una sede più prestigiosa dei secondi).

Se l’obiettivo di un monitoraggio costante che minimizzi le distorsioni nei comportamenti dei ricercatori costituisce la direzione  verso cui dovrebbe evolvere l’attività di ANVUR riferita alla produttività scientifica, occorre contestualmente domandarsi quale sia l’utilizzo di queste informazioni per gli utilizzatori finali .

Questo al doppio fine di offrire un supporto di tipo consulenziale al MIUR e agli enti di ricerca sorvegliati su vantaggi e limiti dell’adozione di schemi incentivanti, oltre che di correzione di eventuali storture emergenti dalla propria azione di monitoraggi [sic].

Ma è evidente come la varietà delle questioni che potrebbero essere studiate qualora in possesso di informazioni dettagliate su esaminandi ed esaminatori [il periodo rimane sospeso]: connessioni pregresse [etc.]

ANVUR ha costruito nel corso degli ultimi anni un piccolo nucleo di ricercatori che se seguiti adeguatamente possono estrarre molte informazioni dalle numerose banche dati disponibili [??]…qualora venissi nominato potrei contribuire alla sua evoluzione in un ufficio studi [il costituendo Centro studi per la bibliometria di stato, di cui ci siamo occupati altre volte].

A differenza di quanto accaduto con la valutazione della produttività scientifica, in questo caso [AVA ndr] è stato adottato un approccio più soft.

È tuttavia evidente che ANVUR è costretto [?] a muoversi in una situazione incerta dal punto di vista del quadro di indirizzo esercitato (o non esercitato) dal MIUR. Ogni processo valutativo tende infatti ad accentuare  le differenze, non solo perché valorizza le specificità ma anche perché mette a fuoco le debolezze.

Selezionato n. 2 – Raffaella Rumiati [CV, elaborato] direttivo ANVUR
Perinde ac cadaver – Nei secoli fedele

Innanzitutto è mia ferma convinzione che la valutazione sia uno strumento indispensabile per una politica della ricerca e dell’università adeguata a un paese moderno [con buona pace di tutta la letteratura che discute il punto, si parte con un atto di fede]. Altri paesi, come il Regno Unito, dove la ricerca e la formazione superiore sono indubbiamente molto avanzate, l’esercizio di valutazione è praticato da anni con successo [esistono decine di articoli e volumi che discutono  la desiderabilità e gli effetti dell’esercizio britannico].

iii) La valutazione è un processo che si deve basare su vari elementi il più possibile oggettivi. Innanzitutto deve servirsi di indicatori bibliometrici quantitativi quali l’h-index e il numero di citazioni di una pubblicazione [delle migliaia di indicatori quantitativi noti in letteratura se ne indicano due]. Tuttavia, poiché ambiti di ricerca diversi hanno missioni e caratteristiche intrinsecamente differenti, è giusto ricorrere anche a procedure di normalizzazione, per esempio introducendo i percentili (1). 1. Waltman, L.J. Calero-Medina, C., Kosten, J., Noyons, E.C.M., Tijssen, R.J.W., Van Eck, N.J., Van Leeuwen, T.N., Van Raan, A.F.J., Visser, M.S., & Wouters, P. (2012). The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation. Journal of the American Society for Information Science and Technology, 63, 2419–2432. [peccato che la citazione sia del tutto incongrua riferendosi ad una (vecchia ed ormai superata) versione degli indicatori del Leiden Ranking, dove si fa davvero fatica a trovare traccia di percentili…]

Pertanto i valutatori non dovrebbero delegare completamente il proprio giudizio ai dati quantitativi, ma dovrebbero completarlo anche con dati qualitativi [chissa come dovrebbe avvenire il completamento…].

Selezionato n. 3 – Guido Martinelli [CV, elaborato]
Captatio benevolentiae – L’amico degli amici

In molti casi i miei orientamenti in proposito sono maturati a seguito di discussioni con colleghi che hanno avuto un qualche ruolo nella VQR [captatio benevolentiae n. 1: sono amico degli amici]

Al contrario, pur avendo interagito in varie occasioni con alcuni dei membri attuali dell’ANVUR, e discusso con loro le problematiche relative alla valutazione, [captatio benevolentiae n. 2: sono amico del direttivo]

Poiché la valutazione si affina con la pratica, è essenziale al contrario [di cosa?] che la futura attività di valutazione, con tutte le modifiche che si vorranno effettuare, poggi sull’esperienza acquisita con la VQR negli ultimi anni, utilizzi le competenze che si sono formate [captatio benevolentiae n. 3: continuità con l’azione di ANVUR], e perché no anche gli errori commessi, per migliorare metodi e strategie;

Valorizzazione dell’eccellenza: I criteri di valutazione adottati dalla VQR non permettono di valorizzare a sufficienza le eccellenze nella ricerca, premiando piuttosto l’aspetto quantitativo relativo alla produttività [La VQR, come il RAE/REF non rilevano la produttività poiché fissano il numero massimo di prodotti da sottoporre a valutazione.]. Questo aspetto è già stato discusso con alcuni dei membri del presente Consiglio direttivo [captatio benevolentiae n. 4; il fatto che il direttivo discuta di questo dà la misura della “cultura della valutazione” che si respira dalle parti dell’ANVUR].

Ritengo assolutamente necessario mantenere una netta separazione tra organi di valutazione [quali? forse ANVUR?]  e organi di gestione/governo [quali? MIUR?] altrimenti c’è il rischio che l’organo di valutazione si trovi a valutare se stesso [non sequitur; nell’ordinamento italiano ANVUR è agenzia vigilata dal MIUR].

Selezionato n. 4 – Raffaele Di Raimo [CV, elaborato]
Credo quia absurdum – Il Teologo valutatore

Occorre che la necessità sia avvertita; occorre cioè che il cambiamento sia percepito come inevitabile a causa di una realtà parimenti ineluttabile fatta di procedimenti semplici, conosciuti nei presupposti e certi e rigorosi nelle conseguenze [sic]. Questo primo punto si può sintetizzare concludendo che è opportuno che il lavoro svolto fino ad ora dall’ANVUR sia proseguito sia proseguito [sic] perseguendo i seguenti obiettivi: … 2) formalizzazione regolamentare semplice e rigorosa dei medesimi procedimenti e dei relativi criteri talsì [sic] da conferire loro certezza e oggettività [qualche problema sulla nozione di oggettività sembra emergere…]; […] 4) ineluttabilità delle conseguenze [o della valutazione come giudizio divino], anche quando fortemente o definitivamente penalizzanti [il “definitivamente penalizzanti” sembra preludere a qualcosa di ancora più serio delle zombizzazioni e del mobbing auspicato dai consulenti scelti dal precedente direttivo…]

A valle di questi primi profili, è poi da verificare l’opportunità di distinguere due ordini di misure: un ordine primo finalizzato a migliorare la qualità media del sistema; un secondo volto a sperimentare metodi incentivanti lo sviluppo di centri di alta specializzazione e di centri di eccellenza i quali ultimi, all’interno degli Atenei pubblici esistenti e in essi integrati,[Benedetto is back: tutti ricorderanno la famosa intervista di Sergio Benedetto in cui lo stesso si immaginava ministro. Anche il selezionato numero 4 pensa già da ministro prima ancora di essere scelto per fare il valutatore…] siano in grado di fungere da traino per la competizione nazionale, europea e internazionale tra istituzioni universitarie [la fede nella competizione tra atenei].

Segnatamente, è ancora da arare gran parte del terreno della valutazione nelle Scienze Umane e Sociali. Tale terreno era infatti quasi totalmente vergine soltanto pochi anni fa al momento nel quale ha avuto inizio la riforma del nostro sistema. Anche le prassi internazionali erano al riguardo assenti o non sufficienti. [anche se nelle riviste del settore da almeno 25 anni si discute di questi temi…]

Un grande sforzo è stato fatto per creare un sistema di valutazione delle riviste. Tale sistema si sta evolvendo velocemente e si può oggi reputare vicino ad una prima maturazione. [Mentre nel resto del mondo le classifiche di riviste si abbandonano o utilizzano con scetticismo, il nostro selezionato ritiene che in Italia si sia ad una prima maturazione…]

Un elemento dal quale è opportuno muovere nella considerazione dei criteri di valutazione della ricerca nelle Scienze Umane e Sociali è la distinzione tra valutazione in base al luogo editoriale e valutazione sostanziale. La prima è infatti effettuata a mezzo di classificazioni; la seconda tramite peer review. Dunque, le classificazioni possono al più testimoniare di una forma di quantità ponderata [sic] (ovvero filtrata dai meccanismi di selezione propri di riviste e collane) [cioè “ponderato” significa filtrato?], mentre l’esito della peer review – che è tendenzialmente [?] soggettivo – può al più assumere rilievo oggettivo nei grandi numeri (così è nella VQR) [qui siamo alla teologia valutativa. In particolare si tratta del mistero della transustanziazione della peer review: che da tendenzialmente soggettiva diventa oggettiva quando si entra nei grandi numeri. Cioè la peer review di un articolo fatta da un revisore che ha voluto danneggiare il valutato, come tale espressione di “soggettività valutativa”, diventa oggettiva quando ad essa se ne affiancano altre.] o comunque una qualche oggettività ove se ne prospetti la forma c.d. della informed peer review [revisione dei pari ad oggettività limitata].

Fondamentale è perciò l’interferenza, a monte, dell’una sull’altra [incomprensibile, ma siamo dalle parti della teologia, e si deve abbandonare la razionalità – credo quia absurdum]. La peer review fatta su grandi numeri è attendibile. È allora [???] importante la VQR quale indice di qualità dei luoghi editoriali [frase incomprensibile]. Ciò che già è usato 6 [sic] per la classificazione delle riviste ma dovrebbe essere oggetto di analisi anche con riguardo alle altre forme di pubblicazione [davvero così].

Le stesse modalità della peer review richiedono poi una analisi attenta, sulla scorta delle numerose esperienze fin qui maturate (a cominciare dalla VQR 2004/2010), orientata alla precisazione di modelli, semmai differenziati secondo le finalità perseguite dagli specifici processi valutativi, che consentano di circoscrivere l’area di discrezionalità lasciata ai revisori, conferendo così al loro giudizio il maggior possibile grado di riscontrabilità oggettiva [un momento, ma se bastavano i grandi numeri a rendere oggettiva la valutazione, che bisogno c’è ora di circoscrivere la discrezionalità dei valutatori?].

Infine, resta da sviluppare con attenzione il tema degli indici internazionali [cosa sono?…]. Di là dalle polemiche [quali?, dove?] determinate dai caratteri e dalla affidabilità di alcuni tra tali indici [forse che il selezionato intendeva “indici di internazionalizzazione” del tipo di quelli sviluppati in scientometria?] preso atto che alcune aree culturali sono ivi [dove?] quasi totalmente assenti, è evidente che nell’economia di strumenti di valutazione meramente indicativi – quali sono tutti quelli disponibili alle Scienze Umane e Sociali – tali indici possono costituire un elemento di estremo rilievo [sic]. E’ necessario perciò che anche il loro impiego sia adeguatamente incentivato [qui siamo di nuovo nella confusione. Si deve incentivare l’impiego degli indici internazionali da parte di chi, dell’ANVUR? E come si fa a incentivarlo tale impiego? Si danno premi in denaro ai componenti del direttivo? O forse il selezionato voleva dire che si deve incentivare adeguatamente l’internazionalizzazione della ricerca?].

Selezionato n. 5 – Fabio Beltram [CV, elaborato]
Cresceremo una nuova razza di umanisti – Lysenko reloaded

The word quantitative must be emphasised since a truly objective, clear, unquestionable mechanism must be established to ensure acceptance by the community under evaluation. [non sequitur, l’accettazione da parte della comunità scientifica di un meccanismo di valutazione ha davvero poco a che vedere con la parola “quantitativo”]

I believe that one must seriously take into account the fact that ANVUR already carried out one full VQR cycle [captatio benevolentiae].

[In the humanities] A new generation must grow in an environment where the very concept of an “objective evaluation of research results” is accepted. [Lysenko in Italy. Una nuova generazione di umanisti deve crescere credendo alla valutazione oggettiva. Versione eugenetica della rottamazione dei baroni umanisti? L’Isola del dottor Moreau?] 

One further service that ANVUR should offer is that of helping institutions to make correct choices on their research staff and faculty [trasformare ANVUR in una agenzia di reclutamento del personale universitario: questa non l’aveva pensata né Mussi né la Gelmini]. At present ANVUR is not providing this type of information [quale tipo di informazione?], but this could be a by-product of VQR activities [ma la VQR non serviva a valutare le strutture? Ma questo dovrebbe deciderlo il ministro, non certo l’agenzia di valutazione] and may [sic] prove extremely important in supporting decision bodies both in academia and EPRs. Elements … should be factored in to provide a coherent frame and compare the performance of individuals [?].

To be continued…