Ancora sulla valutazione in AREA 13

Note in margine a un convegno napoletano con il responsabile della VQR e i Presidenti dei GEV di area umanistica.

Questo intervento intende approfondire il tema della specificità dell’area 13, e dare alcune informazioni in merito al Convegno svoltosi a Napoli il 14 marzo, con la partecipazione del Professor Sergio Benedetto, responsabile dell’ANVUR per la VQR, e con i Presidenti dei GEV delle aree 10-14. Il Convegno, organizzato dal Professor Mario Rusciano, Presidente del Polo delle Scienze Umane e Sociali, è stato presieduto dal Professor Alberto Quadrio Curzio, Vice Presidente dell’Accademia dei Lincei e Presidente della Classe di Scienze morali.

Il processo di valutazione, oggi in fase di partenza, può rivelarsi certamente utile se riuscirà ad avviare processi positivi sul piano della ricerca, anche fornendo opportuni stimoli alla produttività scientifica di docenti e ricercatori. Proprio per questo, ci si attende che la massima cura sia posta nella sua concreta attuazione, dalla quale dipenderanno, in gran parte, la sua credibilità e quindi la sua efficacia. Per queste ragioni, appare opportuno segnalare alcune specificità della valutazione in area 13, anche al fine di evidenziarne le criticità che permangono.

Come ricordato da ROARS, l’area 13 è quella dove si sono verificati i maggiori problemi già col precedente, molto più limitato esercizio di valutazione condotto dal CIVR. A cosa si deve questa circostanza?

La specificità dell’area, e la sua criticità ai fini dell’esercizio di valutazione, è legata alla natura composita della disciplina economica, che merita qualche parola di approfondimento, perché le linee di faglia tra le scuole sono qui probabilmente molto diverse da quelle proprie di altre discipline.

-Una prima divisione è quella, tracciata dal premio Nobel Amartya Sen, tra un approccio di tipo ingegneristico, ed un approccio che vede invece nell’economia una scienza morale. Il padre della scienza economica, Adam Smith, appartiene al secondo approccio. Un altro grande economista, Vilfredo Pareto, era invece un ingegnere, anche se scrisse opere importanti anche nel campo della sociologia. Sarebbe sbagliato istituire un gerarchia tra i due approcci.

-In secondo luogo, un’ulteriore divisione passa attraverso le opzioni politiche che spesso sottendono l’analisi economica. Si discute, per fare l’esempio più famoso e più semplice se, come sostiene l’approccio neo-liberista, l’economia debba rispondere solo alle leggi del mercato, o se invece sia quest’ultimo a dover rispondere, attraverso opportune regole, ad una “funzione del benessere sociale” sensibile agli esiti distributivi. La divisione tra scuole, insomma, ha una rilevanza non solo accademica, per la diretta incidenza di ciascun approccio sulle scelte di politica economica e sociale.

Queste, sembrava opportuno ricordare, sono alcune delle ragioni per cui la credibilità dell’esercizio di valutazione nell’area 13, forse ancor più che nelle altre, dipende in maniera vitale dalle seguenti circostanze: (1) lo scrupoloso rispetto del pluralismo; (2) l’assoluta chiarezza e trasparenza dei criteri di valutazione, e delle modalità della loro applicazione; (3) il doveroso rispetto, sul piano istituzionale, delle società scientifiche espresse dalla disciplina,.

Sul punto (1), l’analisi già svolta da ROARS ha mostrato l’esistenza di un problema legato alla scarsa “distanza” tra i membri del GEV di area 13, misurata dal numero di coautori, ecc. (problema della composizione del GEV). Ci si sarebbe attesi quindi il massimo scrupolo sul punto (2) e sul punto (3). L’incontro di Napoli, purtroppo, ha deluso questa aspettativa.

Il primo problema nasce dall’annuncio ufficiale che i criteri di selezione in area 13 saranno resi noti DOPO la scadenza di presentazione, da parte di docenti e ricercatori, dei prodotti della ricerca da sottoporre al processo di valutazione. Questa è una anomalia del GEV 13. Non è noto il ranking delle riviste, non è noto se tutti i tipi di prodotto (articoli, monografie, capitoli di libri, ecc.) saranno distribuiti sullo stesso numero di “fasce”, non è noto insomma nessuno dei criteri della valutazione. Inoltre, di questa anomalia non si è ritenuto opportuno fornire alcuna giustificazione o motivazione. Si è risposto anzi a richieste di chiarimento su questo punto che “è come a scuola, non ti dicono prima su cosa sarai interrogato, basta sapere che la valutazione sarà fatta sulla base del ranking delle riviste ecc.”

Il secondo problema nasce dall’altro annuncio che la valutazione dell’area 13 sarà fatta attraverso una combinazione di criteri bibliometrici e peer review. Non è stato chiarito però né con quali “pesi” saranno assemblati i risultati dell’uno e dell’altro esercizio, né se la combinazione delle due metodologie sarà applicata a tutti i “candidati”, o solo ad alcuni, e in questo secondo caso se si tirerà a sorte, o si adotteranno dei criteri, ed eventualmente quali. La scelta di combinare le due procedure apre dunque il problema di una possibile arbitrarietà. Potrebbe succedere, per esempio, che un/una candidato/a bocciato/a (o con un voto mediocre) sulla base del criterio bibliometrico, venga poi “salvato” dalla peer review? O viceversa, che un/una candidato/a forte in base al criterio bibliometrico venga poi declassato/a dalla peer review? O, invece, si userà il doppio criterio con uno scopo diverso, e cioè per dimostrare quanto è alto l’indice di correlazione tra i due, e quindi quanto l’esercizio effettuato è a tenuta stagna? O, magari, una combinazione di questi usi, a seconda dei casi, e dell’utilità?

Più in generale, la valutazione in base alla peer review ripropone il problema della composizione del GEV. Per altre aree, nell’incontro di Napoli si è fatto riferimento all’opportunità di non inviare i “prodotti” da valutare a rappresentanti di scuole, diciamo così, contrapposte rispetto a quella del “candidato alla valutazione”. Invece, anche dopo alcune richieste di chiarimento, si è taciuto sul punto per l’area 13 dove, come si è visto, la questione si pone con particolare delicatezza. Anche sulle caratteristiche di una peer review che ne garantisca efficacia ed imparzialità si impone, dunque, un’ulteriore riflessione.Sempre in zona area 13, non è stata comunicata  l’intenzione di confrontarsi in maniera sostanziale con le società scientifiche e in particolare con la Società Italiana degli Economisti.

Altri elementi non chiari sono stati introdotti nella riunione a proposito, questa volta, di tutte le aree coinvolte, quando si è parlato per esempio di una possibile valutazione della “qualità delle citazioni”: vuol dire forse “chi cita me è più bravo di chi cita te, e quindi la mia citazione vale più della tua?” Si tratta, al momento, di un criterio quanto mai opaco, anche per gli ulteriori, e non chiariti, gradi di libertà che si  assegnano per questa via al valutatore.

Nel complesso dalla giornata napoletana non sono dunque stati fugati i dubbi su un esercizio di valutazione che potrebbe essere inficiato da diversi elementi di arbitrarietà, specie, come si è detto, con riferimento all’area 13.

Nel corso del Convegno si è anche fatto riferimento ai tempi di preparazione della procedura di valutazione, che in Inghilterra, come è stato ricordato, è durata nove anni, a fronte di circa un anno nel caso italiano. La differenza tra i due casi dovrebbe far riflettere, e introdurre un elemento di cautela rispetto alla validità di procedure/decisioni affrettate, anche in considerazione del fatto che, dopo l’“esperimento” CIVR, ci si trova oggi di fronte all’avvio del primo ampio processo di valutazione della ricerca,.