“Classificazione riviste. Esigiamo trasparenza”. Lettera aperta al Presidente dell’Anvur e al Presidente del Gev 14

A un mese di distanza dalla pubblicazione della classificazione delle riviste italiane di sociologia l’operato del subGev14 (sociologia) continua ad essere avvolto nella più completa opacità, nonostante le diverse richieste di chiarimento. Tuttavia, la recente nota dell’AIS che compara i rating dell’Ais con quelli del subGev inizia a fornire qualche dettaglio su quanto è avvenuto nel processo di valutazione. Purtroppo, non si tratta di dettagli tranquillizzanti. Infatti, essi sollevano molti dubbi sia sull’adeguatezza dei criteri di valutazione del subGev che, soprattutto, sul modo in cui sono stati applicati.

1. Inadeguatezza dei criteri e opacità della loro applicazione.

Un merito della nota dell’AIS consiste nel far luce sull’uso da parte del subGev dei suggerimenti offerti dagli esperti stranieri in merito alla prima classificazione effettuata dall’AIS. La tab. 1 mostra che delle 13 riviste immesse nella classe A dal subGev, solo 2, “Polis” e “Quaderni di sociologia”, erano risultate immuni da suggerimenti di down-grading da parte dei referees internazionali. Per tutte le altre erano state avanzate proposte di abbassamento. Il numero maggiore era stato totalizzato da “Sociologica”, una rivista elettronica con la quale, essendo in inglese e ad accesso libero, si può supporre che i valutatori stranieri fossero più familiari che con le altre. Seguivano con due proposte di abbassamento sette riviste (si noti, a questo proposito, che, nella prima classificazione dell’Ais, sia “Sociologia del diritto” che “Sociologia urbana e rurale”, erano classificate in seconda fascia e che le proposte di down-grading, se seguite, le avrebbero collocate in terza fascia) e con una sola proposta due altre riviste, “Quality & Quantity” e “International Review of Sociology”.

Tab.1
Proposte di down-grading da parte dei 12 referees internazionali relativamente a riviste poi collocate in fascia A dal subGev di sociologia
3 proposte Sociologica
2 proposte Rassegna italiana di sociologia, Sociologia del
diritto, Sociologia del lavoro, Sociologia e
politiche sociali, Sociologia e ricerca sociale,
Stato e mercato, Studi di sociologia
1 proposta Quality & Quantity, International Review of
Sociology.
Nessuna proposta Polis, Quaderni di Sociologia

Ebbene, nonostante questi giudizi negativi, tutte queste riviste sono state collocate dal subGev in fascia A. Ve ne sono invece altre, quali, ad esempio, “Etnografia e ricerca qualitativa” (un solo suggerimento di abbassamento) e “Mondi migranti” (2 richieste di abbassamento), ambedue piazzate dall’Ais in prima fascia sia nella prima che nella seconda classificazione, che sono state retrocesse dal subGev nella fascia B, mentre “Quaderni di teoria sociale”, collocata dall’Ais in prima fascia nella seconda valutazione, è stata spostata in classe C, e “Comunicazione politica”, per la quale i valutatori stranieri avevano avanzato una proposta di up-grading rispetto all’originaria classificazione dell’AIS, è stata tolta dal novero delle riviste sociologiche e classificata in fascia B dal subGev di scienza politica. Quali sono le ragioni di questa difformità nell’applicare i suggerimenti degli esperti internazionali (si tratta solo di alcuni esempi, se ne potrebbero fare altri, comunque i dati riportati dall’Ais sono a disposizione di tutti)? Questo è il primo chiarimento che riteniamo di dover porre al subGev e al suo presidente.

Si dirà che le proposte degli osservatori esteri sono solo un elemento sul quale si è basato il subGev e che altrettanto importanti sono i criteri che i valutatori italiani affermano di avere seguito. Giusto. Purtroppo, però, mentre i pareri degli esperti stranieri rispetto a ciascuna rivista sono stati rivelati grazie alla nota dell’AIS, il modo in cui sono stati operativizzati e applicati i criteri del subGev è ancora completamente oscuro. Ciononostante, alcune considerazioni possono essere fatte egualmente.

Il preambolo etico dell’Anvur afferma che le decisioni devono essere prese “in base a dati accurati, robusti e trasparenti”. Si può dire che i criteri scelti dal subGev – regolarità della pubblicazione; documentata pratica del referaggio anonimo; composizione dei comitati scientifici e presenza in essi di studiosi stranieri riconosciuti; presenza nelle biblioteche universitarie e nei principali repertori bibliografici e database; indice H – siano effettivamente tali, cioè, “accurati, robusti e trasparenti”? Certamente non tutti. Per esempio, le riviste recano sulla copertina l’indicazione dell’annata e del numero, ma, come sanno tutti, talvolta escono con mesi, anche anni, in ritardo, una cosa impossibile da rilevare sulla base dei dati offerti dal periodico.

Quindi come avranno fatto i colleghi del subGev ad appurare la regolare periodicità di tutte le riviste, comprese quelle elettroniche, sottoposte alla loro valutazione? A noi sembra un compito difficile, su cui il presidente del subGev può darci dei chiarimenti. Ancora meno robusto e accurato sembra il criterio che si riferisce alla “pratica documentata del referaggio anonimo”. In una lettera indirizzata al direttivo dell’Ais il 27 marzo 2012, uno dei membri del subGev, Emilio Reyneri, criticava il lavoro di valutazione fatto dall’Ais: “senza possibilità di controllo” occorre non dare alcun peso “alle dichiarazioni [circa le loro procedure di referaggio] dei direttori [delle riviste] e alle indicazioni presenti nelle note editoriali”: sarebbe come chiedere all’oste, aggiungeva, se è buono il suo vino. E’ una considerazione ragionevole. Ma allora ci si chiede su quali hard data i suoi colleghi del Gev14 si sono basati per accertare “la pratica documentata” del referaggio anonimo, visto che tutt’al più avevano a disposizione gli stessi dati dell’Ais, raccolti con un questionario, ossia delle auto-valutazioni.

In realtà, se i membri del subGev avessero voluto, avrebbero potuto chiedere alle singole riviste di documentare i loro sistemi di referaggio con elementi oggettivi (per esempio, alcune riviste sono perfettamente in grado di esibire dal loro archivio le valutazioni anonime relative a tutti i contributi loro proposti). Non ci risulta che l’abbiano fatto. E quindi come avranno valutato la presenza o meno di un buon sistema di referaggio? Anche qui ci aspettiamo dei chiarimenti. Più facilmente applicabili, ma di scarso interesse, sono altri due criteri che i membri del subGev affermano di aver seguito, cioè la presenza delle riviste nelle biblioteche universitarie e nei database riconosciuti. Come hanno giustamente osservato Maria Chiara Pievatolo e Brunella Casalini nella loro puntuale analisi del ranking proposto dal subGev di scienza politica, si tratta infatti di criteri obsoleti o scarsamente discriminanti.

Consultare il Catalogo italiano dei periodici, che riguarda gli abbonamenti cartacei, per verificare la presenza delle riviste nelle sedi universitarie scientifiche trascura la rivoluzione telematica degli ultimi anni. Oggi la grandissima maggioranza delle riviste di sociologia è presente anche in rete, anzi alcune sono soltanto in rete, e le stesse case editrici vendono interi pacchetti di riviste in rete. Quindi per accertare la loro diffusione scientifica sarebbe sensato esaminare il numero dei loro downloads, non se sono presenti in veste cartacea in qualche sede universitaria (tra l’altro quale delle riviste non è presente in nessuna sede universitaria?). E, per quanto riguarda i database, quale rivista ormai non appare su Google, o Sociological Abstracts, SocINDEX, IBSS, ecc? Applicando criteri di questo tipo si potrà forse escludere qualche periodico molto marginale, ma certo non si fornisce alcun ranking serio della maggior parte delle riviste.

Il problema tuttavia non consiste soltanto nella scarsa “robustezza” e “accuratezza” e nella genericità e mancanza di potere discriminante di parecchi indicatori impiegati dal subGev. Consiste soprattutto nella assoluta mancanza di trasparenza nella loro applicazione alle singole riviste. In primo luogo, qual è il peso relativo dei singoli criteri? E’ più importante l’universalismo nel referaggio o un alto indice bibliometrico? Fa differenza se una rivista, nella sua versione cartacea, è presente in 25 oppure in 18 biblioteche? Fa differenza se gli studiosi stranieri presenti in un comitato editoriale sono solo 2 oppure una diecina? E fa differenza se scrivono sulla rivista e collaborano al referaggio oppure si sono limitati a permettere che il loro nome sia presente sui credits della rivista ma non si fanno vivi né sono consultati da anni? Su tutto questo il subGev non dice niente. Quello che ci offre è da una parte una serie di criteri, molti dei quali assai discutibili per le ragioni suddette, e dall’altra un ranking. Come si passi dall’una all’altro rimane ancora decisamente opaco.

L’estensore della nota dell’AIS ha scritto che i criteri addotti dal subGev “hanno costituito, in senso tecnico, solo un repertorio di motivi” che i membri del Gev potevano citare nelle loro discussioni, ma che non sono stati esplicitati in maniera sistematica e non sono stati applicati uniformemente alle singole riviste. Per parlare più chiaro, l’impressione è che i criteri siano stati applicati a braccio, con valutazioni ad hoc dettate da considerazioni di politica accademica, di scambi e di vantaggi reciproci. Proprio per fugare questa impressione, dovrebbe essere nello stessi interesse del Gev, oltre che delle riviste che ha giudicato, rendere disponibili gli atti e i verbali.

2. Questioni di legittimazione.

Malgrado le critiche, la classificazione delle riviste poste nella prima valutazione dell’Ais nella classe AA e quella effettuata dal subGev sono identiche, salvo due riviste: “Etnografia e ricerca qualitativa” e “Studi culturali”, fondate da poco, sono state collocate in fascia B mentre invece sono state inserite in fascia A altre due riviste, “Sociologia del diritto” e “Sociologia urbana e rurale” che erano state collocate dall’AIS in fascia B. Ma anche altre riviste sorte recentemente, che perseguono approcci innovativi, che hanno molti giovani studiosi nelle redazioni e, soprattutto, sono svincolate dalle tradizionali componenti in cui è frammentata la comunità, anzi, la corporazione sociologica italiana (per esempio “Quaderni di teoria sociale”, “Comunicazione politica”, “Mondi Migranti”), sono state penalizzate. L’operazione culturale del subGev sembra evidente: come hanno scritto Maria Chiara Pievatolo e Brunella Casalini nel loro commento al subGev di scienza politica, la lista delle riviste classificata in prima fascia coincide per lo più con la mappa dell’attuale disposizione del potere accademico nel settore sociologico. È questa la novità introdotta dalle procedure di valutazione dell’ANVUR?

La valutazione del sistema della ricerca in Italia rappresenta un passaggio fondamentale nella storia recente dell’Università. La classificazione delle riviste è solo un piccolo elemento iniziale di questo complesso importante processo. Proprio per l’importanza dell’intero progetto di valutazione riteniamo che partire male con questo primo passo sia un brutto segnale. Riteniamo che il Gev14, proprio per dare un segnale forte di trasparenza e di imparzialità, debba chiarire il proprio operato, non solo per quanto riguarda l’aspetto specifico della classificazione delle riviste, ma anche per evitare il rischio di non essere legittimato nell’opera che è chiamato a fare. I suoi membri non sono stati scelti a seguito di una procedura pubblica di selezione. Questi membri sono parte integrante della stessa area accademica che dovrebbero presiedere a valutare, situazione che potrebbe portare a sollevare anche possibili conflitti di interessi. La loro legittimazione non può che derivare dal fatto di dimostrare di operare in modo autonomo, imparziale, professionale e trasparente.

Per tutte queste ragioni, i sottoscritti ritengono estremamente importante che i verbali e gli atti dei lavoro del subGev di sociologia siano resi pubblici e di questo fanno formale richiesta al presidente dell’ANVUR e al presidente del Gev14.

8 maggio 2012

Stella Agnoli, Sapienza Università di Roma
Maurizio Ambrosini, Università di Milano
Augusto Balloni, Università di Bologna
Chiara Bassetti, Università di Bologna
Sara Bentivegna, Sapienza Università di Roma
Franca Bimbi, Univesità di Padova
Roberta Bisi, Università di Bologna
Giuseppe Bonazzi, Università di Torino
Andrea Brighenti, Università di Trento
Enrico Caniglia, Università di Perugia
Brunella Casalini, Università di Firenze
Antonietta Censi, Sapienza Università di Roma
Franco Crespi, Università di Perugia
Alessandro Dal Lago, Università di Genova
Mario Diani, Università di Trento / Universitat Pompeu Fabra
Franca Faccioli, Sapienza Università di Roma
Antonio Fasanella, Sapienza Università di Roma
Lia Fassari, Sapienza Università di Roma
Giolo Fele, Università di Trento
Renato Fontana, Sapienza Università di Roma
Giancarlo Gasperoni, Università di Bologna
Mihaela Gavrila, Sapienza Università di Roma
Pier Paolo Giglioli, Università di Bologna
Valeria Giordano, Sapienza Università di Roma
Luisa Leonini, Università di Milano
Paolo Mancini, Università di Perugia
Marcello Maneri, Università di Milano Bicocca
Marco Maraffi, Università di Milano
Carlo Marletti, Università di Torino
Gianpietro Mazzoleni, Università di Milano
Laura Minestroni, Sapienza Università di Roma
Paolo Montesperelli, Sapienza Università di Roma
Gianmarco Navarini, Università di Milano
Vincenzo Pace, Università di Padova
Stefania Palmisano, Università di Torino
Paola Panarese, Sapienza Università di Roma
Domenico Perrotta, Università di Bergamo
Maria Chiara Pievatolo, Università di Pisa
Walter Privitera, Università di Milano Bicocca
Fabio Quassoli, Università di Milano
Federico Rahola, Università di Genova
Massimo Rosati, Università di Roma Tor Vergata
Ambrogio Santambrogio, Università di Perugia
Laura Sartori, Università di Bologna
Raffaella Sette, Università di Bologna
Davide Sparti, Università di Siena
Isacco Turina, Università di Bologna
Mauro Turrini, Università di Padova