RIVISTE UMANISTICHE: RANKING E “RANKLING”

L’articolo di Antonio Banfi si fa apprezzare per come contribuisce a far riflettere sulla materia della valutazione delle riviste di discipline umanistiche. Può essere utile affiancarlo con un intervento teso a illustrare un punto di vista – quello di chi scrive – che scaturisce dall’esperienza diretta e indiretta di analisi di riviste finalizzata alla costruzione di un ranking disciplinare e per la precisione relativo a riviste storiche. Se parlo anche di “esperienza indiretta” è perché, accanto al lavoro di censimento/valutazione delle riviste specifiche del mio settore, la storia moderna, ho avuto modo di interagire coi colleghi che lo stesso tipo di analisi hanno effettuato per i settori della storia medievale e della storia contemporanea.

Voglio dire subito che non ho intenzione di fare una difesa d’ufficio dei ranking di riviste, tantomeno per il fatto di avervi dedicato non poco tempo. Mi interessa cercare di soppesare in modo distaccato un metodo che ha sicuramente lasciato anche in me elementi di incertezza e di dubbio, ma sul quale ho avuto modo di riflettere insieme ai colleghi di una commissione nazionale da me presieduta e attiva dal 2009 alla fine del 2011 (e che per la verità esiste sempre).

La premessa necessaria è che tutto questo ragionare su come valutare le riviste umanistiche deriva dal fatto che – a torto o a ragione – si ritiene che nelle discipline tecnico-sperimentali le riviste siano classificabili e classificate con strumenti consolidati e accettati a livello internazionale e quindi inattaccabili. Nelle discipline socio-umanistiche invece ciò non avviene: non avviene per mancata o ridottissima presenza all’interno dei grandi database commerciali e non avviene soprattutto se consideriamo i singoli ambiti nazionali, nei quali la comunità degli studi è ancora (probabilmente per sua natura) articolata. Precisiamo che vi sono anche paesi non anglofoni – la Francia – dove database di letteratura periodica sono stati creati, offrendo alla comunità della ricerca uno strumento di lavoro all’altezza delle necessità odierne: non al fine di consentire analisi bibliometriche fino ad oggi, ma forse sì in un prossimo futuro. In Italia non abbiamo, o si ritiene di non avere alcun database di letteratura periodica e, benché le idee, gli strumenti  e le capacità imprenditoriali ci siano certamente (vedi Chiocchetti, Appetite for Destruction? Una proposta alternativa per la banca dati VQR 13/2), ancora non si vedono all’orizzonte iniziative capaci di crearlo né a fini scientifici né a fini valutativi. Ecco che allora, in  mancanza di uno strumento di valutazione testato e consolidato, di valore scientifico delle riviste o non si parla o lo si fa riferendosi a  una sorta di comune senso acquisito, privo però di un’espressione più solida e tale da arginare la possibilità di decisioni arbitrarie. Ecco perché qualcuno, in varie realtà europee e alla fine anche in Italia, ha pensato, non da oggi certamente, alla possibilità di elaborare ranking delle riviste socio-umanistiche e di farlo con metodi sostanzialmente diversi da quelli bibliometrici classici. Ma torniamo agli argomenti di Banfi.

In primo luogo vorrei dire che tali argomenti non convergono tutti efficacemente verso la dimostrazione dell’impraticabilità e quindi inutilità dei ranking di riviste umanistiche.

Direi che si tratta di tre tipi di argomenti contra: il primo basato sul consensus gentium, il secondo sulle circostanze e modalità di messa in opera qui e ora, il terzo sul merito intrinseco del metodo. Secondo me è molto importante distinguere questi tre aspetti e stabilire se possano stare tra di loro in una relazione diversa da quella che sostiene la tua conclusione contraria. Ed è parimenti importante provare a includere nella riflessione anche altri aspetti che non trovo nella tua. Il consensus gentium: è chiaro che non si fatica a trovare opinioni autorevoli contrarie al ranking delle riviste (del resto lo stesso vale per la peer review, come ci insegna il Donald Gillies di How Should Research be Organised?, o per la valutazione in sé), opinioni che vanno dal solito disfattismo e rifiuto radicale fino allo scetticismo derivante da esperienze contestate. Tuttavia, quelle riportate da Banfi non mi pare che vadano univocamente nella stessa direzione. Ve ne sono che insistono semmai sulla necessità di affinare, migliorare, rendere consensuali e usare con cautela i risultati più che sull’inutilità assoluta (vedi il caso dell’Accademia Reale Olandese delle Scienze). Il caso dell’Italia di oggi interviene impropriamente a rafforzare l’argomento del consensus gentium, mentre riguarda invece il secondo aspetto, quello di circostanze, modalità e metodo. Il caso italiano, in altre parole, dimostra perfettamente come non dovrebbe essere fatto un ranking di riviste, non che non dovrebbe essere fatto. Anche qui, però, bisogna dire le cose con precisione.

In Italia, negli ultimi due anni – ad essere ottimisti – e negli ultimi tre mesi del 2011 – ad essere realistici – è accaduto che le società scientifiche disciplinari sono state informalmente invitate o sensibilizzate sull’opportunità di effettuare valutazioni delle riviste di settore. Ottima premessa e di buon senso: devono essere le comunità a trattare la materia e a raggiungere conclusioni condivise. In pratica è accaduto però che impulsi, motivazioni, tempi,  metodi sono stati totalmente scoordinati, perfino a livello di settori disciplinari molto vicini tra loro, come quello della Storia. Le operazioni di analisi, valutazione e classificazione delle riviste, in altre parole, sono state condotte con tempistiche molto diverse (c’è chi ha cominciato nel 2009, chi nel novembre 2011 !) e con metodologie più o meno improvvisate, anche se sono convinto che mediamente siano state metodologie serie, basate cioè su effettiva conoscenza della materia. Nel corso del 2011, la neo-costituita ANVUR si è inserita nel processo, assecondandolo, ma non ispirandolo o orientandolo in alcun modo. Alla fine del 2011 si disponeva comunque di un buon numero di ranking di riviste umanistiche redatti per varie discipline nonostante le operazioni non avessero avuto alcun tipo di coordinamento e sebbene non mancassero elementi di dubbio (forti disparità di valutazione di riviste intersettoriali a seconda del settore che le ha valutate). A questo punto l’effetto combinato ANVUR-VQR ha indotto uno stato di fibrillazione. Le liste di riviste classificate erano troppo ampie, troppo diverse, troppo discordanti tra loro, troppo disegualmente distribuite per discipline, troppo poco discusse e condivise per poter rappresentare uno strumento affidabile. Si noti che questo significa, di nuovo, non che è sbagliato costruire ranking, ma che è sbagliato costruirli così e pensando di poterli utilizzare così. Cos’ha fatto a questo punto l’ANVUR ? Da un lato ha dichiarato la priorità della metodologia del peer review, tanto per far stare tutti tranquilli. E dall’altro, per salvare la capra del ranking e i cavoli delle liste, ha chiesto alle società di fornire liste numericamente molto ridotte di riviste classificate per macrocategorie. Attenzione: non valutate, ma raggruppate in macrocategorie. Ossia: l’ANVUR non si è intromessa nella valutazione, non ha interferito coi criteri, non ha predeterminato la distribuzione percentuale in fasce di merito, ha solo chiesto che le classifiche distinguessero tipologie di riviste (settoriali, intersettoriali, fascia A e fascia B, nazionali e internazionali: e, attenzione, lo ha fatto anche con riferimento alla materia spinosissima delle case editrici). Le liste che sono state consegnate all’ANVUR (almeno nei casi di cui sono a conoscenza) sono il frutto di questo processo e solo molto parzialmente hanno permesso di mettere a profitto l’elaborazione dei ranking là dove era stata fatta. L’effetto è stato sicuramente quello di generare sconcerto nelle società scientifiche che avevano operato più a lungo e con maggiore serietà e di accrescere lo scetticismo dei contrari a prescindere, quella categoria che non manca mai. Questo, però, dimostra solo l’azione improvvida dell’ANVUR, pressata da esigenze e scadenze prefissate, non che i ranking delle riviste, quelli seri, ampi, meditati fossero stati fatti male (nonostante lo scoordinamento) e fossero da buttare.

Cosa se ne dovrebbe concludere ? Che l’intero processo non è stato governato, guidato, coordinato e che l’ANVUR ha creato confusione alimentando critiche verso il ranking. Ma non se ne dovrebbe concludere che i ranking siano stati fatti male, anche perché i dettagli di metodo e di risultati non sono per lo più conosciuti se non dagli specialisti delle materie. Perché allora criticarli in quanto tali ?

Funziona relativamente poco l’argomento del consensus gentium e non funziona meglio quello che chiama in causa la responsabilità dell’ANVUR. Non funziona affatto quello che scambia i processi con la sostanza della materia.

Vediamo allora la sostanza della materia e chiediamoci se, in generale, hanno senso i ranking delle riviste umanistiche. Il mio parere personale è che abbiano senso eccome, a patto di sgombrare il campo da due idee fasulle (per le humanities ma anche per tutti gli altri saperi tecnologico-sperimentali): la prima è che strumenti del genere possano dare rappresentazioni di valore oggettive, incontestabili e come tali suscettibili di diventare inespugnabile baluardo contro l’arbitrio dei favoritismi e dei personalismi; la seconda idea totalmente fasulla è che ci sia corrispondenza automatica tra qualità del contenitore e qualità del contenuto. Tutti gli strumenti di misurazione sono imperfetti perché semplificano, rappresentano, definiscono e con ciò modificano la realtà (ma lasciamo stare l’epistemologia). L’essenziale è conoscere i limiti dello strumento e decidere cosa se ne vuole fare. E qui bisogna dire che ranking delle riviste e bibliometria possono coincidere, ma possono anche costituire due cose completamente diverse. Possono essere costruiti, come nei grandi database e indici citazionali commerciali, mediante valori ricavati da analisi quantitative (fattori di impatto raffinatissimi, numeri di citazioni, numeri medi, assoluti, normalizzati, numeri di pagine, prezzo di copertina o quel che vogliamo) rese possibili dall’esistenza di dati suscettibili di analisi automatizzata. Ma possono anche essere elaborati in base a valutazioni di carattere qualitativo, che riguardino cioè il profilo editoriale di una rivista, identificabile in base a una serie di parametri piuttosto – anzi, sicuramente – condivisi a livello internazionale. Analizzare quei parametri (sui quali non mi soffermo per ragioni di spazio, ma sono evidentemente questi gli oggetti di cui discutere) non significa fare bibliometria. Significa che una persona esperta prende in esame una rivista su un dato numero di annate e ne valuta non tutto il contenuto (come si farebbe in un vero peer review  delle riviste, in questo caso impossibile), bensì il profilo scientifico-editoriale secondo parametri dotati di un certo valore e in base a scale di pesi prestabilite. Ne emerge un valore numerico che però serve solo ad esprimere sinteticamente quel lavoro analitico qualitativo e anche con un certo margine di soggettività. Questa non la chiamerei bibliometria, ma analisi diretta qualitativa su parametri dati. Naturalmente, in una simile procedura di valutazione, sono i parametri a dover essere oggetto di discussione preliminare e di consenso, la loro definizione in termini di importanza assoluta e di importanza relativa (per assurdo: meglio le foto in bianco e nero o a colori? meglio una colonna o due colonne, meglio Times New Roman o Verdana ?). Stabiliti questi, sarà possibile sottoporre gli oggetti da valutare a una analisi che darà luogo a una scala di posizioni. Questa potrà poi essere verificata non perché i valutati abbiano modo di dire se l’esito va loro a genio o se non sia meglio cambiare le regole, ma per capire se ci sono paradossi o evidenti errori o sproporzioni di pesi e se si debba tarare diversamente lo strumento. Così fatto, un ranking di riviste potrà sicuramente dare informazioni. Non sul valore oggettivo dei singoli articoli e saggi, ma su come quello strumento di comunicazione scientifica agisce nell’interesse della stessa e quindi anche degli autori che vi pubblicano. Ma c’è qualcosa di più.

Tale ranking avrà reso necessaria preliminarmente una analisi ravvicinata del mondo editoriale accademico disciplina per disciplina, ne avrà potuto evidenziare debolezze e punti di forza, avrà permesso di verificare la diffusione reale delle migliori pratiche riconosciute internazionalmente, cosa che verosimilmente aiuterà ad elevare gli standard operativi scientifici, redazionali e editoriali.

Si dice che le piccole riviste (o le piccole case editrici) ne soffriranno e rischieranno di scomparire. Non bisogna mai alzare le spalle quando un editore o una rivista vanno in crisi, sia ben chiaro: ma bisogna che abbiano un autentico ruolo scientifico o culturale. Ed è così una sciagura se si semplifica un panorama editoriale frammentatissimo, fatto di parrocchie e conventicole, di una miriade di riviste comunque dispendiose, senza mezzi e quindi di dubbia qualità, un panorama dove per poco ogni gruppo, dipartimento, società, famiglia, famiglia allargata ha la sua propria rivista, dove addirittura nuove riviste continuano impavidamente a nascere e dove l’autoreferenzialità è la regola dominante ? Un mondo arretrato, chiuso, ripiegato su se stesso, dove ancora capita di sentire battute del genere: “ma quale peer review ? se decido io è buono e basta !”: vogliamo negare che questo sia uno degli aspetti di maggiore debolezza della situazione italiana ? Ben venga dunque un lavoro analitico di conoscenza diretta e approfondita del mondo delle riviste accademiche di discipline umanistiche. E il successo sarà ancora maggiore se tale processo avrà dimostrato l’importanza che le riviste si sottopongano a valutazione internazionale, come quella delle procedure per essere inclusi nei grandi database, cosa che non può che fare bene alla circolazione del sapere. Se è questo ciò a cui teniamo.

Conclusione: i ranking causano certamente irritazione e scottature (“rankling”). Però sono possibili, sono utili, sollecitano le comunità, le inducono ad autovalutarsi, aiutano la diffusione delle migliori pratiche, attenuano l’autoreferenzialità. Basta però saperli organizzare, coordinare, mettere su basi solide e condivise ed effettuarli nei tempi necessari. Con buona pace del consensus gentium. L’alternativa è restare in un mondo dove tutti i gatti sono bigi e dove ancora una volta si sarà cercato di evitare quella cosa fastidiosa, sgradevole, scorretta e anche un po’ maleducata che sono le classifiche di merito.

Non voglio però concludere senza una precisazione, che forse serve a far comprendere le difficoltà nelle quali oggi ci dibattiamo in fatto di valutazione della ricerca e non solo in Italia. Ogni ragionamento sulla valutazione perde di significato se mettiamo al primo posto l’esigenza di garantire la massima libertà di circolazione ai prodotti della ricerca, cioè alle idee. Sarà poi la comunità a decidere quali sono buone e quali meno buone. Trovo questa un’opinione rispettabilissima e alla quale sono favorevole. Da questo punto di vista, ciò che conta è disporre di buoni canali di diffusione che assicurino accesso aperto e possibilità di interagire. I filtri di qualità ex ante sono ovviamente irrinunciabili. Ma non al punto di diventare ostaggi di concentrazioni di potere accademico o, peggio, editoriale ed economico: cosa che vale soprattutto per le monografie, il prodotto principe della ricerca umanistica. Da questo punto di vista i canali open access andrebbero sicuramente sfruttati a fondo, potenziati, ammessi nella prassi comune, benché con forme di organizzazione e filtro adeguate alla tutela della qualità.

In attesa di questo, però, oggi i sistemi accademici e le istituzioni di governo non solo in Italia vogliono valutare i prodotti e le strutture della ricerca e vogliono farlo ora e subito. Ciò che sta accadendo in Italia dimostra ad abundantiam che dalle procedure risultanti non si può restare estranei. Bisogna partecipare, fare il possibile per garantire livelli accettabili di competenza e per contribuire a orientare metodi e operazioni. Anche producendo i ranking delle riviste. Anche se irritano.