Valutazione della ricerca e rankings delle riviste giuridiche, nel contesto più ampio.

1. Sul cantiere aperto, in un contesto più ampio

Negli scorsi mesi le associazioni scientifiche di area giuridica hanno lavorato per produrre una classificazione delle riviste giuridiche in fasce di merito, sulla base di criteri concordati nell’aprile 2011. Il lavoro si è interrotto nel dicembre dello scorso anno senza giungere alla redazione di un elenco che fosse il frutto di un vaglio definitivo.

La versione provvisoria di questo elenco (unica disponibile ), che è riprodotta in A. Baccini, L’ANVUR e la valutazione nelle scienze umane e sociali, Roars, 9 gennaio 2012[1], comprende 324 riviste, di cui 155 sono classificate come A (47,84%), 79 in B (24,38%) e 90 in C (27,78%). Le riviste non incluse nell’elenco sono automaticamente collocate in D, ma la mancanza di valori numerici associati a quest’ultima fascia, come pure l’elevata proporzione di riviste collocate in A segnala l’incompletezza del lavoro svolto, e l’impossibilità allo stato attuale di utilizzarlo come strumento operativo.

E’ possibile che il lavoro così avviato riprenda in futuro, perché il confronto sul tema è stato serrato e ricco di spunti critici, oltre che molto istruttivo.

Nel frattempo, è nota la volontà dell’ANVUR di valutare la produzione scientifica di area giuridica attraverso l’utilizzo di criteri che fanno perno – almeno in parte – sull’utilizzo di valori associati a una classificazione delle riviste giuridiche in fasce di maggiore o minore rilievo scientifico. Un esercizio di questo genere, vale a dire una valutazione della qualità della ricerca nel settore delle scienze giuridiche che implica il (parziale) ricorso alla classificazione delle riviste in diverse fasce di rilievo scientifico, deve essere accompagnato da alcune note di cautela, per i limiti intrinseci di questo approccio. Si tratta di limiti che risaltano mettendo a fuoco lo scenario internazionale in cui si colloca la valutazione della ricerca di area giuridica che sarà condotta in Italia a partire dai prossimi mesi. Questo scenario mette in luce come alcune riserve relative all’uso di criteri bibliometrici nel settore delle scienze giuridiche non siano affatto patrimonio esclusivo dei giuristi italiani.

A tutt’oggi, il diritto, a differenze di altre discipline, non dispone di una classificazione mondiale delle riviste giuridiche, né essa vedrà la luce prossimamente. E’ discutibile se tale classificazione sia utile, piuttosto che dannosa (vedi in proposito D.J. Svantesson, International Ranking of Law Journals: Can it be Done and at What Cost? (2009) 29 Legal Studies 678-691). Vi è infatti, tra l’altro, il rischio che sopravvaluti il peso della letteratura giuridica statunitense nello scenario mondiale, o nello stesso modo anglofono. Per quanto riguarda lo stato dell’arte in Europa, la European Science Foundation al momento non ha organizzato alcun panel di esperti per l’area giuridica, a differenza di quanto ha fatto per altri campi del sapere, come la storia o la filosofia, che vedeno le proprie riviste classificate nello European Reference Index for the Humanities. Tutto può cambiare, beninteso, ma il cambiamento dovrà avvenire su basi solide, affinché il futuro della ricerca giuridica in Europa non sia condizionato eccessivamente dalle dinamiche della ricerca interna a ciascun Paese[1].

Principali Stati europei, come la Francia e la Germania a tutt’oggi non dispongono di classificazioni delle riveste giuridiche in fasce di qualità. In Francia si sta occupando del tema il Consiglio Nazionale delle Ricerche, ma nulla al riguardo è disponibile per ora. L’AERES, l’ente che presiede alla valutazione della ricerca in Francia, ha redatto una lista di riviste tramite cui individuare la figura del ricercatore attivo nel campo della ricerca. Tuttavia la stessa Agenzia ha avuto cura di precisare che questa ed altre liste simili “ne constituent pas un cadre contraignant et l’appréciation de la qualité des travaux par les experts reste le critère primordial d’évaluation”. In Germania, a quanto risulta, tutto tace.

E’ poi essenziale ricordare che la valutazione pubblica della ricerca condotta nel Regno Unito per il settore del diritto rigetta il ricorso al ranking delle riviste come criterio di valutazione della qualità dei prodotti della ricerca per quanto riguarda il diritto (Research Excellence Framework,  para. 65: “No sub-panel within Main Panel C will use journal impact factors or any hierarchy of journals in their assessment of outputs.”- Il Panel in questione comprende l’area del diritto, il documento citato è al momento sottoposto a a consultazione, ma riflette una meditata presa di posizione, che è già stata adottata in passato). Pertanto, nel Regno Unito ogni prodotto della ricerca giuridica è valutato autonomamente, attraverso il giudizio espresso da due esperti nominati panel di area, senza dare automatico rilievo alla collocazione editoriale. Eventuali rankings delle riviste possono naturalmente essere costruiti ex post, operando sui dati raccolti riguardo alle pubblicazioni inviate dai ricercatori per consentire la valutazione della ricerca (vedi a questo proposito: K. Campbell, A. Goodacre, G. Little, Ranking of United Kingdom Law Journals: An Analysis of the Research Assessment Exercise 2001 Submissions and Results (2006) 33 Journal of Law and Society, 335-363).

Se si interpellano i colleghi inglesi sulle ragioni che hanno condotto ad evitare ogni riferimento a rankings delle riviste nel valutare la qualità della ricerca di area giuridica si ottengono varie risposte. In primo luogo, si sa che, data la struttura dell’editoria giuridica inglese, la classificazione delle riviste tenderebbe a premiare le testate di taglio generale (Modern Law Review, Cambridge Law Journal, etc.), piuttosto che le riviste di settore (come la Criminal Law Review). L’effetto perverso del ranking consisterebbe quindi nell’allontanare dalle pubblicazione di settore le migliori penne. Eppure le riviste di settore sono per molti aspetti indispensabili. In secondo luogo si riconosce che articoli di ottima qualità possono essere pubblicati in sedi editoriali non così rinomate, o in nuove riviste, la cui reputazione non è stabilita o assestata. Infine, si può dire che un ranking attendibile delle riviste al fine della distribuzione di fondi pubblici può essere ottenuto ex post, al termine dell’esercizio di valutazione, molto più difficilmente ex ante.

Nessuno peraltro nel Regno Unito ha mai sostenuto che qualcosa del genere –una valutazione della qualità del prodotto legata a valori numerici associati a collane, etc. –  sia proponibile per le monografie. Qualcuno replicherà che il Regno Unito non è l’Italia, e che in Italia è necessario battere la via che non si è percorsa nel regno Unito. Mi pare che la replica non colga nel segno, perché l’editoria giuridica del Regno unito vanta due tra i principali editori giuridici di livello mondiale, e ben potrebbe affidarsi alla collocazione editoriale dei volumi per trarre qualche indicazione circa la loro qualità. E’ significativo che questa scelta non sia invece stata accolta sul piano delle istruzioni che regoleranno l’esercizio di valutazione.

Per l’area delle scienze giuridiche è poi da vagliare criticamente l’idea secondo cui vi possa essere qualità solo se la rivista in questione adotta procedure di peer review. Com’è noto, i periodici che sono ai vertici dei quattro principali sistemi di classificazione delle riviste in uso negli Stati Uniti non fanno ricorso alla peer review. Si tratta infatti di pubblicazioni curate dagli studenti delle rispettive law school. Sono periodici noti a livello mondiale, come la Harvard Law Review o il Yale Law Journal. Queste riviste lasciano interamente al board editoriale composto dai più brillanti studenti, il compito di stabilire se un certo articolo sarà pubblicato o rigettato, aspetto che non ha mancato di attrarre l’attenzione di qualche osservatore europeo[2].

In Europa, numerose riviste di eccellenza per il settore del diritto, non dichiarano in termini precisi quali criteri adottano per decidere se un certo articolo scientifico sarà accettato o respinto, e non pongono l’accento sulla peer review. Esiste quindi una certa varietà di indirizzi in proposito. Sotto questo profilo la situazione italiana è del tutto paragonabile a quella di altri paesi europei, che pure esprimono livelli di eccellenza nel campo della ricerca giuridica. E’ certo, peraltro, che fino al 2010 nessuna delle riviste giuridiche italiane aveva adottato criteri di selezione del materiale pubblicabile basato sullo schema della double blind peer review che è invalso nelle scienze naturali. L’applicazione retroattiva di questo criterio è quindi destinata a descrivere un mondo immaginario.

E’ inoltre singolare, e senza parallelo all’estero, l’idea talvolta ventilata, secondo cui il nome dell’esperto che si è dichiarato favorevole alla pubblicazione di un saggio in rivista debba figurare associato ad esso, per consentire di apprendere chi ne fu il giudice. Possiamo immaginare come gli autori stranieri che dovrebbero pubblicare in riviste italiane che adottino questa modalità di peer review commenteranno questa forma di tutela.

2. Guardare un poco oltre, e apprendere dagli altri

Tutto ciò suggerisce di procedere con estrema cautela nel formulare valutazioni che si appoggino automaticamente al ranking di riviste (o peggio ancora di monografie). Si potrebbe prendere atto che le collocazioni editoriali contano, e che i valutatori debbano tenerne conto, ma che non ci sono scorciatoie nella valutazione del prodotti della ricerca. Per l’area del diritto, allo stato attuale, si tratterebbe quindi essenzialmente di valutare la qualità prodotto per prodotto, se si parla di valutazione di qualità del prodotto.

Questa conclusione non è però del tutto felice, se si considerano alcuni problemi che presenta il quadro della ricerca italiana in campo giuridico. Se si eccettuano alcune aree disciplinari ben note, la gran parte della ricerca giuridica prodotta in Italia – anche di alto livello- è destinata ad essere letta esclusivamente da lettori italiani. Questo è un problema per la collocazione dell’Italia nel quadro più ampio della ricerca giuridica a livello mondiale ed europeo.

Si nota talvolta che la scienza giuridica ha una vocazione prevalentemente nazionale, oppure che le pubblicazioni destinate all’estero non hanno grande valore, perché sono prevalentemente informative. Questi argomenti vengono anche spesi per sostenere che pubblicazioni collocate in sede internazionale, vale a dire date alle stampe in lingue veicolari per il diritto, come l’inglese, il francese o il tedesco non meritino di essere premiate per il fatto di essere apparse il lingua straniera.

Il primo argomento non è affatto corrispondente allo statuto del diritto come oggetto di ricerca. Per secoli, il diritto è stato pensato in una lingua veicolare, che ha consentito a tutto il mondo occidentale di scambiare idee e farle circolare, nel diritto come in altri campi del sapere. La chiusura è recente, ed è tanto più nefasta se si considera il modo in cui oggi il diritto opera in un modo globalizzato. Ma poi, quale libro di ricerca di livello universitario potrebbe essere scritto senza avere neanche una pallida idea di quanto accade al di là delle Alpi?

Nemmeno in epoca di autarchia i nostri autori cessarono di leggere la letteratura straniera, la quale veniva invece citata a gran forza, come fosse letteratura sul nostro codice, o sulle nostre leggi. Un fatto piuttosto rivelatore circa il modo in cui i giuristi in realtà pensano al diritto nazionale, e al suo rapporto con la scena giuridica più ampia:nulla di meno ‘territoriale’ dell’atteggiamento del giurista italiano, che è in realtà molto aperto verso quanto viene pubblicato altri in Paesi, specie se ritenuti in qualche modo campioni di modelli giuridici notevoli.

Quanto all’osservazione secondo cui gli autori italiani pubblicano su riviste o monografie scritte in lingua diversa dall’italiano lavori prevalentemente informativi, essa denuncia semplicemente la situazione non proprio commendevole in cui versano alcuni settori degli studi, pur con le lodevoli e tanto più brillanti eccezioni. Pubblicazioni di qualità in lingua straniera normalmente implicano uno sforzo maggiore di quello richiesto per pubblicare in italiano.

Si tratta quindi in primo luogo di incoraggiare tutti gli sforzi destinati a promuovere la formazione di una letteratura italiana capace di parlare (anche) al di là dei confini nazionali. La valutazione della ricerca che sarà condotta in Italia deve essere l’occasione per affrontare questo tema, senza imboccare scorciatoie piene di trappole, già ben note altrove, come abbiamo visto.