Indicatori bibliometrici e valutazione della ricerca in campo giuridico: qualche spunto per un dibattito da avviare

Alcune riflessioni sulla (in)applicabilità alla ricerca in campo giuridico dei principali criteri di valutazione adottati nel mondo delle “scienze dure”, muovendo dagli indici più spesso utilizzati per giudicare la bontà di un contributo: numero delle citazioni, sede di pubblicazione, rilevanza interna o internazionale. Con il dichiarato intento di porre in luce alcune innegabili specificità, che andrebbero considerate con attenzione prima di sospettare gli studiosi del diritto di resistenza al cambiamento.

Le citazioni in campo giuridico: modi, significati e regole non scritte.
La citazione, in campo giuridico, serve anzitutto a dimostrare la quantità delle letture fatte, più che la qualità degli autori citati. Al giurista non si chiede tanto di selezionare, fra gli autori di riferimento, quelli più bravi, acuti o portatori di soluzioni innovative. Piuttosto, gli si chiede di dar conto di chi ha scritto su un dato tema e delle diverse opinioni espresse su una certa questione, dimostrando di aver letto molto e considerato molte opinioni.

Le citazioni sono insomma state, sino ad ora, prevalentemente un indice di diligenza nella ricerca e dunque anche un modo per valutarne la bontà: in quest’ottica, citare serve prevalentemente a chi cita, non a chi è citato. Questo modo di procedere altera il significato dell’«unità citazione» su cui si fondano gli indici bibliometrici utilizzati proficuamente nel campo delle scienze dure.
Se anche per i giuristi il numero di citazioni assumesse il valore di unità-base della valutazione, il pericolo di abusi (scelte pilotate dei riferimenti in nota, volute omissioni delle scuole accademiche avverse, artata insistenza sugli scritti di “amici”) sarebbe molto più intenso rispetto ad altre discipline, proprio per la natura della ricerca nel campo del diritto, fondata sulla disputa e sulla speculazione. Le riflessioni giuridiche quasi mai segnano svolte epocali, ma  sono modi per esprimere opinioni, valutazioni, prospettazione di problemi. Ove si accantonasse il criterio della diligenza a favore di quello della selettività nelle citazioni, il nuovo metodo si presterebbe facilmente a distorsioni: nel mondo scientifico, che procede per esperimenti e scoperte, non si potrebbe trascurare un risultato conseguito, facendo finta di nulla e non citandolo; come sarebbe assurdo continuare a citare un esperimento fallito. Diversamente stanno le cose nel mondo giuridico, dove potrebbero con grande facilità introdursi dolose lacune o artificiosi “gonfiamenti” nelle note di riferimento.
Il criterio della tendenziale completezza delle citazioni non significa trattare allo stesso modo le opere citate. Le note dei giuristi non contengono solo elenchi di nomi e titoli, ma sono arricchite da una sorta di complessa “guida alla lettura”. Fondamentale, a questo fine, è l’uso di «Contra», o «in senso contrario si veda», che segnala da quali autori e ricostruzioni lo scrivente si discosta. Delle note ben fatte illustrano anche altrimenti se un lavoro è giudicato buono. C’è un diffuso e consolidato uso di espressioni che hanno lo scopo proprio di esprimere concisamente l’opinione su un lavoro altrui: «si veda l’accurata analisi di Tizio», «così, efficacemente, Caio», «profilo, questo, che sfugge a Sempronio, ove non considera…», «non può condividersi l’affermazione di Mevio» e via dicendo. È impossibile che un data base possa tener conto di queste precisazioni di contorno, che sono però essenziali per comprendere il reale “peso” dell’opera citata.
Proprio perché l’esaustività nelle citazioni è reputata indice di diligenza, vige inoltre la regola (non scritta ma facilissima da dimostrare sfogliando qualunque rivista) che più si è giovani, o comunque meno avanzati in grado accademico, più si debba citare. Non è un’idea così peregrina, considerando il significato della citazione come indice di diligenza accolto nelle scienze giuridiche. Gli importanti articoli dei grandi maestri molto spesso non citano nessuno. Anche questa differenza può falsare l’idea della citazione come unità-base degli indici di valutazione.
Ad alterarla, contribuisce anche il fatto che gli scritti in campo giuridico sono quasi esclusivamente opera di autori singoli, diversamente da quanto accade nelle scienze dure; così, il grado accademico dell’autore inevitabilmente incide sulla quantità delle citazioni: in un’ottica di diligenza nella ricerca, è meno grave se sfugge l’articolo di un dottorando (che magari dice cose interessantissime), mentre è ritenuto imbarazzante dimenticare di citare l’articolo di un illustre ordinario su un dato tema (che magari dice cose scontate).
Per altro verso, la regola degli autori singoli finisce per penalizzare fortemente, rispetto a differenti ambiti di ricerca, la posizione dei maestri rispetto agli allievi: ai primi quasi sempre si deve l’idea del tema, l’aiuto nell’impostazione del lavoro e un’accurata opera di rifinitura delle forme e raddrizzamento dei contenuti; attività che richiede molto tempo, fatica e dedizione ma che resta del tutto invisibile e dunque non valutabile. Si tratta di un atto di generosità che funziona sino a quando ci si raffronti fra “simili”: non più quando la produttività di uno studioso venga confrontata, e messa in concorrenza, con esponenti di altri settori, ove l’aggiunta del nome del responsabile di un gruppo di ricerca è quasi atto dovuto.
Un ulteriore fattore distorsivo, di cui occorrerebbe tener conto, è rappresentato dai così detti commenti a prima lettura, diffusissimi nelle discipline di diritto positivo. Quando viene emanata una nuova legge o pronunciata una sentenza importante (e accade di continuo), le riviste chiedono un primo commento “a caldo”: non sono di solito le analisi migliori, che abbisognano di più tempo e maggiori approfondimenti; i commenti “seri” verranno più tardi, dopo qualche mese di studio. Ebbene: chi scrive dopo, per correttezza e per seguire il “dogma” della tendenziale completezza dei riferimenti bibliografici, non manca mai di citare quei primi commenti a caldo, anche quando non contengono idee particolarmente rilevanti. Chi è specializzato in commenti a prima lettura primeggerebbe allora in ipotetiche graduatorie fondate sul numero di citazioni, perché ne avrebbe accumulate un numero superiore a tutti gli altri.
Fra l’altro, nelle discipline di diritto positivo (che sono la maggior parte) le citazioni non riguardano il solo mondo accademico, ma anche gli scritti di avvocati e magistrati che contribuiscono (specie i secondi) in modo massiccio al dibattito in campo giuridico. Questi operatori esterni, non dovendo dimostrare alla comunità scientifica la completezza delle loro ricerche, stilano le note in modo spesso differente rispetto agli autori provenienti dall’università. Tenerne conto potrebbe essere utile, ancorché complicato, mentre impensabile (e scorretto) sarebbe espungere dalle banche dati i contributi dei non appartenenti all’accademia.
Da queste osservazioni, emerge come il primo e fondamentale ostacolo all’opera di omologazione del mondo giuridico ad altre scienze, non sia tanto l’attuale inadeguatezza dei data base (da estendere necessariamente alle monografie e ai volumi collettanei, che hanno dignità pari o superiore agli articoli in rivista), quanto il significato stesso della citazione, il suo scopo, le sue modalità.
Nulla vieta di cambiare, anche se si tratta di tradizioni millenarie. Sicuramente vi è fra i giuristi ampia disponibilità a mutare rotta. E tuttavia occorrerebbe un accordo ampiamente condiviso circa i modi e i tempi della trasformazione: se un autore sapesse che la ricorrenza di un nome nelle sue citazioni verrà immessa in un data base come mero dato “nudo”, depurato dal contesto, e sarà in grado di sortire rilevanti effetti sulla valutazione, sui finanziamenti, sui concorsi, cambierebbe radicalmente il suo approccio. Perché le cose funzionino, occorrerebbe che fra tutti i giuristi, a partire da una certa data, ci si accordasse per cambiare simultaneamente prospettiva.
Resterebbe poi il problema del “diritto transitorio”: come valutare nel frattempo tutto quel che è stato scritto secondo canoni (incolpevolmente) diversi?
E occorrerebbe trovare il modo per evitare i rischi di distorsione sopra evidenziati: affidarsi solo all’onestà intellettuale degli studiosi potrebbe rivelarsi, se non ingenuo, eccessivamente ottimistico.

Impact factor?
L’impatto delle ricerche in campo giuridico spesso si spinge fuori dai confini del mondo accademico, o almeno ciò è quello che gli studiosi auspicano. Spesso, il principale intento del giurista positivo, quando affronta una questione e propone una soluzione, è incidere sul mondo “esterno”: l’obiettivo di un lavoro può essere così primariamente quello di convincere la Suprema Corte di cassazione a cambiare orientamento su una data questione, o la Corte costituzionale ad accogliere una certa ricostruzione, o di far arrivare critiche su un disegno di legge alle orecchie della Commissione Giustizia della Camera o del Senato. Accade non di rado che le opinioni della dottrina siano alla base di rilevanti svolte nel mondo del diritto.
Questo impact factor non è in alcun modo misurabile, a meno di non chiedere alla magistratura, all’avvocatura e al parlamento di dar conto di quando seguono o non seguono le ricostruzioni dei giuristi. Ma le sentenze o gli atti parlamentari, allo stato, non contengono citazioni: addirittura, il codice di procedura civile contiene un espresso divieto di citare nelle motivazioni dei provvedimenti gli «autori giuridici».

Gerarchia fra le riviste
La pubblicazione di un lavoro in una data rivista piuttosto che in un’altra non conta granché, al momento, nel mondo del diritto: moltissime, in ambito giuridico, sono le riviste considerate di qualità, ed è molto difficile individuare fra loro precise gerarchie. Se in futuro le riviste verranno classificate (e si sta tentando di farlo), si innescheranno probabilmente dei circoli virtuosi, con una più accorta selezione dei contributi da pubblicare e con una maggiore (e sana) concorrenza fra gli autori per accedere alle riviste migliori.
Bisognerà però domandarsi se la soluzione debba valere anche come indice retroattivo di valutazione degli scritti di un certo studioso. Con evidenti controindicazioni: al momento della pubblicazione, l’autore non sapeva di offrire il risultato delle sue ricerche ad una rivista che, anni dopo, sarebbe stata esclusa dalla “fascia alta” (l’operazione è condotta più che altro a tavolino, non essendo evidenti profondi divari); avendolo saputo, avrebbe tentato di pubblicare altrove.
Il metodo dei revisori anonimi non è al momento adottato dalla maggior parte delle riviste giuridiche: è il direttore, e la redazione scientifica, che legge, valuta e può fare osservazioni sul testo inviato. Per il futuro, potrà senza dubbio adottarsi la doppia lettura e l’anonimato anche nelle riviste che si occupano di diritto.

Confini nazionali.
Altro profilo che differenzia la maggior parte dei giuristi dagli studiosi di altri settori è la rilevanza prevalentemente nazionale dei loro scritti. Questo vale soprattutto per le discipline di diritto positivo interno (che sono la più parte); vale meno o non vale per gli studiosi di diritto internazionale e comparato, i filosofi o sociologi del diritto, gli storici del diritto e i romanisti.
Si tratta senz’altro di uno dei profili su cui sorgono i maggiori malintesi. La sede di pubblicazione, nazionale o internazionale, non è nella maggior parte dei casi indice sicuro della qualità o dell’importanza di un dato contributo, come accade invece per quasi tutti gli altri ambiti scientifici.
Per molti giuristi, è l’oggetto della ricerca ad avere carattere interno e a rappresentare un unicum nel panorama mondiale. Il fegato è il fegato in tutto il globo e così pure i sonetti di Shakespeare o i principi della fisica: non così per le leggi e le sentenze. Contributi fondamentali, che hanno avuto un impatto decisivo nel nostro ordinamento, non vengono pubblicati all’estero: nessuno sarebbe interessato a questioni che, altrove, sono regolate in modo differente; nessuno, spesso, sarebbe nemmeno in grado di capirle: i diversi sistemi giuridici sono costruiti su differenti fondamenta e si compongono di un dedalo di norme e decisioni in cui è arduo districarsi per uno straniero.
Questo vale non solo per l’Italia ma per tutte le riviste (o volumi) del mondo che si occupano di diritto positivo interno. La Criminal law review non affiderebbe mai il commento di una decisione della Court of Appeal ad uno studioso francese, mentre la Révue de droit penal et de criminologie difficilmente ospiterebbe il contributo di uno spagnolo su una pronuncia del Tribunal Supremo che abbia rilevanza interna alla penisola iberica.
Non è colpa degli studiosi di diritto, della scarsa bontà o del provincialismo dei loro studi: finché i le regole della convivenza saranno differenti nelle diverse comunità statali, buona parte dei giuristi dovrà per forza occuparsi di quello che accade nella sua, con una naturale distanza dagli studi effettuati in altri paesi. L’idea, sovente vagheggiata, di introdurre anche per le riviste giuridiche dei revisori stranieri, onde accrescerne prestigio e serietà, appare ingenua e lontana dalla realtà: chi mai si cimenterebbe nella lettura e nel giudizio di articoli su questioni di cui non può che avere una conoscenza approssimativa? Potrebbe considerarsi davvero una efficace peer-review?
Ciò non significa escludere che vi sia un profondo (e fecondo) interesse per quel che accade altrove. Gli scambi ci sono, sempre più frequenti e proficui. Gli ordinamenti giuridici non sono entità impermeabili, lo saranno sempre meno e un buon giurista deve conoscere cosa accade all’estero. Alcuni studiosi fanno della comparazione o dell’armonizzazione dei diritti il loro terreno precipuo di ricerca. È un’ottima idea, perché si tratta di campi assai interessanti in cui specializzarsi. Ma è tutto da dimostrare che il comparatista pubblichi lavori più importanti o più utili del non comparatista.

Possono esserci scritti mirabili e superficiali di comparazione giuridica, come possono esserci scritti mirabili e superficiali che si occupano di diritto interno. Del resto, non tutti possono dedicarsi alla comparazione o alla armonizzazione fra ordinamenti, altrimenti che ne sarebbe del diritto che si applica quotidianamente nelle aule di giustizia?
Per una malintesa estensione dei criteri valevoli nelle scienze dure, serpeggia (fra i non giuristi) l’idea che chi si occupa di diritto internazionale o europeo sia scientificamente superiore a chi studia il diritto amministrativo o civile: il che è del tutto insensato.
Ma il quadro non è ancora completo. Anche ai giuristi che si occupano prevalentemente di diritto interno capita sempre più di frequente di pubblicare all’estero. Non è però affatto detto che si tratti delle opere migliori, che per la loro qualità e risonanza sono riuscite a travalicare i confini nazionali.

I contributi che vengono richiesti da riviste straniere sono spesso di natura meramente “informativa”: si incarica lo studioso italiano di spiegare ai lettori stranieri come funziona, sul nostro territorio, un certo istituto (ad es. il patteggiamento o le immunità parlamentari); poiché ci si rivolge a un pubblico che si suppone non conosca il sistema di riferimento, occorre in questi casi essere particolarmente semplici e comprensibili, secondo uno stile che si avvicina più alla divulgazione o alla manualistica che alla ricerca e alla speculazione. Lo stesso vale, nella più parte dei casi, per i contributi stranieri ospitati sulle nostre riviste (di diritto positivo): utilissimi e a volte fondamentali per sapere cosa succede fuori; ma non certo le opere migliori scritte da quei colleghi nella loro carriera, che saranno state sicuramente pubblicate in patria.
Accade così di trovare, in accreditati data base, contributi di scarsissimo peso scientifico, solo perché pubblicati all’estero, mentre non si trova traccia di opere fondamentali di grandi maestri. Si tratta, com’è evidente, di un macroscopico errore di valutazione.
Vi sono naturalmente delle eccezioni: alcuni studi hanno circolazione planetaria in ragione della loro importanza o dell’autorevolezza dei loro autori. Ma si tratta di casi davvero rari; e a volte capita, com’è accaduto di recente proprio in ambito penalistico, che un contributo risulti noto in tutto il mondo per aver provocato una corale presa di distanza e una miriade di critiche. Evenienza, questa, di cui gli indici bibliometrici non potrebbero tener conto.
In conclusione, si può sensatamente affermare che la pubblicazione su riviste straniere non è sinonimo di maggiore qualità di un certo contributo. È un’equazione che, nel mondo del diritto (quantomeno positivo), spesso non funziona. Si tratta di scritti che hanno uno scopo, uno stile e dei destinatari diversi, che hanno pregi e difetti diversi, che comportano difficoltà diverse. Che possono essere ottimi, buoni o scarsi come possono esserlo quelli destinati alle riviste interne.

Possibili indici di qualità di uno scritto in campo giuridico.
Il problema di stabilire obiettivi indicatori di qualità di una pubblicazione giuridica e di tradurre in cifre il suo valore si sta già ponendo in modo impellente.  La sperimentazione è cominciata da qualche tempo a livello locale, al fine di distribuire gli (irrisori) fondi assegnati alle università; operazione che viene spesso condotta sulla base delle sole informazioni ricavabili da un data base contenente liste di pubblicazioni.
Chi scrive ne ha avuto diretta esperienza come membro della commissione che, qualche anno fa, per la prima volta dovette gettare le fondamenta del nuovo sistema di valutazione per il Dipartimento di Scienze giuridiche dell’Università di Ferrara. Dopo accese discussioni, si giunse ad individuare i pochi indici che, allo stato, pareva potessero denotare la qualità di un lavoro in assenza di lettura; e che, com’è ovvio, si discostavano completamente dai criteri adottati in altri settori di ricerca.
Il primo e più importante fra questi indici è senza dubbio la tipologia del contributo.

Su questo concetto di base dovrebbe esservi unanimità di vedute nel campo giuridico. Non conta tanto – almeno per il momento – la sede in cui un lavoro è stato pubblicato (quale rivista, quale editore, quale nazione), ma il tipo di pubblicazione prodotta: la monografia prevale su tutto, poi ci sono i saggi in volumi collettanei o su riviste, seguono le note a sentenza, le recensioni, i commentari, le traduzioni, con varie sfumature sulle quali occorrerebbe avviare un dibattito interno alle scienze giuridiche.

L’ulteriore fattore di cui si è tenuto conto per misurare il “peso” scientifico di un contributo è la sua lunghezza: indice fallibilissimo, perché molte pagine potrebbero celare un’infinità di sciocchezze. Ma di regola un saggio di trenta pagine è considerato lavoro migliore e più approfondito di uno di cinque.
Di meglio, nell’ateneo ferrarese, non si è riusciti ad elaborare.
In futuro, a fronte di graduatorie approvate dalla comunità di riferimento, potrebbe pesare la rivista (o l’editore) di destinazione, così come la presenza di revisori anonimi: così la lettura del testo, che resta pur sempre l’unico modo per sapere se un lavoro è davvero buono, verrebbe delegata a figure dotate di riconosciuta affidabilità.