Dalla valutazione distribuita a quella amministrata: alle origini della svolta bibliometrica

È forse venuto il momento di domandarsi, alla luce di quanto sta avvenendo in Italia e in parte anche nel mondo (ma ciò che altrove è serio in Italia si trasforma sempre in farsa), donde nasca ad un certo momento l’esigenza della valutazione, intesa come esercizio specifico che impegna risorse e tempo, effettuata da un organismo a ciò deputato, che mette in atto specifiche metodiche e addirittura genera una nuova branca scientifica (la cosiddetta ‘scientometria’, una articolazione della quale è la tanto discussa ‘bibliometria’). Perché di certo v’è stato tutto un periodo nella storia della scienza istituzionalizzata e delle università in cui tale esigenza valutativa, intesa nelle forme oggi assunte, non veniva affatto avvertita e chi l’avrebbe proposta sarebbe stato guardato in tralice, come di chi non sa di cosa parla. Insomma, perché qualche decennio fa in altri paesi e qualche anno fa in Italia, tale problema della valutazione non era avvertito in modo così pressante e nelle forme oggi assunte, mentre invece ora lo è? Non si vuole qui, dunque, entrare nello specifico dei vari sistemi di valutazione per giudicarne l’adeguatezza rispetto ai fini che si propongono, né si vuole fare una storia della scientometria a cominciare dal lavoro pioneristico di Eugene K. Garfield (v. il link), fondatore nel 1955 dell’ISI (l’Institute for Scientific Information, poi assorbito dalla Thomson Reuters) [1], che – non dimentichiamolo – è un istituto privato avente fini di lucro; vogliamo piuttosto interrogarci su quali siano appunto tali ‘fini’ e perché prima non fossero in primo piano o addirittura venissero considerati estranei all’avanzamento della cultura e della scienza.

Una prima causa strutturale dell’esigenza valutativa è interna al mondo stesso della ricerca e ha a che fare con l’esplosione della produzione scientifica, dovuta all’estensione spaziale dei suoi produttori, grazie all’ingresso di nuovi protagonisti in campo mondiale (Cina, India), e favorita dall’aumento esponenziale dei ‘prodotti’ per ricercatore e in assoluto, ciò dovuto anche all’affermarsi della psicosi del “publish or perish”, come recita un programma informatico per valutare la produzione dei singoli ricercatori (che ha fatto la fortuna della sua ideatrice Anne-Wil Harzing). La conseguenza è che oggi – in una ricerca sempre più mondializzata – i singoli ricercatori hanno difficoltà a seguire e conoscere quanto fatto nel loro stesso campo, per cui hanno bisogno di indicatori di varia natura che in un certo modo ‘scremino’ l’enorme produzione, sottoponendo alla loro attenzione i ‘prodotti’ ritenuti più significativi e trascurando invece gli altri che lo sono di meno.

A questa causa interna alla produzione scientifica si associa, per lo stesso motivo sostanziale, la necessità per i “decision makers”, ovvero per i politici che hanno il compito di finanziare la ricerca pubblica o per gli imprenditori che hanno la necessità di monitorare i risultati scientifici maggiormente fruibili da un punto di vista produttivo, di disporre indici rapidi e ‘affidabili’ che permettano di allocare le risorse disponibili, privilegiando le linee di ricerca e i ricercatori ritenuti più produttivi. Sulla base dell’assunzione che “i numeri sono facilmente leggibili e disponibili”, i “decision makers” possono decidere autonomamente, senza la necessità di una faticosa e lunga mediazione con i ricercatori e gli scienziati, sulla base di una presunta oggettività loro offerta da indici a loro avviso inequivoci: «Managers are stealing power from scientists and building an accountability culture that aims at ever more perfect administrative control of institutional and professional life. The result is an “audit society”, in which each indicator is invested with a specious accuracy and becomes an end in itself» [2].

Ovviamente questo tipo di utilizzazione degli indici numerici (e quindi della bibliometria) presuppone un sostanziale rattrappimento della conoscenza sulla sua dimensione tecnologica e produttiva, ovvero sulla sua capacità di essere immessa sul mercato, di generare brevetti che siano fruibili dalle industrie e che siano quindi capaci di produrre alto valore aggiunto attraverso l’espan­sione delle merci ad alto tasso tecnologico. Scompare da questa considerazione quella che è stata chiamata la “terza missione” dell’università e della ricerca, specie di quella umanistica, consistente nel costruire una società migliore il cui progresso non sia solamente identificato con l’aumento del PIL (come da più parti ormai si avverte la necessità) e i cui cittadini siano forniti degli strumenti concettuali e critici non solo per giudicare dei fini della scienza e dello sviluppo, ma anche per costruire una società più democratica, partecipata e solidale. Non solo, ma questa dimensione meramente produttivistica finisce anche per depauperare il “capitale umano” e il “capitale sociale” sui quali poggia in ultima istanza la possibilità di una crescita produttiva ad alto valore aggiunto, tipica dell’high tech, così come tutte le ricerche internazionali ormai sostengono con dovizia di argomenti e analisi. Infine, viene messa in secondo piano anche la funzione dell’università di creare figure professionali che siano in grado di soddisfare i bisogni sociali di una comunità e di contribuire al suo benessere e alla sua crescita; ad essere valorizzato è solo l’aspetto più egoistico della competenza professionale: la reputazione acquisita in università di eccellenza come viatico di arricchimento da parte di chi la possiede.

Ma questo processo non sarebbe comprensibile se non fosse inquadrato nel dibattito sulla società della conoscenza e nell’esigenza per le società occidentali avanzate di concorrere nei mercati mondiali attraverso i prodotti di alta tecnologia, nei quali viene vista la salvezza dell’economia e la capacità di fronteggiare il declino economico e produttivo. In quest’ottica, la necessità di creare “università di ricerca” sempre più efficienti diventa un obiettivo prioritario a discapito di tutte le altre funzioni che l’università può e deve avere. Come ha sostenuto la World Bank, «research universities play a critical role in training the professionals, high-level specialists, scientists, and researchers needed by the economy and in generating new knowledge in support of the national innovation system» [3].

Questo processo è andato già avanti negli USA, nel senso che le università (o almeno le maggiori, cioè quelle che sono classificate come Very High Research University, e che sono solo una piccola percentuale, il 2,3% sul totale – vedi link) sono di fatto diventate interdipendenti col sistema produttivo: sia che le loro ricerche vengano finanziate con denaro pubblico, sia che ricevano finanziamenti dai privati, tuttavia la loro ricaduta sul sistema produttivo è assicurata già da tempo grazie a tutta una serie di misure legislative (una delle più significative è stato il Bayh-Dole Act nel 1980) [4] e ad un’industria che sa valorizzarne i brevetti. È in sostanza la stessa politica proposta dalla “Strategia di Lisbona” della Comunità Europea, che nel 1999 aveva posto l’obiettivo di raggiungere il 3% di investimenti in Ricerca e Sviluppo (R&S) e – visto il suo sostanziale insuccesso – ripropone per il 2020 (Programma Europa 2020 di Barroso) [5].

E in effetti, in coerenza con quanto detto, l’Anvur ha soprattutto affrontato una delle funzioni dell’università: quella della produzione di eccellenza scientifica ai fini della crescita economica. Ma non ha ancora preso in considerazione le altre due. Tuttavia è in fase di rullaggio l’AVA (Autovalutazione, Valutazione periodica, Accreditamento), il cui implementamento dovrebbe in parte coprire la seconda funzione (quella professionalizzante), in quanto si propone di  introdurre (DL n. 19 del 29-01-12, art. 2) un sistema di accreditamento iniziale e periodico delle sedi e dei corsi di studio universitari, un sistema di valutazione della qualità della didattica e della ricerca, nonché di potenziare il sistema di autovalutazione della qualità della didattica e della ricerca nelle università. Ed è evidente che in questi compiti già si sovrappongono funzioni diverse, giacché la qualità della ricerca dovrebbe essere già compito del VQR, e sono confusi due momenti diversi della valutazione – qualità della didattica e accreditamento – che di solito sono distinti e di pertinenza di agenzie diverse. Resta invece del tutto negletta la “terza funzione” dell’università, della quale non si ha traccia nei documenti ministeriali; evidentemente non viene ritenuta importante.

Se queste premesse sono corrette, allora ne discendono alcune conseguenze. Innanzi tutto la valutazione deve essere quanto più possibile standardizzata e deve dare risultati numerici leggibili ai decisori politici, in modo che questi possano stabilire come e dove allocare le risorse nel contesto dei fini prima definiti. Ne segue che essa deve essere svolta da agenzie o organismi che mettano in essere criteri quanto più oggettivi, che diano dei risultati reiterabili nel tempo e che siano sottratti alla discussione e alla valutazione degli esperi di settore, cioè della comunità scientifica nel suo complesso: è questa una valutazione ‘amministrata’ ed effettuata a seguito di una decisione ‘politica’. E in quanto procedimento amministrato, essa mobilita risorse, mette in atto meccanismi complessi, richiede un organismo a ciò deputato in cui verosimilmente – così come accaduto con l’Anvur – i ‘buoni’ cercano di stanare i ‘cattivi’ e di renderli inoffensivi. Nella realtà italiana essa rischia di diventare una sorta di resa dei conti in cui una parte della comunità accademica scelta o autosceltasi per la propria eccellenza cerca di bonificare un’università italiana e un corpo accademico ritenuto – dopo una tambureggiante campagna di stampa – obsoleto, parassita, incapace, corrotto e nepotista: un vero e proprio Comitato di Salute Pubblica dedito alla moralizzazione e alla redenzione di una congrega di inguaribili peccatori, anche mediante la loro eliminazione (ovvero rendendoli inoffensivi) [6].

Ma perché prima non era stato necessario mettere in essere tali agenzie nazionali, come ormai esistono nei principali paesi europei, anche se non negli USA? Ci pare che esigenza non fosse stata prima avvertita non perché non esistesse un processo di valutazione o fosse assente una “cultura della valutazione”, ma perché la valutazione era tacitamente affidata a tutto un insieme di processi e meccanismi che la rendevano graduale e progressiva nel corso degli anni. Insomma, la valutazione era prima distribuita nel corso di tutto il processo della formazione: si era valutati nei vari step che portavano da un livello scolastico all’altro e si era valutati poi all’università con esami e sistemi di sbarramento, per cui quando si arrivava alla docenza o alla ricerca si era stati già abbondantemente valutati e si continuava ad esserlo mediante i canali che passavano per gli strumenti tradizionali del dibattito scientifico: le recensioni, i congressi, la reputazione che veniva acquisita con le proprie opere e le proprie ricerche, con i finanziamenti ricevuti e i premi ottenuti. E pare strano, ma l’unica vera valutazione distribuita oggi esistente negli stati industriali avanzati è quella degli USA, anche se essa viene concentrata non in tutto il percorso formativo, ma solo nello stadio finale universitario (università e dottorato) e vede come attore fondamentale che interagisce con l’università l’apparato economico-industriale e il meccanismo che distribuisce i finanziamenti.

In questo processo non si valutava in prima istanza l’opera, cioè il ‘prodotto’ scientifico, ma la persona, ovvero la sua qualità, dando per implicito che una persona di talento, ovvero chi fosse stato in grado di entrare nei quadri della ricerca, era di per sé capace di fornire dei contributi nel suo campo per due fondamentali motivi: perché motivato verso questo tipo di attività (la “ricerca come vocazione”) e perché ne aveva le capacità, essendo stato il frutto di uno screening (una ‘valutazione’) decennale. La conseguenza di tale sistema era che la ricerca scientifica e i suoi ‘prodotti’ erano la diretta conseguenza della creatività del singolo, della sua capacità produttiva, delle sue decisioni, dei suoi tempi e delle sue necessità di pause, nonché dell’essere inserito in una ‘scuola’ che ne valorizzava le capacità e gli offriva non solo le coordinate fondamentali della disciplina, ma anche le opportunità per valorizzare la propria opera e quindi farsi ulteriormente ‘valutare’ dalla comunità scientifica. Era normale, in questo contesto, ritenere il fatto di “essere allievo di” un merito e una garanzia, piuttosto che il sintomo di un immorale clientelismo antimeritocratico (così come in effetti ancora avviene negli USA e come non può più avvenire se si considerano i sistemi di promozione e avanzamento universitari alla stessa stregua dei concorsi per postino o vigile urbano, dove non si è “allievi di”, ma solo ‘clientes’ o ‘criados’ di qualche politico).

Ma la ricerca era in questo articolato sistema poco o scarsamente irreggimentabile, specie ai fini della sua ricaduta produttiva: sia la tipologia che la qualità del ‘prodotto’ erano una conseguenza della reputazione che si godeva nella comunità scientifica e che non si esprimeva in niente di formalizzato e numericamente definito; e non sempre tale ‘prodotto’ rispondeva alle esigenze del sistema produttivo, obbedendo spesso a una logica conoscitiva interna alla ricerca le cui ricadute non erano esattamente prevedibili. Si parlava (e ancora lo si fa) di ricerca “curiosity driven”, in contrapposizione a quella applicata e avente come esplicito e dichiarato obiettivo la sua implementazione produttiva. Infine, ancor prima che venisse istituito il procedimento formale del concorso, era la comunità dei ricercatori a predeterminare gli avanzamenti e le carriere, che avvenivano per “cooptazione condivisa” e all’interno di ‘scuole’ la cui funzione era quella di preparare, selezionare e garantire la qualità delle persone. Lo stesso numero limitato dei ricercatori e dei docenti per ciascuna disciplina, permetteva di facilmente dominare il parco dei possibili ricercatori e di farsi un’opinione di tutti coloro che lavoravano in un certo campo scientifico. Tale quadro è icasticamente sintetizzato da Peter A Lawrence: «What has rank to do with the process of creative discovery in science? Very little. What has rank to do with the politics of science and the allocation of credit for discoveries? Almost everything» [7].

Ma questo quadro è stato sconvolto a seguito dei cambiamenti strutturali prima descritti, che in Italia hanno assunto una loro specificità. La sempre maggiore dequalificazione delle strutture formative ha via via reso meno affidabile il criterio di selezione delle qualità, in una applicazione perversa della democratizzazione e della possibilità di accesso all’istruzione, che si è tradotta in un sempre maggior abbassamento degli standard qualitativi. Ciò è stato favorito dalla decisione assunta dai governi di definanziare il settore pubblico dell’istruzione e invece di incoraggiare quello privato (in Italia di definanziare e basta; e quando quello privato viene finanziato segue più motivazioni confessionali che di innalzamento della qualità del sistema di filtraggio e promozione delle intelligenze). Nel contempo si sono anche deteriorati i meccanismi di cooptazione e di promozione dei talenti all’interno delle università, anche a seguito di evidenti fenomeni di malcostume (in sintonia con un generale degrado morale della società italiana e però esagerati da una campagna di stampa martellante fatta di dati falsi o distorti) e di una gestione delle carriere e dello sviluppo della ricerca che ha conosciuto negli ultimi anni un evidente peggioramento a seguito di riforme e interventi legislativi che hanno sottoposto il mondo universitario a una serie di shock successivi, da cui ancora fatica a riprendersi. Per rimediare a tutto ciò e per competere nell’economia della conoscenza, sviluppando le ricerche in campo tecnologico e scientifico, si è pensato allora che fosse necessario dotarsi di strumenti in grado di valutarne la qualità e di conseguenza anche le possibilità di impatto economico. Mettendo in piedi una farraginosa e complicata macchina, quale quella predisposta dall’Anvur per la VQR e l’Abilitazione Scientifica Nazionale (ASN), si vogliono in sostanza fornire indicatori facilmente intellegibili, in modo da spostare l’onere di decidere le allocazioni dei finanziamenti dalla comunità scientifica ai decisori politici. Ciò ha allettato molti ricercatori che si sono fatti strumenti docili e disponibili al servizio di questa strategia, sedotti dalla possibilità di divenire leader di un processo di rinnovamento che porterà dei vantaggi ai gruppi disciplinari o ai settori di cui essi sono principalmente espressione: una sorta di “rivoluzione dall’alto” che si propone di cambiare gli assetti di potere dell’accademia italiana.

Ma quali sono le conseguenze di tale modo di procedere? Essi sono stati già ampiamente diagnosticati dalla letteratura sulla scientometria e possono essere facilmente sintetizzabili. [8] Innanzi tutto la concorrenza tra i ricercatori non favorisce più la cooperazione, ma solo l’individualismo, e ciò a lungo andare va contro la crescita della conoscenza: «l’évaluation quantitative produit une perturbation généralisée de la morale scientifique. Le règne des indicateurs de performance exacerbe des valeurs de concurrence et de compétition. De ce fait, il concourt à ruiner ce qui devrait être au contraire les valeurs centrales de la recherche scientifique: le partage, la collaboration et la critique éclairée au sein de communautés bienveillantes». [9] Ciò porta ad una protezione sempre più accentuata della proprietà intellettuale, in quanto le scoperte e i brevetti hanno una ricaduta economica di cui vogliono beneficiare i produttori delle conoscenze e gli enti che le hanno finanziate. Altra conseguenza è un ulteriore stimolo alla crescita esponenziale delle pubblicazioni, comunque esse siano fatte, in modo da dimostrare la produttività di dipartimenti e ricercatori (è quanto avviene con la prima e la seconda mediana previste dall’’Anvur); e al fine di garantire anche una pseudo-qualità dei ‘prodotti’ della ricerca, si incoraggia l’uso sempre più diffuso della disonestà e della manipolazione delle cifre (come dimostra il caso di Ike Antkare, scienziato inesistente che è diventato una star della ricerca mediante tutta una serie di tecniche bibliometriche truffaldine [10]), nonché di tutta una serie di tecniche per massimizzare il proprio impatto [11], come anche la creazione di gruppi di potere all’interno delle riviste e delle case editrici più prestigiose: basti pensare al fatto che il 72% degli articoli pubblicati sulla rivista americana Science sono di autori americani e il 67% di quelli apparsi sull’inglese Nature sono di britannici [12]. E tale fenomeno è ulteriormente incoraggiato quando si decida di utilizzare il ranking delle riviste per valutare la qualità dei contributi in esse contenuti, introducendo la famigerata terza mediana dell’Anvur, in controtendenza a tutte le esperienze e le cautele internazionalmente espresse [13]. La diffusione sistematica della “peer review” spinge sempre più i ricercatori ad allinearsi al main stream, pena la non pubblicazione e quindi a scoraggiare le ricerche autenticamente originali e frutto della creatività dei singoli, al di fuori degli schemi e delle grandi scuole. Oltre a ciò sono stati individuati nella letteratura numerosi limiti della stessa “peer review” a causa del suo grado di soggettività derivante da fattori come incompetenza, mancanza di tempo o di rigore, clientelismo, rapporti di forza tra scuole diverse, conformismo e autocensura, ecc.

A tali limiti si è cercato di porre rimedio mediante una utilizzazione selvaggia e non controllata della bibliometria per valutare l’impact factor, intesa quale strumento principe per procedere a stime oggettive; ma anche questo sistema ha numerosi inconvenienti, come ad esempio [14]:

– i modelli statistici che stanno alla base di tali metodi assumono in modo indimostrato e implicitamente che «les acteurs ont tous un même comportement rationnel, autrement dit que les publiants citent rationnellement leurs sources et produisent des articles de nature comparable acceptés dans un journal “optimal” ; enfin et surtout que le nombre de publications et de citations est suffisamment  élevé pour être statistiquement exploitable. Des suppositions discutables, voire irréalistes» [15].
– le citazioni non sempre (anzi il più delle volte non lo fanno) menzionano un articolo o libro per la sua qualità, ma per tutt’altre ragioni; e inoltre « many citations are not based on reading the paper but by reading other papers, particularly reviews» [16].
– le citazioni variano a seconda del ‘peso’ dell’autore citato (un giovane all’inizio della carriera viene per lo più ignorato);
– le varie correzioni escogitate (indice-h, indice-g ecc.) hanno tutte le loro conseguenze negative: «But even a casual inspection of the h-index and its variants shows that these are naive attempts to understand complicated citation records. While they capture a small amount of information about the distribution of a scientist’s citations, they lose crucial information that is essential for the assessment of research» [17].
– ne consegue che basta cambiare la metrica usata per avere un cambiamento di classificazione.

Quanto detto implica la necessità di abbandonare ogni processo di valutazione? Significa destituire di fondamento ogni tentativo di carattere bibliometrico volto a fornire valutazioni quanto più leggibili e chiare e ritornare al sistema precedente, prima descritto? Conclusioni simili sarebbe cieche verso i cambiamenti strutturali prima accennati, che devono essere in ogni caso presi in debita considerazione. Si tratta però di spostare l’accento da una valutazione amministrata centralmente mediante un uso distorto e dilettantesco degli indici numerici (come sinora fatto dall’Anvur e ampiamente documentato su Roars) ad una valutazione maggiormente distribuita nella comunità degli scienziati, che dia a costoro una maggiore responsabilità nella promozione dei talenti, rivalorizzando le persone invece di focalizzare l’attenzione solo sui ‘prodotti’. Ciò deve essere accompagnato da regole che introducano misure deflazionarie rispetto alla moltiplicazione delle pubblicazioni, cercando di puntare più alla qualità che alla quantità: non importa il numero delle pubblicazioni (e quindi non hanno senso indici meramente quantitativi come le mediane), ma la loro qualità. Ad es. nel settore umanistico, chi vuole ottenere l’abilitazione scientifica potrebbe presentare una sola monografia inedita da sottoporre ad una commissione ad hoc nominata, ed essere giudicato solo su di essa. In altri settori, dove la monografia non è ritenuta importante, si possono scegliere altre tipologie di prodotti. A questo processo valutativo possono essere anche associati le statistiche citazionali come uno strumento per valutare la qualità della ricerca, ma avendo ben presente il fatto che «citation data provide only a limited and incomplete view of research quality, and the statistics derived from citation data are sometimes poorly understood and misused. Research is too important to measure its value with only a single coarse tool»[18].

Insomma si tratta – come viene sottolineato da tutta la letteratura critica più attenta e non certo da apprendisti stregoni – di utilizzare gli strumenti bibliometrici e la peer review come degli indicatori non esclusivi, da prendere in considerazione insieme ad altri fattori sui quali è in ultima istanza la comunità scientifica e dover decidere. Sarebbe pertanto auspicabile il ritorno a una valutazione maggiormente distribuita e l’abbandono della pretesa di amministrare centralmente e in maniera autoritaria il processo di valutazione – che non può non portare alla sua uccisione, «consegnando il compito di dire l’ultima parola sulla valutazione ai giudici amministrativi», così come ha correttamente diagnosticato Sabino Cassese a proposito dell’Anvur.

Per esprimere lo Zeitgeist che ha portato alle trasformazioni prima descritte, ci affidiamo alle parole di un antico saggio che ciascuno, con la sua intelligenza, saprà adattare alle circostanze moderne:

Fu così che
perduto il  Tao venne poi la virtù,
perduta la virtù venne poi la carità,
perduta la carità venne poi la giustizia,
perduta la giustizia venne poi il rito:
il rito è la parvenza della lealtà e della sincerità
e foriero di tutte le discordie

(Lao Tze)

Ebbene, mi pare proprio che il moltiplicarsi nel sistema universitario italiano di regolamenti, parametri, valutazioni, coefficienti, misure ed altre disposizioni sia proprio l’equivalente del dominio della ritualità deprecato dal fondatore del taoismo: il segno di un declino inevitabile e per certi aspetti autoinflittoci, nonché l’inizio dell’epoca delle discordie. E tuttavia, dobbiamo con amarezza riconoscere che

hic Rhodus, hic salta.