The Mismeasure of Scientists

Uno dei temi fondamentali per la formazione di uno scienziato o di uno storico è senza dubbio la conoscenza del dibattito inerente la costruzione dei test di intelligenza. Questo argomento è da sempre connesso al tema di fondo su come e a quale fine sono state costruite le tassonomie gerarchiche fra specie o fra esseri umani. La valutazione “metrica” del merito può essere considerata solo un caso specifico della costruzione delle tassonomie gerarchiche ovvero dei tentativi di ordinare con metodo scientifico gli individui, le “intelligenze” o i meriti al fine di differenziarli. Le biblioteche di mezzo mondo traboccano di prestigiosi volumi o articoli sui problemi metodologici e sui fini sociali e politici riguardanti tali tassonomie. Sarebbe stato logico, quindi, attendersi molta cautela nell’uso di metriche che vorrebbero misurare il merito della produzione scientifica dei ricercatori e, invece, come spesso è accaduto, gli “scienziati” si dimenticano degli errori (e della critica) del loro passato, ma anche delle regole fondamentali della conoscenza scientifica, inerenti la validità dei propri metodi.

La scientometria, fin dalle sue origini, ha assicurato l’apertura di un nuovo mercato a società che producono database non per fini scientifici ma per contare le citazioni; si valutano così gli scritti degli scienziati stessi in base alla loro notorietà calcolata tramite misure della “citabilità”. In passato i landmark della scienza erano spesso volumi semi-clandestini, che circolavano in direzione opposta a quella del mainstream, della scienza normale, e certo non con il fine di compiacere …pensate a quali terribili mistificazioni sarebbe andato incontro Galileo se – oroscopi a parte – avesse colluso con il suo tempo, o immaginate un mondo senza Bruno, convinto alla abiura totale e incondizionata delle proprie idee. Per fortuna questi nostri progenitori erano più intransigenti del ricercatore ultramediano del terzo millennio.

Il virus della scientometria si è, infine, diffuso in Italia unico terreno dove, al momento, sembra aver attecchito. Due società private internazionali, due multinazionali, forniranno servizi di conteggio delle citazioni su cui si potranno calcolare anodini indici di notorietà, come l’Impact Factor, l’ H index e altri numeri, meno noti, ma che fanno sperare di poter mettere in riga gli scienziati, dal migliore al peggiore. Il punto di vista internazionale rispetto a tali pratiche è talmente controverso che, come ben sanno i lettori di ROARS, si considera la pratica della peer review come unica in grado di fornire un quantomeno verosimile giudizio di bontà della ricerca pubblicata. In Italia, invece, dove pochi sanno cosa sia e come si calcoli effettivamente il fattore di impatto o l’indice di Hirsch, molti parlano a sproposito di percentili, distribuzioni, citazioni, google scholar, monografie e articoli…per giunta la statistica è spesso un argomento sconosciuto, anche fra coloro che saranno presto valutati. In questo contesto, brillano le categorie degli economisti e degli ingegneri che si occupano di statistica, di psicometria, di processi stocastici in modo un po’ naïve e un po’ furbo, cercando di indirizzare le scelte politiche della accademia e della società italiane.

Un paese in crisi perenne come l’Italia poteva fare a meno della “magia” della scientometria? Vista la piega che sta prendendo la prossima selezione dei commissari e dei candidati per l’abilitazione scientifica nazionale per docente universitario di prima e seconda fascia, sembrerebbe di no. Un metodo, quello scientometrico, che promette con poca fatica di dividere il mondo in buoni e cattivi.

Urge questa riflessione: almeno in un altro momento della storia, fra l’Ottocento ed il Novecento, gli italiani sono stati divisi in buoni e cattivi, in base a test; è accaduto quando negli Stati Uniti si fissò una quota di ingresso degli emigranti europei. Da un recente volume a cura di William J. Connell e Fred Gardaphé dal significativo titolo, Anti-Italianism: Essays on a Prejudice (New York: Palgrave Macmillan, 2010) agli emigranti fu attribuito un punteggio, in base ad una “normalizzazione” anglosassone, una A, una B, una C, una D o una E (pp. 47). In base ai risultati del test, molti gli italiani furono respinti dagli “scienziati WASP” e da questi considerati degli idioti al pari dei neri. Oggi tutti sappiamo che fu scritta così una pagina buia della scienza ma allora questi numerini furono rivestiti di un grande significato tanto che si costruirono delle tassonomie, si cercarono i segni cerebrali e fisici della diversità, e infine si svalutarono così culture differenti. Quali sono le somiglianze con la valutazione odierna del merito scientifico?

Oggi come allora la logica è la stessa, si tenderà a misurare pregiudizi, pensando di essere nel giusto… si obietterà che le misure oggi sono molto più precise e seguono criteri condivisi e chiari. Siamo certi? Quale è la prova scientifica di questa precisione della bibliometria à la ANVUR? Le misure che saranno usate sono state validate per mezzo di una ricerca sugli esiti del loro uso? Si è confrontata la bontà della ricerca di un campione di selezionati con tale scientometria con un campione selezionato con una fair peer review? La risposta è tremendamente facile, nei paesi in cui tali esperimenti sono stati già condotti tutti i limiti dell’uso automatico della scientometria sono emersi; per giunta ANVUR ha escogitato “normalizzazioni”, per sovrastimare o sottostimare alcuni elementi a scapito di altri come la contemporaneità (ma che dire della citabilità delle differenti ricerche, dell’ordine o della numerosità degli autori?); per giunta tali normalizzazioni sono fondate su scarsa e controversa letteratura (se non propriamente si tratta di “normalizzazioni” autoreferenziali). Già sappiamo che lavorare sulle mediane per campioni la cui omogeneità dovrebbe essere prima dimostrata, con test di errore statistico di multimodalità (e non con algoritmi costruiti ad hoc), può portare a delle vere e proprie aberrazioni paradossali come quelle per cui il sistema invece di migliorare la qualità del corpo docente, premierà posizioni tendenti a posizionarsi intorno alle mediane che, divenendo un benchmark, faranno certo avanzare la ricerca ma poco e male, premiando il già noto ed eliminando gli ambiti a bassa citabilità (perché non “normalizzare” tutelando, ad esempio, le piccole comunità scientifiche?). Piuttosto che andare verso l’eccellenza, come si crede, probabilmente il sistema si schiaccerà verso una tendenza centrale, che sia essa la mediana, la media o la moda poco importa, verso una tendenza alla mediocrità.

Per uscire dal pantano del passato serviva questo dispendio di energie? Serviva U-Gov al posto del vecchio sistema Cineca? Serviva realmente l’uso delle banche dati private come Scopus e WoS? A cui, ad esempio, candidati che non sono affiliati ad una istituzione a loro abbonata non possono accedere come liberi cittadini (quanto meno per controllare la situazione delle proprie citazioni su cui saranno valutati). Quali e quanti errori sono presenti in queste banche dati? Tali errori sono presenti e sono ineliminabili perché soprattutto dovuti alla lentezza del conteggio delle citazioni, alla totale mancanza delle citazioni dei libri e nei libri (anche se uno avesse scritto o fosse citato in volumi per Princeton o per Oxford), alla incompleta copertura delle annualità delle riviste, ai processi di selezione e ordinamento dei contributi delle riviste affidati a personale poco esperto, alla mancanza delle citazioni dei contributi in riviste nuove o in pre-print, in lunga attesa della pubblicazione ufficiale. Se i dati grezzi di partenza degli algoritmi sono questi…quali potranno mai essere gli esiti della valutazione?

Perché, quindi, si è costruito questo articolato sistema fondato su algoritmi non ben verificati e parziali, non usati estensivamente nel mondo e che non hanno passato neppure dei simulacri di trial clinici come ogni buon farmaco messo sul mercato?

Per giunta si valuta con misurazioni totalmente differenti i settori bibliometrici e non bibliometrici con i primi che devono avere almeno due criteri su tre e i secondi uno su due…e questo per accedere a medesime posizioni professionali. Non si poteva rendere tutto più omogeneo, conosciuto a priori e trasparente?

Dare una risposta al motivo per cui sta accadendoci questo è oltremodo complesso. Sembra che nel nostro paese, vista l’impossibilità di usare la peer review in modo onesto e coscienzioso, l’unica soluzione sia quella di affidarsi ai numeri, ma anche qui la scelta delle “normalizzazioni” e degli indici sembra una costruzione ad hoc destinata a selezionare scienziati che “riproducono” scienza e il cui obiettivo principale sembra quello di inseguire citazioni e indici …meglio se in un dominio già noto e ben arato.

Si poteva fare meglio? Forse si poteva almeno economizzare e semplificare il sistema, controllando le distorsioni delle vecchie valutazioni comparative con paletti più o meno alti e linee guida per la valutazione che tenessero conto esplicitamente dei limiti degli indici bibliometrici e favorissero una fair peer review come fondamento su cui le commissioni avrebbero dovuto attribuire l’abilitazione; si è scelta la via dell’esperimento sociale, categorizzando, dividendo, mediando, “normalizzando”, tracciando criteri di valutazione su regole criticate da importanti società scientifiche come l’UMI, in barba al passato e ai fantasmi di Ellis Island.