Uno dei temi fondamentali per la formazione di uno scienziato o di uno storico è senza dubbio la conoscenza del dibattito inerente la costruzione dei test di intelligenza. Questo argomento è da sempre connesso al tema di fondo su come e a quale fine sono state costruite le tassonomie gerarchiche fra specie o fra esseri umani. La valutazione “metrica” del merito può essere considerata solo un caso specifico della costruzione delle tassonomie gerarchiche ovvero dei tentativi di ordinare con metodo scientifico gli individui, le “intelligenze” o i meriti al fine di differenziarli. Le biblioteche di mezzo mondo traboccano di prestigiosi volumi o articoli sui problemi metodologici e sui fini sociali e politici riguardanti tali tassonomie. Sarebbe stato logico, quindi, attendersi molta cautela nell’uso di metriche che vorrebbero misurare il merito della produzione scientifica dei ricercatori e, invece, come spesso è accaduto, gli “scienziati” si dimenticano degli errori (e della critica) del loro passato, ma anche delle regole fondamentali della conoscenza scientifica, inerenti la validità dei propri metodi.

La scientometria, fin dalle sue origini, ha assicurato l’apertura di un nuovo mercato a società che producono database non per fini scientifici ma per contare le citazioni; si valutano così gli scritti degli scienziati stessi in base alla loro notorietà calcolata tramite misure della “citabilità”. In passato i landmark della scienza erano spesso volumi semi-clandestini, che circolavano in direzione opposta a quella del mainstream, della scienza normale, e certo non con il fine di compiacere …pensate a quali terribili mistificazioni sarebbe andato incontro Galileo se – oroscopi a parte – avesse colluso con il suo tempo, o immaginate un mondo senza Bruno, convinto alla abiura totale e incondizionata delle proprie idee. Per fortuna questi nostri progenitori erano più intransigenti del ricercatore ultramediano del terzo millennio.

Il virus della scientometria si è, infine, diffuso in Italia unico terreno dove, al momento, sembra aver attecchito. Due società private internazionali, due multinazionali, forniranno servizi di conteggio delle citazioni su cui si potranno calcolare anodini indici di notorietà, come l’Impact Factor, l’ H index e altri numeri, meno noti, ma che fanno sperare di poter mettere in riga gli scienziati, dal migliore al peggiore. Il punto di vista internazionale rispetto a tali pratiche è talmente controverso che, come ben sanno i lettori di ROARS, si considera la pratica della peer review come unica in grado di fornire un quantomeno verosimile giudizio di bontà della ricerca pubblicata. In Italia, invece, dove pochi sanno cosa sia e come si calcoli effettivamente il fattore di impatto o l’indice di Hirsch, molti parlano a sproposito di percentili, distribuzioni, citazioni, google scholar, monografie e articoli…per giunta la statistica è spesso un argomento sconosciuto, anche fra coloro che saranno presto valutati. In questo contesto, brillano le categorie degli economisti e degli ingegneri che si occupano di statistica, di psicometria, di processi stocastici in modo un po’ naïve e un po’ furbo, cercando di indirizzare le scelte politiche della accademia e della società italiane.

Un paese in crisi perenne come l’Italia poteva fare a meno della “magia” della scientometria? Vista la piega che sta prendendo la prossima selezione dei commissari e dei candidati per l’abilitazione scientifica nazionale per docente universitario di prima e seconda fascia, sembrerebbe di no. Un metodo, quello scientometrico, che promette con poca fatica di dividere il mondo in buoni e cattivi.

Urge questa riflessione: almeno in un altro momento della storia, fra l’Ottocento ed il Novecento, gli italiani sono stati divisi in buoni e cattivi, in base a test; è accaduto quando negli Stati Uniti si fissò una quota di ingresso degli emigranti europei. Da un recente volume a cura di William J. Connell e Fred Gardaphé dal significativo titolo, Anti-Italianism: Essays on a Prejudice (New York: Palgrave Macmillan, 2010) agli emigranti fu attribuito un punteggio, in base ad una “normalizzazione” anglosassone, una A, una B, una C, una D o una E (pp. 47). In base ai risultati del test, molti gli italiani furono respinti dagli “scienziati WASP” e da questi considerati degli idioti al pari dei neri. Oggi tutti sappiamo che fu scritta così una pagina buia della scienza ma allora questi numerini furono rivestiti di un grande significato tanto che si costruirono delle tassonomie, si cercarono i segni cerebrali e fisici della diversità, e infine si svalutarono così culture differenti. Quali sono le somiglianze con la valutazione odierna del merito scientifico?

Oggi come allora la logica è la stessa, si tenderà a misurare pregiudizi, pensando di essere nel giusto… si obietterà che le misure oggi sono molto più precise e seguono criteri condivisi e chiari. Siamo certi? Quale è la prova scientifica di questa precisione della bibliometria à la ANVUR? Le misure che saranno usate sono state validate per mezzo di una ricerca sugli esiti del loro uso? Si è confrontata la bontà della ricerca di un campione di selezionati con tale scientometria con un campione selezionato con una fair peer review? La risposta è tremendamente facile, nei paesi in cui tali esperimenti sono stati già condotti tutti i limiti dell’uso automatico della scientometria sono emersi; per giunta ANVUR ha escogitato “normalizzazioni”, per sovrastimare o sottostimare alcuni elementi a scapito di altri come la contemporaneità (ma che dire della citabilità delle differenti ricerche, dell’ordine o della numerosità degli autori?); per giunta tali normalizzazioni sono fondate su scarsa e controversa letteratura (se non propriamente si tratta di “normalizzazioni” autoreferenziali). Già sappiamo che lavorare sulle mediane per campioni la cui omogeneità dovrebbe essere prima dimostrata, con test di errore statistico di multimodalità (e non con algoritmi costruiti ad hoc), può portare a delle vere e proprie aberrazioni paradossali come quelle per cui il sistema invece di migliorare la qualità del corpo docente, premierà posizioni tendenti a posizionarsi intorno alle mediane che, divenendo un benchmark, faranno certo avanzare la ricerca ma poco e male, premiando il già noto ed eliminando gli ambiti a bassa citabilità (perché non “normalizzare” tutelando, ad esempio, le piccole comunità scientifiche?). Piuttosto che andare verso l’eccellenza, come si crede, probabilmente il sistema si schiaccerà verso una tendenza centrale, che sia essa la mediana, la media o la moda poco importa, verso una tendenza alla mediocrità.

Per uscire dal pantano del passato serviva questo dispendio di energie? Serviva U-Gov al posto del vecchio sistema Cineca? Serviva realmente l’uso delle banche dati private come Scopus e WoS? A cui, ad esempio, candidati che non sono affiliati ad una istituzione a loro abbonata non possono accedere come liberi cittadini (quanto meno per controllare la situazione delle proprie citazioni su cui saranno valutati). Quali e quanti errori sono presenti in queste banche dati? Tali errori sono presenti e sono ineliminabili perché soprattutto dovuti alla lentezza del conteggio delle citazioni, alla totale mancanza delle citazioni dei libri e nei libri (anche se uno avesse scritto o fosse citato in volumi per Princeton o per Oxford), alla incompleta copertura delle annualità delle riviste, ai processi di selezione e ordinamento dei contributi delle riviste affidati a personale poco esperto, alla mancanza delle citazioni dei contributi in riviste nuove o in pre-print, in lunga attesa della pubblicazione ufficiale. Se i dati grezzi di partenza degli algoritmi sono questi…quali potranno mai essere gli esiti della valutazione?

Perché, quindi, si è costruito questo articolato sistema fondato su algoritmi non ben verificati e parziali, non usati estensivamente nel mondo e che non hanno passato neppure dei simulacri di trial clinici come ogni buon farmaco messo sul mercato?

Per giunta si valuta con misurazioni totalmente differenti i settori bibliometrici e non bibliometrici con i primi che devono avere almeno due criteri su tre e i secondi uno su due…e questo per accedere a medesime posizioni professionali. Non si poteva rendere tutto più omogeneo, conosciuto a priori e trasparente?

Dare una risposta al motivo per cui sta accadendoci questo è oltremodo complesso. Sembra che nel nostro paese, vista l’impossibilità di usare la peer review in modo onesto e coscienzioso, l’unica soluzione sia quella di affidarsi ai numeri, ma anche qui la scelta delle “normalizzazioni” e degli indici sembra una costruzione ad hoc destinata a selezionare scienziati che “riproducono” scienza e il cui obiettivo principale sembra quello di inseguire citazioni e indici …meglio se in un dominio già noto e ben arato.

Si poteva fare meglio? Forse si poteva almeno economizzare e semplificare il sistema, controllando le distorsioni delle vecchie valutazioni comparative con paletti più o meno alti e linee guida per la valutazione che tenessero conto esplicitamente dei limiti degli indici bibliometrici e favorissero una fair peer review come fondamento su cui le commissioni avrebbero dovuto attribuire l’abilitazione; si è scelta la via dell’esperimento sociale, categorizzando, dividendo, mediando, “normalizzando”, tracciando criteri di valutazione su regole criticate da importanti società scientifiche come l’UMI, in barba al passato e ai fantasmi di Ellis Island.

Send to Kindle

2 Commenti

  1. non so se avete ricevuto la mail qui in calce.
    Qualcuno conosce la lista dei docenti con i quali il MIUR starebbe mettendo a punto le mediane per i candidati?
    grazie

    ——– Messaggio originale ——–
    Oggetto: [docenti-preoccupati] Audizione Profumo al CUN
    Data: Thu, 26 Jul 2012 07:04:41 +0200
    Mittente: Maurizio Matteuzzi
    A: default

    Oggi 25/7/2012 il Ministro Profumo ha incontrato il CUN per portare, in
    circa un ora, una serie di considerazioni su molteplici aspetti dello
    scenario universitario – a queste righe farà seguito un resoconto piu ampio.

    Gli elementi principali che emergono in relazione alle abilitazioni sono:

    – ad oggi (e il Ministro ha ribadito che il bando sarà pubblicato il
    27/7/2012) il bando non è disponibile, almeno non ha presentato in CUN
    alcuna bozza del bando stesso

    – la eventuale elevata numerosità degli abilitati preoccupa il Ministro
    che non vede modifiche ne “ammorbidimenti” dei criteri sulle mediane,
    inoltre per contribuire a ridurre la rincorsa alla partecipazione al
    bando ha chiarito che il questo dovrà prevedere quattro sessioni dal
    2012 a 2016 e verranno date indicazioni ai candidati, che avessero fatto
    domanda, in merito alla possibilità di superare il paletto della mediana
    cosi da poter ritirare la domanda nei quindici giorni successivi alla
    chiusura del bando.

    – ha dato indicazione di star tuttavia lavorando con le comunità
    scientifiche per individuare elementi di modulazione non meglio definita
    delle rigidità del processo a mediana – è poco chiaro quali siano le vie
    di contatto con le comunità dal momento che la rappresentanza
    dell’Università ovvero lo steso CUN non ha alcuna nozione di tali
    modulazioni, ne è stata coinvolta.

    – al riguardo ha detto di aver fatto dei “carotaggi” per metter meglio a
    punto le direttive di modulazione del criterio mediana ed ha aggiunto
    che il popolamento del sito docente è stato “perfetto”

    – nessuna menzione alle problematiche relative a possibili ricorsi alla
    debolezza dell’impianto normativo – come testimoniato dal fittissimo
    dibattito in rete – tanto meno alla totale confusione che ancora regna
    nelle definizioni pdf che ANVUR produce di continuo e della connessione
    di questa situazione con l’inusuale durata di quattro mesi del bando di
    atto nessun indicazione sul perché di questi tempi inusualmente lunghi
    del bando

    – ovvero di come mai il bando preveda un avviso sette giorni prima ed
    una chiusura 4 mesi dopo ?

    dal momento che, se è perché non ci sono le condizioni tecnico normative
    allora che vantaggio comporta fa uscire un bando a rischio ? mentre se
    invece ci sono, quale sarebbe il vantaggio che comporta ritardarne la
    conclusione di ben 4 mesi ?

    Neppure nessuna indicazione/rassicurazione sulla traslazione del piano
    straordinario negli anni cosi’ da poter essere applicato ai possibili
    abilitati

    Spazio praticante nullo per domande.

    MM

  2. questo punto l’angosciante domanda di tutti quelli che – come me – aspettano da anni è: mi presento (all’abilitazione) o non mi presento? questo è il dilemma. Come capire qual è la scelta giusta (ammesso che ci sia)? Oppure fare come il Superenalotto?

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.