Le bizzarre inclusioni ed esclusioni del cappellaio matto
e il magico jolly pigliatutto

Fin dall’epoca della VQR l’Agenzia Nazionale di Valutazione ha stupito gli osservatori con scelte discutibili, puzzles incomprensibili e stranezze varie, non giustificate dalla letteratura scientometrica e non difese dalla stessa ANVUR, che dopo qualche iniziale tentativo di rispondere alle critiche (credo non inutili né peregrine) che le venivano rivolte, ha deciso di chiudersi nella sua rocca, dalla quale far cadere sulla comunità scientifica le sue deliberazioni. Non faccio parte di un settore bibliometrico e non ho le competenze per analizzare e sbrogliare il garbuglio delle mediane bibliometriche, cosa che ha già fatto Giuseppe De Nicolao, mostrando le falle evidenti del sistema. Ora è giunto il turno delle mediane non bibliometriche (http://www.anvur.org/?q=asn-documenti), quelle per i settori delle scienze umane e sociali e colgo l’occasione per qualche prima, frettolosa osservazione.

Premetto comunque che considero la scelta del criterio delle mediane un’assurdità, non supportata da alcuna letteratura scientometrica, estranea a qualsiasi strumento di valutazione, inclusi i sistemi aziendali per le human resources, e last but not least certamente meritevole di essere approfonditamente valutata sotto il profilo costituzionale.

Si sa che alcuni colleghi devono aver pensato che questo sia un efficace rimedio alla corruttela dell’accademia italiana. Si sbagliano: è un criterio che non rimedia a un bel niente. Se da un lato può persino favorire la corruttela (vedi infra la questione dei jolly), dall’altro ci scredita agli occhi della comunitá internazionale come una banda di parvenus, che hanno scoperto le gioie della bibliometria ma non sanno come usarla. Anzi non sanno neppure esattamente cosa sia, affascinati dai poteri taumaturgici di pozioni cucinate al momento da cosiddetti “esperti di valutazione”, peraltro talora ottimi studiosi ma esperti di tutto fuorché di valutazione.

Ma andiamo al punto.

1. La definizione dei prodotti

Il dubbio sul numero delle mediane sollevato da Valeria Pinto è risolto: le mediane sono tre. Il documento di accompagnamento definisce i prodotti computabili per le tre mediane relative a:

  1. monografie
  2. articoli e capitoli di libro
  3. pubblicazioni su riviste collocate in fascia A.

Da quanto scrive l’Agenzia si deduce, che

A) qualsiasi pubblicazione con ISBN è monografia ed è valutata ai fini del superamento della mediana. Visto il numero di settori con mediana 0 per le monografie (specialmente in area 13) mi confermo nell’idea di aprire con il collega Carloni (Guida galattica per aspiranti professori) una casa editrice di instant books, anche dadaisti o futuristi (un libro di una sola parola ripetuta per 100 pagine, “interesse legittimo”, intitolato “studi di diritto amministrativo”, perchè no?) purchè dotati di ISBN; se non altro contribuiremmo a migliorare il PIL nazionale con soddisfazione di tutti e specialmente nostra, dal punto di vista pecuniario.

B) solo pubblicazioni con ISBN sono considerate contributo in volume. Eppure esistono volumi (non riviste) dotati di ISSN (monograph series), anche caratterizzati da direzioni scientifiche molto autorevoli. Questi però sono esclusi dal computo.

C) Dal documento ANVUR si deduce che una traduzione di un volume purchessia (basta che abbia l’agognato ISBN) equivale a una monografia scientifica.

D) Ancora meglio (le traduzioni richiedono pur sempre qualche sforzo, anche se forse si può trovare qualcuno che a pagamento attribuisca un ISBN a un traduzione prodotta con Google), le prefazioni o postfazioni valgono come capitolo di libro. E’ certo possibile trovare prefazioni o postfazioni di grande valore, va però detto che solitamente si tratta di prodotti non comparabili a un capitolo di libro. Lo stesso vale per l’equiparazione fra monografie e traduzioni, anche se è indubbio che esistano traduzioni di indubbio valore. Il punto è che queste pesature fra generi letterari sono malfatte: un conto è pesare patate, carote o merluzzi, un conto occuparsi di equivalenze fra prodotti della ricerca.

A questo proposito, osservo, divagando un po’, che nelle aree non bibliometriche non sono considerati valutabili due generi letterari: la recensione e la nota a sentenza. In verità ci sono recensioni e recensioni. Non avrei difficoltà a citare recensioni, solo per la mia disciplina, lunghe decine (se non centinaia) di pagine, che nulla hanno a che invidiare a densi articoli scientifici. Lo ammetto, anche io ne ho scritta qualcuna, anche se non tanto densa, pubblicata – pensa un po’ – su riviste che per la VQR erano di fascia A, perfino indicizzate in ISI. Ora apro la tabella ANVUR e scopro che per le aree bibliometriche le recensioni contano eccome, e concorrono a definire una delle tre mediane, sempre che siano pubblicate su riviste indicizzate. Sarei terribilmente curioso di  capire perché si sia prodotta questa disparità di trattamento: le mie recensioni indicizzate in ISI non sono computabili, mentre lo sono per le aree 1-9. Ma andiamo oltre.

2 Pesare mele con arance

Il sistema della mediana una e trina presenta un’anomalia colossale. Poiché la mediana deve essere superata, se essa è 0, si supera con 1 (qualcuno penserà alle frazioni, ci arriviamo entro breve). Quindi, poichè per i settori non bibliometrici è sufficiente superare una mediana su tre, ne consegue che, per fare il caso di filosofia teoretica (Settore concorsuale 11/C1):

. due articoli in fascia A (mediana 1) pesano come 5 monografie (mediana 4) o 21 articoli non in fascia A (mediana 20).

E’ razionale una tale pesatura?

Frazioni: gira una voce sinistra. Ossia che alcuni colleghi, per essere più sicuri di essere selezionabili come commissari abbiano diligentemente adottato una pratica di salami slicing. Se si è autori di una monografia, forse che non si è autori di capitoli di libro? Ergo, nella pagina CINECA si carica la monografia e anche – a parte – i capitoli che la costituiscono, in fondo che male c’è? Spiace solo non poter verificare al momento la notizia: ANVUR ha infatti già chiarito di non assumere alcuna responsabilità per l’esattezza dei dati sulla base dei quali sono state calcolate le mediane, e purtroppo il CINECA non è liberamente consultabile.

3 Il jolly pigliatutto

Come in un gioco di carte c’è il jolly o l’asso pigliatutto. Nella maggioranza dei settori le mediane per i contributi su riviste di fascia A sono 0 o 1. Quindi anche un solo articolo di qui a novembre (il bando è lungo, sia mai che qualcuno ci resti male e pensi di far ricorso) può divenire critico per il superamento della soglia e la potenziale abilitazione. È affascinante vedere come questo sistema proclamato ed elogiato come meritocratico consegni un potere quasi assoluto agli estensori di liste di riviste, veri seigneurs delle abilitazioni, e a cascata ai direttori e ai comitati scientifici delle riviste di fascia A. Confesso comunque di avere un senso di compatimento per coloro che dirigono riviste online di fascia A, non oso immaginare cosa li attende di qui ai prossimi mesi.

A proposito, quando si cominciò a discutere di rankings di riviste ai tempi della VQR non si disse fino alla nausea che avevano un valore sperimentale? Oggi scopriamo che invece essi sono determinanti ai fini delle abilitazioni.

Va osservato inoltre che:

  • Al momento non sono disponibili le liste di riviste. Perchè, visto che è nota la mediana per quasi tutte le aree?
  • Per l’area 12 manca addirittura la mediana, apparentemente a causa del mancato accordo con il GEV sulle classifiche: avremo un’intera area con solo due mediane?
  • ANVUR afferma che le liste sono state redatte “compatibilmente con i tempi di della procedura”: ne dobbiamo dedurre che sono potenzialmente lacunose?

Il punto è determinante perchè solo le riviste a cui sarà stata attribuita una valutazione (A,B,C) sono scientifiche, le altre non sono ritenute tali.

Quante sono le possibili omissioni? Le liste di riviste all’interno delle quali sono state distinte le scientifiche e le non scientifiche, nonchè i vari gradi di qualitá si sono fondate sul popolamento (volontario) del sito docente.

Se qualcuno non strutturato nell’università italiana (expat, precario, whatever), ha pubblicato su una rivista non censita, anche di grande prestigio (non sono poche quelle assenti negli elenchi VQR) potrà contare su questa pubblicazione per superare la mediana?

4. Perchè il jolly è jolly?

Non si sa. L’Agenzia è parca di informazioni in merito. Ma anche quel poco che dice non è rassicurante.
In particolare dice che la collocazione delle riviste in fascia A è dovuta, fra l’altro, al calcolo dell’indice-h attraverso una procedura automatica con Google Scholar.
Si è dunque usata una banca dati notoriamente inutilizzabile ai fini bibliometrici a quanto pare in modo automatico (esistono omonimie anche fra le riviste, che richiederebbero disambiguazione) per l’attribuzione della qualifica di asso pigliatutto.
Ancora meglio, la procedura ha previsto anche l’intervento di “esperti”: chi, selezionati come, richiesti di cosa, forniti di quali guidelines, è un mistero gaudioso.
In compenso ANVUR rende noto di aver adottato criteri poco restrittivi per la definizione di scientificità. Fra questi quello che stabilisce che se tre prodotti pubblicati su una certa rivista sono stati sottoposti alla VQR la rivista è considerata scientifica, per quanto non censita dalle società disciplinari e priva di altri requisiti: un criterio il cui rigore si commenta da sè.

5. Le mele marce

Da un passo non molto chiaro del documento ANVUR che accompagna le mediane pare di capire che non sono considerate riviste scientifiche quelle con periodicità annuale e che occorra periodicità infra-annuale. Singolare affermazione: nel mio settore e negli altri settori che conosco (ad esempio quelli di scienze dell’antichità) sono numerosissime le riviste anche di grande tradizione con periodicità annuale: sarà interessante vedere se e come è stato applicato il criterio.

6. Il regno dell’assurdo

Restano poi in piedi tutte le considerazioni sull’attendibilità delle mediane, sulla effettiva completezza nel popolamento del sito docente, sulla corretta allocazione dei prodotti nelle diverse tipologie.

Ci sarà occasione di tornare in modo più meditato su tutto ciò, in ogni caso, nel complesso, l’osservatore resta profondamente sconcertato dinnanzi alla piega che hanno preso gli eventi: certe volte sembra quasi di sognare, trovandosi in un regno dell’assurdo nel quale ci si può aspettare di incontrare dietro l’angolo Stregatto, il Cappellaio Matto o la Lepre Marzolina. È la meritocrazia del paese delle meraviglie.

Send to Kindle

43 Commenti

  1. c’è un altro dubbio. di fatto, considerando nello stesso insieme articoli e capitoli di libro sorge un problema. un articolo pubblicato dal bollettino parrocchiale di sant’anselmo non vale per la mediana (la rivista deve essere cmq “scientifica) nel caso invece di un capitolo di libro pubblicato dalla stessa casa editrice si (visto che per i capitoli è sufficiente l’isbn). dove sbaglio?

  2. Salve a tutti,

    Vorrei un supporto per il calcolo della mediana per il settore 12 in merito agli articoli per PA

    Articoli indicati in tabella 8

    Due casi

    prima pubblicazione 2003;

    Articoli scritti ad oggi 7

    Mediana del candidato (7*10)/9=7.7 mediana non superata come immagino

    Stessa situazione di prima ma con 2 anni in meno di aspettativa

    (7*10)/7 = 10 mediana superata abbondantemente credo

    I miei calcoli sono giusti?

    Poi gli stessi calcoli li farà la commissione?

    Grazie per l’aiuto

  3. Scusate tanto ma vorrei ricapitolare la questione (ditemi se le mie affermazioni sono corrette):
    1. Bisogna superare una sola mediana su tre;
    2. La mediana va superata di un punto (se la mediana è 12, bisogna avere 13)
    3. Nelle altre mediane sarebbe teoricamente possibile avere 0;
    4. La vita accademica del candidato non conta nulla (dottorati, contratti ecc.)
    5. Se la mia mediana ‘monografie’ è 1, e io ho 3 monografie, posso ‘spostare’ una monografia alla voce 2 (parti di libro)?

  4. Augusto:
    1. Sì
    2. No basta superarle e basta con la normalizzazione il superamento può essere inferiore all’unità
    3. Sì
    4. Sì per la parte quantitativa non conta.
    5. Non capisco a che pro. Comunque le monografie non sono somme di capitoli di libro, non esageriamo. I capitoli di libro sono un’altra cosa (ad es. lavori in opere di più autori, raccolte, atti di convegni ecc.). Detto questo pare ci sia chi lo fa, personalmente ritengo la cosa degradante.
    6. Se classificati come su riviste censite (valutate come a,b,c,) valgono per la seconda mediana.

  5. scusate la domanda probabilmente sciocca (ma nel delirio generale mi sono persa questa indicazione): come vengono calcolati ai fini della mediana i “prodotti” cofirmati (siano essi monografie, saggi o articoli)?

  6. Quindi, dal momento che la mia mediana di riferimento (non bibliometrica), è 1-12-0, il mio punteggio vincente (!) è 2-0-0; 0-13-0; 0-0-1, oppure devo pareggiare le altre mediane (2-12-0; 1-13-0; 1-12-1)?
    Dottorati contratti e quant’altro, anche se non valgono nel computo numerico della mediana, verranno valutati dalla commissione ai fini dell’abilitazione? E le tesi di dottorato, che non hanno ISBN ma sono depositate, valgono?

  7. Scusate se la domanda sembrerà pleonastica a molti, ma tra colleghi stiamo provando a dare una risposta alla questione che segue, e le risposte che sento sono varie e controverse.
    La questione, nuda e cruda è: per accedere alla valutazione per conseguire l’idoneità da PA è necessario superare tutte le mediane indicate (nel caso di Scienze Giuridiche, il numero di monografie E di articoli richiesti) o è sufficiente superare una delle due mediane? Nel mio caso, ad es., sono richieste 2 monografie e 11,5 articoli: significa che bisogna avere 2 monografie PIU’ 11,5 articoli, e poi superare una delle due mediane (2+x E 11,5+x) o che basta superare una delle due mediane (2+x O 11,5+x) per poter partecipare alla selezione?
    Grazie in anticipo a chiunque vorrà chiarirmi il dubbio.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.