… secondo la quale gli articoli prendono congedi per maternità
L’indice di Katsaros, dopo la sua fugace apparizione della settimana scorsa, ha fatto ritorno in un documento dell’ANVUR che precisa come verranno calcolate le mediane. Il documento spiega che l’indice repentinamente scomparso dalle FAQ era proprio il “contemporary h-index” di cui Katsaros è uno degli ideatori. Tuttavia, come già osservato in un nostro precedente articolo (Abilitazioni: l’ANVUR scodella l’indice di Katsaros (e ci ripensa)), questo indice è incompatibile con le prescrizioni del D.M. “Criteri e parametri”. Il nuovo documento non risolve tale incompatibilità. Al contrario finisce per suscitare ulteriore perplessità quando motiva il cambiamento delle regole con le esigenze di un’area specifica (la fisica).
War is peace, slavery is freedom, ignorance is strength
Questo è quanto era scritto sulla facciata del Ministero della Verità, descritto nel romanzo 1984 di George Orwell. Queste affermazioni sono slogan che illustrano l’uso totalitario del linguaggio. Il significato corrente dei termini viene capovolto, per arrivare al punto di impedire persino l’elaborazione di un pensiero critico nei confronti del regime.
Orwell arriva ad immaginare una “neolingua” (newspeak) destinata a rimpiazzare la vecchia lingua:
Una volta che la neolingua fosse stata radicata nella popolazione e la vecchia lingua (archelingua) completamente dimenticata, ogni pensiero eretico (cioè contrario ai princìpi del partito) sarebbe divenuto letteralmente impossibile, almeno per quanto attiene a quelle forme speculative che derivano dalle parole.
http://it.wikipedia.org/wiki/Neolingua
Orwell coglie la connessione tra controllo sociale e controllo del significato delle parole. Chi controlla le parole controlla le persone. Se il significato delle parole che compongono una legge fosse rimesso all’arbitrio del giudice, diritti e legalità verrebbero meno.
Il resistibile ritorno di Katsaros
Nel documento pubblicato ieri, viene spiegato come l’indice-h verrà normalizzato per l’età accademica. Invece di calcolare l’indice-h di Hirsch e dividerlo per l’età accademica del ricercatore, si passa attraverso la normalizzazione del numero di citazioni di ogni singolo articolo.
In questa formula si fa riferimento alla differenza tra l’anno corrente e l’anno di pubblicazione dell’articolo. In altre parole, si effettua una normalizzazione delle citazioni di ogni singolo articolo in base all’età dell’articolo stesso. In un passaggio successivo, i risultati di questi calcoli, ovvero le citazioni normalizzate, vengono usate per calcolare il “contemporary h-index” o indice di Katsaros. Cosa c’è di male in tutto ciò?
Non ci sarebbe nulla di male se le regole dell’ANVUR non dovessero conformarsi al D.M. “Criteri e parametri”. L’ANVUR è consapevole di questo vincolo. Infatti, elencando le motivazioni che giustificano l’adozione dell’indice di Katsaros osserva che:
include una normalizzazione lineare per età accademica del singolo articolo, e quindi è pienamente compatibile con il dettato del regolamento;
Indicare l’età di un articolo scientifico con il termine “età accademica” suona un po’ strano. Tuttavia, il lettore è indotto a credere che sia stato il regolamento ministeriale a introdurre questa terminologia ed anche a prescrivere una normalizzazione basata sull’età accademica del singolo articolo.
Per dissipare ogni dubbio, proviamo a verificare cosa scrive il D.M. “Criteri e parametri” a proposito di età accademica. Non è necessaria una lunga ricerca: l’Art. 1 è dedicato proprio a definire i termini successivamente usati nel decreto.
ART. 1
(Definizioni)
1. Ai fini del presente decreto, si intende:
[…]
q) per età accademica: il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale, tenuto conto dei periodi di congedo per maternità, di altri periodi di congedo o aspettativa, previsti dalle leggi vigenti e diversi da quelli per motivi di studio, nonché di interruzioni dell’attività scientifica per fondati motivi da valutare in relazione al curriculum del candidato;
r) per indice h di Hirsch: l’indice h, definito da Jorge E. Hirsch (Università della California, San Diego – USA);
Non risulta che gli articoli scientifici usufruiscano di congedi di maternità. Un qualsiasi lettore, compreso un eventuale giudice del TAR, capisce senza ombra di dubbio che l’età accademica si riferisce al ricercatore e non agli articoli scientifici.
Pertanto, affermare che l’indice di Katsaros
è pienamente compatibile con il dettato del regolamento
perché
include una normalizzazione lineare per età accademica del singolo articolo
è palesemente insostenibile.
L’età accademica del singolo articolo non è minimamente menzionata nel D.M. L’unica normalizzazione compatibile con il dettato del regolamento è quella basata sull’età accademica del ricercatore. A meno che l’ANVUR non ci stia imponendo una sua neolingua secondo la quale:
researcher is article
Cui prodest?
Ma per quale ragione l’ANVUR dovrebbe violare il D.M., esponendosi al rischio di ricorsi dagli esiti catastrofici per l’intera procedura di abilitazione scientifica nazionale? Infatti, un semplice documento “a cura del consiglio direttivo dell’ANVUR” non può scavalcare e riscrivere a suo piacimento le regole contenute nel decreto ministeriale n. 76 “Criteri e parametri”. Cambiando le regole di calcolo, qualcuno di coloro che stavano sopra la mediana passerà sotto la soglia ed avrà ogni possibile ragione per contestare un illegittimo cambio delle regole che lo danneggia.
Nel mio precedente articolo, avevo ipotizzato che l’ANVUR avesse scoperto che nella sua formulazione originale la regola della mediana produceva risultati sgraditi a qualcuno. La posta in palio è alta e le pressioni per aggiustare in corsa i criteri potrebbero essere forti.
A tale congettura il documento ANVUR fornisce una conferma tanto chiara quanto ingenua:
La scelta di utilizzare il “contemporary h index” è stata dettata dalle seguenti considerazioni:
[…]
• si comporta bene su un campione esteso di 1400 fisici italiani (vedi figura 1, ottenuta grazie alla preziosa collaborazione di Riccardo Mannella e Paolo Rossi). Come si evince dalla Figura 1, il valore medio annuale del contemporary h index su un campione di circa 1400 fisici italiani non dipende in pratica dall’età accademica …
Insomma, l’indice di Katsaros ha il merito di “comportarsi bene” per i fisici. Qualcuno si domanderà: e come si comporta per i matematici, i chimici, i biologi, gli ingegneri e così via? Non ci è dato saperlo. Anche in questo, l’ANVUR sembra trarre ispirazione da Orwell.
Quale scelta?
Lo stravolgimento del significato di un decreto ministeriale da parte di un organo ufficiale come l’ANVUR può indicare due cose.
Il disorientamento di chi, avendo ormai perso il contatto con la realtà, emana regole prive di valore che verranno spazzate via dai ricorsi con grave danno per l’intera comunità accademica.
Oppure la convinzione che nessuno avrà la dignità per chiedere verità e rispetto delle regole. Quando l’autorità si arroga il potere di cambiare il significato delle parole, nessun diritto è più garantito. Siamo tutti declassati a sudditi e si possono solo elemosinare favori.
È ora che il ministro batta un colpo.
Concordo al 100%. L’ANVUR ha avuto un anno per mettere a posto ciò che non funzionava (ad es. nella formulazione originale la mediana del numero di pubblicazioni nel settore scientifico era imprescindibile, ora non più). Questo cambio di rotta non è accettabile. Se si sono accorti di aver sbagliato, devono chiedere un decreto correttivo urgente al Ministro (che però secondo me ha detto loro che non se ne parla) o rassegnarsi ad usare l’indice m. Forzare l’interpretazione della legge in maniera così ridicolmente patetica è un errore gravissimo. Ho sempre difeso le scelte dell’ANVUR nell’ottica di una rapida ma imperfetta attuazione. Ma qui sono indifendibili.
Per essere più pignoli, la locuzione “età accademica” viene usata in modo polisemico nel documento dell’ANVUR. “Polisemico” non è una brutta parola, significa solo “con più significati” – una situazione ben nota a tutti, nel linguaggio naturale, e riflessa in ogni vocabolario dall’apposizione di un numero naturale a ciascuno dei vari significati che possiede un certo termine.
Infatti solo per la normalizzazione dell’indice h di Hirsch si utilizza la locuzione “età accademica” con lo speciale significato “età dell’articolo” (misurata dalla data della sua pubblicazione).
E’ a causa della “naturale” possibile polisemia dei vocaboli e, in generale, delle espressioni, che ogni documento normativo cerca di fissare in un apposito glossario il significo da intendere – per le espressioni-chiave più tecniche o specifiche – in quello specifico documento.
Tuttavia la prescrizione normativa del DM “criteri e parametri” relativa all’uso dell’indice h, come data nell’Allegato A
http://attiministeriali.miur.it/media/192904/dm_07_06_2012_allegatoa.pdf
impone che “[…] Gli indicatori bibliometrici da utilizzare nelle procedure di abilitazione a professore di prima e seconda fascia sono i seguenti:
[…]
c) l’indice h di Hirsch normalizzato per l’età accademica.”
Ora, in questo caso, l’obiezione relativa all’aderenza al dettato del DM va ricercata più con riferimento al termine “normalizzato” che alla locuzione “età accademica”. Infatti è la procedura di “normalizzazione” ad essere diversa, per l’indice di Hirsch. Sospetto che l’ANVUR possa appellarsi a questo cavillo per tentare di giustificare la propria definizione di “normalizzazione per l’età accademica”, quando prescrive l’uso dell’indice di Katsaros.
Le variabili “età accademica” (di seguito A) e “età dell’articolo” sono indipendenti (l’unico vincolo, evidentemente, è che A è sempre pari o superiore a B, per ogni articolo). Nessuna normalizzazione che agisca sull’età accademica e sull’indice h in qualche modo, f(A,h) (nel nostro caso f(A,h)=h/A), può essere vista come una normalizzazione che agisce sull’età di ogni articolo e poi ne fa l’indice h. Questo perché le variabili sono indipendenti (nell’indice di Katsaros A non compare mai, mentre nell’indice m non compaiono le età degli articoli).
Quindi la normalizzazione che interviene nell’indice m e quella che interviene nell’indice di Katsaros sono due operazioni completamente differenti.
Il DM criteri e parametri, a mio parere, non lascia spazio alla variazione polisemica segnalata da Renzo Rubele. All’art. 1 lettera q definisce infatti l’età accademica come:
“periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale, tenuto conto dei periodi di congedo per maternità, di altri periodi di congedo o aspettativa, previsti dalle leggi vigenti e diversi da quelli per motivi di studio, nonché di interruzioni dell’attività scientifica per fondati motivi da valutare in relazione al curriculum del candidato”.
Normalizzazione per età accademica significa normalizzare (in qualche modo) per il periodo di tempo successivo alla data della prima pubblicazione scientifica (definita in qualche modo) del candidato.
L’età accademica non mica tanto “polisemica” nel D.M. 76. Infatti ne viene data la definizione precisa proprio nell’Art. 1 nel decreto:
“ART. 1
(Definizioni)
1. Ai fini del presente decreto, si intende:
[…]
q) per età accademica: il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale, tenuto conto dei periodi di congedo per maternità, di altri periodi di congedo o aspettativa, previsti dalle leggi vigenti e diversi da quelli per motivi di studio, nonché di interruzioni dell’attività scientifica per fondati motivi da valutare in relazione al curriculum del candidato; …”
Quello che fa testo è il D.M. Una delibera dell’ANVUR non può modificare un D.M.. In questo caso non si tratta nemmeno di una delibera ANVUR ma di un documento “a cura del consiglio direttivo dell’ANVUR” che ad una prima lettura non è nemmeno datato e protocollato. Mi sembra che manchino persino i cavilli a cui aggrapparsi.
Si sa che il DM è stato scritto da ANVUR quando erano convinti che potesse andare tutto liscio con l’h normalizzato. Poi si sono accorti che in certe aree c’era qualche problema e hanno azzardato la manovra d’emergenza stiracchiando le interpretazioni del DM che loro stessi avevano partorito. A naso penso che il tar Lazio potrebbe non essere tanto creativo.
la dinamica è più o meno chiara:
1) hanno fatto i conti.
2) si sono accorti che l’indice h e le citazioni normalizzati all’età accademica funzionano solo (forse) per i SSD in cui, da 40 anni, è consolidato il set di riviste su cui pubblicare. In questi settori la “popolazione attiva” è abbastanza omogenea ed è abituata a confrontarsi su questi parametri (vedi i fisici per i quali l’indice di Katsaros viene preso a modello)
3) per gli altri settori non c’e’ indice bibliometrico.
Quindi stanno cercando di intorbidire le acque con questa sequela di ammissioni, smentite e documenti vari. Insomma, a voler pensare bene, si sono maldestramente incartati. A voler pensare male hanno pestato qualche callo molto doloroso!
Non compete a me giudicare se l’interpretazione di una norma sia coerente con la lettera e lo spirito della norma stessa, ma trovo INACCETTABILE la distrosione dei fatti contenuta nell’affermazione, fatta da un collega peraltro stimato e le cui opinioni sono quasi sempre condivisibili, per cui la scelta di una certa procedura e’ statat fatta (cito) per “le esigenze di un’area specifica”. TUTTI i settori concorsuali da me presi in esame, e appartenenti a quasi tutte le aree soggette a criteri bibliometrici (nello specifico matemnatica, chimica, geologia, biologia eingegneria), mostrano esattamente lo stesso andamento temporale dell’indice h individuato per i fisici, andamento peraltro previsto teoricamente sulla base del lavoro di Hirsch (vedi mio commento all’intervento precedente di De Nicolao, commento al quale non mi sembra nessuno abbia replicato contestandolo)e più volte indicato dal sottoscritto agli addetti ai lavori. Neel nostro articolo, che chiunque si puo’ andare a leggere perche’ fimnalmente apparso in http://arxiv.org/abs/1207.3499
i fisici sono stati presi come campione soltanto per la molto maggiore abbondanza di dati statistici a disposizione, e quindi per la miglior qualita’ dell’analisi risultante.
Io vorrei ribaltare l’argomento di De Nicolao: CHI ha interesse a usare un indice sbagliato e quindi ne contesta la correzione?
SE il problerma e’ rispettare ALLA LETTERA la norma ecco la mia semplice proposta: si normalizzi “per eta’ accademica” dividendo ogni indicatore individuale per il valor medio dello stesso indicatore calcolato sull’insieme costituito dai soggetti di riferimento che hanno la setssa eta’ accademica. Questo e’ cio’ che ogni matematico o statistico serio intende (e i dizionari confermano) per “normalizzazione”, che non è quasi mai una semplice divisione, ed è l’unica procedura che rende gli indicatori realmente indipendenti dall’età accademica,
Anticipo comunque che il risultato non saraà molto diverso da usare il “contemporary index”.
PS: nessun fisico o gruppo di fisici ha mai chiesto di cambiare la definizione degli indicatori, credo che l’intenzione della comunità sia quella di IGNORARE gli indicatori, fin dove possibile
quindi, nel caso della procedura di abilitazione in questione, si prevederebbe l’esistenza, nella classe a cui si aspira, di un gruppo di soggetti di riferimento, su cui calcolare i criteri, aventi età accademica comparabile con quella dei candidati….
e se sono tutti accademicamente più vecchi (cosa normale)? Ci confrontiamo con un insieme nullo?
eppure il prof. Rossi scriveva:
“Sulla base di questa fondamentale premessa è facile argomentare che l’adozione di parametri bibliometrici (in modo esclusivo o prevalente) ai fini di una valutazione comparativa di individui è di per sé un errore concettuale, anche indipendentemente dalla qualità (spesso opinabile) del parametro stesso.”
Io credo che quelli dell’ANVUR si stiano rendendo conto che hanno fatto una fesseria con l’introduzione dell’età accademica come normalizzatore e stiano tentando di rimediare mettendoci una toppa.
L’età accademica “costringe” le persone a nascondere le pubblicazioni che avevano fatto da giovani studenti e che magari fino a qualche anno fa rappresentavano una cosa di cui andare orgogliosi. Si arriva all’assurdo che per essere promossi bisogna nascondere i lavori!
Gli indici bibliometrici sono tutti criticabili, ma se proprio bisogna sceglierne uno, l’hc index mi sembra meglio dell’h e dell’hm index, ma forse dovevano dirlo prima. Che bella grana.
Ma .. mi pare che la sorgente dell’ “indice” di Katsaros sia .. wikipedia .. come orgogliosamente il K. suggerisce ( http://inf-server.inf.uth.gr/~dkatsar/ ) ed .. e’ vero!!
Tenderei quindi a concludere ( ma correggetemi se sbaglio per favore, sono totalmente inesperto di bibliometria) che una accurata ricerca ( su wikipedia: http://en.wikipedia.org/wiki/Hirsch_number) ha permesso una elaborazione tanto raffinata. Il gravoso impegno per reperire questa informazione e’ stato probabilmente affrontato con una ricerca google:
“h index wiki” ( tempo impiegato nella ricerca google: 0.29 secondi)
PPS: qualche garbato passo indietro, anche non formale, sarebbe un precedente straordinariamente positivo in un dibattito ormai decisamente sopra le righe. Che ne direste di una frase tipo “Proposta interessante, ma dateci le prove”?, oppure
“Perché non aspettare l’analisi dei dati prima di decidere qual è la corretta normalizzazione?”
Visto che si cita Orwell, lo faccio anch’io:
“La libertà consiste nella libertà di dire che due più due fanno quattro. Se è concessa questa libertà, ne seguono tutte le altre”
(1984, edizione Oscar 1973, pag. 105)
Rispondo a Irace: il prof.Rossi è totalmente d’accordo con se stesso (per una volta), e ribadisce che i criteri bibliometrici andrebbero semplicemente IGNORATI. Consoscendo tuttavia la forte vocazione, nazionale e accademica, a non assumersi responsabilità, il prof. Rossi cerca con tutte le proprie forze di far sì che i molti che si appiattiranno sui criteri siano posti in condizione di fare il minor danno possibile.
Rispondo ancora a Irace: dai dieci anni di età accademica in su non c’e’ area in cui non sia presente un “gruppo di controllo” adeguato al calcolo della media. Sotto i dieci anni si può usare la formula standard definita dal decreto e dall’ANVUR per tutti gli altri indicatori (usare la media per i dieci anni, moltiplicare per 10 e dividere per gli anni)
io penso che la materia su cui si sta discutendo avrà, anzi ha, un impatto sociale e culturale tremendo. A prescindere dalle personali, legittime, aspirazioni di carriera, si sta decidendo di soggiogare il ricambio generazionale necessario dall’immenso turnover ad una procedura meccanica che, come unico risultato, selezionerà la gran parte dei potenziali idonei nei gruppi affetti da “bulimia” pubblicativa (perdonate la terribile locuzione) a prescidere da un qualsivoglia controllo sulla qualità (rimandato ad una inutile fase successiva). Come dire, prendiamo tutti quelli biondi e poi, tra di loro, quelli bravi.
Per una volta, tra mille difficoltà, si aveva l’occasione di rinnovare le procedure di reclutamento costringendo il sistema ad accollarsi le necessarie responsabilità di scelta ed invece di sceglie (cito) “il minor (?) danno possibile!”
Purtroppo, caro Rossi, non c’è più tempo di fare passi indietro, il meccanismo che è partito è intimamente bacato ed è prevedibile che questa procedura verrà seppellita da ricorsi ai tribunali amministrativi, ritardata e probabilmente vanificata, aumentando ancora il divario generazionale tra chi entra nei ruoli e chi dovrebbe essere scuola, già adesso intollerabile.
Caro Paolo Rossi,
nessuno ha interesse a difendere “un indice sbagliato e ne contesta la correzione”. Qui si sta sostenendo che se l’ANVUR si è accorta che l’indice è sbagliato (ma è doveroso spiegarci perché era giusto quando è stato scritto il decreto, ed ora è sbagliato), ha il dovere di chiedere al ministro/legislatore di modificare la norma. L’ANVUR non può cambiare un decreto ministeriale.
Immaginiamo che qualcuno abbia inventato da qualche giorno l’indice UBI “ultimate bibliometric index” che permette di ordinare senza errore tutti i ricercatori italiani [nei secoli dei secoli]. Nelle prossime procedure di abilitazione, LA LEGGE (siamo dopotutto in uno stato di diritto) prevede che si debba usare l’h-index normalizzato per età accademica. L’ANVUR scrive una FAQ dove si sostiene che visto che l’indice UBI è migliore di quello previsto dalla normativa, si deve intendere, perché questo è lo spirito della legge, che l’h-index normalizzato per età accademica è l’indice UBI. Questo non si può fare, perché la legge dice un’altra cosa. Se si ritiene che UBI sia meglio dell’h-index normalizzato, che si cambi la norma.
PS. Ad oggi l’indice UBI non è stato inventato. E forse sarebbe stato più saggio non introdurre nella norma oggetti (h-index, m-index etc.) ancora al vaglio della comunità scientifica. Se si fossero usati indicatori bibliometrici di produzione semplici e controllabili [come d’altra parte sosteneva il CUN], forse avremmo evitato il problema sollevato dai costituzionalisti, ed il pasticcio dell’indice di Katzaros.
Caro Baccini (e tutti coloro che seguono questo dibattito),
evidentemente non riesco a spiegarmi, ci riprovo ancora, ma prometto che è l’ultima).
Io NON STO DIFENDENDO l’ANVUR, ne’ il contemporary index, e non sto dicendo che ho idee migliori o che ho inventato l’UBI.
PERSONALMENTE SONO CONTRARIO ALL’APPLICAZIONE DEGLI INDICATORI BIBLIOMETRICI AI SINGOLI INDIVIDUI (non uso il grassetto solo perche’ non ne sono capace).
Sto solo dicendo che DIVIDERE h per l’eta’ accadedemica e’ SBAGLIATO: non è, dal punto di vista tecnico, una normalizzazione, quindi VIOLA LA LEGGE. Normalizzare rispetto a un parametro non significa, ne’ in Italiano ne’ in qualunque altra lingua naturale o formale, dividere per il parametro, significa rendere le variabili indipendenti da quel parametro. Dividere h per l’eta’ accademica non elimina la dipendenza, semplicemente le cambia il segno. Non e’ una regola generale: ad esempio dividere le citazioni totali o il numero delle pubblicazioni per l’eta’ accademica è una ragionevole approssimazione a una normalizzazione. Non tocca a me risolvere il problema giuridico, anche se ho indicato almeno due possibili soluzioni, entrambe giuridicamente ineccepibili: dividere per la radice quadrata dell’eta’ accademica oppure dividere per la media del corrispondente gruppo di controllo.
Certamente sarebbe stato più saggio non introdurre nella norma oggetti non sufficientemente studiati, ma come dice giustamente Irace non c’e’ piu’ tempo per i passi indietro, ora si tratta solo di salvare il salvabile.
Nonostante tutto, l’indice di Katsaros continua a NON essere coerente con la definizione statistica di normalizzazione per età accademica data sopra (divisione in insiemi omogenei di professori con la stessa età accademica).
D’altra parte creare sottoinsiemi indicizzati per età accademica avrebbe effetti aberranti, perché attenuerebbe ogni controllo statistico dell’errore. Potremmo avere che ad un candidato con età accademica 10 sia richiesto un indice h totale maggiore di quello richiesto ad uno con età accademica 12, solo perché i professori associati con età accademica esattamente 10 sono “medianamente” più bravi di quelli con età accademica esattamente 12. Si immagini poi quanto rapidamente questo errore esplode se si esaminano settori più piccoli.
La mia modesta opinione è che sarebbe stato meglio introdurre una funzione di normalizzazione chiara e trasparente definita analiticamente (eventualmente diversa settore per settore). Ricorrere all’indice di Katsaros è una cosa completamente diversa che contrasta con il decreto, e questo è un dato di fatto.
Sorry, non intendevo dire che Paolo Rossi pensa di aver inventato l’UBI. Dividere l’h per l’età accademica è quello che stava nella testa di chi ha scritto il decreto.
Delle due l’una: o si cambia la norma o si inventa una normalizzazione per età accademica che non vada contro la norma.
Personalmente penso che tutto quanto sta accadendo fosse ampiamente prevedibile e che sia il frutto dissennato di un innamoramento assurdo per la bibliometria che – per quanto ne so – non ha paralleli nei paesi con i quali ci confrontiamo. Ha ragione Alberto, si è iniziato a pasticciare con strumenti non adatti e che non sono in grado di funzionare bene per certi scopi, nella convinzione che fossero la medicina che avrebbe guarito dalle baronie, solo per scoprire che si trattava di un veleno capace di ammazzare il paziente. La discussione su H e Katsaros spero che contribuirà fra l’altro a una maggior coscienza di questi aspetti.
Si è pasticciato facendo credere che l’obiettività della bibliometria fosse la panacea dei mali dell’università italiana. Da tempo scriviamo su questo blog intorno alle bibliometrie-fai-da-te e all’incredibilità delle classifiche. Se l’indice di Katsaros servirà a far capire che l’oggettività della bibliometria è un’illusione ottica, e che semplicemente ha spostato il potere di decidere dai baroni che infestano le commissioni ai membri dell’ANVUR ed ai loro consiglieri che deciono come normalizzare, beh forse tutto questo è molto costoso, ma non è inutile.
Paolo Rossi scrive: “Normalizzare rispetto a un parametro non significa, ne’ in Italiano ne’ in qualunque altra lingua naturale o formale, dividere per il parametro, significa rendere le variabili indipendenti da quel parametro.”
Questo dove è scritto? Normalizzare una misura di probabilità vuol dire dividerla per un numero in modo che l’integrale sia uno. Normalizzare un vettore vuol dire dividerlo per un numero in modo che la norma sia uno. Etc.
Forse ha ragione, ma mi piacerebbe un riferimento da cui si evinca il significato che lei attribuisce a “normalizzare” (che lei usa nel senso di “uniformizzare”).
Comunque, come si vede dal grafico in questo documento ANVUR:
http://www.anvur.org/sites/anvur-miur/files/normalizzazione_indicatori.pdf
la dipendenza dall’età accademica scompare solo quando questa è superiore a 13-15. Prima cresce linearmente. Ora, ammettendo che la prima pubblicazione in genere risale al dottorato (27 anni?), il range in cui l’indice varia brutalmente con l’età accademica è proprio quello in cui ci saranno più domande di abilitazione a professore associato (27-40 anni). Alla faccia del meno peggio!!!
Salviamo il salvabile. Chi partecipa a questo forum ha a cuore l’università italiana. Proponiamo la soluzione migliore, più rapida e più efficace per salvare il salvabile. Per esempio, l’ANVUR potrebbe dire che le commissione dovranno prima scegliere in base a parametri qualitativi che ci sono nel decreto e poi solo dopo prendere in considerazione i parametri quantitativi e che solo chi ha in primis qualità e poi rientra nei parametri quantitativi può essere idoneo. Può farlo? Ha senso?
Brevissima per Marc: la media può essere fatta per l’insieme di tutte le aree interessate, perché e’ la normalizzazione relativa tra le classi d’eta’ che conta, non quella assoluta, e a botte di 3-400 docenti per classe d’eta’ le fluttuazioni di cui ti preoccupi dovrebbero sparire (sperimentalmente sono gia’ quasi trascurabili su gruppi di 40-50 docenti)perché non sono stocastiche (le varie classi d’eta’ sono ovviamente correlate)
in quale SSD ci sono 400 docenti per classe d’età? nel mio ci sono 88 PO in totale e nella mia classe di età (definizione personale +/- 5%) ne ritrovo solo 6. O non ho capito il concetto di classe di eta..
Non sono esperto di bibliometria ma l’h-index e le citazioni mi sembrano entrambe dipendere in maniera fortemente non lineare dall’età accademica (e assai più fortemente dalla posizione, per cui confrontare su questi indicatori un PA con la classe dei PO mi da qualche brivido…). Inoltre sospetto che la non linearità sia diversa da SSD a SSD per cui ogni proposta univoca di normalizzazione (a proposito, la radice dell’età accademica mi piace di più) credo sia poco proponibile.
Infine, come conciliare il tutto con i periodi di congedo etc (che incidono in maniera lineare sulla riduzione dell’età accademica) senza forzare il DM mi risulta oscuro….
segnalo, dal sito “docenti preoccupati”
Era da dire…
MM
Da Unilex, lista di legislazione universitaria fondata da Tristano Sapigni
**************************************************************************
Carissim*,
vi disturbo per segnalarvi che anche il TAR del Piemonte, in una
sentenza depositata l’11 luglio a proposito di un concorso per
ricercatore nel settore AGR/19, ha deliberato che:
“Va precisato, poi, che il fattore di impatto non indica la qualità
scientifica delle pubblicazioni (sulla quale peraltro la commissione nel
caso de quo ha espresso un separato giudizio) perché rappresenta un
criterio di valutazione delle riviste e non dei lavori in esse
pubblicati. Il fattore di impatto rappresenta solo il livello di
diffusione di una rivista scientifica, ed il suo valore prescinde dalla
qualità, novità ed importanza scientifica del lavoro pubblicato.
In altri termini, un lavoro, solo perché pubblicato su una rivista
scientifica molto diffusa avrà un elevato impact factor, a prescindere
dalla sua qualità intrinseca (cfr. Cons. St., sez. VI, 04 Giugno 2010,
n. 3561; T.A.R. Roma Lazio sez. III, 04 novembre 2011, n. 8466).”
http://www.giustizia-amministrativa.it/DocumentiGA/Torino/Sezione%201/2012/201200208/Provvedimenti/201200840_01.XML
Insistendo nel disturbo vi invito inoltre a leggere il parere del prof.
Aldo Travi, audito dal CUN il 12 maggio 2011 a proposito de “GLI INDICI
BIBLIOMETRICI NELLA GIURISPRUDENZA AMMINISTRATIVA SUI CONCORSI
UNIVERSITARI”.
http://www.cun.it/media/112738/traviinterventoaudizione12maggio.pdf
Ve ne anticipo le conclusioni:
“- la valutazione dei contributi scientifici del candidato deve
riguardare essenzialmente il valore intrinseco del contributo (vale,
insomma, il canone del peer-review);
– rispetto a tale valutazione, la considerazione degli indici
bibliometrici può avere solo una rilevanza marginale, come mero elemento
di supporto per un giudizio già formatosi sul valore del
contributo scientifico;
– di conseguenza, la considerazione degli indici bibliometrici non può
assumere, neppure nelle materie scientifiche, un rilievo prevalente o
determinante;
– in ogni caso, nelle aree scientifiche rispetto alle quali gli indici
bibliometrici non abbiano un’ampiezza sufficiente (es. scienze umane),
tali indici vanno considerati tendenzialmente irrilevanti;
– anche nelle aree rispetto alle quali gli indici bibliometrici abbiano
maggiore ampiezza e diffusione, la Commissione può legittimamente
formare il proprio convincimento su una peer-review che trascuri del
tutto tali indici.
5. Gli indici bibliometrici sono stati richiamati, in termini però molto
prudenti e subordinati, nel d.m. 28 luglio 2009, n. 89, sui concorsi per
l’accesso al ruolo dei ricercatori. Il d.m. 28 luglio
2009, n. 89 cit. richiama infatti impact factor e indice H, precisando
comunque che tali parametri valgono esclusivamente “nell’ambito dei
settori scientifico-disciplinari in cui ne è riconosciuto l’uso
a livello internazionale” (art. 3, quarto comma).
La giurisprudenza formatasi su tale decreto ministeriale non è ancora
sufficientemente ampia, per definire linee di indirizzo significative.
Tuttavia va osservato che i principi elaborati dalla giurisprudenza
sopra considerata dovrebbero indurre a considerare con estrema cautela
queste previsioni del decreto, un cui eventuale annullamento potrebbe
comportare conseguenze dirompenti sul reclutamento dei ricercatori a
tempo indeterminato.”
Scusate il ritardo nella risposta. Per Irace: l’idea (evidentemente da me male esposta) e’ di fare la media su tutte le aree (da matematica a ingegmeria), non sul singolo settore o la singola area. Si tratta di generalizzare la procedura usata per i fisici, identificando cosi’ un andamento temporale medio dell’indice (la sequenza dei valori delle medie) statisticamente determinato (e quindi validato) per il complesso del sistema universitario, e che definisca una funzione empirica di normalizzazione per eta’ accademica, non esprimibile mediante una funzione algebrica ma definita per punti. I diecimila docenti di ciascuna fascia, divisi per circa trenta classi d’eta’ accademica, diventano in media piu’ di trecennto docenti per classe. In prima approssimazione questa funzione “assomiglia” alla radice quadrata dell’eta’, ma la definizione basata sulla statistica è concettualmente piu’ rigorosa.
Per Abbondanzio: la definizione di normalizzazione e’ nei dizionari, o anche in Wikipedia, e come Abbondanzio stesso rileva il modo in cui si normalizza dipende dal problema che si deve risolvere: si puo’ dividere per un integrale (come nelle distribuzioni), per la radice di una norma (come per i vettori), per un valor medio (come suggerisco io), per una varianza, e sa il cielo quanti altri sono i casi possibili. Ma l’obiettivo e’ sempre NORMALIZZARE (ossia rendere confrontabili casi differenti), non introdurre nuove dipendenze.
Quanto alla “finestra” di età accademiche rilevante per le abilitazioni, io sto assumendo che alla prima tornata il problema riguardi soprattutto gli attuali ricercatori a tempo indeterminato, che hanno praticamente tutti un’eta’ accademica maggiore di 10 anni, e SPERO che comunque questa follia degli indicatori riguardi solo la prima tornata. La mia proposta, come articolata negli inerventi precedenti, terrebbe comunque conto anche di chi ha meno di 10 anni di anzianita’ accademica