Lettera aperta al Presidente Sistal
Vorrei porre all’attenzione del nostro settore disciplinare l’improprietà complessiva degli indicatori bibliometrici, previsti dall’ANVUR ed inseriti nel DM n° 76 del 7.06.2012 per la valutazione dei candidati all’abilitazione scientifica nazionale per l’accesso alla prima ed alla seconda fascia dei professori universitari e per l’accertamento della qualificazione dei Commissari, quali:
a) il numero di articoli su riviste contenute nelle principali banche dati internazionali e pubblicati nei dieci anni consecutivi antecedenti la data di pubblicazione del DM anzidetto, da normalizzare qualora l’età accademica del candidato fosse inferiore a dieci anni;
b) il numero totale di citazioni ricevute riferite alla produzione scientifica complessiva normalizzato per l’età accademica;
c) l’indice h di Hirsch normalizzato per l’età accademica.
L’utilizzo rigido di questi indicatori è stato messo in discussione addirittura da ANVUR stessa, che sul proprio sito precisa che il mancato raggiungimento dei parametri non preclude in alcun modo il diritto a partecipare alla abilitazione nazionale.
In un comunicato il MIUR ha quindi invitato le Commissioni a non considerarli indispensabili per l’abilitazione.
Inoltre, non si dovrebbe trascurare quanto riportato nella San Francisco Declaration on Research Assessment (DORA), ove si evidenzia quanto distorta possa essere una valutazione della ricerca scientifica individuale, a fini di deciderne la promozione di ruolo o di assegnare fondi di ricerca, imperniata sui soli parametri bibliometrici, Impact Factor in primis, come specificatamente dettagliato da Bruce Alberts, Editor-in-Chief of Science (Vol. 340 – May, 17th, 2013, p. 787) e fatto circolare dalla rete ISEKI.
A ciò occorre aggiungere che la popolazione dei dati utilizzati per elaborare le mediane ANVUR non è stata, a tutt’oggi, resa pubblica. Inoltre, sembra che le mediane siano soggette a continue revisioni sì da costringere le Commissioni Giudicatrici a rivedere i giudizi già formulati.
Il loro utilizzo, quale elemento di discriminazione dei candidati, potrebbe esporre la Commissione Giudicatrice ad innumerevoli ricorsi, in quanto:
a) il numero delle pubblicazioni, sic et simpliciter, non tiene conto del numero dei coautori, del contributo apportato dai singoli partecipanti agli articoli soggetti a valutazione, nonché del livello qualitativo delle sedi di pubblicazione.
Nelle tabelle allegate si confronta semplicemente il metodo di calcolo “cieco” adottato da ANVUR ed un metodo che tiene conto della proprietas secondo la regressione già adottata per assegnare il Premio SISTAL 2011 per la produzione scientifica (http://www.sistal.org/?page_id=367).
Ad es., nella tab. 1, un candidato con 21 lavori a nome singolo pubblicati su riviste ISI/Scopus del 1° gruppo con IF medio pari a 3 presenterebbe effettivamente 21 lavori ed un IF complessivo di 63. Un altro candidato con 21 lavori con 4 coautori, pubblicati sulle stesse riviste presenterebbe solo 7,7 lavori effettivi ed un IF di 23,1 (tab. 2), mentre un altro candidato con 21 lavori, identicamente pubblicati, con 6 coautori presenterebbe 6,5 lavori effettivi ed un IF di 19,5 (tab. 3). Per contro, un candidato con 21 lavori a nome singolo, pubblicati su riviste ISI/Scopus con IF pari a 0,1, presenterebbe 21 lavori, ma un IF complessivo di 2,1 (tab. 4). Infine, un candidato (che non supera la mediana ANVUR), ossia con 19 lavori con in media 3,2 coautori pubblicati su riviste con IF medio di 2,2, presenterebbe 7,5 lavori effettivi ed un IF di 16,6 (tab. 5).
Questi semplici calcoli mettono dunque in evidenza che i primi quattro candidati superano la mediana (20), ma le pubblicazioni pesate oscillano da 21 a 6,5 e l’IF da 63 a 2,1.
È razionalmente giustificabile negare l’abilitazione al 5° candidato per il solo fatto che non supera la mediana? E ciò a prescindere dalla pertinenza delle pubblicazioni con le competenze e le prerogative del settore concorsuale 07/F1, e con la relativa declaratoria (DM 12/06/2012, n°159)!
b) Il numero totale di citazioni ricevute da un candidato non rappresenta, parimenti, un elemento di discriminazione per almeno un duplice motivo. Non è supportato da alcuna seria analisi statistica delle citazioni medie per tema di ricerca all’interno di uno stesso ssd. Ovviamente, questo problema si amplifica per i nuovi raggruppamenti concorsuali, come ad es. il macrosettore 03/D1 – Chimica e Tecnologie Farmaceutiche, Tossicologiche e Nutraceutico-Alimentari che include settori disciplinari con storia e specificità non omogenee (es. CHIM/08-10-11). Inoltre, non prescinde dalle autocitazioni.
Nel ssd 07/F1 è ben noto che alcuni temi di ricerca godano di più che numerose citazioni, mentre altri più specifici e settoriali (es. operazioni e processi unitari) molte di meno. Non esistono dati al riguardo, ma quei pochi dati disponibili e relativi alle riviste indicizzate da Thomson Reuters nel periodo 2000-2010 mostrano chiaramente che le aree della biologia molecolare e genetica, immunologia e neuroscienza presentano il maggior numero medio di citazioni, mentre le scienze matematiche ed informatiche il minimo (http://www.timeshighereducation.co.uk/415643.article). Per contro, le scienze agrarie in toto presentano un numero medio di 7,05 citazioni nel periodo anzidetto, nettamente inferiore ai numeri magici ANVUR di 15,89 per gli associati e 19,13 per gli ordinari.
Inoltre, questo parametro innesca perversi meccanismi nella formulazione della bibliografia degli articoli, in quanto spinge a citare anche lavori del tutto estranei al tema della ricerca, solo per poter aumentare il numero delle citazioni. Per non parlare, del mercato delle citazioni e quello dei nomi nei lavori, che si sviluppa grazie al meccanismo delle mediane.
Per ultimo, va rilevato che il n° delle citazioni per qualsiasi lavoro pubblicato appare correlato anche al numero dei coautori. E ciò risulta da un semplice calcolo. Un lavoro a con n coautori potrebbe, in linea teorica, generare almeno un altro lavoro bn per ciascuno degli n coautori. Dato che non si escludono le autocitazioni e che in questo caso non si tratterebbero di vere e proprie autocitazioni non essendo a priori tutti gli n coautori presenti in ciascun nuovo lavoro bn, anche il numero delle citazioni andrebbe dunque pesato in base al numero dei coautori.
b) L’indice h di Hirsch, venendo calcolato in base al numero delle pubblicazioni e delle citazioni ricevute (http://it.wikipedia.org/wiki/Indice_H), rappresenta una misura bibliometrica correlata agli indicatori anzidetti e, pertanto, viene considerato pleonastico rispetto ai primi due, anche alla luce dell’art. 5 del DM n° 76. Ne consegue che, essendo gli indicatori a e b inadeguati, il parametro c sarà a maggior ragione inappropriato.
Ulteriore elemento da ponderare accuratamente è la pertinenza delle pubblicazioni presentate dai candidati con le competenze e le prerogative del settore concorsuale 07/F1, e con la relativa declaratoria (DM 12/06/2012, n°159), soprattutto quando i temi di ricerca potrebbero, sensu lato, essere classificabili nelle 5 aree tematiche (processi ed operazioni unitarie della tecnologia alimentare, confezionamento degli alimenti, analisi chimico-fisiche, analisi sensoriali e gestione della qualità: http://www.sistal.org/?page_id=317) del ssd 07/F1.
Pur con le dovute precauzioni, il Libro Bianco: temi di ricerca SISTAL 2003-2008 (http://www.sistal.org/?page_id=321) potrebbe rappresentare un vademecum utilissimo per attribuire la pertinenza delle ricerche dei candidati a quelle tipiche dei docenti del ssd delle Scienze e Tecnologie alimentari. Ed è un vero peccato che i soci della SISTAL non abbiano fatto sentire la propria voce per l’aggiornamento triennale del Libro Bianco, come inizialmente progettato!
Con queste considerazioni mi auguro di aprire un approfondito dibattito sull’uso appropriato della bibliometria, che spinga la SISTAL ad andar oltre la dichiarazione di principio del 29 ottobre 2012 e a cogliere l’occasione per sostenere un sistema di valutazione in linea con le migliori pratiche internazionali che fanno ricorso ai principi dell’etica, della qualità e della responsabilità per accertare la maturità scientifica dei candidati attraverso l’originalità dei risultati conseguiti e la posizione raggiunta nel panorama nazionale e/o internazionale della ricerca nel settore 07/F1. In altre parole, citando ancora Bruce Alberts occorre che la Commissione Giudicatrice legga e valuti un ristretto numero di lavori, preselezionato dal candidato stesso (es. 14 per il ruolo di PA e 20 per quello di PO), senza demandare per default il proprio giudizio agli editori delle riviste scientifiche ove sono stati pubblicati, e ciò a prescindere dal superamento meramente ragionieristico delle improprie soglie dell’ANVUR.
(n-1)0.5 | N° pubblicazioni | IF | |||
pesato | pesato | ||||
| n° | N° Autori | IF | |||
1 | 1 | 3 | 0,00 | 1,0 | 3,0 |
2 | 1 | 3 | 0,00 | 1,0 | 3,0 |
3 | 1 | 3 | 0,00 | 1,0 | 3,0 |
4 | 1 | 3 | 0,00 | 1,0 | 3,0 |
5 | 1 | 3 | 0,00 | 1,0 | 3,0 |
6 | 1 | 3 | 0,00 | 1,0 | 3,0 |
7 | 1 | 3 | 0,00 | 1,0 | 3,0 |
8 | 1 | 3 | 0,00 | 1,0 | 3,0 |
9 | 1 | 3 | 0,00 | 1,0 | 3,0 |
10 | 1 | 3 | 0,00 | 1,0 | 3,0 |
11 | 1 | 3 | 0,00 | 1,0 | 3,0 |
12 | 1 | 3 | 0,00 | 1,0 | 3,0 |
13 | 1 | 3 | 0,00 | 1,0 | 3,0 |
14 | 1 | 3 | 0,00 | 1,0 | 3,0 |
15 | 1 | 3 | 0,00 | 1,0 | 3,0 |
16 | 1 | 3 | 0,00 | 1,0 | 3,0 |
17 | 1 | 3 | 0,00 | 1,0 | 3,0 |
18 | 1 | 3 | 0,00 | 1,0 | 3,0 |
19 | 1 | 3 | 0,00 | 1,0 | 3,0 |
20 | 1 | 3 | 0,00 | 1,0 | 3,0 |
21 | 1 | 3 | 0,00 | 1,0 | 3,0 |
| TOTALE | 21 | 63 | |||
| Proprietas | =1/(1+SQRT(n-1)) | ||||
| SISTAL | |||||
tabella 1
(n-1)0.5 | N° pubblicazioni | IF | |||
pesato | pesato | ||||
| n° | N° Autori | IF | |||
1 | 4 | 3 | 1,73 | 0,4 | 1,1 |
2 | 4 | 3 | 1,73 | 0,4 | 1,1 |
3 | 4 | 3 | 1,73 | 0,4 | 1,1 |
4 | 4 | 3 | 1,73 | 0,4 | 1,1 |
5 | 4 | 3 | 1,73 | 0,4 | 1,1 |
6 | 4 | 3 | 1,73 | 0,4 | 1,1 |
7 | 4 | 3 | 1,73 | 0,4 | 1,1 |
8 | 4 | 3 | 1,73 | 0,4 | 1,1 |
9 | 4 | 3 | 1,73 | 0,4 | 1,1 |
10 | 4 | 3 | 1,73 | 0,4 | 1,1 |
11 | 4 | 3 | 1,73 | 0,4 | 1,1 |
12 | 4 | 3 | 1,73 | 0,4 | 1,1 |
13 | 4 | 3 | 1,73 | 0,4 | 1,1 |
14 | 4 | 3 | 1,73 | 0,4 | 1,1 |
15 | 4 | 3 | 1,73 | 0,4 | 1,1 |
16 | 4 | 3 | 1,73 | 0,4 | 1,1 |
17 | 4 | 3 | 1,73 | 0,4 | 1,1 |
18 | 4 | 3 | 1,73 | 0,4 | 1,1 |
19 | 4 | 3 | 1,73 | 0,4 | 1,1 |
20 | 4 | 3 | 1,73 | 0,4 | 1,1 |
21 | 4 | 3 | 1,73 | 0,4 | 1,1 |
| TOTALE | 7,7 | 23,1 | |||
tabella 2
(n-1)0.5 | N° pubblicazioni | IF | |||
pesato | pesato | ||||
| n° | N° Autori | IF | |||
1 | 6 | 3 | 2,24 | 0,3 | 0,9 |
2 | 6 | 3 | 2,24 | 0,3 | 0,9 |
3 | 6 | 3 | 2,24 | 0,3 | 0,9 |
4 | 6 | 3 | 2,24 | 0,3 | 0,9 |
5 | 6 | 3 | 2,24 | 0,3 | 0,9 |
6 | 6 | 3 | 2,24 | 0,3 | 0,9 |
7 | 6 | 3 | 2,24 | 0,3 | 0,9 |
8 | 6 | 3 | 2,24 | 0,3 | 0,9 |
9 | 6 | 3 | 2,24 | 0,3 | 0,9 |
10 | 6 | 3 | 2,24 | 0,3 | 0,9 |
11 | 6 | 3 | 2,24 | 0,3 | 0,9 |
12 | 6 | 3 | 2,24 | 0,3 | 0,9 |
13 | 6 | 3 | 2,24 | 0,3 | 0,9 |
14 | 6 | 3 | 2,24 | 0,3 | 0,9 |
15 | 6 | 3 | 2,24 | 0,3 | 0,9 |
16 | 6 | 3 | 2,24 | 0,3 | 0,9 |
17 | 6 | 3 | 2,24 | 0,3 | 0,9 |
18 | 6 | 3 | 2,24 | 0,3 | 0,9 |
19 | 6 | 3 | 2,24 | 0,3 | 0,9 |
20 | 6 | 3 | 2,24 | 0,3 | 0,9 |
21 | 6 | 3 | 2,24 | 0,3 | 0,9 |
| TOTALE | 6,5 | 19,5 | |||
tabella 3
(n-1)0.5 | N° pubblicazioni | IF | |||
pesato | pesato | ||||
| n° | N° Autori | IF | |||
1 | 1 | 0,1 | 0,00 | 1 | 0,1 |
2 | 1 | 0,1 | 0,00 | 1 | 0,1 |
3 | 1 | 0,1 | 0,00 | 1 | 0,1 |
4 | 1 | 0,1 | 0,00 | 1 | 0,1 |
5 | 1 | 0,1 | 0,00 | 1 | 0,1 |
6 | 1 | 0,1 | 0,00 | 1 | 0,1 |
7 | 1 | 0,1 | 0,00 | 1 | 0,1 |
8 | 1 | 0,1 | 0,00 | 1 | 0,1 |
9 | 1 | 0,1 | 0,00 | 1 | 0,1 |
10 | 1 | 0,1 | 0,00 | 1 | 0,1 |
11 | 1 | 0,1 | 0,00 | 1 | 0,1 |
12 | 1 | 0,1 | 0,00 | 1 | 0,1 |
13 | 1 | 0,1 | 0,00 | 1 | 0,1 |
14 | 1 | 0,1 | 0,00 | 1 | 0,1 |
15 | 1 | 0,1 | 0,00 | 1 | 0,1 |
16 | 1 | 0,1 | 0,00 | 1 | 0,1 |
17 | 1 | 0,1 | 0,00 | 1 | 0,1 |
18 | 1 | 0,1 | 0,00 | 1 | 0,1 |
19 | 1 | 0,1 | 0,00 | 1 | 0,1 |
20 | 1 | 0,1 | 0,00 | 1 | 0,1 |
21 | 1 | 0,1 | 0,00 | 1 | 0,1 |
| TOTALE | 21 | 2,1 |
tabella 4
(n-1)0.5 | N° pubblicazioni | IF | |||
pesato | pesato | ||||
| n° | N° Autori | IF | |||
1 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
2 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
3 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
4 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
5 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
6 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
7 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
8 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
9 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
10 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
11 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
12 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
13 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
14 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
15 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
16 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
17 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
18 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
19 | 3,3 | 2,2 | 1,52 | 0,397365 | 0,9 |
| TOTALE | 7,5 | 16,6 |
tabella 5
Trovo incredibile che si critichino le citazioni ricevute da un lavoro/autore come indicatore e poi si utilizzi l’impact factor della rivista sulla quale è pubblicato, che conta sempre delle citazioni ma addirittura non riferite al lavoro/autore in oggetto. Ed i lavori a congresso quale i.f. hanno? Zero? E magari sono molto più citati dell’articolo su rivista con i.f. elevato, che non se lo fila nessuno.
non mi pare che l’autore dell’articolo sostenga il ricorso all’IF della rivista come criterio dirimente, anzi.
http://www.sistal.org/wp-content/uploads/2010/01/Criteri-di-valutazione-per-lattribuzione-del-premio-SISTAL-2011.pdf
Non dico che sia proposto come dirimente, ma è considerato l’ i.f. della rivista piuttosto che le citazioni al singolo autore. Che senso ha?
Nessuno. Common knowledge tra gli scientometrici. E alla base di DORA. https://www.roars.it/dora/
Non c’è dubbio che gli indici bibliometrici (se criticamente considerati) fanno parte di una valutazione complessiva anche di un singolo candidato. Il limite è di aver creduto (ma ormai non ci crede più nessuno incluso MIUR e ANVUR)in una valutazione asettica ed…obiettiva ottenuta con i parametri biobliometrici. Una vera bufala. L’unica possibilità è il ritorno alla responsabilità, all’etica dei comportamenti individuali e di gruppo. L’uso poco intelligente ed esclusivo degli indici bibliometrici deresponsabilizza e può indurre a comportamenti opportunistici e certamente non etici.
Concordo con Nicola Ferrara. Con un distinguo. AL MIUR forse non ci credono più. All’ANVUR danno proprio l’impressione di crederci fermamente invece.
Se potessi sintetizzare con una frase:
“La Bibliometria è uno strumento Informativo ma non Normativo”
Ovvero è utile anche a livello individuale come strumento conoscitivo, con cui confrontare un candidato con Banchmarks,tenendo anche conto di autocitazioni e eventuali comportamenti non cristallini per aumentare i propri indici bibliometrici. Tuttavia è una pessima idea utilizzarla per stabilire soglie, asticelle da superare, in una qualisasi procedura automatica.
Questo accanimento contro l’ANVUR e le mediane ormai non lo capisco. E’ chiaro che le mediane non sono le tavole della legge ma danno un criterio orientativo alle commissione. La commissione del mio settore disciplinare 03/B1 ad esempio ha espresso dei criteri in modo da includere anche chi non supera le mediane considerando, ad esempio, il numero di lavori in cui il candidato è autore di riferimento o primo autore e l’impact factor medio dei migliori lavori dell’ultimo quinquennio etc. etc.
Mi sembra che tutto questo farfugliare sia un rifiuto tout court della valutazione, di qualsiasi tipo di valutazione. Del resto funzionava tutto così bene con i concorsi locali. Alcune affermazioni poi mi lasciano di stucco: “Inoltre, sembra che le mediane siano soggette a continue revisioni sì da costringere le Commissioni Giudicatrici a rivedere i giudizi già formulati.” Ma di cosa si parla esattamente? Le mediane valide per la toranata 2012-2013 sono quelle pubblicate sul sito anvur. Di cosa si parla esattamente?
Caro Capacchione non c’è alcun accanimento. Il lessico della persecuzione giudiziaria lo lascerei ad altre sedi meno decenti di quella che la ospita. Ogni argomentazione è benvenuta, gli insulti lo sono meno: il fatto di ripararsi dietro una presenza virtuale non la autorizza a parlare di farfugliamenti. Impari a discutere da persona civile e vedrà che potrà far valere egregiamente i propri argomenti.
Da ultimo, per sua norma e regola, la redazione di ROARS ha sempre sostenuto la necessità di una buona e ben congegnata valutazione.
Capacchione: “Inoltre, sembra che le mediane siano soggette a continue revisioni sì da costringere le Commissioni Giudicatrici a rivedere i giudizi già formulati.” Ma di cosa si parla esattamente?
Si parla degli agganci ai database bibliometrici dei singoli candidati.
Quindi si parla degli indicatori dei singoli candidati, e non delle mediane.
Ma è così difficile, per dei docenti o aspiranti tali, usare la terminologia corretta?
@Antonio Banfi
Carmine Capacchione non si e’ nascosto dietro ad uno pseudonimo e’ un ricercatore confermato CHIM/03 come potra’ verificare sul sito MIUR. Ho letto il suo post e non vi trovo nulla di offensivo. Calcare la mano nella risposta a commenti non in linea con il “coro” mi sembra davvero un espediente un po’ triste.
Giuseppe Milano Ricercatore Confermato CHIM/04 Dipartimento di Chimica Universita’ di Salerno
@Giuseppe: suvvia dire che si farfuglia non è proprio delicato. Un’argomentazione opportuna richiede critiche argomentate. Accusare qualcuno di farfugliare non è criticare a mio avviso. Comunque niente di che, mi sono limitato a manifestare una certa irritazione, capita nella discussione. Non è questione di coro, è questione di modi.
Banfi, è più contento se le dico che le argomentazioni del post come fatto notare anche da altri sono quanto meno confuse. Si dice che il numero di lavori,il numero di citazioni, h_c etc..sono parametri non affidabili e poi si fa un esempio usando come parametro l’IF che è addirittura un parametro ancora più indiretto di quelli criticati. Si dice testualmente ” le mediane siano soggette a continue revisioni” e poi lei, nemmeno l’autore dell’articolo, è costretto a rettificare che cambiano gli indicatori dei singoli candidati e non che l’ANVUR cambi le mediane ogni mattina. Nella mia area tutte le commissioni hanno aperto a candidati che non superano le mediane ma che dimostrino particolare indipendenza scientifica, esperienza internazionale etc. Alessandro Pezzella qualche settimana fa ci riportava i dati aggregati di una commissione della mia area(03) da cui risultava che circa il 30% di quelli che superavano le 3 mediane non erano stati abilitati e il 20% di quelli che ne superava una erano stati abilitati confermando che le mediane sono un valore indicativo e non il sacro graal. Quindi mi sembra che, francamente, questa polemica sia vuota e priva di fondamento.
certo che sono più contento, fra l’altro si capisce meglio cosa intende dire, il che giova a tutti i lettori. Grazie,
AB
@Antonio Banfi, mi premeva chiarire che Carmine Capacchione non e’ uno pseudonimo.
In generale devo dire e non solo in questo post le critiche al meccanismo di valutazion, che sicuramente dovra’ essere migliorato sembrano spesso strumentali e non coerenti le une con le altre.
Un esempio: si critica l’uso degli IF nella vqr dei bibliometrici e si dice che non tiene conto delle citazioni dei singoli lavori senza considerare che
l’IF viene usato solo per le pubblicazioni piu’ recenti che per motivi di breve tempo di vita ssrebbero falsate. Per quelle piu’ vecchie le citazioni vengono considerate nella valutazione.
Contemporaneamente per le valutazioni delle idoneita’ vengono criticati i criteri ANVUR anche quelli tipo h contemporaneo che questa volta tengono conto delle citazioni, ma si dice che quelli CUN sarebbero stati sicuramente piu’ attendibili.
Se uno si va a leggere i criteri CUN scopre che considerano l’IF!
Insomma l’impressione che si a leggendovi e’ che spariatea a tutto cio’ che si muove dalle parti ANVUR come nei videogames di una volta. :-)
Senza alcuna volonta’ di offesa o di sfida.
Vostro
Giuseppe Milano
Mi scuso per gli errori di battitura ma sono in aeroporto.
Ogni qualvolta mi esprimo contro l’uso ragionieristico degli indici bibliometrici sono subitamente accusato di voler tornare ai vecchi metodi poco trasparenti utilizzati in passato per le valutazioni comparative per posizioni di associato od ordinario. Voglio innanzitutto chiarire il campo, in quanto il sottoscritto, ordinario dal 1986, ha sempre costruito la propria carriera con attività di ricerca diffuse su riviste internazionali con peer review ed è stato tra i primi ordinari del proprio ssd ad includere nei giudizi sui candidati il riferimento alla sede di pubblicazione dei lavori e la eventuale recensione sulle banche dati Agricola e Chemical Abstracts, all’epoca antesignane di ISI Web of knowledge e Scopus, quale indice dell’accessibilità per via elettronica di detti lavori alla comunità scientifica internazionale del settore Food Science and Technology. E per non essere scambiato per la volpe che trova l’uva ancora acerba, sono stato contrassegnato dal semaforo verde e sono entrato nel gruppo di ordinari abilitati a far parte delle Commissioni ASN, senza risultare tuttavia nella rosa degli estratti a sorte.
La critica di gab circa l’uso dell’IF è puramente pretestuosa e, forse, ignara del fatto che pubblicare un articolo su una rivista ad alto IF non è affatto una passeggiata. In alcuni casi, il lavoro può essere respinto già prima che si avvii il peer reviewing process. E maggiore è l’IF della rivista, maggiore il n° dei lavori submitted e più severo il referee’s criticism. È noto che l’IF di una rivista si basa sul n° di citazioni del Journal, che non sono specificatamente riferite al singolo lavoro. In ogni caso, il n° di citazioni di un lavoro, dopo averne depennato le autocitazioni e quelle dei coworkers, non può essere tout court ritenuto di per sé un indice dell’importanza del contributo di quel lavoro alle acquisizioni scientifiche di un ssd. Il dato andrebbe normalizzato rispetto ad un n° di citazioni specifico per ogni argomento di ricerca e ciò non è stato fatto da ANVUR. La discrepanza tra i n° magici di ANVUR e quelli riscontrati nell’indagine di Thomson Reuters, citata nella lettera, è eclatante. Inoltre, la mediana relativa al numero dei lavori non tiene conto del numero dei coautori, del contributo dei singoli partecipanti e, non poco, del livello qualitativo delle riviste ove sono stati pubblicati.
Per quanto concerne gli agganci ai dati bibliometrici dei candidati mi risulta che l’ultimo aggiornamento ANVUR risalga al 24 luglio us. Perché questi aggiornamenti non vengono palesati ai candidati nel proprio sito CINECA? Perché il semaforo verde o rosso non viene colà acceso? Perché non è consentito ai candidati di ritirare la domanda in qualsiasi momento prima della verbalizzazione dei giudizi della Commissione?
Infine, non posso che concordare con il commento sintetico di Marco Bella “La Bibliometria è uno strumento Informativo ma non Normativo”e mi conforta apprendere da Carmine Capacchione che nel settore B/03 il 20% dei candidati che superavano una mediana sia stato abilitato a conferma del fatto che le mediane sono un valore indicativo e non il sacro graal. Ciò non mi sembra, tuttavia, un comportamento consolidato. Vorrei anche rassicurare gmilano che la mia lettera non aveva alcuna intenzione di spariatea a tutto ciò che si muove dalle parti ANVUR, ma di riportare l’attenzione su un uso intelligente degli indici bibliometrici in accordo con Nicola Ferrara, in quanto la valutazione asettica di un candidato attraverso i 3 indici bibliometrici ANVUR è utopica, se non dannosa.