Ndr: questo articolo e’ stato presentato al IV SEMINARIO del SISTEMA INFORMATIVO NAZIONALE PER LA MATEMATICA SINM 2000: “un modello di sistema informativo nazionale per aree disciplinari” Lecce, Lunedì 2 ottobre 2000. Malgrado alcuni dati riportati non siano chiaramente aggiornati abbiamo pensato di riproporlo ai nostri lettori in quanto l’articolo presenta un’analisi ancora molto attuale. (Fonte: Coordinamento Servizi Informatici Bibliotecari di Ateneo Università degli Studi di Lecce)

Introduzione.
In questo intervento vorrei discutere l’utilizzazione del cosiddetto “impact factor” (abbreviato d’ora innanzi con IF) nella valutazione della ricerca.

Dico subito che il mio intervento non è neutrale o possibilista, non dirò, ad esempio, che lo “impact factor” deve essere utilizzato con cautela. Cercherò invece di convincervi che l’uso dell’IF per la valutazione della ricerca scientifica individuale o collettiva, ad esempio, di dipartimenti o gruppi di ricercatori, o paesi interi, ha costi altissimi in termini dei danni che può recare al sistema scientifico e pochissimi, incerti, benefici. Naturalmente, non mi aspetto che il mio intervento determini un cambiamento nei comportamenti delle comunità scientifiche italiane (in gran parte del settore biologico e medico) che usano entusiasticamente l’IF nella valutazione della ricerca scientifica individuale e collettiva. Vorrei però incoraggiare le comunità scientifiche (ad esempio i matematici ed i fisici) che ancora resistono all’invasione dell’IF, a perseverare nella loro resistenza, e specialmente vorrei incoraggiare gli storici, i giuristi, i letterati, i cultori di scienze sociali, ecc. a non farsi intimidire dalla favola di un IF universalmente riconosciuto come un parametro efficace di valutazione della ricerca, a non credere che per essere “à la page” sia necessario uniformarsi a criteri di valutazione palesemente infondati, e ad associarsi a quanti, all’interno del mondo scientifico, rifiutano l’IF come un parametro di valutazione della ricerca.

l mio intervento non utilizza analisi statistiche raffinate. Vorrei infatti esaminare da un punto di vista “politico” i problemi posti alla ricerca scientifica internazionale dall’uso dell’IF, per questo preferisco guardare la realtà ad occhio nudo. Per un’analisi basata su considerazioni statistiche si può consultare il lavoro di Per O Seglen “Why the impact factor of journals should not be used for evalutating research”, British Medical Journal 1997; 314: 498-502.

L’origine dell’IF.

Prima di entrare nel merito della questione è opportuno discutere che cos’è e come si calcola questo indice. Ma innanzi tutto bisogna parlare dello “Institute of Scientific Information” (ISI), che raccoglie i dati necessari per calcolare l’IF, lo calcola, lo pubblicizza, e ne propaganda l’utilizzazione[1]. Nonostante il nome altisonante, l’ISI non è una fondazione o un’associazione senza fini di lucro, non ha come scopo la promozione della scienza o dell’informazione scientifica, ma è invece un’azienda privata che, come tutte le aziende, ha come dovere principale e scopo ultimo quello di arricchire i soci. E’ importante avere ben presente questo fatto perché l’azienda, dall’alto della sua posizione dominante sul mercato, come detentrice di una formidabile base di dati sulle pubblicazioni e citazioni scientifiche, ha preso, come tutte le aziende, numerose decisioni dettate da interessi venali e basate su calcoli dei costi e dei benefici marginali. Per quanto quest’azienda, attraverso un’intelligente e penetrante azione di propaganda, cerchi di difendere l’utilità generale delle sue decisioni, o la rilevanza per il singolo ricercatore, o per chi gestisce le biblioteche, dei suoi calcoli, non possiamo dimenticare che i calcoli si riferiscono ai costi e benefici economici di un’azienda che non ha né il dovere né la vocazione di sostenere lo sviluppo delle scienze.

L’idea motrice della banca dati dell’ISI, attribuibile al suo fondatore, Eugene Garfield, è stata di pubblicare un repertorio delle pubblicazioni scientifiche, che includesse l’elenco dei lavori citati, da ciascun lavoro preso in esame. Lo scopo che si proponevano gli ideatori era di facilitare ricerche bibliografiche che, a partire da un lavoro importante del passato, consentissero di identificare i lavori recenti che ne sviluppavano i risultati.

E’ sempre stato possibile, ovviamente, fare ricerche bibliografiche a partire da un lavoro importante, andando indietro nel tempo. Si comincia a prendere in considerazione gli articoli riportati in bibliografia, poi si cercano i lavori citati da questi ultimi, e così per passi successivi si arriva alle prime fonti della problematica o della metodologia impiegata nel lavoro da cui si è partiti.

Altro è invece la possibilità di fare una ricerca bibliografica andando avanti nel tempo, a partire da un lavoro importante degli anni passati. Questo è possibile, se si ha accesso ai lavori che citano il lavoro in questione. Una volta identificati questi lavori si possono identificare i lavori che li citano a loro volta e così via.

Un indice aggiornato delle citazioni scientifiche può fornire quindi uno strumento molto utile per seguire gli sviluppi di una problematica o di un settore molto particolare di una disciplina. Quest’idea ha portato alla creazione di un archivio elettronico delle citazioni che è stato denominato appunto “Science Citation Index” (SCI). L’archivio fu subito molto popolare nella Chimica e nella Biologia, dove ha costituito un utile repertorio per ricerche bibliografiche. Molto meno nella fisica dove, a livello mondiale, si era creato un sistema informale di comunicazione mediante “preprints” che rendeva meno essenziale l’accesso ad un repertorio della produzione scientifica. Ancor meno nella matematica dove esistevano tre riviste (una tedesca, una sovietica ed una americana) dedicate esclusivamente alla pubblicazione di recensioni di articoli di matematica. Queste riviste, ed in particolare quella edita dalla American Mathematical Society, “Mathematical Reviews”, costituivano e costituiscono la fonte principale per ricerche bibliografiche (ma, ovviamente, non consentivano le ricerche “in avanti”, se non attraverso l’indice degli argomenti.) E, in effetti, per trovare lo SCI in una buona università americana negli anni sessanta bisognava andare a cercarlo nella biblioteca (generale o dipartimentale) utilizzata dai chimici.

Verso la metà degli anni sessanta l’esistenza di questo indice ha destato l’interesse di alcuni sociologi o storici della scienza. Fu in particolare lo storico della scienza Derek De Solla Price, che si entusiasmò della possibilità di studiare gli sviluppi della scienza contemporanea con gli strumenti statistici quantitativi che gli erano forniti dallo SCI[2].

L’interesse di Price e di altri autori fu utilizzato dai proprietari dello SCI come un’ottima occasione per un “marketing” mirato alle istituzioni scientifiche ed ai singoli ricercatori. Questi ultimi non mancarono di rilevare che il SCI dava loro modo di contare quante volte erano citati i propri lavori o quelli dei loro colleghi. Consentiva anche di risalire alle fonti delle citazioni per capire in che senso i propri risultati (o quelli dei colleghi) erano stati utilizzati o criticati. Queste informazioni quantitative e qualitative consentivano di formulare argomenti di giudizio sul lavoro scientifico citato. Ne è seguito un fortissimo, crescente interesse della comunità scientifica internazionale alla banca dati del SCI, per la valutazione o il pettegolezzo individuale. Naturalmente in questo contesto, e prima dell’esplosione del numero delle citazioni, l’attenzione era prevalentemente diretta alla natura della citazione. Altro è che un lavoro sia citato con una frase del tipo: “Il presente lavoro si basa sul lavoro fondamentale e pionieristico di Tizio”. Altro che invece sia citato con una frase che dice: “I risultati su questo problema ottenuti da Caio non sono affidabili perché basati su un’errata metodologia”. Altro ancora è che Sempronio appaia citato tra decine di altri autori come uno dei tanti ricercatori che hanno studiato lo stesso problema. Nel primo e nel secondo caso naturalmente non si può nemmeno prendere per oro colato il giudizio di chi cita il lavoro. Nel terzo caso (che è quello ormai prevalente) l’informazione fornita dalla citazione, in merito al lavoro citato, è pressoché nulla. In molti casi non si può nemmeno dire che chi cita abbia letto l’articolo citato, meno che mai che ne sia stato influenzato. Parlare di “impatto” sulla ricerca scientifica dei risultati del lavoro citato è, in questo caso, del tutto arbitrario.

Comunque sia, è l’interesse per la valutazione delle ricerche svolte dai propri colleghi che ha creato le basi per lo sviluppo commerciale delle iniziative dello ISI. E’ a questo livello che si è inserito il “virus” che ha aperto le porte all’utilizzazione dello IF come parametro di valutazione individuale e collettiva.

E’ opportuno a questo punto riflettere sulla natura della banca dati costituita e utilizzata dall’ISI. Questa azienda sceglie prima di tutto un insieme di riviste che costituiscono la sua fonte primaria. Di queste riviste sono rilevati tutti gli articoli, con l’indicazione dei nomi (abbreviati) ed indirizzi degli autori e tutte le citazioni di articoli, libri, relazioni a congresso o altro che vi si trovano. Tutti i dati sono quindi inseriti in una banca dati elettronica. Si tratta indubbiamente di un’operazione molto costosa che deve seguire i criteri di minimizzare i costi e massimizzare i ricavi. E’ ovvio che per un’azienda editoriale che sostiene di possedere una banca dati pressoché completa, è indispensabile che siano prese in considerazioni tutte, o quasi tutte, le riviste, disponibili nelle maggiori biblioteche scientifiche americane. E, infatti, queste biblioteche costituiscono il gruppo di clienti più importante e consistente per la vendita dei servizi offerti dall’azienda (repertori cartacei, accesso condizionato e parziale alla banca dati, ecc.). Questo significa che debbono essere innanzi tutto incluse nella banca dati le riviste scientifiche pubblicate negli Stati Uniti, e le riviste pubblicate dalle grandi case editrici commerciali (North Holland, Springer, Elsevier, Gordon & Breach, ecc.) che, anche in virtù della loro capacità di “marketing”, hanno accesso al mercato delle biblioteche americane. E’ pure naturale includere le riviste canadesi, e quelle dei principali paesi di lingua inglese (Gran Bretagna, Irlanda, Australia.) Ma se ci si vuole presentare come una fonte di informazione completa a livello internazionale è necessario anche includere qualche rivista “nazionale” dei principali paesi dell’Europa Occidentale ed Orientale, e qualche rivista giapponese. In questo ambito è più difficile prendere decisioni.

l tipo di decisione che è stato preso può essere illustrato da quanto è avvenuto per la matematica, in relazione alle riviste italiane. Le riviste italiane di matematica sono molte (c’è chi dice che sono troppe). Alcune hanno una gloriosa tradizione, ed un certo prestigio internazionale, perché, nei primi trent’anni di questo secolo, hanno ospitato contributi importanti di matematici di tutti i paesi. Ad esempio la tesi di Henry Lebesgue che, agli inizi del secolo, ha completamente rivoluzionato l’analisi matematica, ed ha profondamente influenzato lo sviluppo della teoria delle probabilità, è stata pubblicata da “Annali di Matematica Pura ed Applicata” una rivista di Firenze (H. Lebesgue : “Intégrale, longueur, aire”, Annali di Matematica, 7, 1902, 231-358). La stessa “Rendiconti del Circolo Matematico di Palermo” ha avuto il suo periodo di gloria, dall’inizio del secolo, fino agli anni venti e trenta. Era ovvio, tuttavia, che sarebbe stato troppo oneroso includere nella banca dati più di una o due riviste italiane di matematica, anche perché fino a tempi recenti i matematici, come si è detto, erano abituati ad utilizzare, più le “Mathematical Reviews” che repertori bibliografici onnicomprensivi. Per aggredire il mercato dei matematici bisognava quindi contare principalmente sull’Informatica, e sulla matematica applicata, per le quali, non esistevano riviste italiane importanti[3]. In queste condizioni, inizialmente lo ISI prese per la matematica italiana una decisione che ritengo del tutto casuale. Fu scelta, negli anni sessanta, tra le tante riviste italiane, la rivista “Ricerche di Matematica” che fa capo all’Istituto Matematico di Napoli. Successivamente furono incluse, al suo posto, le due riviste che sembravano meno legate a realtà locali, e cioè il Bollettino dell’Unione Matematica Italiana e gli Annali di Matematica Pura ed Applicata. Nessun matematico italiano o straniero, nemmeno un ex Presidente dell’Unione Matematica Italiana, come il sottoscritto, può ragionevolmente asserire che queste due riviste siano le migliori riviste di matematica italiane, dal punto di vista della qualità degli articoli che vi sono ospitati. Molti (almeno i professori della Normale) sosterranno che non appare giustificata l’esclusione degli Annali della Scuola Normale Superiore di Pisa, a favore di queste due riviste. Altri rivendicheranno il ruolo di altre pubblicazioni periodiche collegate in un modo o nell’altro ad una sede universitaria. Sta di fatto che la decisione si basava anche su un calcolo di costi. Uno dei requisiti per l’inclusione nella banca dati era la assoluta regolarità delle pubblicazioni. Il costo aggiuntivo di inseguire le annate mancanti o in ritardo non giustificava certo la scelta di una rivista piuttosto che un’altra. La prova fu che gli “Annali di Matematica Pura e Applicata”, la vecchia e gloriosa rivista che aveva pubblicato quasi cento anni fa la tesi di H. Lebesgue, e che era inclusa nella banca dati dell’ISI fino al 1997, è stata esclusa dalla banca dati dal 1998: il distributore si era dimenticato di inviare i fascicoli dell’anno precedente all’ISI, ottenendone una punizione immediata[4]. Credo che questo esempio sia sufficiente ad indicare che non ci si può aspettare che l’inclusione nella banca dati dell’ISI sia decisa sulla base di un’analisi seria e responsabile della qualità degli articoli della rivista. E infatti l’ISI non dispone di strumenti per valutare la qualità dei contributi che appaiono in migliaia e migliaia di pubblicazioni in centinaia di discipline diverse. Per i suoi scopi è più semplice, analizzare i dati a sua disposizione.

L’IF come strumento di promozione commerciale.

E infatti, oltre alla decisione elementare di escludere le riviste che non sono sufficientemente regolari, l’ISI cercò di sviluppare criteri che le consentissero di misurare l’utilità, ai suoi fini, dell’inclusione o esclusione di una rivista. E’ per questo che è stato introdotto lo IF. Esso è un numero associato ad una rivista per un certo anno che si definisce come segue:

Lo IF della rivista X nell’anno N, è il rapporto tra numero di citazioni rilevate nell’anno N sulle riviste incluse nella banca dati, di articoli pubblicati negli anni N-1 e N-2 sulla rivista X, diviso per il numero totale degli articoli pubblicati negli anni N-1 e N-2 sulla rivista X.

Questo indice è stato ritenuto utile dall’azienda per decidere la permanenza di una rivista nella sua banca dati. Se una rivista è poco citata, in rapporto agli articoli che pubblica, non vale la pena di dedicarvi il costoso lavoro di esaminarne gli articoli per le citazioni.

Ma in realtà l’importanza dell’indice, dal punto di vista del suo inventori, sta nel fatto che è possibile presentarlo alle biblioteche scientifiche delle università e centri di ricerca americani, come uno strumento per decidere se vale la pena di acquisire o mantenere l’abbonamento ad una rivista. Queste biblioteche sono, come si è detto, i principali clienti dell’ISI ed era ed è opportuno convincerle che la banca dati dell’ISI è completa ed affidabile, specialmente in vista di un’espansione dell’attività dell’azienda al di fuori dei campi tradizionali della chimica e delle scienze biomediche.

Lo IF si è rivelato un importante strumento per questa opera di convinzione perché può, in effetti, essere utilizzato per rendere la realtà conforme alla propaganda dell’ISI. Se le principali biblioteche scientifiche americane si convincono che non vale la pena acquistare riviste che hanno un IF basso o nullo, e se, come conseguenza, le riviste che non appartengono alla banca dati ISI scompaiono dalle biblioteche, la banca dati dell’ISI, apparirà automaticamente completa ed affidabile. Essa rappresenterà l’universo delle pubblicazioni che vale la pena di acquistare o consultare. In effetti, la scomparsa di una rivista dalle maggiori biblioteche scientifiche americane ne decreta, in qualche modo, l’estinzione o la totale emarginazione. Il risultato finale è quindi quello di modificare la realtà esterna per renderla conforme alle esigenze di contenimento dei costi e massimizzazione del profitti dell’azienda ISI. Tra la strada di estendere indiscriminatamente la banca dati fino ad includere tutte le riviste ritenute, in qualche modo, rilevanti per la scienza, dagli esperti delle diverse discipline (che è la strada scelta da un’associazione senza fini di lucro, e che ha tra i suoi fini la promozione della matematica, come l’American Mathematical Society) e la strada di utilizzare uno strumento in grado di modificare l’universo delle riviste scientifiche, in modo da renderlo conforme alla propria banca dati, a sua volta costituita in modo da rispondere a scelte aziendali in dipendenza del profitto atteso, un’azienda commerciale non può che scegliere la seconda. Si spiega così in termini di convenienza economica l’azione insistente di Eugene Garfield per propagandare lo IF tra i gestori delle biblioteche del mondo anglosassone. Non si tratta ovviamente del tipo di propaganda usato per vendere fustini di detersivo. Il proprietario dell’ISI, E. Garfield, ha pubblicato decine di articoli, commenti, lettere al direttore, interventi a congressi, che hanno tutta l’apparenza di lavori scientifici, e comunque di interventi motivati da un interesse genuino a migliorare le forme di comunicazione scientifiche. Ma gli argomenti di base non sono difficili da identificare.

Si parte da un argomento che colpisce subito chi deve utilizzare una quantità limitata di fondi per gli acquisti di una biblioteca scientifica: non è possibile acquistare o prendere in considerazione tutte le pubblicazioni scientifiche. Bisogna limitarsi alle più importanti. Per usare le parole di Eugene Garfield[5]:

“The fact is, no matter how many journals are in the market, only a small fraction account for most of the articles that are published and cited in a given year”[6]

Se si è d’accordo con l’ipotesi che l’importanza di una rivista si misura attraverso il numero delle citazioni che ricevono i suoi articoli, allora basta analizzare i dati sulle citazioni delle diverse riviste per concludere, con una semplice analisi statistica, che la copertura delle riviste offerta dalla banca dati dell’ISI è perfino ridondante[7]:

“… 900 (21 percent) of the 4,400 journals indexed in the 1988 SCI received 83 percent of the 8,000,000 citations processed for the Journal Citation Reports that year. […] it took 2,000 journals (46 percent) to publish 86 percent of the 435,000 original research or review articles and technical notes included in the 1988 JCR”

L’argomento può essere reso apparentemente più raffinato e “scientifico” citando opportune “distribuzioni statistiche” (quelle di Bradford e Zipf) o facendo riferimento a grafici e diagrammi. Comunque è l’IF nell’opinione dei suoi venditori che dovrebbe determinare la scelta di acquistare o non acquistare una rivista. E’ interessante osservare che in questo contesto il problema del prezzo di vendita delle pubblicazioni scientifiche non viene nemmeno sollevato. E infatti un dato “obiettivo” come l’IF consente di non procedere ad un confronto tra costi e qualità, un confronto che dovrebbe essere affidato ad esperti e, che come vedremo, non risulterebbe favorevole all’editoria commerciale, la quale costituisce il principale alleato dell’ISI nella conquista dello spazio vitale delle biblioteche scientifiche.

Non varrebbe nemmeno la pena, a questo punto di mettere indubbio l’ipotesi iniziale, cioè che l’utilità di una rivista è misurata dal numero delle citazioni che i suoi articoli ricevono nei due anni successivi. La rivista diverrà comunque inutile quando i potenziali autori si renderanno conto che essa non è più disponibile nelle biblioteche americane[8].

Che cosa determina l’IF di una rivista.

E’ opportuno tuttavia riflettere su alcune variabili puramente tecniche che concorrono a determinare lo IF. Prima di tutto, perché lo IF sia calcolabile, e quindi diverso da zero, è necessario che la rivista sia inclusa nella banca dati dell’ISI. Questo stesso fatto ha dato un enorme vantaggio alle riviste inizialmente incluse nella banca dati, che, come abbiamo visto, sono state scelte sulla base degli interessi dei clienti dell’ISI che sono le biblioteche scientifiche americane, gestite da bibliotecari professionisti, che non sempre capiscono le esigenze delle scienze creative. In secondo luogo sono escluse le riviste che subiscono qualche irregolarità nella pubblicazione. E, infatti, se il volume del 1999 è pubblicato nel 2000 (un peccato ritenuto fino a poco tempo fa veniale) questo stesso fatto rende il calcolo dello IF pressoché impossibile. Un altro elemento importante, ai fini della determinazione dello IF, è la tempestività delle pubblicazioni. Un lavoro importante la cui pubblicazione è ritardata di un anno o più, finisce per essere citato molto come “preprint”, ottenendo citazioni che non accrescono lo IF della rivista. Ma le riviste serie impiegano molto tempo per valutare un articolo, ritardandone in questo modo la pubblicazione. In alcuni casi un articolo può aspettare mesi o anni anche dopo l’accettazione. Questo succede più di rado quando la rivista è pubblicata da un editore commerciale sempre pronto ad espandere il numero delle pagine ed il prezzo di abbonamento. Ma può succedere invece per riviste gestite da istituzioni scientifiche che si basano sul lavoro volontario dei professori e possono trovarsi con troppi lavori accettati per la pubblicazione rispetto alle dimensioni dei volumi che intendono pubblicare.

Ma la variabile più importante che determina lo IF di una rivista è certamente il numero di citazioni che sono abituati ad inserire nei loro lavori gli autori che vi contribuiscono. Solo in questo modo si può spiegare, ad esempio, la grandissima differenza di IF tra le riviste di matematica pura e quelle di matematica applicata, o di informatica. Solo in questo modo si spiega perché la rivista di matematica con lo IF più alto, ha un IF quasi venti volte inferiore alla rivista di Biologia con il più alto IF. La variabile del numero medio di citazioni per articolo non può essere in alcun modo correlata con la qualità della rivista e da sola preclude una chiara associazione tra IF e utilità (per non dire qualità) delle riviste. Naturalmente l’abitudine ad includere molte o poche citazioni dipende dal costume accettato all’interno delle singole aree scientifiche. Sarebbe quindi teoricamente possibile paragonare tra loro riviste nella stessa area i cui autori hanno presumibilmente le stesse abitudini. Ma come definire un’area scientifica? Se la definizione include molte discipline si rischia di includere piccole comunità scientifiche distinte che si comportano in modo molto diverso in riferimento alle citazioni. Se l’area invece è definita in modo ristretto si rischia di non poter paragonare tra loro più di una o due riviste[9]. Comunque ogni “normalizzazione” dell’IF è basata su un giudizio arbitrario. Ad esempio il “Journal of Computational Neuroscience” deve essere considerata nell’ambito delle riviste biomediche (nel qual caso il suo IF di 2,6 sarebbe modesto) oppure nell’ambito della matematica applicata (nel qual caso lo stesso IF risulterebbe astronomico)?

Gli effetti dell’IF sull’editoria scientifica.

Come era da aspettarsi la propaganda dell’ISI ha avuto un enorme successo, determinando o agevolando, in certi casi, un cambiamento nell’organizzazione dell’editoria scientifica. Ancora una volta citerò il caso della matematica, non solo perché è quello che conosco meglio, ma anche perché in quest’area l’ISI ha avuto relativamente poca importanza fino a pochi anni fa, ed è quindi più facile studiare come si è manifestata e sviluppata la sua influenza.

Fino agli anni sessanta l’editoria scientifica in ambito matematico era, in massima parte, nelle mani di istituzioni scientifiche: associazioni scientifiche come la American Mathematical Society, la London Mathematical Society, l’Unione Matematica Italiana, la Societé Mathématique de France, oppure università, consorzi di università, accademie, ed occasionalmente fondazioni[10]. Queste istituzioni avevano un interesse a mantenere bassi i costi di produzione e di distribuzione, e, specialmente in Europa, basavano una buona parte della distribuzione sul sistema degli scambi tra università e biblioteche. In altre parole la biblioteca di un’università pagava l’abbonamento alla rivista di un’altra università con l’invio della propria rivista. Nei paesi dell’Europa Orientale, ed anche in alcuni paesi in via di sviluppo, dove il costo di produzione della rivista era bassissimo, o sovvenzionato comunque dallo Stato, questo consentiva alle biblioteche di acquisire, senza costosi esborsi di valuta straniera, le riviste occidentali. I costi degli abbonamenti erano comunque abbastanza bassi nonostante le maggiori spese di produzione, prima dell’avvento dei mezzi di composizione elettronica. Una caratteristica di questo tipo di editoria scientifica era quella di non essere specialistica, nel senso che erano accettati e pubblicati in genere articoli di tutte le discipline matematiche.

A partire dagli anni sessanta si è inserita invece nel sistema in maniera pesante l’editoria commerciale che ha introdotto riviste a carattere più specialistico. Questa politica editoriale corrispondeva ad una tendenza alla frammentazione, propria della scienza contemporanea, cui non riusciva a rispondere la vecchia editoria scientifica, che era in mano ad istituzioni senza fini di lucro gestite da studiosi che non approvavano un’eccessiva frammentazione della matematica in nicchie ecologiche autosufficienti.[11]

Naturalmente le aziende editoriali private seppero anche trovare canali di distribuzione e di vendita nuovi, rivolgendosi prevalentemente ai gestori delle biblioteche scientifiche delle università americane. Al contrario di quello che avveniva, e avviene ancora, in Europa, le biblioteche scientifiche negli Stati Uniti sono controllate da personale specializzato, che, non di rado, non ha un rapporto facilissimo con i professori che sono ritenuti “utenti”, e non “proprietari”, della biblioteca come, sostanzialmente, avviene in Italia[12]. Poiché è molto raro negli Stati Uniti il caso di biblioteche dipartimentali, essendo prevalenti biblioteche più generali, i criteri di acquisizione delle riviste debbono riflettere criteri comuni a tutte le discipline, e non solo alla matematica. E’ difficile ad esempio per un professore di matematica americano sostenere che una rivista che esce in modo erratico, come “Institut des Hautes Etudes Scientifiques; Publications Mathématiques”, debba essere comunque acquisita, per il valore intrinseco dei contributi che vi sono pubblicati, scavalcando, se necessario, i normali canali di distribuzione. In queste condizioni è più facile per lo stesso professore procurarsi qualche fotocopia dei lavori importanti usciti su questa rivista e rinunciare ad averla in biblioteca. Il modo più semplice per gestire una biblioteca per chi non ha competenze specifiche disciplinari e non vuole essere subissato dalle richieste contrastanti dei diversi specialisti, è quello di affidarsi ai grandi canali di distribuzione commerciale, che hanno un rapporto naturale con le grandi aziende editoriali, ma un rapporto più difficile con le istituzioni e le associazioni che pubblicano le riviste di matematica nei paesi di lingua diversa dall’inglese. Comunque per rendere una rivista o un libro appetibile da parte di un azienda di distribuzione bisogna che il prezzo sia abbastanza elevato. C’è voluto molto tempo prima che istituzioni tradizionali come le società scientifiche dei diversi paesi europei e le università capissero che un basso prezzo di abbonamento, ed un vasto programma di scambi, gli strumenti che sembravano naturali per diffondere la rivista, ne rendevano invece più difficile la distribuzione. Nessuno pensava, comunque, che ogni considerazione sul costo delle pubblicazione potesse essere ignorata da parte di chi acquista, sulla base di un’aggressiva campagna di vendita da parte di editori commerciali “scientificamente” motivata da considerazioni “obiettive”, in quanto fondate su numeri, come quelle così insistentemente fornite dall’ISI. E così quando l’esplosione delle pubblicazioni ed il taglio dei finanziamenti destinati alle biblioteche scientifiche rese necessario un ridimensionamento degli acquisti, le riviste abbandonate non sono state quelle più recenti e più costose, pubblicate dagli editori commerciali, ma quelle disdegnate dai distributori, perché irregolari, o poco costose. In questo quadro la propaganda dell’ISI non poteva non essere efficace.

Certamente il risultato finale di questa evoluzione, cui l’ISI ha contribuito negli ultimi anni, è stato quello di favorire i grandi editori commerciali, a scapito delle pubblicazioni legate ad istituzioni scientifiche[13], specialmente quelle dei paesi europei non di lingua inglese, di far lievitare i costi delle pubblicazioni, e di far aumentare, non solo il numero delle riviste, ma anche, paradossalmente, il numero delle riviste di “alto prestigio scientifico” e degli articoli pubblicati su riviste di alto prestigio[14]. Comunque è aumentato il costo di pubblicazione e di distribuzione delle riviste, nonostante i progressi tecnologici nelle tecniche di composizione. Non c’è molto che si possa fare per tornare indietro. L’unica speranza è che l’avvento dell’editoria elettronica, per sua natura poco costosa e direttamente gestibile dai ricercatori, finisca per mettere fine all’oligopolio dei grandi editori commerciali mediato dall’ISI. Anche per questo non bisogna dare troppo credito all’ISI o all’IF.

Certamente, almeno per me, è difficile stabilire fino a che punto la ricostruzione degli eventi che sono in grado di fare per la matematica si applichi alle altre discipline ed in particolare a quelle mediche[15]. Mi sono dilungato in questo senso, prima di affrontare il problema dell’uso dell’IF nella valutazione scientifica, per spiegare come la politica di una grande azienda editoriale possa avere conseguenze che non coincidono con l’interesse della scienza.

Giustificazioni per l’uso dell’IF nella valutazione dei lavori scientifici.

Ma veniamo all’argomento principale di questo intervento: l’uso dello IF come strumento per la valutazione della ricerca scientifica individuale o collettiva.

Abbiamo già osservato che questa utilizzazione è sconsigliata dall’ISI. Citiamo ancora E. Garfield[16]:

“The source of much anxiety about Journal Impact Factors comes from their misuse in evaluating individuals, e.g. during the Habilitation process. In many countries in Europe, I have found that in order to shortcut the work of looking up actual (real) citation counts for investigators the journal impact factor is used as a surrogate to estimate the count. I have always warned against this use. There is wide variation from article to article within a single journal as has been widely documented by Per O. Seglen of Norway[17] and others”.

nsomma, secondo Garfield, ha molto più senso contare le citazioni di un singolo articolo piuttosto che riferirsi alle citazioni medie della rivista in cui appare.

Ma non possiamo solo basarci sui commenti e le giustificazioni di Garfield. E’ necessaria un’analisi più accurata. Conviene quindi esaminare alcune delle giustificazioni che sono indicate per l’uso dello IF di una rivista per valutare un singolo articolo che vi è pubblicato.

Una giustificazione comune è basata sull’ipotesi che il valore di un lavoro scientifico possa essere approssimativamente misurato dal numero delle citazioni che riceve. Si ipotizza ulteriormente che questo numero possa essere stimato dal numero medio delle citazioni che ricevono gli articoli della stessa rivista, ed infine che questo numero medio possa essere stimato dallo IF che, come abbiamo visto, è una media calcolata sulla base di due soli anni.

Ognuna di queste ipotesi è in qualche modo plausibile ed ha qualche fondamento empirico. Ma, nel complesso, il ragionamento è molto debole.

Cominciamo con la relazione tra valore di un lavoro scientifico e numero delle citazioni che riceve. E’ plausibile che le citazioni misurino l’influenza di un lavoro scientifico sui lavori degli altri, e quindi, in linea di massima, l’importanza del lavoro. A questo proposito E. Garfield cita il sociologo della scienza Robert K. Merton (che dice di aver conosciuto nel 1962) il quale avrebbe descritto le citazioni come la moneta della scienza. Gli scienziati, secondo Merton, ricompenserebbero i loro maestri ed i loro ispiratori, con le citazioni. Ma Merton stava parlando della scienza di almeno cinquanta anni fa, prima che intervenisse l’ISI, e lo IF. L’introduzione delle citazioni come strumento di valutazione ha completamente cambiato il contesto sociale entro il quale si pratica la citazione, infatti, con l’uso dello IF per la valutazione della ricerca, ma anche soltanto per la valutazione delle riviste, entrano in gioco nel sistema delle citazioni interessi diretti ed indiretti (di carriera, di stipendi, di accesso ai finanziamenti, di diffusione delle riviste) che ne falsano completamente la natura. Un tempo si citavano solo gli articoli che tutti gli autori avevano letto ed utilizzato nella loro ricerca. Ora intere bibliografie sono compilate automaticamente ed inserite nei lavori. Siccome l’IF tiene conto anche delle autocitazioni è buona pratica comunque citare i lavori pubblicati nella stessa rivista in cui si spera di pubblicare il proprio lavoro. Questa politica rende più accettabile il lavoro presentato perché esso contribuirà ad aumentare lo IF della rivista, e quindi ne rafforzerà il prestigio e ne aumenterà la diffusione[18]. Inoltre qualsiasi gruppo organizzato di ricercatori che desideri potenziare la sotto-disciplina o la problematica cui fa riferimento, dovrà impegnarsi a scambiarsi citazioni. E infine, in un sistema in cui “un sigaro, un bicchiere di vino ed una citazione in bibliografia non si negano a nessuno”, cioè in un sistema in cui citare non costa nulla, conviene comunque citare liberamente, perché chi non cita non sarà citato. La scelta tra citare e non citare, infatti, non è più dettata dall’esigenza di riconoscere le altrui priorità, e dall’esigenza di chiarezza e completezza dell’esposizione. La maggioranza delle citazioni può essere omessa o sostituita da altre citazioni. Si citano dunque gli autori da cui ci si aspetta di essere citati[19]. E, infatti, il numero delle citazioni contenute in un articolo scientifico è aumentato a dismisura, proprio perché lo IF di una rivista ha un’alta correlazione (come riconosce lo stesso Garfield nello scritto citato alla Nota 3) con il numero medio delle citazioni che compaiono nei suoi articoli. La citazione come “tributo” o riconoscimento al maestro o ispiratore è praticamente scomparsa dalla letteratura scientifica o è sepolta sotto valanghe di citazioni irrilevanti[20].

obbiamo anche dire che mentre trent’anni fa era ancora facile analizzare in dettaglio le poche citazioni che un lavoro scientifico poteva ricevere nel corso degli anni, per valutare l’accoglienza che i risultati del lavoro avevano all’interno della comunità scientifica, oggi invece si possono solo contare citazioni, quasi tutte irrilevanti. Nel mare dei riferimenti bibliografici finisce per essere impossibile trovare ciò che ha veramente ispirato l’autore. Il successo del Science Citation Index ne ha di fatto reso più difficile un uso razionale come sussidio per la valutazione della ricerca.

L’altra ipotesi che sembra a prima vista plausibile è che il numero delle citazioni che un articolo riceverà nei due anni successivi alla pubblicazione possa essere stimato dallo IF. In effetti, una semplice analisi statistica effettuata da Per O Seglen[21] mostra che il tasso di citazioni di un articolo individuale in una rivista si distribuisce in modo molto poco uniforme. In sostanza lo IF è determinato da pochi articoli con molte citazioni e molti articoli con poche citazioni. In cifre il 50% delle citazioni è determinato dal 15% degli articoli (quelli più citati) ed il 90% delle citazioni è determinato dal 50% degli articoli. In altre parole il 50% degli articoli contribuiscono con solo il 10% delle citazioni. Questo fatto è confermato dallo stesso Garfield nel passo citato sopra, dove si fa riferimento al lavoro di Seglen.

Comunque sia, è difficile capire come, chi valuta l’articolo, avendo a disposizione l’articolo da valutare, e potendo accedere ai lavori in cui l’articolo è citato, attraverso lo SCI, dovrebbe basarsi su un indice incerto che non ha nessun rapporto con il lavoro in esame, ma si riferisce ad una media aritmetica di dati disomogenei, concernenti lavori di altri autori, pubblicati due anni prima. Sarebbe come se un medico, anziché esaminare un paziente, consultando anche la sua cartella clinica, si intestardisse a formulare una diagnosi sulla base delle cartelle cliniche di pazienti che nei due anni precedenti vivevano nella stessa casa o facevano lo stesso lavoro del paziente in esame. Solo la fede nell’ISI, e nell’IF, come fonti di verità e di giustizia può giustificare un simile comportamento[22].

Ma c’è un altro motivo, apparentemente più valido, per considerare l’IF della rivista in cui un lavoro è pubblicato, nella valutazione di un lavoro scientifico. Si dice, infatti, che le riviste con alto IF sono quelle che ospitano gli articoli migliori o che comunque sono più selettive nella scelta dei lavori da pubblicare. La considerazione dello IF aiuterebbe quindi a collocare, almeno inizialmente, e prima di una lettura accurata, un lavoro scientifico in una scala di valore qualitativo[23].

Ma sarà vero che l’IF misura la qualità dei lavori pubblicati su una rivista? Non sembra possibile stabilirlo “a priori”. Abbiamo visto che l’IF delle riviste dipende in massima parte dalle abitudini della comunità scientifica di riferimento per la rivista. Sarà alto laddove gli articoli sono corredati da molte citazioni, ed in particolare citazioni di lavori usciti nei due anni precedenti, sarà basso se chi scrive per quella rivista o riviste analoghe cita poco o cita articoli più vecchi. Per decidere in che senso e fino a che punto lo IF di una rivista è una indicazione della sua qualità, o meglio della sua selettività, bisognerà per ogni area disciplinare interpellare uno o più esperti.

L’IF nelle discipline matematiche.

o mi considero un esperto di matematica e, per la prima volta nella mia vita, nelle scorse settimane ho preso in esame la lista delle riviste di matematica incluse nella banca dati ISI ed il relativo IF. Ho preso quindi in esame l’elenco delle riviste che secondo l’ISI sono classificabili come “Mathematics”, “Applied Mathematics” e “Mathematics-miscellaneous”. Non era l’unica scelta possibile ma è l’unica che mi ha consentito di includere quasi tutte le riviste comprese nella banca dati dove pubblicano i matematici. Mancano solo alcune riviste importanti classificate come appartenenti all’area “Statistics and Probability”, assieme ad una grandissima quantità di riviste che appaiono del tutto estranee al mondo matematico.

Ho osservato prima di tutto che solo 10 riviste sulle 265 elencate hanno un IF di almeno 1,5 (il massimo è 2,6). Debbo dire che tra queste prime dieci ci sono tre riviste di indubbia qualità, comprese le due che sono tradizionalmente considerate le più selettive: Acta Mathematica e Annals of Mathematics. In effetti, nessuno dubita che queste due riviste che compaiono, rispettivamente, al terzo e al quinto posto della graduatoria con IF di 1,9 e di 1,7 offrono le maggiori garanzie di non pubblicare contributi di scarso valore[24].

obbiamo dire però che un esperto è in grado di dire che gli Annals e gli Acta (come sono comunemente chiamate) sono le migliori riviste di matematica sul mercato senza conoscere il loro IF. Inoltre un esperto ha a sua disposizione informazioni che non sono in alcun modo rappresentate dallo IF. Egli sa per esempio che ci sono articoli pubblicati sugli Annals che non sarebbero accettati sugli Acta, e viceversa. Sa cioè che la possibilità che un articolo si accettato per la pubblicazione su una di queste riviste è legata non solo al valore dell’articolo, ma anche alle particolari inclinazioni dei matematici che, dopo aver interpellato relatori competenti, prendono le decisioni finali. Così se mi si dice che il tale articolo è stato pubblicato sugli Annals io sono sicuro che si tratta di un articolo di buona qualità, se poi l’articolo non corrisponde agli interessi scientifici dei componenti del comitato editoriale di questa rivista, comincio a pensare che l’articolo sia davvero eccellente. Per fare un esempio concreto, se un articolo che rientra negli interessi della scuola di E.S. è pubblicato sugli Annals, esso è certamente di buona qualità, ma se lo stesso articolo è pubblicato su gli Acta, allora vuol dire che anche L.C., che può non avere simpatia per il lavoro di scuola degli allievi di E.S., lo ritiene di buona qualità. Basta questo a far sospettare che l’articolo sia davvero eccellente.[25]

Non c’è dubbio che esperti in altri campi avrebbero a disposizione informazioni analoghe sulle riviste di alto o basso IF nella loro discipline. Se la qualità di una rivista deve essere utilizzata per giudicare la qualità di un lavoro, perché ci si dovrebbe limitare a far riferimento allo IF e non si dovrebbero utilizzare anche altre, più articolate, informazioni? In ogni caso se dobbiamo interpellare un esperto per accertare che l’IF corrisponda alla qualità della rivista, che utilità possiamo assegnare a questo indice?

Ma veniamo alle altre riviste con alto IF. Osserviamo subito che le riviste della lista con il più alto IF sono entrate, per così dire, abusivamente, nella lista. Si tratta del “Journal of Computational Neuroscience” e di “Econometrica”, che hanno rispettivamente un IF di 2,6 e 2. Dovremmo escluderle dalla lista? O normalizzare il loro IF con l’IF delle riviste di medicina o di economia? Non so rispondere a queste domande. L’esclusione penalizzerebbe i matematici che cercano di comunicare i loro risultati ad esperti di altre discipline. La “normalizzazione” potrebbe essere solo fatta sulla base di una decisione del tutto arbitraria.

Ma i problemi non finiscono qui. Tra le prime dieci riviste ordinate per IF ci sono altre tre riviste di matematica applicata. Prendiamo ad esempio “Applied and Computational Harmonic Analysis” che ha un IF di 1,64, è che è la settima rivista della lista (“Annals of Mathematics” essendo la quinta). Nessuno può credere che gli standard di selettività di “Applied and Computational Harmonic Analysis” si avvicinino a quelli di “Annals of Mathematics” o “Acta Mathematica”, che siano superiori a quelli di “Inventiones Mathematicae” (IF 1,16) o di “American Journal of Mathematics” (IF 1,05). Le spiegazioni per un così elevato IF sono altre. Si tratta di una rivista che è probabilmente molto citata fuori dell’ambiente matematico tra gli ingegneri delle telecomunicazioni. Il dialogo tra scienza pura e applicazioni è molto importante. Fa piacere quindi che esistano riviste nelle quali si svolge questo dialogo. Ma che c’entra con la selettività della rivista o la qualità del contributo scientifico?[26]

Tra le prime 19 riviste elencate troviamo altre riviste “spurie” come “Journal of Computational Biology” che indubbiamente deve il suo alto IF (1,32) alla parziale appartenenza all’area della biologia, all’interno della quale, magari il suo IF sarebbe considerato modesto. Troviamo anche uno strano “Multivariate Behavioral Research” (IF 1,29) ed un “Journal of Econometrics” (IF 1,19). In genere abbondano tra le prime 20 riviste quelle parzialmente estranee alla matematica o quelle che si occupano di matematica applicata. Certamente la collocazione di una rivista tra le prime venti riviste di matematica classificate per IF non fornisce alcuna indicazione, che non sia già nota agli esperti, sulla natura e qualità dei contributi a questa rivista.

La situazione non migliora se si scorre ulteriormente l’elenco. Sono rispettivamente la ventunesima (IF 1,1) e la quarantanovesima (IF 0,8) due riviste che si dedicano ad un argomento estremamente specialistico e molto alla moda. La prima si chiama semplicemente “Chaos” e la seconda “Chaos, solitons and fractals”. Nessun matematico serio oserebbe sostenere che gli standard di qualità di queste riviste sono paragonabili a quelli dell’”American Journal of Mathematics” (IF 1,05) del “Duke Mathematical Journal” (IF 0,92) o del “Journal fur die Reine und Angewandte Mathematik” (IF 0,78). E’ evidente, invece, che gli autori che pubblicano sulle due riviste del “caos”, formano un’allegra brigata di entusiasti reciproci citanti, che, attraverso due riviste tutte per loro, si sottraggono agli standard di selettività delle riviste di matematica tradizionali. E’ importante che esistano riviste di questo tipo, perché spesso i canoni tradizionali della scienza finiscono per fare da sbarramento all’innovazione. Ma nessuno può venirci a raccontare che ciò che si pubblica in queste riviste rappresenta l’eccellenza nel mondo matematico internazionale.

Ci sono altre contraddizioni che saltano agli occhi. Le riviste “Memoirs of the American Mathematical Society” (17-esima nella lista, IF 1,22) e “Transactions of the American Mathematical Society” (73-esima nella lista, IF 0,62) hanno, dichiaratamente, gli stessi standard di selettività e lo stesso comitato editoriale. I lavori sono dirottati dall’una all’altra semplicemente sulla base della loro lunghezza. Anche i “Proceedings of the American Mathematical Society” (148-esima della lista, IF 0,36) dovrebbe avere gli stessi standard ed ospitare articoli di lunghezza ancora inferiore. Stiamo scoprendo che la lunghezza di un articolo è correlata alla lunghezza della sua lista di riferimenti bibliografici? E che cosa c’entra con la qualità?

Penso di essermi dilungato fin troppo. Vorrei solo aggiungere che nessun matematico dubita della grandissima importanza che ha avuto, negli ultimi cinquanta anni, la matematica sovietica. Fino a tempi recenti i matematici russi erano tenuti (o fortemente incentivati) a pubblicare su riviste russe in lingua russa. Alcune di queste riviste erano tradotte interamente in inglese, naturalmente diversi anni dopo. In ogni caso, sia le riviste originali, che quelle in traduzione, sono destinate per loro natura ad essere trascurate dalle citazioni immediate che sono alla base del calcolo dell’IF. La matematica russa risulterebbe pressoché inesistente se lo IF dovesse essere preso come indice di qualità.

Considerazioni analoghe, anche se non cosi’ forti e precise, possono essere fatte sulla matematica francese e su quella giapponese. Ne segue che, per la matematica, la considerazione dello IF non è affidabile nemmeno nella valutazione complessiva della ricerca di un intero paese. E’ improbabile che questa inaffidabilità si riferisca solo alle discipline matematiche e non investa invece almeno le altre discipline scientifiche, fuori del settore biomedico.

Rimane naturalmente aperto il problema dell’affidabilità dell’IF delle riviste, come indice di qualità degli articoli che vi sono pubblicati, nel settore biomedico. Io non sono un esperto e non sono in gradi fare un’analisi analoga a quella che ho fatto per la matematica. Né può ritenersi sufficiente, per smentire l’affidabilità dell’IF come indice di qualità, l’esempio, da me casualmente trovato, del lavoro sugli “zainetti”, indicato alla nota 23. Vorrei però osservare che la scelta di un indicatore di valutazione non è neutrale, anche se si tratta di un indicatore ben correlato con quel che si vuole valutare. Una buona correlazione non basta ad assicurarne l’utilità, o quanto meno la non dannosità. Ad esempio non sarebbe difficile costruire un indicatore, molto affidabile, della probabilità di successo negli studi universitari degli studenti che aspirano a studiare medicina, sulla base di dati “obiettivi” come il reddito famigliare ed il grado di istruzione dei genitori. Eppure nessuno si sognerebbe di sostituire l’esame di ammissione con una graduatoria basata su un indicatore costruito in questo modo. E’ probabile anche che il costo delle calzature con le quali uno studente si presenta ad un esame, mettiamo di diritto, sia molto ben correlato alle sue probabilità si successo. E infatti il costo delle scarpe è legato al reddito famigliare che a sua volta è legato al livello di istruzione della famiglia che è molto ben correlato alle capacità espressive che consentono di sostenere un esame orale in una disciplina giuridica. Ma cacceremmo via un fabbricante di scarpe costosissime che ci proponesse di basare il voto d’esame (almeno in parte, e almeno con cautela) sul costo delle calzature dello studente, perché è un parametro “obiettivo”. Lo cacceremmo via dando allo studente la possibilità di rispondere alle domande d’esame, senza nemmeno guardare le scarpe che indossa, e senza degnare di uno sguardo le dotte elaborazioni statistiche offerteci dal venditore di scarpe, per dimostrare che chi indossa scarpe costose, è più bravo. Perché allora dovremmo stare ascoltare la propaganda dell’ISI, senza dare a chi è valutato la possibilità di essere giudicato sulla base di quel che ha prodotto, e non sulla base di numeri proposti da un venditore di base di dati? Comunque anche il dato sul costo delle calzature finirebbe presto per non essere più obiettivo. L’accorto studente correrebbe subito a comprare le scarpe più costose, facendo felice, naturalmente, il venditore di scarpe. Ma anche l’obiettività dell’IF è discutibile.

Ma l’IF è obiettivo?

L’argomento è molto sentito dai fautori dello IF. L’IF con tutti i suoi difetti avrebbe il vantaggio di essere “obiettivo”. Ma che significa obiettivo? Perché un dato sia obiettivo non basta che sia rappresentato da un numero (come sembrano ritenere i fautori dello IF) bisogna innanzitutto che non risulti manipolabile in funzione degli interessi in gioco[27]. E invece IF è direttamente e indirettamente manipolabile. Vediamo come.

La prima (innocente) manipolazione è operata dal ricercatore (o gruppi di ricercatori) che prima di decidere dove pubblicare un articolo consulta la lista delle riviste ordinate per IF. Certamente, una volta accettato l’IF come indice di qualità l’accorto ricercatore cercherà di pubblicare i lavori sulle riviste che hanno il massimo IF, tra quelle che potrebbero accettare i suoi lavori. Per di più il ricercatore che abbia applicato questa strategia nel passato diventerà uno sfegatato ed interessato sostenitore dell’IF come indicatore di qualità. Ma non tutti i ricercatori utilizzano questa strategia. Ed è molto dubbio che i ricercatori che non applicano questa strategia, che non hanno mai guardato un elenco delle riviste, ordinate per IF, o che magari non sanno nemmeno cosa sia lo IF, siano i peggiori. Si può invece congetturare che siano i meno arrivisti e forse i più seri. Tra l’altro la strategia è possibile se si dispone dell’elenco delle riviste con relativo IF, almeno nella propria disciplina. Questo elenco non è distribuito gratuitamente, ma è venduto, a caro prezzo, dall’ISI ed in genere non è disponibile a tutti i ricercatori, almeno nelle discipline ancora non conquistate dall’ISI e dall’IF [28].

La seconda possibile manipolazione è quella di abbondare nelle citazioni, avendo particolare cura di citare i lavori più recenti della rivista nella quale si vuole pubblicare. Si tratta di una manipolazione che riesce meglio se si appartiene ad un gruppo di ricercatori dediti alle reciproche citazioni. Essa riesce ancor meglio se il gruppo conquista una o due riviste nuove, edite da un grande editore commerciale, disposto ad investire in “marketing”. Anche in questo caso le allegre brigate di reciproci citanti diventano sfegatate propagandiste dell’IF.

i una terza possibile (e reale) manipolazione si è già parlato: i comitati di redazione delle riviste chiedono agli autori di citare lavori della stessa rivista come condizione per la pubblicazione. Questa richiesta può essere camuffata come richiesta del “referee”, che è naturalmente coperto dall’anonimato.

nfine c’è la grande possibilità di manipolazione nelle mani di chi utilizza l’IF per valutazioni individuali. Il passaggio da un indice associato a riviste ad una valutazione, spesso, anch’essa numerica, associata ad un individuo è tutt’altro che pacificamente codificato. Né può esserlo dal momento che non è chiaro in che modo l’IF di una rivista sia associato alla qualità di un articolo che vi è pubblicato. Se, con un salto logico, si attribuisce ad ogni articolo un punteggio corrispondente all’IF della rivista su cui è pubblicato, resta ancora da stabilire se ha senso fare la somma di tutti i punteggi, ovvero la media, oppure la media relativamente ai lavori che hanno un punteggio minimo (o soltanto maggiore di zero). Può anche essere che sia più opportuno considerare la media geometrica[29], e a questo punto perché non la media armonica o qualche altra diavoleria statistica? Si tratta di scelte lasciate all’arbitrio del valutatore. Al suo arbitrio verrà anche lasciata ogni operazione di “normalizzazione”. Non è ovviamente possibile confrontare gli IF di riviste appartenenti ad ambiti disciplinari diversi. Ad esempio l’IF massimo di una rivista di matematica pura è quasi venti volte inferiore a quello massimo di una rivista di biologia. Si deve quindi definire un universo di riferimento per applicare la valutazione dell’IF. Ma si tratta di una definizione arbitraria che può lasciare fuori le riviste e le ricerche non specialistiche. L’alternativa è di “pesare” l’IF di una rivista sulla base della sua appartenenza a questo o quel gruppo, per “normalizzare” i dati. Ma chi e come decide sul peso? Abbiamo già visto che nella matematica le riviste di matematica applicata hanno un IF maggiore di quelle che ospitano anche articoli di matematica cosiddetta pura. Dobbiamo quindi stabilire che il loro IF conta di meno? E quanto di meno? La metà, un terzo, o solo il 10% in meno? E chi decide se una rivista è di matematica applicata o di matematica pura? In questo caso si può veramente parlare di arbitrio perché si tratta di decisioni cui non corrisponde un’assunzione di responsabilità. Lo IF con la sua pretesa di obiettività rende molto poco trasparente ogni decisione di merito.

Gli effetti negativi dell’IF sulla comunicazione scientifica.

A questo punto ho già indirettamente illustrato i danni che può recare alla scienza e alla comunicazione scientifica l’uso dello IF nella valutazione della ricerca. Ma vale la pena di passarli di nuovo in rassegna. (Ovviamente l’uso dello IF non è la sola causa e spesso nemmeno la causa principale dei fenomeni negativi qui elencati. Si tratta tuttavia spesso di fenomeni che sono aggravati non solo dall’uso improprio dello IF, ma anche dalla politica di “marketing” dell’ISI)

L’aumento indiscriminato delle riviste e delle pubblicazioni scientifiche ed in particolare delle riviste più costose di proprietà di editori commerciali e la crisi finanziaria delle biblioteche scientifiche, esiziale per i paesi dell’Europa dell’Est ed i paesi in via di sviluppo.

L’impoverimento e l’esclusione dai circuiti internazionali di distribuzione delle riviste scientifiche legate ad istituzioni culturali e non pubblicate da editori commerciali.

L’aumento del numero delle citazioni non giustificate né dal riconoscimento di una priorità, né dall’esigenza di rendere più chiaro il testo (un aumento che rende tra l’altro molto difficile utilizzare lo SCI per i fini per i quali era stato creato).

L’aumento di riviste specialistiche gestite da piccole comunità internazionali dedite alle reciproche citazioni, e poco interessate a confrontarsi con il resto della comunità scientifica.

L’aumento della pressione sui singoli ricercatori e sulle strutture scientifiche a pubblicare, anche in assenza di risultati scientifici significativi, al solo scopo di aumentare il proprio punteggio basato sullo IF.

La perdita di vista del significato di una pubblicazione scientifica come mezzo per comunicare ad altri ricercatori i propri risultati e non solo come strumento per aumentare il proprio “punteggio”.

l capovolgimento dei valori di buon senso nella scelta del mezzo di comunicazione dei propri risultati che dovrebbero essere diffusi negli ambiti dove possono essere più utili [30].

L’arbitrio nelle scelte valutative mascherato dall’obiettività.

L’acquisizione di un repertorio bibliografico costosissimo (lo SCI) e in molti casi inutile, in tutte le strutture di ricerche, al solo scopo di consentire a tutti una strategia di massimizzazione dello IF.

L’asservimento delle scelte scientifiche e culturali delle comunità degli scienziati agli interessi venali delle grandi aziende editoriali e dell’ISI.

Vorrei infine osservare che per sua natura la valutazione scientifica non può prescindere da un giudizio discrezionale, che potrebbe rivelarsi errato. Anche il giudizio di accettazione di un lavoro su una rivista ha carattere di discrezionalità. Non solo perché esercitano una loro discrezionalità i “referees” ma perché è discrezionale la scelta del “referee” e discrezionale l’interpretazione del suo giudizio.

Proprio perché si tratta di scelte discrezionali in tutti i paesi ci si rivolge ad esperti per valutare progetti e risultati della ricerca scientifica. Una valutazione discrezionale è obiettiva nella misura in cui non è dettata da interessi diretti o indiretti di chi valuta, cioè nella misura in cui si esprime un giudizio “imparziale”. Nessuno è in grado a priori di assicurare questa imparzialità. Ma certamente uno degli strumenti per controllare i giudizi scientifici è quello della censura, in termini di reputazione, che può esercitare una comunità scientifica vigile e aperta. Una condizione necessaria perché questa censura possa essere esercitata è che ci sia una chiara attribuzione di responsabilità. Un giudizio basato su scelte discrezionali oscurate da presunti parametri oggettivi è sottratto ad ogni critica e quindi potenzialmente arbitrario. Queste considerazioni si applicano non solo quando si tratta di giudicare i singoli, ma anche quando il giudizio si applica a gruppi o strutture in competizione.

Un esempio di giudizi di merito scientifico responsabilmente e discrezionalmente esercitati da esperti riconosciuti e stimati dalle diverse comunità scientifiche è fornito dai cosiddetti “Research Assessment Exercises” inglesi. Si tratta di giudizi che hanno conseguente radicali sul destino di intere istituzioni universitarie e degli individui che vi lavorano. Essi si basano innanzitutto sull’autoselezione da parte delle istituzioni dei ricercatori migliori che vi operano in ogni campo, ed in secondo luogo, sull’autoselezione, da parte di questi ricercatori, di pochissimi lavori da loro ritenuti più importanti. Nessun automatismo numerologico è utilizzato nel giudizio, che rimane il giudizio responsabile di esperti riconosciuti. Non si vede perché in Italia non si possa seguire la stessa strada invece di inseguire una male orecchiata “prassi internazionale” che corrisponde solo agli interessi, giustamente venali, di una azienda editoriale di successo.

 

La popolarità dello IF nelle scienze biomediche in Italia.

Questo intervento non sarebbe completo se non cercassi di analizzare il perché della grandissima, e quasi unanime, popolarità negli ambienti della medicina in Italia, dove punteggi derivanti dallo IF delle riviste sono addirittura utilizzati per le valutazioni comparative dei concorsi universitari.

Sarebbe facile attribuire questo entusiasmo per l’IF al provincialismo dei ricercatori di medicina, e al loro senso di inferiorità rispetto alla scienza internazionale, che li porterebbe a seguire entusiasticamente, la moda di oltreoceano, o ciò che ritengono sia di moda negli Stati Uniti d’America.

Ma la questione non può essere liquidata in modo così semplicistico. In realtà l’invocazione dell’IF nella valutazione della ricerca scientifica in medicina, è legata ad un conflitto, che potremmo dire generazionale, che ha attraversato negli ultimi venti anni queste discipline. La generazione di ricercatori reclutata intorno agli anni ottanta ha cercato di utilizzare l’IF per affermarsi contro il potere della generazione reclutata negli anni sessanta e settanta[31]. Questi “giovani” studiosi erano e sono in cerca di argomenti per dimostrare che le loro ricerche, pubblicate in inglese su riviste internazionali, sono più valide delle ricerche di bottega prodotte all’ombra di una cattedra universitaria italiana e pubblicate, al solo scopo di far numero nei concorsi, su riviste controllate dal “direttore di cattedra”. Non potevano certo appellarsi alla migliore qualità dei loro risultati, perché i loro interlocutori non erano in grado di valutare seriamente la qualità di risultati che esulavano dai loro interessi e dalle loro competenze. Erano quindi costretti a ricorrere ad argomenti estrinseci, come la “qualità” delle riviste sulle quali pubblicavano e quindi l’IF.

Per capire questo fenomeno, o meglio per capire perché lo stesso fenomeno non si sia manifestato nelle scienze matematiche e nelle scienze fisiche è opportuno ricordare le condizioni della scienza italiana negli anni cinquanta e sessanta, quando l’Italia dopo l’esperienza del fascismo e della guerra, si riaffacciava nel mondo internazionale della ricerca scientifica.

Anche in questo caso si potrebbe sostenere che la matematica e la fisica degli anni cinquanta e sessanta fossero più forti e più collegate al mondo internazionale delle scienze biomediche. Ma un confronto di questo tipo risulta molto difficile ed avrebbe comunque un esito incerto. La realtà è che in queste tre aree scientifiche[32] l’Italia si presentava con luci ed ombre: alcuni ricercatori erano noti internazionalmente ed in grado di mantenere, da pari a pari, validi contatti con i loro colleghi di altri paesi, altri risentivano dell’isolamento derivante dal fascismo e dalla guerra. La differenza tra matematica e fisica, da un lato, e biologia e medicina, dall’altro, era che nelle prime discipline i ricercatori più affermati in ambito internazionale erano anche quelli che detenevano saldamente il potere accademico, mentre in biologia e medicina, i ricercatori più affermati internazionalmente erano marginali al sistema universitario.

Le ragioni di questa diversità sono molte. La biologia, a livello universitario era appoggiata a due corsi di laurea, quello in medicina e chirurgia e quello in scienze biologiche che, per ragioni diverse, erano poco ricettivi del nuovo. Il primo per la prevalenza delle discipline strettamente cliniche e professionali[33], il secondo per la prevalenza della biologia sistematica che, certamente, dagli anni sessanta, non era al centro dell’attenzione della scienza internazionale. Mancava quindi uno spazio adeguato alle nuove problematiche della biologia all’interno del rigido ordinamento didattico nazionale. Basta pensare che la microbiologia a medicina era considerata sostanzialmente una disciplina ancillare, e talvolta una disciplina ancillare dell’Igiene, mentre nella facoltà di scienze, era assieme alla genetica, alla biologia molecolare, e ad altre materie importanti sul piano scientifico, relegata nel limbo delle discipline “complementari”. Nei fatti gli aspetti innovativi delle scienze biologiche, non trovando spazio nel sistema universitario, cercarono sfoghi altrove: all’Istituto Superiore di Sanità e nel famoso (allora) o famigerato, Istituto di Biologia Molecolare di Napoli. Per diversi anni queste due istituzioni rappresentarono la punta della moderna ricerca biologica in Italia. Si trattava tuttavia di istituzioni non universitarie che presto entrarono in crisi come istituzioni di ricerca pura[34]. Il fatto che la “leadership” scientifica degli anni sessanta nelle scienze biomediche, pur vigorosa, e per certi versi vocale, non è mai riuscita a conquistare il potere accademico universitario, ha significato che l’espansione del sistema universitario negli anni settanta in ambito biomedico è stato gestita dalla vecchia guardia più conservatrice.

Al contrario nella fisica il potere accademico negli anni sessanta era saldamente nelle mani della “scuola di Roma” guidata da Amaldi. Lo stesso fenomeno era apparente nella matematica dove un gruppo di professori trentenni e quarantenni molto ben connessi con il mondo internazionale della matematica deteneva il potere accademico fin dai primi anni sessanta. Questa leadership accademica, oltre che scientifica ha gestito l’espansione dei ruoli degli anni settanta e ottanta, proponendo un modello di formazione scientifica basato su contatti internazionali e favorendo il rientro in Italia degli italiani che si erano affermati all’estero, e nel caso della matematica promuovendo attivamente un programma di formazione all’estero[35]. Nella sostanza la leadership degli anni sessanta in matematica e in fisica ha, nei limiti di ciò che era possibile in Italia, promosso un’internazionalizzazione della ricerca scientifica italiana. Al contrario la leadership scientifica degli anni sessanta nelle scienze biomediche, pur attiva e vocale, ed apparentemente in grado di conquistare (effimeri) appoggi politici, è rimasta isolata in ambito universitario, ed ha lasciato che l’espansione del personale universitario fosse gestita dagli ambienti più tradizionalisti e provinciali.

E’ così che “il nuovo”, o meglio la dimensione internazionale della ricerca, in ambito biomedico, è entrata in maniera massiccia in Italia solo con i giovani reclutati negli anni ottanta. Questi giovani, e i loro protettori, si sono trovati di fronte ad un potere accademico consolidato, basato anche sul controllo di riviste locali, e comunque sul controllo dei concorsi universitari, che sembrava molto difficile espugnare. L’IF è sembrato l’unico argomento possibile per invocare un’opinione pubblica scientifica internazionale ignorata dal sistema di potere accademico[36].

La realtà attuale è che l’arma dell’IF negli ultimi anni è stata imbracciata anche da chi non rappresenta “il nuovo”. Come abbiamo visto ci vuol poco, dopo tutto, per capire che la presunta obiettività dell’IF può essere piegata alle esigenze del potere accademico, tanto quanto i generici aggettivi che compaiono nelle relazioni dei concorsi universitari. Al tempo stesso l’uso di questo strumento oscura la necessità di costruire una comunità scientifica in grado di valutare con competenza la ricerca scientifica, senza ridursi a strumenti numerologici. In grado ad esempio di valutare, ed apprezzare, un lavoro sugli zainetti degli scolari italiani, come quello citato alla nota 23, indipendentemente dal fatto che sia pubblicato su “Lancet” o che sia pubblicato sul periodico “Scuola e Didattica”. In grado anche di interloquire da pari a pari con la comunità internazionale, senza complessi di inferiorità. Non aiuta a costruire questo tipo di comunità scientifica la venerazione dell’IF. Di questo gli studiosi di scienze biomediche dovrebbero rendersi conto, prima che sia troppo tardi.

Sarebbe invece molto importante se si potesse trovare una via di uscita da un sistema in cui è considerato normale che chi è potente, procura i soldi, ed è in grado di assumere al suo servizio giovani ricercatori creativi, si appropri e si faccia bello del lavoro scientifico altrui. Ma purtroppo è un sistema che nell’ambito delle scienze biomediche prevale a livello internazionale. Ma è proprio questo il marcio che preclude una valutazione equa del lavoro scientifico, in Italia, come negli Stati Uniti.

 


[1] In realtà Eugene Garfield, fondatore e principale azionista dell’Institute for Scientific Information ed inventore dello “impact factor” sconsiglia l’utilizzazione dello IF per valutare la ricerca scientitica. Questa opinione è espressa da Garfield in numerosi suoi scritti, ad esempio: “How can impact factors be improved?” British Medical Journal 313:411-3, 1996; “The use of journal impact factors and citation analysis for evalutaion of science”, paper presented at Cell Separation, Hematology and Journal Citation Analysis Mini Symposium , Rikshospitalet, Oslo, April 17, 1998; “The impact factor and using it correclty”, Der Unfallchirurg, 48 (2) p.413, June 1998. Secondo un modo di dire italiano non vale la pena di chiedere all’oste se il vino è buono. Ma quando, come in questo caso, è l’oste a metterci in guardia, vuol dire che teme che l’uso improprio di un suo prodotto metta in pericolo la reputazione dell’osteria e quindi i futuri guadagni della sua azienda. E’ un avvertimento che è difficile rifiutare. Si deve osservare tuttavia che, alla luce dell’insistenza dei suoi avventori nel bere aceto al posto del vino, l’oste ha leggermente modificato la sua opinione nell’articolo più recente “Journal impact factor: a brief review” Canadian Medical Association Journal, 1999; 161:979-80. In questo articolo E. Garfield ancora mette in guardia che “it is one thing to use impact factors to compare journals and quite another to use them to compare authors”. Tuttavia, pur evitando di suggerire l’uso dello “impact factor” per valutazioni individuali, cita l’opinione di un tal C.Hoeffel che, in una lettera pubblicata su una rivista di allergologia, afferma: “Impact Factor is not a perfect tool to measure the quality of articles but there is nothing better and it has the advantage of already being in existence and is, therefore, a good technique for scientific evalutation.” Il mio intervento intende confutare l’opinione, apparentemente moderata, dei vari Hoeffel in Italia e all’estero.
[2] Lo studio della scienza come fenomeno sociale sulla base di dati quantitativi sulle pubblicazioni, che Derek De Solla Price, uno storico della scienza intelligente e competente, ha iniziato spinto da una naturale curiosità, ha permesso anche a chi non ha alcuna competenza scientifica di atteggiarsi a studioso del “fenomeno scientifico”. Questi studi, naturalmente, non riescono a cogliere che gli aspetti più superficiali della ricerca scientifica, e per di più, interferendo con il sistema di valori del mondo scientifico, finiscono per modificare in modo assolutamente incontrollato la realtà da essi osservata. Questi cambiamenti, all’apparenza del tutto superficiali (moltiplicazione delle citazioni inutili, modifiche nel sistema delle pubblicazioni, ecc.) rischiano di esercitare un’influenza negativa sullo sviluppo della scienza.
[3] Tuttavia per alcuni anni del dopoguerra, nell’ambito della matematica applicata, è stata importante la rivista “Calcolo” edita dall’Istituto Nazionale per le Applicazioni del Calcolo.
[4] Una dimenticanza di questo tipo non sarebbe potuta avvenire se l’editore e gestore della rivista fosse stato un privato interessato direttamente alle vendite. Ma gli “Annali” sono gestiti da una fondazione che si basa sul lavoro volontario di alcuni docenti, e sono distribuiti da un editore italiano scarsamente interessato alla diffusione internazionale. L’episodio della caduta dalla banca dati dell’ISI degli “Annali”, e conseguente azzeramento del suo “impact factor”, fa riflettere sulla difficoltà che le istituzioni culturali incontrano nel gestire le riviste scientifiche, nelle attuali condizioni di mercato.
[5] E. Garfield “How ISI Selects Journals for Coverage: Quantitative and Qualitative Considerations, Current Comments, N.22, May 28, 1990.
[6] Già in questa frase è implicita una preferenza per riviste che pubblicano un gran numero di articoli. Si tratta di una preferenza naturale per un bibliotecario il quale, con poche riviste (di molte pagine e quindi con molti articoli), ha meno ordini di acquisto da emettere, meno consegne da controllare e meno riviste da catalogare. Ma questa preferenza non si concilia bene con la necessità di selezionare severamente gli articoli pubblicati. Una rivista che si proponesse di pubblicare solo articoli contenenti rilevanti contributi scientifici potrebbe trovarsi a non riuscire pubblicare nemmeno un fascicolo all’anno.
[7] E.Garfield, ibidem
[8] Possiamo citare almeno un’eccezione a questa regola. La rivista “l’Institut des Hautes Etudes Scientifiques; Publications Mathématiques”, non è mai entrata nella banca dati dell’ISI, semplicemente perché esce in modo erratico. Nessuno dubita della sua importanza, anche se è difficile trovarla nelle università americane, dove circolano invece bisunte fotocopie di articoli della rivista, che passano di mano in mano, come se fossero preziosi documenti segreti. Il fatto è che gli autori abituali di questa rivista sono matematici che non hanno bisogno di affermazioni ulteriori, perché si ritengono, senza alcun dubbio, eccelsi. E’ possibile che essi siano addirittura (perversamente) lusingati dagli sforzi che i loro colleghi “minori” sono costretti ad esercitare per trovare e consultare i loro scritti.
[9] Per O Seglen, “Evaluation of scientists by journal impact”, In Weingart P., Sehringer R., Winterhager M. eds, Representations of science and technology, Leiden: DSWO Press, 1992;240-252, ed op. cit.
[10] Era molto attiva e presente però fin da allora la Springer-Verlag.
[11] In effetti un fenomeno analogo, ma non influenzato da interessi editoriali, si era prodotto agli inizi del secolo ventesimo quando le moderne società scientifiche (dei matematici, dei fisici, ecc.) hanno cominciato a prevalere sulle vecchie associazioni scientifiche onnicomprensive. Ad esempio, in Italia, l’Unione Matematica Italiana (UMI) e la Società Italiana di Fisica (SIF), ambedue fondate da Vito Volterra negli anni venti, hanno assunto il ruolo che, nell’ottocento, svolgeva la Società Italiana per il Progresso delle Scienze.
[12] Non mi nascondo che la gestione all’italiana delle biblioteche universitarie è per altri versi molto inefficiente e non riesce, ad esempio, in molti casi, a fornire un servizio utile agli studenti. D’altra parte non tutti i responsabili delle biblioteche americane sono vittime ignare della propaganda degli editori commerciali (così come non tutti i medici di base si fanno abbindolare dai cosiddetti “informatori scientifici”). Si veda ad esempio l’articolo “Reforming Scholarly Publishing in the Sciences: A Librarian Perspective” di Joseph J.Branin (responsabile del sistema delle biblioteche dell’Università di Stato di New York a Stony Brook) e Mary Case (direttrice dello “Office of Scholarly Communication” della “Association of Research Library”) pubblicato sul vol.45, N.4, aprile 1998, di “Notices of the American Mathematical Society”. In questo articolo si dà conto dell’intensa polemica sul costo delle riviste scientifiche che in America ha raggiunto anche la stampa quotidiana, ad esempio con un articolo pubblicato il 29 dicembre 1997, sul New York Times dal titolo significativo “Concerns about an agressive publishing giant” (l’editore incriminato era Reed Elsevier). Non mi risulta però che il ruolo dell’ISI e dell’IF sia stato sufficientemente analizzato in questo contesto. In effetti, l’ISI e l’IF hanno danneggiato prevalentemente le istituzioni scientifiche fuori del mondo di lingua inglese, mentre le più importanti istituzioni scientifiche americane (come l’American Mathematical Society e la American Physical Society) le cui riviste non potevano essere omesse dalla banca dati dell’ISI hanno resistito all’assalto. Si deve anche osservare che molti grandi editori commerciali di riviste scientifiche sono europei.
[13] In realtà le due migliori riviste di matematica restano nelle mani di istituzioni scientifiche che hanno saputo adattarsi agli eventi, senza rinunciare alla qualità. Esse sono gli “Annals of Mathematics” (edito dall’università di Princeton e lo Institute for Advanced Study) e gli “Acta Mathematica” (edito da un consorzio di università scandinave). Inoltre la American Mathematical Society resta ancora il più importante (e affidabile in termini di imparzialità e qualità) editore di riviste matematiche. Tuttavia anche il panorama delle riviste di matematica americane è ora molto cambiato rispetto a trent’anni fa, ed alcune importanti riviste legate ad istituzioni universitarie (Michigan Mathematical Journal, Illinois Journal of Mathematics, Pacific Journal of Mathematics, ecc.) hanno un IF molto inferiore a riviste nuove, specialistiche, diffuse aggressivamente da editori commerciali che si avvalgono della “griffe” rappresentata da un “prestigioso” comitato editoriale, che potrebbe non fornire garanzie di imparzialità (cfr. la nota successiva sul significato della “griffe”)
[14] Questo apparente paradosso può essere spiegato con un’analogia. Negli anni sessanta nessuna donna italiana della media borghesia avrebbe osato farsi vedere in giro con una borsetta di plastica. Avrebbe corso il pericolo di essere qualificata “una donna qualunque”. Le borsette per le signore “distinte” erano rigorosamente di pelle. Trent’anni dopo le stesse signore, o le loro figlie, vanno in giro con borsette di plastica prodotte a costi irrisori in milioni di copie, che però si fregiano di una “griffe”, che le rende dieci o venti volte più costose delle copie identiche vendute sul marciapiedi dagli onesti commercianti di nazionalità senegalese. Non è quindi la qualità del prodotto che accresce lo stato sociale, ma la “griffe” del produttore (o del venditore di “griffe”), il quale riesce persino a perseguitare con denunce penali l’onesto commerciante che vende lo stesso prodotto a prezzo ridotto. Altrettanto si potrebbe dire per articoli ripetitivi, di scarso o nullo valore scientifico, pubblicati su riviste con un “editorial board” di grande prestigio (la griffe) e con alto “impact factor”.
[15] Ritengo che il fenomeno dell’aumento indiscriminato dei costi e l’espansione aggressiva delle riviste commerciali ai danni delle riviste gestite dalle istituzioni o associazioni scientifiche si sia prodotto anche nelle scienze fisiche. Infatti è stato un fisico, Henry Barschall, professore all’Università del Wisconsin e “editor” di “Physical Review” a pubblicare, a partire dal 1986, una serie di studi sui costi delle riviste scientifiche in diverse discipline. Le sue conclusioni furono che le riviste più costose erano quelle gestite da editori commerciali. Le conclusioni non cambiavano (a quei tempi) nemmeno se si considerava il rapporto tra costo e “impatto”. La American Physical Society (APS), lo American Institute of Physics (AIP), la American Mathematical Society (AMS) e lo stesso Barschall sono stati citati in giudizio dall’editore Gordon & Breach nei paesi dove era vietata la pubblicità comparativa, con il pretesto che le analisi di Barschall altro non erano, appunto, che pubblicità comparativa a favore di istituzioni (APS, AMS, AIP) che, pubblicando esse stesse riviste scientifiche, erano in concorrenza con gli editori commerciali. Le citazioni giudiziarie hanno sostanzialmente messo a tacere le società scientifiche. Ulteriori informazioni su questo caso sono disponibili nei siti: http://barschall.stanford.edu/ e http://www.library.yale.edu/barschall/.
[16] E. Garfield “The Impact Factor and Using it Correctly”, Letter to the Editor, Der Unfallchirurg, 48(2) p.413, June 1998.
[17] Un lavoro di Per O Seglen è citato all’inizio del presente intervento.
[18] In effetti succede abbastanza spesso che il relatore incaricato di giudicare un lavoro suggerisca all’autore di includere nella bibliografia lavori pubblicati sulla stessa rivista. E. Garfield in una lettera inviata al British Medical Journal (BMJ 1997;314:1765, 14 june) dal titolo “Editors are justified in asking authors to cite equivalent references from the same journal” giustifica questa pratica sconcertante che, secondo lui, può servire a rendere giustizia ad autori che non ricevono le citazioni che meritano. Egli ritiene “excessive” denunciare questa pratica come manipolativa.
[19] Lo stesso Garfield, nello scritto citato alla nota precedente, riconosce che la scelta di citare o non citare un altro articolo è sostanzialmente arbitraria.
[20] Ad esempio lo IF delle maggiori riviste di matematica è quasi raddoppiato negli ultimi vent’anni. Questo aumento può essere spiegato solo con un cambiamento del costume, in una comunità generalmente abbastanza conservatrice.
[21] P. O. Seglen op. cit.
[22] Il comportamento è analogo a quello che di chi afferma con sicurezza: “E’ vero, l’ha detto la televisione!”
[23] Questa sembra essere l’opinione di Spiridione Garbisa e Laura Calzà espressa nel libro “Il Peso della qualità accademica”. Ad esempio (pag.41) questi autori asseriscono che lo IF “si riferisce sostanzialmente alla qualità della rivista” e più avanti (pag.43) che “in qualsiasi campo del sapere, risultati che derivassero dalla semplice e pedissequa applicazione di metodologie routinarie non possono aspirare che a riviste di secondo piano”. D’altra parte non è difficile trovare pubblicate su riviste con alto IF articoli che riportano risultati derivanti dalla semplice e pedissequa applicazione di metodologie routinarie. Ad esempio la rivista “Lancet” ha recentemente pubblicato un articolo sul peso degli zainetti degli scolari italiani, in relazione al peso dei bambini che li portavano. L’articolo è basato, oltre che su un’elementare raccolta dei dati, sulla più semplice e routinaria elaborazione statistica. E’ troppo facile paragonare lo IF di “Lancet” (IF 11,79) a quello della rivista “Annals of Mathematics” (IF 1,7) dove è stata recentemente pubblicata la dimostrazione, ad opera di Andrew Wiles, dell’ultimo teorema di Fermat, cioè la soluzione di un problema sul quale si sono cimentati, per alcuni secoli, i migliori matematici del mondo. Vorrei tuttavia chiarire che io ritengo che sia dovere dei ricercatori occuparsi di problemi come quello degli “zainetti” anche se si tratta di problemi che non richiedono più della semplice e pedissequa applicazione di metodologie routinarie e che anche ricerche routinarie di questo tipo debbano essere valutate nella carriera dei ricercatori. Proprio per evitare che la mia critica all’uso dell’IF venga maliziosamente utilizzata per biasimare i ricercatori che hanno pubblicato l’articolo sugli “zainetti”, ho omesso ogni riferimento bibliografico che possa facilmente portare all’identificazione dell’articolo in questione.
[24] In realtà non ha senso parlare genericamente della qualità degli articoli pubblicati su una rivista, perché, in genere, all’interno della stessa rivista, la qualità è molto variabile. Né è particolarmente utile conoscere quali sono i valori massimi della qualità dei lavori. Ad esempio, passeranno probabilmente diversi decenni (o secoli?) prima che Annals of Mathematics ospiti un articolo della qualità di quello di Andrew Wiles, citato nella nota precedente. Può essere invece parzialmente utile sapere che, con forte probabilità, una certa rivista non pubblicherà lavori al di sotto di un dato livello qualitativo. Ma questa è un’informazione che per sua natura è disponibile solo a chi conosce bene la rivista.
[25] Le iniziali E.S. e L.C. corrispondono a due matematici di grande spicco, i quali comunque non lascerebbero passare un articolo mediocre. Il primo è il promotore di una grande scuola internazionale, il secondo un lupo solitario che non apprezza il lavoro “di scuola”. Sono certo che le citazioni dei lavori di E.S. superano di gran lunga quelle dei lavori di L.C., il quale da questo punto di vista, è stato danneggiato (si fa per dire) dal fatto che il suo principale risultato (la risoluzione del problema cosiddetto di Lusin) ha una dimostrazione troppo profonda per essere compreso dalla stragrande maggioranza dei matematici esperti di questi argomenti.
[26]Chi, come me, è del mestiere può anche osservare che la rivista “Applied and Computational Harmonic Analysis” si occupa di un argomento molto alla moda, e molto importante per la trasmissione e immagazzinamento dei dati. L’argomento va sotto il nome di “teoria delle ondine” (“wavelets” in inglese e “ondelettes” in francese). Ma gli analisti armonici tradizionali (come il sottoscritto) non esitano a chiamare questo argomento “Teoria di Littlewood e Paley applicata” (“Applied Littlewood-Paley theory”), facendo riferimento ad un fondamentale lavoro di R.E.A.C. Paley e J.Littlewood, che risale alla fine degli anni venti, a sua volta basato su un lavoro assolutamente geniale ed innovativo di R.E.A.C. Paley (il quale, per la cronaca, è morto nel 1930, a 26 anni, travolto da una valanga mentre sciava). Le molte citazioni cui danno luogo gli articoli della rivista “Applied and Computational Harmonic Analysis” sembrano una cronaca dell’effimero, a paragone dell’influenza che un singolo lavoro di R.E.A.C. Paley ha avuto sugli sviluppi della matematica, della scienza, e della tecnologia.
[27] Calzà e Garbisa (op.cit.) citano a questo proposito la seguente definizione di “oggettivo” tratta da un dizionario: “concernente l’oggetto, spec. In quanto simbolo di sussistenza autonoma o generalizzata e quindi estraneo a qualsiasi possibilità di intervento o di interpretazione da parte dell’individuo”. In realtà come abbiamo visto e vedremo lo IF non è estraneo a possibilità di intervento ed interpretazione da parte dell’individuo. La sua presunta “oggettività” serve a solo ad attenuare o ad annullare l’assunzione di responsabilità dirette nel giudizio scientifico da parte di chi lo utilizza.
[28] Il problema del costo del SCI e dell’elenco delle riviste con relativo IF non è di scarso rilievo. Se si volesse fornire ad ogni ricercatore italiano la possibilità di accedere allo SCI, si dovrebbero moltiplicare gli abbonamenti allo SCI a scapito di altri abbonamenti a riviste più utili dal punto di vista scientifico. Ad esempio le biblioteche universitarie di matematica potrebbero essere indotte a non abbonarsi più a “Mathematical Reviews” per abbonarsi allo SCI. Ma è proprio scritto che la scienza italiana ed internazionale debba piegarsi agli interessi aziendali dell’ISI?
[29]Ad esempio il gruppo di lavoro che ha curato la “Indagine sulla produzione scientifica della Facoltà di Medicina e Chirurgia dell’Università degli Studi di Bologna nel quinquennio 1992-1996” ha osservato che la distribuzione dei punteggi ottenuti dai docenti e ricercatori della Facoltà di Medicina di Bologna applicando ad ogni articolo lo IF della rivista sulla quale era pubblicato, era approssimativamente “lognormale” (cioè il logaritmo dei dati era normale). Hanno concluso che la media geometrica risultava più significativa della media aritmetica. Ma per parlare di distribuzione bisogna scegliere una popolazione di riferimento, e questa scelta introduce un ulteriore fattore arbitrario ben mascherato all’interno di considerazioni statistiche apparentemente obiettive.
[30] Ricerche del tipo di quella citata alla nota 23 sul peso degli zainetti degli scolari italiani, dovrebbero essere pubblicate in italiano su riviste accessibili ai direttori didattici, ai maestri, ai provveditori agli studi, e soprattutto ai medici scolastici. Ma chi lo facesse (o lo avesse fatto) rischierebbe di vedere il suo lavoro valutato zero, a fronte di un lavoro che acquisisce ben 11,79 punti dalla pubblicazione su “Lancet”.
[31] I “giovani” non avrebbero avuto alcuna possibilità di misurarsi con gli anziani, che detengono in genere il potere accademico, se non avessero potuto contare su alcuni protettori anziani ed affermati. Nelle scienze biomediche tuttavia, anche in ambito internazionale (o meglio americano), è considerato del tutto normale che un anziano professore si appropri dei risultati dei giovani di cui finge di dirigere la ricerca. Pertanto il vero conflitto si è svolto tra vecchi che avendo fiutato, “il nuovo” proteggevano e sfruttavano giovani inseriti nella ricerca scientifica che si svolge a livello internazionale, e vecchi più tradizionalisti abituati ad allevare in casa i propri rampolli.
[32] Questa mia ricostruzione sommaria è carente per quanto riguarda la Chimica. Ricordo però che nel 1963 Giulio Natta, professore al Politecnico di Milano, ottenne il pemio Nobel per la Chimica
[33] Al margine delle materie strettamente cliniche ebbe però un certo sviluppo, fin dagli anni sessanta, l’ematologia.
[34] Ambedue queste istituzioni entrarono in crisi prima della fine degli anni sessanta. L’Istituto Superiore di Sanità fu travolto, come istituzione di ricerca scientifica di punta, dal processo contro il suo direttore Marotta, che morì prima della conclusione del processo. L’Istituto di Biologia Molecolare di Napoli fu travolto dalle contestazioni del ‘68, contestazioni che a distanza di oltre trent’anni possiamo ricostruire come una sorta di suicidio collettivo di un gruppo di giovani ricercatori altamente qualificati. Esso passò in quegli anni al CNR condividendone la sorte sempre più grigia. Si deve ricordare che una sorte analoga a quella dell’Istituto Superiore di Sanità, anzi a dire il vero peggiore, subì il CNEN (Comitato Nazionale Energia Nucleare) con il processo contro il suo segretario Felice Ippolito. Ma dal CNEN si staccò prontamente l’Istituto Nazionale di Fisica Nucleare (INFN) che seppe sopravvivere alla crisi proprio perché molto ben radicato all’interno dell’università.
[35] Il programma di borse di studio per l’estero del Comitato per la Matematica del CNR, negli anni settanta e ottanta, prevedeva 30 nuove borse l’anno ed almeno altrettanti rinnovi (fino a tre anni di borsa). I matematici universitari sono all’incirca il 5% del totale. Pertanto le 60-70 borse attive l’anno corrisponderebbero a 1200-1400 borse attive per l’intero sistema universitario. Il programma di borse di studio era accompagnato da un’organizzazione rudimentale, ma efficace, per favorire il ritorno dei giovani matematici che avevano studiato all’estero.
[36] L’IF, da questo punto di vista, aveva anche il pregio di penalizzare la biologia sistematica, rispetto alla genetica, alla biologia molecolare a agli altri argomenti moderni (o di moda). Poteva così essere usato anche per tentare una “resa dei conti” nei confronti di quei gruppi accademici che, per decenni, avevano occupato la posizione di privilegio assicurata dalla distinzione tra materie fondamentali e materie complementari nel corso di laurea in biologia, resa inespugnabile dalla rigidità dell’ordinamento didattico nazionale. Una simile resa dei conti, basata appunto sull’IF, sembra essere avvenuta recentemente anche in Spagna, l’altro paese “in via di sviluppo scientifico”, dove, a quel che sembra, si utilizza l’IF per valutare la qualità della ricerca. Un’indicazione in questo senso è fornita dalla lettera pubblicata su “Nature”, vol.381, 16 maggio 1996, pag.186, intitolata “Failed professor”, scritta da un professore di zoologia del “dipartimento di biologia animale e genetica” dell’Università del Pais Vasco a Bilbao, che lamenta il suo declassamento ad opera dell’IF. L’IF delle riviste di genetica è molto più alto di quello delle riviste di zoologia. Basta quindi mettere genetisti e zoologi nella stessa struttura o nello stesso gruppo ai fini della valutazione, e brandire l’IF, per far fuori definitivamente gli zoologi. In realtà non è nemmeno possibile sostenere che le ricerche di biologia sistematica, essendo classificatorie siano meno originali e creative.. Dopo tutto anche ricerche di grandissima moda, i cui risultati sono pubblicati su riviste di altissimo IF, come le ricerche sul genoma umano si riducono ad una attività classificatoria sulla base di tecniche note. “Mutatis mutandis” non sembrano avere un contenuto originale creativo superiore alle classificazioni tassonomiche prodotte dagli studiosi di zoologia. Forse le ricerche sul genoma sono ricerche più importanti, ma questo può essere stabilito solo con un giudizio di valore ampiamente motivato ed aperto a discussione. Proprio il tipo di giudizio aperto e trasparente che è precluso se ci si appoggia invece alla magica numerologia dell’IF. Basta pensare che nella guerra degli IF, discipline tradizionali, come la chimica analitica e la biologia sistematica, guadagnano punti travestendosi da scienze ambientali.

Articolo presentato al IV SEMINARIO

SISTEMA INFORMATIVO NAZIONALE PER LA MATEMATICA
SINM 2000 : un modello di sistema informativo nazionale per aree disciplinari
Lecce, Lunedì 2 ottobre 2000, ore 16.40

Fonte: Coordinamento Servizi Informatici Bibliotecari di Ateneo   Università degli Studi di Lecce

Send to Kindle

169 Commenti

  1. ottimo articolo, ringrazio il Prof. Figà Talamanca per questa analisi storica dell’ IF, ricca di informazioni che non conoscevo…

    penso che dovremmo anche tentare di analizzare il futuro, cercando di capire dove sta andando la bibliometria (e nello specifico, la scientometria).
    Le critiche all’IF e, in generale, alle citazioni come metodo per valutare i lavori scientifici, sono ormai diffuse, ampiamente riconosciute, puntuali e (IMHO) incontestabili. Se uniamo ciò alle potenzialità che gli algoritmi permettono sugli oggetti digitalizzati (come ormai sono, a tutti gli effetti, le pubblicazioni scientifiche), credo che presto si affermerà un nuovo sistema per la valutazione della ricerca….
    Per esempio, ho ricevuto da un importante editore una richiesta di aderire ad un sondaggio in cui mi veniva espressamente chiesto se ero favorevole a nuovi metodi di misura dell’impatto degli articoli scientifici (numero di download, numero di accessi all’articolo on-line….)

    Questo processo mi sembra però molto spinto dalle stesse società di gestione e analisi dei database e credo che la comunità scientifica debba farsi sentire – anche se ammetto di essere molto poco al corrente del dibattito nella bibliometria, qualcuno ne sa di più??.
    Noi siamo interessati ad ottenere una valutazione oggettiva e scientifica del nostro lavoro; ISI, Scopus e Google stanno solo lottando per venderci i loro prodotti e farci miliardi imponendo il proprio standard….

    – crediamo che il numero di download o accessi on-line all’articolo sia un parametro più robusto delle citazioni?
    – sistemi quali l’orribile I-Like-It di Facebook (esiste anche questa proposta) hanno qualche senso?
    – la creazione di social network scientifici (ResearchGate, Mendeley, UniPhy) possono avere qualche validità per la valutazione di un ricercatore? (se visitate gli stessi, vedrete che sono già dotati di sistemi di Score personalizzati)
    – esiste un altra strada diversa dal farci fagocitare da un immenso algoritmo di Larry Page che deciderà se siamo o no buoni ricercatori (speriamo solo che non usi mediane…)?

  2. beh, il caro Jan Hendrik Schön al momento ha un h-index di 27 e ancora quest’anno ha ricevuto quasi 100 citazioni: magari dicono tutte “noi confermiamo che Schon era un imbroglione”, intanto però lui le mediane dell’Anvur le passa sicuro….. una bella dimostrazione che in bibliometria chi imbroglia la passa liscia – gli hanno tolto il dottorato, ma le pubblicazioni, le citazione e l’h-index resteranno per sempre…

  3. Grazie per questo interessantissimo contributo.
    Mi conservo questa frase come emblema.

    “Un giudizio basato su scelte discrezionali oscurate da presunti parametri oggettivi è sottratto ad ogni critica e quindi potenzialmente arbitrario”

  4. Premetto che discuterne è meglio che non discuterne. Trattasi di questioni importanti e vitali ed è proprio per questo motivo che la partigianeria dovrebbe esser lasciata fuori.
    Trovo infatti l’intervento (e altri similari) abbastanza malizioso e quindi potenzialmente pernicioso. Ci si dimentica sempre da quale situazione si parte e di come le commissioni ai concorsi NON abbiano in nessun caso applicato alcun criterio se non quello che permettesse di cooptare il vincitore di turno. E solo in qualche caso il vincitore cooptato coincideva con il migliore (o almeno presentabile).
    Questo NON bisogna dimenticarlo. Ma non voglio nemmeno fare mio l’argomento che è meglio una brutta valutazione, di nessuna valutazione…Soprattutto per le implicazioni che BRUTTE decisioni (vedasi ANVUR) prese oggi, possono avere in futuro.
    La soluzione a tutti i mali NON esiste e forse quella che prevede una responsabilizzazione ECONOMICA dei soggetti coinvolti in una valutazione (parlo di premialità e sanzioni in caso si assuma un genio o una capra) è a mio parere la migliore. Ma non è questo il caso. Ci siamo troppo lontani, per ora. E quindi bisogna discutere di altro.
    Detto questo (e venendo all’articolo), NESSUNO (e nemmeno questa brutta ANVUR) propone l’IF come UNICO parametro. Prendere un criterio oggettivo (IF) e criticarlo fino alle estreme conseguenze come se fosse l’UNICO criterio per una valutazione è un esercizio retorico, come dicevo prima, pernicioso. E senza senso.
    E’ infatti un corretto mix di parametri che puo’ alleviare le pene del malato “valutazione universitaria”.
    Il caso di Schon, se ci pensiamo, è si’ un brutto affaire, ma è anche una vittoria della scienza galileiana che alla fine (e non c’è voluto nemmeno tanto) smaschera chi froda. E non dobbiamo nemmeno dimenticare che parliamo, appunto, di un sogggetto che intenzionalmente ha voluto frodare la comunità scientifica! Se qualcuno vuole commettere atti illeciti, c’è poco da fare…non si possono pensare le norme considerando TUTTA la comunità come potenzialmente fraudolenta. Sarebbe diabolico!
    Bisogna pero’ pensare un sistema che possa rendere la vita almeno difficile a chi potenzialmente vuole assumere un proprio protetto incompetente ed ecco che un mix di IF, citazioni (senza autocitazioni), Hindex, normalizzazione per numero di autori, etc etc…possa rappresentare un deterrente verso azioni scorrette e costituire SOLO un pre-requisito per il candidato. Superati certi pre-requisiti, via alle valutazioni su qualità delle pubblicazioni, etc etc…
    Di solo IF si puo’ morire, ma NESSUNO mi pare abbia proposto l’IF come unico parametro.
    Tutto qui.

    • Concordo in pieno con Sargenisco. Il sistema perfetto non esiste, e anche la bibliometria ha i suoi difetti. Pero’ il sistema che c’e’ stato finora (arbitrio totale senza penalizzazioni o rewards) e’ ancora peggio !!! Per questo che sono, in Italia e in questo momento storico, favorevole al metodo bibliometrico ANVUR.
      Diciamo poi che un uso smodato dell’IF e’ stato fatto soprattutto in Italia, unico paese a mia conoscenza dove si contano i “punti di impact factor”. Se non sbaglio, l’IF era anche nei criteri del CUN che molti di ROARS auspicano, ma forse mi sbablio.
      Anyway, in UK, dove ho fatto parte di parecchie commissioni di “concorso”, L’IF e’ un parametro usato nel contesto di una valutazione complessiva delle pubblicazioni di un candidato. Anzi, nella maggior parte dei casi, l’IF non serve neanche perche’ il commissario sa gia’ quali sono le riviste buone e meno buone del proprio settore. Pero’ a volte, se uno pubblica in altri settori, e’ utile usare l’IF per capire (all’interno del settore scientifico) quale sia il ranking della rivista che poi e’ il motivo per cui l’IF e’ stato sviluppato in the first place. Quindi stiamo attenti al misuse dell’IF, ma non buttiamo via il bambino con l’acqua sporca.

    • Sargenisco, mi scusi ma il suo intervento mi ricorda l’effetto di un disco rotto (sono abbastanza vecchio da ricordarmene): non mi sembra che Figà Talamanca ci parli mai nel suo intervento di Abilitazioni nazionali e/o ANVUR (o della loro riforma). Mi sembra piuttosto che argomenti convincentemente sulle distorsioni che l’uso dello IF a scopi valutativi ha introdotto nella ricerca scientifica e nelle pratiche di citazione. Se poi lei ne volesse dedurre che il suo discorso ha importanti implicazioni per i temi succitati io sarei completamente d’accordo con lei.

    • Il caso Schon ha aperto un problema che no si è affatto concluso e che è stato dismesso dalle principali riviste in maniera frettolosa. Come è potuto succedere che articoli falsi siano stati pubblicati sulle maggiori riviste scientifiche? C’è qualcosa che non va nell’intero modo in cui la scienza è organizzata? Queste sono le domande che a ragione persone come Segalat e (in maniera molto più profonda) Gillies considerano (e qui andiamo oltre le baghe dell’Anvur). Il caso Schon è la punta estrema di iceberg che sta minacciando la scienza.

      Infine se l’IF non è l’unico indicatore bibliometrico usato da Anvur, è sicuramente quello che non vuole dire nulla come ha argomentato in dettaglio AFT. (In maniera più rudimentale una critica pertinente all’IF è riportata anche qiu https://www.roars.it/online/valutazione-impact-factor-e-gaussiane/)

    • La corsa alle pubblicazioni ha ovviamente portato a un calo del tempo e dell’attenzione dedicati alle revisioni.
      Inoltre per il revisore “isolato” è sconsigliabile, se non pericoloso, dare parere sfavorevole ad articoli di gente in auge, anche quando detti articoli sono largamente privi dei requisiti di originalità ed interesse, i.e. incrementali.
      Aggiungerei che il livello delle revisioni è ulteriormente ridotto dalla brutta (ma talvolta necessaria) pratica di non accoppiare gli articoli alle abilità del revisore: io posso andare in grande dettaglio sul “mio” argomento A, me la cavo bene su B, ma se mi mandano solo articoli C potrò pronunciarmi a basso livello, anche in virtù del ridottissimo tempo a disposizione.
      Da revisore “isolato” ho il sospetto che talora gli articoli da rivedere si mandino agli specialisti del ramo solo quando devono essere affondati, e che i “vincenti” appartenenti a cordate di pubblicazione/citazione seguano altre strade. Ma naturalmente può essere solo una questione statistica..

    • L’intervento di AFG è senza dubbio utile, ma non possiamo far finta che NON voglia alludere a questioni recenti. E male non farebbe.
      Dico solo che sarebbe più utile se non parlasse SOLO di IF, ma che dimostrasse l’inutilità di utilizzare un mix di parametri oppure su quale di quale parametri sarebbe più utile orientarsi.
      L’intervento di AFG mi ricorda tanto l’intervento di chi dimostra l’inutilità del fotovoltaico dicendo che bisognerebbe pannellare tutta l’Italia per sopperire alla richiesta energetica attuale e poi arriva l’altro che dimostra l’inutilità dell’eolico perché richiederebbe distese di pale e poi il geotermico etc etc dimenticando (o facendo finta) che un mix di tutte queste cose potrebbe alleviare il conto energetico…
      Insomma, spesso NON è la somma che fa il totale!
      Dato che AFG è persona sottile e preparata, un suo contributo nel senso da me auspicato sarebbe stato più apprezzato. E (forse) utile.

    • @sargenisco @samueluk
      Forse non è chiaro che il contributo di Figà Talamanca è di respiro molto più ampio rispetto al nostro provincialissimo problema dell’abilitazione. Se avete letto tutto l’intervento (lo avete letto tutto?) vi sarete accorti che contiene numerosi e interessanti punti di domanda sugli effetti dell’utilizzo dell’IF. A mo’ di esempio non esaustivo, per i lettori pigri, riassumo alcune questioni:
      – le riviste non anglofone da inserire nelle banche dati sono selezionate in base a criteri riconducibili al costo di acquisizione
      – l’IF è nato come strumento di promozione commerciale, con l’obiettivo di convincere le biblioteche che non conviene acquistare una rivista senza IF o con IF basso
      – la promozione tramite IF penalizza l’editoria gestita direttamente da associazioni scientifiche rispetto all’editoria commerciale
      – la grande distribuzione privilegia l’editoria commerciale a costi più elevati
      – eccetera, eccetera, eccetera

  5. L’intervento del Prof. Figà Talamanca, oltre a ricordare i limiti dell’IF, ci ricorda quanto poco vogliano dire dal punto di vista scientificole odierne, interminabili liste di citazioni in calce agli articoli e quanto invece esse contino per questioni di politica accademica se non, peggio, come e vera e propria moneta di scambio.
    Non è raro che si citino articoli per ingraziarsi revisori ed editor; e, ancor peggio, che revisori ed editor pretendano la citazione di propri articoli.
    Era inevitabile, avendo trasformato le citazioni in moneta sonante.
    Come si chiamava quella legge empirica sulla distorsione delle misure “oggettive” quando diventano indicatori di “qualità”?

  6. Ma vi siete letti bene la Nota della Redazione? “uesto articolo e’ stato presentato al IV SEMINARIO del SISTEMA INFORMATIVO NAZIONALE PER LA MATEMATICA SINM 2000: “un modello di sistema informativo nazionale per aree disciplinari” Lecce, Lunedì 2 ottobre 2000.”
    E’ ovvio che non ci siano riferimenti alle abilitazioni, all’ANVUR e così via. E’ stato riproposto per la sua attualità e per aver evidenziato già allora quello che con l’ANVUR (speriamo che sparisca almeno in questa forma delirante) andrà peggiorando: “L’aumento della pressione sui singoli ricercatori e sulle strutture scientifiche a pubblicare, anche in assenza di risultati scientifici significativi, al solo scopo di aumentare il proprio punteggio basato sullo IF.

    La perdita di vista del significato di una pubblicazione scientifica come mezzo per comunicare ad altri ricercatori i propri risultati e non solo come strumento per aumentare il proprio “punteggio”.

    • Per Lilli
      Ribadisco che questa cosa del “punteggio personale di impact factor” e’ una cosa tutta italiana. Io non ho mai visto in nessun altro paese del mondo sommare l’impact factor dei vari papers che si e’ pubblicato.

    • Per esempio, in UK, se sei un biologo vale molto di piu’ un solo paper su Science che 10 su riviste di biologia con 3 di impact factor nonostante che il punteggio IF che molti calcolano in Italia sia 30 in entrambe i casi.

    • @samueleuk: mi auguro che prima di tirare giudizi sommari ci guardino dentro. Anche su science ma letto da nessuno, un articolo ha poco valore.

    • “in UK, se sei un biologo vale molto di piu’ un solo paper su Science…” : classico esempio di uso scorretto degli indici bibliomerici. Attribuire un peso ad un articolo in base all’IF e’ sbagliato anche da un punto di vista statistico
      (la media ha senso se l’integrale del momento primo converge e non e’ il caso dell’IF.)

  7. mi sembra che da un po’ di tempo su ROARS stiano emergendo due anime distinte: chi critica la procedura di abilitazione gestita dall’ANVUR, con ottime ragioni se non altro perche’ e’ evidente che non e’ stata sufficientemente ragionata, e chi invece sente il terreno sfuggire sotto i piedi e sogna una restaurazione dei bei vecchi tempi (mai finiti in verita’) in cui la valutazione era sostanzialmente affidata ai “probi viri”

    spero tanto che la restaurazione non prenda il sopravvento, altrimenti nulla mai cambiera’ e le lobby di potere accademico continueranno impunemente a fare quello che hanno sempre fatto, cioe’ danni strutturali al sistema; solo un po’ di bibliometria seria puo’ togliere il potere alle lobby, naturalmente mai usata da sola come unico strumento di valutazione

    Marco Vianello
    dipartimento di matematica
    Universita’ di Padova

    • Se si critica l’IF allora si “sogna una restaurazione dei bei vecchi tempi”: se questo fosse il senso, ed altri non ne vedo, colgo l’occasione per sottolineare (ancora) che su Roars si cerca di discutere i vari e differenti problemi in maniera analitica.

    • Sostenere che chi critica l’Impact Factor, “sente il terreno sfuggire sotto i piedi e sogna una restaurazione dei bei vecchi tempi” significa ignorare gli sviluppi di più di dieci anni di ricerca bibliometrica. Si veda per esempio:
      __________________________
      P.O. Seglen: Why the impact factor of journals should not be used for evaluating research, BMJ VOLUME 314 15 FEBRUARY 1997
      http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2126010/pdf/9056804.pdf
      __________________________
      L’Impact Factor è ormai ritenuto inadeguato anche dai più accesi sostenitori della bibliometria (almeno quelli metodologicamente aggiornati). Qui non ci sono in ballo restaurazioni, ma solo l’adozione di un approccio scientifico. Purtroppo, in Italia, anche a causa di una insufficiente diffusione della cultura della valutazione, vi è chi ha una concezione quasi taumaturgica degli strumenti bibliometrici. La bibliometria fai-da-te dell’ANVUR nasce da questa carenza culturale. Vedere un drappo rosso quando qualcuno esprime contro l’IF critiche che ormai sono consolidate nella letteratura bibliometrica mondiale significa piegare l’evidenza scientifica ad una visione provinciale. In questa visione chi non approva anche i più obsoleti o strampalati strumenti bibliometrici è “oggettivamente complice” del vecchio regime. Che le lobby (vecchie e nuove) temano la bibliometria fai-da-te è tutto da dimostrare. Anzi, credo che la preferiscano all’uso di metodologie scientificamente validate. I criteri bibliometrici dell’ASN sono un ottimo esempio, dato che favoriscono in modo indebito determinate categorie di gruppi di ricerca e di ricercatori.

  8. no, il senso e’ molto piu’ generale: l’IF e’ un pessimo strumento di valutazione della ricerca, come ben dimostrato da numerosi interventi

    quella che e’ preoccupante, a mio modesto avviso, e’ la deriva “antibibliometrica” che si sta instaurando, pericolosa perche’ potrebbe impedire qualsiasi prova sul campo di strumenti mai utilizzati seriamente finora in Italia

    e’ purtroppo nell’aria la possibilita’ che volendo discostarsi dall’utilizzo delle mediane, strumento certo alquanto rozzo e mal implementato, le commissioni con l’appoggio delle societa’ scientifiche (dove le lobby spesso dominano) e di una parte forse maggioritaria dell’opinione pubblica accademica, decidano di non usare affatto parametri oggettivi (ad esempio un mix ragionato di parametri bibliometrici, accanto ad altri strumenti)

    dove si andrebbe a finire secondo me e’ abbastanza chiaro, anche se per fortuna stavolta i curricula saranno pubblici e online, quindi le cose peggiori si verificheranno con maggiore difficolta’

    la mia opinione, puo’ darsi ingenua, e’ che un po’
    di utilizzo di parametri oggettivi aumenti in modo sostanziale le “pari opportunita’” tra candidati,
    ad esempio nel confronto tra strutturati e non, che sara’ uno dei nodi della valutazione (inutile nasconderselo)

    spero che su ROARS, sito che apprezzo moltissimo, siano ospitati anche interventi non completamente “analitici”: in caso contrario, continuero’ a leggere con interesse ed evitero’ di fare interventi che ammetto, sono in parte “politici”

    • Se non si mettono difficoltà come la normalizzazione o il diverso peso degli autori la bibliometria rischia di diventare un imbroglio se applicata alla valutazione dei singoli. Questo è fondamentale e l’ANVUR l’ha rifiutato a priori.

  9. Sargenisco dice: “Io cercavo di allargare e contestualizzare il discorso (svecchiandolo) chiedendo, invece, se un mix di parametri bibliometrici (quali? e in che misura?) potesse alleviare (non curare) la carcinosa situazione attuale.”
    Secondo me la risposta e’ assolutamente si, per lo meno nelle materie scientifiche. Fino ad ora le commissioni fanno quello che vogliono giocando sui giudizi da “temino delle medie”… buono e sufficiente meno meno…. robe da pazzi. A ste cose preferisco anche i punti di IF all’italiana (che pure trovo pessimi).
    Comunque quello che propone l’ANVUR e’ appunto un un mix di parametri bibliometrici tra l’altro vagliato soggettivamente dalla commissione. Al massimo discutiamo sulla validita’ dei parametri bibliometrici che hanno deciso di usare. Invece mi sembra che molti su ROARS abbiano un rigetto “ideologico” di qualsiasi parametro bibliometrico. A me sembra che, se usati bene, questi parametri invece possono aiutare molto.

    • samueleuk: “Invece mi sembra che molti su ROARS abbiano un rigetto “ideologico” di qualsiasi parametro bibliometrico.”
      ________________________________
      Su ROARS non facciamo che riportare quanto è condiviso a livello internazionale sia dagli studiosi di bibliometria che dalle agenzie di valutazione internazionale. Se si legge la letteratura bibliometrica internazionale si dovrebbe concludere che la quasi totalità degli studiosi di bibliometrica ha “un rigetto “ideologico” di qualsiasi parametro bibliometrico”. Nel Regno Unito, lo studio pilota finalizzato a predisporre le regole del prossimo programma nazionale di valutazione della ricerca, il cosidddetto REF (Research Excellence Framework), è giunto alla seguente conclusione:

      “Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”.
      http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
      _____________________
      Dobbiamo forse concludere che gli esperti del REF “abbiano un rigetto “ideologico” di qualsiasi parametro bibliometrico”? Piuttosto sembra molto più ideologica la posizione di chi cerca di etichettare come “antivalutativi” o “antibibliometrichi” gli articoli di ROARS che si limitano a riprendere evidenze scientifiche che altrove sono serenamente accettate per quello che sono. Non per nulla, i “rimproveri” hanno un tono fortemente emotivo e non citano letteratura bibliometrica o pratiche internazionali. Una testimonianza di quanto sia urgente riportare la discussione sul piano fattuale e scientifico.
      È impressionante vedere quale tempesta emotiva abbia scatenato un articolo di dodici anni fa sull’impact factor che riporta considerazioni che in ambito internazionale sono ormai accettate da tutti. Una cartina di tornasole del ruolo taumaturgico che in Italia viene attribuito a strumenti tecnici i cui pro e contro sono ormai ben noti.

    • Visto che sono il REF Coordinator per il mio dipartimento, ti assicuro che questo sistema lo conosco bene. In ogni caso concordo che: “Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”
      Pero’ stiamo parlando della peer review britannica for god sake !!!
      Secondo me bibliometrics are sufficiently robust to replace la peer review farsa dei concorsi italiani dove chi vincera’ viene deciso prima ancora del concorso sulla base di criteri che hanno poco a che fare con la qualita’ e la quantita’ della produzione scientifica del candidato.

    • E’ l’adenosina che si accumula :-) Buonanotte. Io ho il vantaggio di avere un ora in meno

    • Chi sostiene lo stato di eccezione, ha l’onere della prova. Ho dimostrato più volte, dati bibliometrici alla mano, che non c’è evidenza che l’Italia si trovi in uno stato di eccezione. Questa è l’evidenza scientifica. Chi invoca lo stato di Polizia e la revoca dei diritti civili, abbia almeno la bontà di dimostrare che l’ordine pubblico è veramente in pericolo. E anche se così fosse, dubito che la legislazione di emergenza sia la soluzione, Non amo gli stati di polizia sia reali che figurati, anche perché non sono così ingenuo da ignorare che dietro le emergenze si celano interessi molto più prosaici.

    • Mi spieghi come i dati di produttivita’ scientifica che hai mostrato dimostrino che in Italia i concorsi non erano delle farse in cui il vincitore veniva scelto a priori sulla base di criteri che con la valutazione comparativa del merito (stabilita dalla legge) avevano poco o niente a che fare?

    • Affermare che ci sono stati dei concorsi truccati è un truismo che non ci fa fare passi avanti (ci sono le sentenze dei tribunali e persino le intercettazioni in alcuni casi). Se sotto casa mia viene rubata una macchina, non è una buona ragione per chiedere lo stato di polizia oppure i militari agli angoli delle strade. Se i concorsi truccati che facevano vincere gli incapaci fossero stati veramente la norma, qualche effetto a livello globale si dovrebbe vedere. Il fatto che la produttività scientifica globale non sia peggio di altre grandi nazioni più ricche e con maggior tradizione di noi, vuol dire che non siamo di fronte al marciume totale con cui si vuole giustificare l’uso di strumenti che non hanno corso scientifico e non sono adottati in nessun’altra parte del mondo. Le malversazioni ci sono state e sono una ferita grave a cui bisogna porre rimedio, ma non si cura la bronchite con le pozioni del Dr. Ciarlatan rifilate con la scusa che il paziente sta morendo e che non si possono somministrare gli antibiotici perché il (presunto) moribondo è diverso da tutti gli altri uomini della terra. In questi casi si finisce per scoprire che le pozioni del Dr. Ciarlatan sono velenose, che il paziente non è moribondo e che la sua fisiologia è la stessa degli altri umani.

    • Sottoscrivo quanto dice Giuseppe De Nicolao. Aggiungo che è da tempo alimentata, anche facendo leva sull’opinione pubblica (basta vedere certi articoli su alcuni dei più diffusi quotidiani nazionali), un’idea distorta del panorama accademico nazionale. Non si può negare il marcio, ma si deve anche affermare quanto di valido esiste. Forse vivo nel mondo delle fiabe, ma vorrei anche fare presente che i PO con cui lavoriamo noi ricercatori, non sono sempre e necessariamente baroni, ma spesso sono autorevoli maestri, da cui imparare e grazie ai quali poter crescere professionalmente.

    • Caro Giuseppe, mi dici secondo te qual’era la percentuale di concorsi truccati in Italia? Per concorsi truccati intendo concorsi dove il vincitore/idoneo veniva scelto a priori (spesso da persone neanche in commissione) senza nessuna valutazione comparativa del merito di tutti i candidati.

    • Se partecipo ad un concorso in UK, so che me la gioco. Invece quando ho partecipato, apposta, a concorsi in Italia sapevo in partenza chi sarebbe stato il vincitore, cioe’ il candidato interno. Ti sembra un sistema sano e fisiologico?

    • Se partecipo ad un concorso in UK, so che me la gioco. Invece quando ho partecipato, apposta, a concorsi in Italia sapevo in partenza chi sarebbe stato il vincitore, cioe’ il candidato interno. Ti sembra un sistema sano e fisiologico?

    • Caro Samuele,
      Che gli esiti dei concorsi universitari italiani negli ultimi anni siano stati “non precisamente ottimali”, come affermato in un recente documento, lo possiamo sottoscrivere in tanti, penso redazione di ROARS compresa.
      Tuttavia, tanto è semplice criticare quanto difficile proporre soluzioni efficaci e condivise. Guardando al futuro, le decisioni vere saranno prese nei concorsi locali. In base alla tua esperienza, dati dieci candidati, come ne selezioni uno per il massimo vantaggio dell’Università e dei suoi utenti principali, ovvero gli studenti?

    • Io ho fatto parte di almeno 10 commissioni di concorso in UK. Ti assicuro che quando la finalita’ e’ selezionare uno candidato per il massimo vantaggio dell’Università e dei suoi utenti principali, ovvero gli studenti (aggiungo tutti i tax payers) la selezione non e’ poi cosi’ difficile. Si prende il migliore considerando il CV (inclusa bibliometria in certe materie), fit con il profilo richiesto dal concorso, performance durante la presentazione a tutto il dipartimento e alla interview, e lettere di raccomandazione.
      Il problema e’ un altro: in Italia di solito non si seleziona il candidato per il massimo vantaggio dell’Università e dei suoi utenti principali. Nel 99% dei casi si seleziona il candidato interno (o esterno ma prescelto) su logiche politiche e di appartenenza. Non ci credo che nel 99% dei casi il candidato interno e’ il candidato che da il massimo vantaggio dell’Università e dei suoi utenti. Se fosse cosi’, anche all’estero si assumerebbe quasi sempre il candidato interno. Invece si ritiene che il massimo vantaggio dell’Università e dei suoi utenti sia quello di far circolare le intelligenze e le competenze, e di assumere il candidato migliore dovunque esso provenga. Altrimenti non si capisce come molti italiani riescano ad entrare nelle universita’ straniere.

    • Non è corretto affermare che l’analisi di Allesina quantifichi i concorsi truccati. L’analisi delle omonimie di Allesina, tra l’altro, usa come raffronto una situazione di omonimie puramente casuali che è del tutto ideale. In una società chiusa come quella italiana, è lecito attendersi una persistenza padre-figlio nella quasi totalità delle professioni. Sarebbe interessante verificare se la persistenza padre figlio nell’università è più alta che in altre professioni liberali.
      Va anche detto che Allesina ottiene risultati appariscenti facendo riferimento ai macro settori (ING-INF, IUS, MED, FIS, …) che sono assai vasti ma che non hanno valenza concorsuale. I risultati per i microsettori (che hanno rilevanza concorsuale) sono riportati nei materiali supplementari scaricabili dal sito e nell’articolo sono commentati in modo incompleto (più sotto riporto il virgolettato di Allesina). In effetti, Allesina osserva che ci sono 45 microsettori anomali (p-value < 0,05, ovvero un numero di omonimie molto maggiore della norma) ma dimentica di osservare che dalla sua analisi risultano anche 136 microsettori con zero omonimie, il che comporta ovviamente un p-value superiore a 0,95, vale a dire un numero di omonimie significativamente inferiore (in senso statistico) rispetto a quanto ci si aspetterebbe in base alla distribuzione di riferimento. Questi microsettori potrebbero essere definiti "antinepotistici". Andando a contare, si vede che ci sono 7532 accademici che lavorano in microsettori "anti-nepotistici", pari al 12,28%. Gli accademici che lavorano nei 45 microsettori "nepotistici" (p-value inferiore a 0,05) sono 11866 pari al 19,34%. Se estendiamo ai microsettori le considerazioni di Allesina riferite ai macrosettori, ne segue che l'80,66% degli accademici lavora in microsettori in cui non c'è evidenza statisticamente significativa di omonimie più frequenti della norma. Non so quanto vadano presi sul serio questi studi, ma qualcuno potrebbe persino concludere che Allesina, se letto bene, ridimensiona dal punto di vista numerico l'entità del nepotismo biologico. In ogni caso, sono convinto che il vero problema sia la cooptazione malata dei figli accademici più che di quelli biologici. ___________________ Testo di Allesina: ___________________ "In Table 1 I report, for each macro-sector, the number of academics, number of last names, the expected number of last names from Monte Carlo simulations and the approximated probability of observing a lower or equal number of last names in the sample. In 9 sectors I found p-values smaller than 0:05, representing fields with high probability of nepotism. These fields include exactly 32,000 researchers: the majority of Italian academics (52.17%) work in disciplines that display a number of names much smaller than expected. The procedure was repeated for the 370micro-sectors, with similar results (Supplementary Table 2 in Supporting Information S1), and with the same macro-sectors displaying significant departures from expectation. In detail, 45 micro-sectors had p{values lower than 0.05 (Supplementary Table 1 in Supporting Information S1). The five disciplines displaying the highest fraction of significant microsectors were Pedagogy (3 micro-sectors out 4 with pv0:05), Geography (1 out of 2), Medicine (15 out of 50), Mathematics (2 out of 9) and Civil Engineering (4 out of 22) (Supplementary Tables 1 and 2 in Supporting Information S1). All these disciplines were present in the nine yielding significant results above."

    • Caro Giuseppe, anch’io sono convinto che il vero problema sia la cooptazione malata dei figli accademici più che di quelli biologici.
      Pero’ il fatto che in Italia i Professori Universitari riescano a far vincere i concorsi da ricercatore/professore ai figli/parenti (spesso addirittura nella stessa universita’ in cui lavorano!!!) e’ il sintomo acuto di come in Italia i concorsi universitari siano truccati, e che i professori che fanno scelte sbagliate non subiscano nessuna penalizzazione.

    • Siamo tutti consapevoli che l’Italia è la patria del “familismo amorale”. Di conseguenza ce ne sarà una dose anche nelle accademie. Non so dire se sia peggio o meglio che in altri ambiti, professioni liberali comprese. La mia impressione è che negli atenei non sia molto peggio. Di sicuro, nell’ambito in cui mi muovo quotidianamente il nepotismo biologico non rientra tra i problemi di cui occorre preoccuparsi. Purtroppo, non ho dati statistici per dire come stanno le cose in altre facoltà. Le analisi di Allesina non sono risolutive perché le omonimie anomale che trova fanno riferimento a macrosettori troppo vasti. Non mi sembra il caso di gridare allo scandalo se il figlio di un professore intraprende la carriera accademica. Le cose sono più delicate quando il figlio è nello stesso settore concorsuale del padre, ma a questo livello sono gli stessi dati di Allesina a non evidenziare fenomeni endemici di nepotismo biologico. I dati di Allesina sono interessanti più che altro nell’evidenziare che le omonimie sono più frequenti nelle aree disciplinari dove entrano in gioco interessi economici maggiori (medicina per es.), il che non sorprende. A me sembra che la discussione si avviti su se stessa: che la situazione sia peggio o meglio che nel resto della società mi sembra questione aperta. Che sia tutto indistintamente marcio è una tesi che non regge a fronte delle statistiche bibliometriche internazionali.

    • tu che sai tutto mi puoi dire quanti parenti, amanti e lecchini incapaci sul totale di vincitori di concorsi ci sono stati dal 2000?
      io non lo so e mi piacerebbe saperlo. Io ritengo di conoscere una stima di concorsi guidati, ma questa è un’altra cosa.
      L’articolo a cui ti riferisci per me è spazzatura.
      Ovviamente è una mia liberissima opinione.

    • Mi spiace contrariarti Thor, ma ti capisco. Fa male sentirsi dire che il 99% dei concorsi (quindi anche il tuo probabilmente) erano truccati. Non sto dicendo che tutti i concorsi truccati hanno assunto lecchini, amanti e parenti. Leggiti bene i miei posts. Dico solo che non, avendo fatto una valutazione comparativa dei candidati, i concorsi truccati non hanno necessariamente selezionato il candidato migliore. E questo e’ un dramma per l’Italia dove la legge non conta niente e le persone gestiscono il denaro pubblico (chi li paga quelli assunti con concorsi truccati?) come se fosse cosa loro.

    • La mia casistica diretta e’ limitata (3 concorsi a cui ho partecipato in Italia) ma in due casi quelli che hanno vinto erano veramente scandalosi.
      Anyway, mi sembra che tutti concordate con quanto asserivo: nella stragrande maggioranza dei concorsi in Italia il vincitore era prestabilito senza fare alcuna valutazione comparativa e meritocratica dei candidati. Cioe’ concorsi truccati e fuorilegge. In un sistema cosi’ non stupisce il fatto che, insieme a tanti predestinati bravi (ma erano i piu’ bravi tra i candidati?) siano passati anche tanti lecchini, amanti e parenti.

    • La grande maggioranza dei concorsi per PA e per PO sono stati banditi con l’ipoteca di un candidato locale, non necessariamente indegno (a volte molto degno a volte poco degno). Non intendo giustificare nessuno e non lo farò. Allo stesso tempo, il mio scopo non è lanciare invettive, ma capire come uscire da una situazione tipicamente italiana. Una legislazione concorsuale congegnata in modo pessimo confonde il reclutamento con la progressione di carriera innalzando barriere quasi insormontabili per gli esterni. In un sistema in cui non si riesce ad instaurare circolazione da una sede all’altra, per promuovere chi ha lavorato bene (ma anche chi gode di protezioni) si inscena un concorso aperto al mondo che però è funzionale a un interno. Dato che lo scopo è una promozione, accade che si addomestichino gli esiti del concorso con scorno degli esterni da altre sedi o dall’estero.

      Perché il sistema non è collassato scientificamente? Credo perché (almeno sui grandi numeri) esistono delle scuole scientifiche valide che, pur penalizzate dalla scarsa circolazione inter-sede riescono a preparare dei ricercatori capaci. Tuttavia, il loro reclutamento e promozione si svolge adattando fino ai limiti della legalità (e anche oltre) delle regole del tutto disfunzionali. Chi gioca in casa parte (molto) avvantaggiato e il risultato netto è che la carriera è quasi sempre interna allo stesso ateneo, con forti ingiustizie soprattutto per chi concorre essendo esterno al sistema universitario (chi è interno al sistema, se è vero che viene penalizzato fuori casa, viene però favorito quando gioca in casa). Particolarmente inaccettabile l’esistenza di favoritismi al primo livello di ingresso (ricercatore), dove si favoriscono i propri allievi con il pretesto che essi non avrebbero alcuna chance altrove.

      Ritengo che il sistema pre-1999 fosse migliore. Accadeva che il concorso nazionale idoneasse studiosi di alto livello che non concorrevano da “interni”. Questo perché alcune sedi bandivano posti senza candidati interni oppure perché alcuni interni non venivano ritenuti idonei cedendo il passo a candidati migliori. Però, anche in quel caso esisteva una forte pressione da parte delle sedi perché i loro candidati “interni” fossero favoriti al di là dei loro meriti (il solito problema della promozione mascherata da reclutamento).

      Io credo che senza eliminare alla radice il problema dei candidati interni, sarà difficile, se non impossibile, dare un taglio alle malversazioni concorsuali. Dato che una mobilità generalizzata del personale accademico non sembra a portata di mano, è opportuno prevedere una quota di promozioni interne, subordinate però al conseguimento di un’abilitazione nazionale. Avendo sgombrato il campo dalle promozioni degli interni, diventa finalmente possibile riservare un’altra quota di risorse al reclutamento di esterni mediante concorsi liberi dall’ipoteca dell’interno. In questo modo si rimetterebbe in moto la circolazione tra atenei e si consentirebbero i rientri dall’estero.

    • ” Pero’ stiamo parlando della peer review britannica for god sake !!!” Traduzione: “Poiché siete dei selvaggi vi meritate di essere curati con pozioni magiche.” E questo sarebbe il contributo della civiltà? Mi sembra che ne possiamo tranquillamene a meno.

    • Ti fai la traduzione da solo e poi la critichi. Boh… sara’ l’ora tarda. Io dico solo che, a mio parere, il sistema bibliometrico e’ meglio del sistema che ho visto e vissuto in Italia. Mi sembra un opinione civile. Oppure per te gli apporti di civilta’ li danno solo quelli che concordano con voi?

    • Mi sembra che glielo abbia già segnalato: un sistema bibliometrico di tipo Anvur non esiste da nessuna parte al mondo. Questo non significa essere contrari alla bibliometria, né opporsi all’uso di strumenti bibliometrici quando questi sono usati con cognizione di causa, il che significa ad esempio rispettare delle regole minimali usate in tutto il mondo e riassunte ad esempio qui

      http://fr.wikipedia.org/wiki/Bibliom%C3%A9trie#L.27.C3.A9valuation_individuelle_des_chercheurs

      e il che significa inoltre non pesare un articolo con l’IF come suggeriva lei qualche commento più sopra (““in UK, se sei un biologo vale molto di piu’ un solo paper su Science…” “) .

    • E’ proprio l’ora tarda. Infatti mi hai completamente frainteso. L’esempio che ho fatto su un paper su Science contro 10 in rivistine era proprio per criticare un uso senza cognizione di causa dell’IF, cioe’ quello di fare le somme per calcolare un parametro, i punti di IF, che esiste solo in Italia.

    • Lei non ha afferrato ancora che non è “un uso senza cognizione di causa dell’IF” ad essere sbagliato ma l’uso dell’IF per pesare un articolo comunque lo si faccia. L’IF è una media. Una media ha senso solo se la distribuizione ha momento primo che converge, altrimenti non rappresenta nessuna caratteristica della distribuzione e non può essere usato in alcun modo per pesare un singolo articolo. Questo è il caso della distribuzione delle citazioni: non ha momento primo convergente. (La parte matematica è spiegata qui https://www.roars.it/online/valutazione-impact-factor-e-gaussiane/ e nelle referenze ivi contenute).

    • Boh, anche io penso che IF non sia serio per “giudicare” un singolo articolo.

      Pero’ pero’, giusto per rompere un pochino:
      a me sembra che le figure suggerite siano messe li giusto per fare scena. IF e’ per 2 anni consecutivi. Dove sono le P(c) di due anni consecutivi?

      E poi, guardando le figure vedo che P(C) ha un c_max al disopra del quale P(C) = 0. E quindi non capisco quel’e’ la divergenza.
      A meno che c_max non cresca al crescere del numero di articoli su PRL a parita’ di anni. Ma bisogna dimostrarlo.

      Si, lo so. Non capisco niente di statistica. Perdono.

    • Le figure corrispondono ad un’analisi di dati reali e sono a messe per illustrare il concetto che la media non è una quantità significativa per quel tipo di distribuzione. Infatti la media è determinata da c_max, e dunque è legata ad effetti di taglia finita, come succede quando sono le code della distribuzione a determinare i valori dei momenti. C’è un ampia letteratura in proposito ed qualche referenza è contenuta nel post.

    • La mobilità è un’ottima soluzione, ma non si può fare a costo zero. Con i finanziamenti attuali e gli stipendi attuali dei ricercatori è improponibile. Se poi per mobilità si intende: andare a fare qualche lezione in croce in un’altra sede (concentrandole in un periodo) e fare ricerca nella sede di origine; oppure ancora peggio: prendere il tempo parziale in Italia (“rubando” un posto ad un altro) e fare il ricercatore/prof in una università straniera; beh allora stimao parlando della cosa più odiasa che possa esistere. Questa non è mobilità!
      La verà mobilità comporta che porti con te il tuo bagaglio culturale, le attrezzature che ti servono e costriusci una “scuola” in loco.

    • Certo, io stavo parlando di mobilita’ accademica dove uno si sposta baracca e burattini, non di mobilita’ finta.
      Pero’ non ci trovo niente di male a fare un part-time in Italia e un altro all’estero. Con i cheap flights in Europa e’ sicuramente una cosa fattibile. Mio fratello ha lavorato al Centro di Bioinformatica dell’EMBL a Cambridge per quasi due anni avendo la residenza a Bergamo e svolazzando avanti e indietro. Inoltre e’ prevista dalla legge Gelmini che uno possa avere contratti universitari “misti”. Certo sto assumendo che uno faccia il lavoro per cui viene pagato part-time. Non sto parlando di casi dove si cumulavano posizioni full-time (illegal) o dove il candidato si faceva vedere solo in una delle due sedi.

    • Lasciamo perdere la Gelmini. In linea di principio uno lavora in Italia e tiene rapporti con altri centri qualificati Nazionali ed esteri, e può anche aver per un paio d’anni contratti multipli (in italia e all’estero). Tuttavia avere una posizione part-time in Italia e una full-time in USA o viceversa per decenni è insostenibile ed è sleale.

    • Perche’ devo lasciar perdere la Gelmini? Quello che descrivi tu e’ illegale (posizione part-time in Italia e una full-time in USA o viceversa). Io stavo parlando della possibilita’ di avere che ne so, 70% in UK e 30% in Italia o viceversa. Questa possibilita’ non c’era prima mentre la Gelmini l’ha introdotta e non ci vedo niente di male, anzi.

    • La Gelmini è legge da un anno, ma ricercatori che hanno una posizione part-time in Italia e una full-time in USA/UK/Sw/CH o viceversa esistono da sempre. 70+30 fa 100: OK. Ma chi quantifica in modo cosi preciso l’operato di un docente??? Inoltre chi fa full (100) in un posto non può fare part in un altro. Nemmeno dopo la Gelmini.
      Se occupi una posizione in un paese dove c’è la permanent position è diffcile giustificare una altra posizione in un altro paese.

    • Caro Paolo, sono d’accordo con te. Se uno ha un full time in un paese, non puo’ avere un part-time in un altro. Pero’ uno puo’ avere due contratti (e quindi due stipendi) part-time, e.g. 70:30. Prima non era previsto dalla legge, e c’erano situazioni di illegalita’. Sono contento che la Gelmini abbia invece previsto la possibilita’ di avere due contratti part-time.

    • Si, OK per due part-time post-Gelmini, ma ripeto c’è gente che ha full time in un paese, e part-time in un altro da sempre. Sono schifato da questo. Alcuni per camuffarsi ricorrono anche a mezzucci squallidi per non essere scoperti, del tipo storpiare nel CV on-line il nome della città dove si sono laureati. Così Milano diventa Melano. Napoli Niapoli etc. Che squallore.

  10. “perchè ripresentarlo oggi??? Perchè dobbiamo prenderci in giro???” Il motivo e’ molto semplice: contiene ancora delle informazioni che sono poco diffuse ed una analisi interessante, che, infatti, ha suscitato parecchi commenti.

    ps “molti su ROARS abbiano un rigetto “ideologico” di qualsiasi parametro bibliometrico” e’ la favoletta che si racconta per andare a dormire tranquilli. Come abbiamo ribadito N volte (con N>>1) le critiche espresse dalla redazione riguardano l’uso della bibliometria fai-da-te. I parametri bibliometrici possono essere utili se utlizzati da persone che sanno quello che fanno.

  11. Al di là delle convinzioni personali (o pregiudiziali) di ciascuno, mi domando se davvero l’uso di parametri bibliometrici (anche un po’ più seri) migliorerebbe la situazione. Cioè, in quali settori e per chi (se non vogliamo nasconderci dietro un dito). Una delle cose interessanti dell’intervento di F-T è proprio il riferimento al ruolo dell’IF nello “scontro” tra discipline o campi di ricerca o gruppi (di potere o scuole, non è lì il punto). E’ chiaro che con questi o quei parametri si vengono a favorire questi o quei settori, gruppi, persone (in maniera non trasparente, perché non lo si dice ma ci si nasconde dietro i parametri). Ci saranno dei settori (forse) in cui potrebbero esserci degli effetti positivi, altri in cui gli effetti sarebbero negativi (sicuramente i parametri quantitativi in parte dei settori non bibliometrici: le punte quantitative in genere sono cattivo segno). Lasciar perdere la ricerca di una regola uguale per tutti (e quindi NON uguale per tutti), ma affidare l’indicazione su uso, tipo e peso di indicatori alle singole comunità scientifiche (come, se non ricordo male, si era provato a fare in sede CUN)?

    • Per curiosita’ sono andato a vedere i criteri CUN per un ordinario nella mia area (Scienze Biologiche). La proposta, non solo tua ma di altri su ROARS, di adottare questi criteri mi sembra un po’ schizofrenica. Non vedo infatti come questi parametri possano superare le critiche che avete fatto all’ANVUR, incluso il suddetto articolo di critica dell’IF in generale. Ecco il testo del CUN:
      “- almeno 30 articoli, di cui non meno di 8 pubblicati negli ultimi otto anni (*), tutti su riviste ISI, tali che la media del loro IF risulti non inferiore al valore di IF mediano del settore scientifico come riportato sul catalogo ISI al momento in cui si presenta la domanda di
      partecipazione alla selezione;”
      AZZ… anche qui una mediana per altro basata sull’impact factor, non sulle citazioni ricevute. Meglio forse la mediana dell’ANVUR. L’unico vantaggio di quella del CUN che e’ piu’ facile da calcolare.
      ” almeno il 50% dell’IF totale dei lavori pubblicati negli ultimi otto anni deve essere relativo ad articoli in cui il candidato è primo o ultimo nome o autore corrispondente, oppure in metà dei lavori degli ultimi 8 anni il candidato deve essere primo o ultimo autore o corrispondente. ”
      AZZ e’ saltato fuori l’IF totale (cioe’ la famosa somma della spesa), una cosa di cui non si e’ mai sentito parlare fuori dall’Italia. Almeno il contemporary H-index, pur non diffusissimo, e’ stato pubblicato.
      Mi spiegate per piacere dove sono i vantaggi di usare questi criteri rispetto a quelli del CUN a parte il fatto che sono piu’ facili da superare e anche piu’ manipolabili visto che e’ piu’ facile pubblicare su una rivista buona che farsi citare tanto?

    • In breve, Roars ha proposto di adottare ex novo criteri non statistici proposti dal CUN in coordinamento con le comunità scientifiche.

      Roars non propone affatto di adottare i vecchi (e mai completamente definiti) criteri CUN. E’ chiaro che nuovi criteri dovrebbero essere composti in modo da assicurare di non produrre assurdità bibliometriche peggiori di quelle di ANVUR.

      Quanto allla presenza dell’IF nei “criteri” CUN cui Samuele fa riferimento, forse bisognerebbe chiedere alle comunità scientifiche di area biomedica come mai li proposero e come mai loro esponenti difendano ancora oggi con tanto ardore un indice bibliometrico screditato.

    • Ciao Antonio. Visto che la questione dei criteri per diventare professore non e’ una questione secondaria, mi faresti qualche esempio concreto di criteri non statistici?

    • samueleuk: ” mi faresti qualche esempio concreto di criteri non statistici?”
      __________________________________________________
      Sono i criteri che sono stati usati da sempre (e in ogni parte del mondo). Per avere degli esempi, basta leggere il DM 76:
      – responsabilità scientifica per progetti di ricerca internazionali e nazionali, ammessi al finanziamento sulla base di bandi competitivi che prevedano la revisione tra pari;
      – direzione di riviste, collane editoriali, enciclopedie e trattati di riconosciuto prestigio;
      – partecipazione a comitati editoriali di riviste, collane editoriali, enciclopedie e trattati di riconosciuto prestigio;
      – attribuzione di incarichi di insegnamento o di ricerca (fellowship) ufficiale presso atenei e istituti di ricerca, esteri e internazionali, di alta qualificazione;
      – direzione di enti o istituti di ricerca di alta qualificazione internazionale; g) partecipazione ad accademie aventi prestigio nel settore;
      – conseguimento di premi e riconoscimenti per l’attività scientifica;
      – nei settori concorsuali in cui è appropriato, risultati ottenuti nel trasferimento tecnologico in termini di partecipazione alla creazione di nuove imprese (spin off), sviluppo, impiego e commercializzazione di brevetti;
      – qualità della produzione scientifica, valutata all’interno del panorama internazionale della ricerca, sulla base dell’originalità, del rigore metodologico e del carattere innovativo.
      ___________________________
      Sono tutti criteri che in misura minore o maggiore richiedono valutazioni qualitative (dove sta scritto che dirigere l’ente A vale il doppio che dirigere l’ente B? come si misura il prestigio di un premio? come si misura il rigore metodologico?). Nelle questioni veramente importanti, non basta contare, ma bisogna usare il cervello per esercitare un giudizio che mette in gioco la cultura e l’esperienza del valutatore.

    • OK, constato il fatto che la ROARS vuole lasciare tutto praticamente come era prima. Infatti la legge berlinguer diceva che le commissioni dovevano considerare:
      a) originalità ed innovatività della produzione scientifica e rigore metodologico;
      b) determinazione analitica, anche sulla base di criteri riconosciuti nella comunità
      scientifica di riferimento, dell’apporto individuale del candidato nel caso di
      partecipazione del medesimo a lavori in collaborazione
      c) congruenza dell’attività del candidato con il Settore Scientifico Disciplinare per il quale è bandita la procedura

    • Samuele: se diciamo che i “parametri” (meglio usare questa parola al posto di “criteri”) per definire l’accesso a ipotetiche abilitazioni riformate, sono di tipo quantitativo, io mi limiterei a inserire soglie *minime* (p.es. un certo numero di papers su riviste scientifiche – individuate come tali). Poi dovrebbe seguire una valutazione di tipo qualitativo.L’obiettivo di una soglia minima di accesso è tagliare fuori gli zeri o i quasi-zeri, non si può fare tutta la selezione su questa base, è solo un filtro. Almeno io la vedo così.
      Ciao

    • Pubblicare un numero minimo di papers non mi sembra una cosa molto difficile. Quindi al massimo eviteresti i rari casi di “zero papers”. Se pero’ la valutazione della qualita’ la lasci alla completa soggettivita’ delle commissioni italiane, ci ritroveremo esattamente nella situazione di prima dove i candidati prescelti vincevano il concorso anche se si presentava un candidato NETTAMENTE piu’ preparato. Zero meritocrazia, tutto deciso a tavolino spesso da baroni che neanche siedono neanche in commissione.

    • Samuele, qui arriviamo a un problema che a mio avviso non risolvi con gli indici biblio. Così come non è difficile pubblicare un certo numero di papers non è affatto difficile essere coautore di un certo numero di papers che saranno citati o saranno pubblicati in sedi con un certo IF, lo sappiamo tutti. Io ribadisco che se si tratta di soglie minime si tratta di eliminare gli scandali. E che se si tratta di favorire comportamenti virtuosi nelle varie discipline occorre l’impegno di tutti nella stigmatizzazione dei cattivi comportamenti, il che passa attraverso una maggiore trasparenza e impegno in tal senso degli stessi ricercatori. Altre soluzioni non le vedo.

    • Ma scusate, a voi le citazioni ve le regalano? Non capisco come si possa dire che farsi citare e facile tanto quanto pubblicare. Non sono assolutamente d’accordo !!! Quello che proponi tu e’ un sistema di autocontrollo basato sulla moralita’ dei singoli. beh, direi allora proprio che non c’e’ speranza. Il track record mi sembra pessimo in questo senso.

  12. Non mi sono spiegato bene: non sostengo i parametri CUN deliberati a suo tempo (concordo che quelli di Biologia citati sembrano peggio di quelli ANVUR), ma sosterrei che ogni comunità potrebbe stabilire se usare dei parametri, quali e come (se non ricordo male, allora i matematici e gli informatici li rifiutarono, con un buon documento), prendendosene la responsabilità per il proprio settore. (Proposta che ha tutti i difetti della democrazia, naturalmente).
    Mi pare di capire che ci siano dei settori che, per come è fatto il loro sistema di ricerca e pubblicazione, danno una certa fiducia a indicatori di questo tipo. Se è così, mi pare anche giusto (accettabile) che li usino (magari fatti bene). Non mi pare motivo per imporli a comunità che non li ritengono indicatori di qualche valore.

    • Posso anche essere d’accordo. Pero’, da quello che sento, mi sembra che il track record delle societa’ scientifiche non sia il massimo. E’ proprio li dove si spartiscono i posti prima dei concorsi, giusto? E allora non sarei cosi’ fiducioso a lasciare a loro il settaggio dei criteri.

  13. Prima di tutto vorrei chiarire che per quanto sia lusingato dall’interesse che Roars.it ha dimostrato per un mio intervento di dodici anni fa, non avrei mai osato proporne ora la ripubblicazione. In secondo luogo vorrei contribuire a chiarire lo scopo ed il significato del mio intervento nel contesto dell’epoca. Nel 2000 lo IF era già sistematicamente utilizzato nella valutazione della ricerca, e nei concorsi, dai professori di medicina. Rossi Bernardi (già presidente del CNR) e Frati (già vicepresidente del CUN) ne furono, mi sembra, i primi araldi. Che io sappia certamente non era utilizzato per valutazioni individuali né in Gran Bretagna né negli Stati Uniti. Spagna e Italia erano i paesi dove lo IF veniva più utilizzato. Tuttavia girava insistentemente la voce che l’IF fosse un parametro per la valutazione accettato dalle “scienze dure” a “livello internazionale”. Il mio intervento si proponeva anche di contraddire questa diceria, e infatti fu scritto per un convegno sulla valutazione della ricerca organizzato dalla Società Italiana per la Storia Contemporanea (SISCO),e ripresentato al convegno di Lecce su richiesta del coordinamento delle biblioteche. L’altro relatore, (un professore di chimica di Bologna di cui non ricordo il nome) al convegno della SISCO era un sostenitore dello IF nella valutazione della ricerca). Questo spiega, in parte, la veemenza del mio intervento. Mi rivolgevo in gran parte ai cultori di scienze umane in particolare agli storici, per metterli in guardia contro quello che io consideravo un pericolo per la scienza e per la cultura. Come spiegavo in apertura del mio intervento, si trattava di un intervento “politico” non tecnico. L’inconsistenza statistica dello IF come strumento di valutazione della ricerca è documentata non solo dal lavoro, da me citato, di Seglen, ma con grande chiarezza dal documento dell’IMU “Citation Statistics”, che spero possa essere pubblicato da Roars. Vorrei osservare che l’uso dello IF nelle scienze mediche è ancora molto diffuso, tanto che, come è stato fatto notare, ricompare nelle indicazioni del CUN sui “parametri e criteri” (ma solo, credo, nell’area medica). Io non pensavo né penso che dati come il numero dei lavori pubblicati, il luogo di pubblicazione, il numero dei coautori, ed il numero delle citazioni non siano utili in una valutazione individuale o collettiva. Noi matematici disponiamo di una fonte autorevole per tutte queste informazioni che è la banca dati della American Mathematical Society, che pubblica anche brevi “recensioni” dei lavori di matematica. Risalire al lavoro citante permette anche, in via approssimativa, di distinguere le citazioni “di scuola” dalle citazioni che riconoscono effettivamente il contributo del lavoro citato. Inoltre, sempre attraverso la stessa banca dati, possiamo contare le citazioni nelle recensioni. Poichè in una recensione non si possono citare decine di altri lavori, il numero delle citazioni nelle recensioni può essere un indicatore più fedele dell’impatto del lavoro. La mia esperienza è che quet’ultimo indicatore può capovolgere un giudizio comparativo in termini di puro numero di citazioni. Insomma non sono affatto contrario ad un uso intelligente di banche dati affidabili.
    Trovo poi fuori luogo che chi critica l’uso dello IF sia accusato di complicità nelle scelte sbagliate dei “concorsi”. Anche la International Mathematical Union e la Society for Industrial and Applied Mathematics, e lo International Institute of Statistics che hanno pubblicato “Citation Statistics” sono implicati nei “concorsi truccati” delle università italiane?

  14. scusate, capisco tutti i distinguo e condivido molte delle critiche alla procedura e ai metodi automatici e non ragionati, ma resto profondamente preoccupato

    siamo in un certo senso ad una svolta storica, le abilitazioni nazionali, quello che accadra’ avra’ un effetto importante sul sistema per molti anni

    gia’ sono nell’aria possibili e probabili restrizioni sul numero di abilitati

    in questa situazione, chi ci garantira’ che, in assenza di un utilizzo esplicito e trasparente di parametri oggettivi da parte delle commissioni (questo probabilmente accadra’ in molte aree, all’atto di disconoscere l’applicabilita’ delle mediane), fatti salvi i veri eccellenti (per definizione pochissimi), i candidati passabili o bravini che fanno parte dei clan di commissari non passino al posto di candidati ben piu’ meritevoli che di quei clan non fanno parte, magari non strutturati e/o all’estero?

    chi ci garantira’ che le commissioni daranno veramente pari opportunita’ ai candidati e non ci saranno accordi spartitori?

    la storia passata di reclutamento e promozioni dovrebbe forse confortarci?

    spero proprio di sbagliarmi, ma vent’anni di vita accademica non aiutano ad essere ottimista

    • Anche l’altezza (in cm) dei candidati è un parametro oggettivo, ma non per questo appare risolutiva nella valutazione scientifica. Con i parametri oggettivi proposti da ANVUR estingueremo tutta la scuola italiana degli storici delle matematiche solo perché le loro sedi di pubblicazione non sono coperte dai database bibliometrici. Invito chiunque pensa di potersi affidare all’uso automatico di questi criteri a leggere il post “Pro Veritate” (https://www.roars.it/online/pro-veritate/) di cui cito un estratto:
      _______________________________
      “Un criterio sbagliato non è preferibile all’assenza di criteri numerici. Anche su prestigiose riviste ci sono articoli di dignitosa routine e articoli che hanno meritato una medaglia. Il numero delle citazioni è del tutto insufficiente come criterio di valutazione: una formula particolarmente utile in informatica è molto più citata dei lavori sulla soluzione delle equazioni polinomiali di quinto e sesto grado. […] gli storici di Mat04 sono l’esempio da manuale di un’ingiustizia commessa in nome di un “obbiettivo superiore”, quello di emarginare i docenti non meritevoli secondo i criteri Anvur. Ma il perseguimento di “scopi supremi” a costo di lasciare vittime sul terreno è il contrassegno tipico delle visioni totalitarie.
      _______________________________
      La lista di firme in coda al documento di solidarietà include numerosi studiosi stranieri che non possono essere accusati di battaglie di retroguardia a favore dei baroni italiani.
      C’è un vasto consenso internazionale che la bibliometria non sia la formula magica per la valutazione individuale di ricercatori ed articoli. Da un lato sono pronunciati in tale direzione ricercatori di riconosciuto valore scientifico da D.N. Arnold, ex presidente della Society for Industrial and Applied Mathematics (Integrity under Attack, http://www.siam.org/news/news.php?id=1663, Nefarious Numbers, http://www.ams.org/notices/201103/rtx110300434p.pdf) fino a Ernst, premio Nobel per la chimica (The Follies of Citation Indices, http://www.chab.ethz.ch/personen/emeritus/rernst/publications). Ancora più significativo è il pronunciamento di numerose società scientifiche internazionali, tra cui la European Physical Society:

      “Although the use of such quantitative measures may be considered at first glance to introduce objectivity into assessment, the exclusive use of such indicators to measure science “quality” can cause severe bias in the assessment process when applied simplistically and without appropriate benchmarking to the research environment being considered. Funding agencies are aware of this, nevertheless experience shows that the reviewing of both individuals and projects on the national and European level is still relying excessively on the use of these numerical parameters in evaluation. This is a problem of much concern in the scientific community, and there has been extensive debate and discussion worldwide on this topic (see for instance [1]).
      Since the very first applications of bibliometric indicators in this way, scientists and science organisations have taken strong positions against such purely numerical assessment. Various organisations in Europe have published studies on their potential adverse consequences on the quality of funded scientific research”

      EPS statement: On the use of bibliometric indices during assessment, http://www.eps.org/news/94765/

  15. Al momento, per le cosiddette aree non bibliometriche, i criteri anvur sono carta straccia. Cioe’ non hanno nulla di oggettivo e non indicano alcuna qualita’ della produzione scientifica. Per questo andrebbero soppressi del tutto.

  16. Francamente trovo queste disquisizioni sulla validita’ degli indici bibliometrici di una retorica ed ipocrisia insopportabile. Ovviamente solo un folle pretenderebbe di utilizzare tali indicatori come oro colato senza mediare il giudizio attraverso una sana peer review qualitativa. Eppure si continua ad obiettare sull’impact factor e sul numero di citazioni come se qualcuno avesse mai proposto (nemmeno l’Anvur in realta’!) di utilizzarli da soli come criteri assoluti.
    Nel frattempo di fronte alle numerose e documentate storie in cui i Professori Universitari italiani hanno violentato il sistema del reclutamento, scartando i candidati migliori per far posto ai propri cari pupilli, spesso con il principale merito di essere ottimi autisti, nessuno su ROARS dice nulla. Si parla del caso Schon (giustamente!) ma nessuno dei numerosi PO che scrivono dicono esplicitamente cosa pensano delle storie riportate qui: http://www.ilfattoquotidiano.it/2012/02/21/zero-titoli-posto-vita-alluniversita/192780/
    Oppure esprimono un parere sincero sull’operato dell’esimio Professor Luciano Suss dell’Universita’ di Milano. Ovviamente e’ piu’ semplice accanirsi sull’impact factor e citare Schon. Non ci si smentisce mai!
    PEr favore, non replicate scrivendo che questi sono casi isolati. Chiunque ha frequentato il mondo accademico italiano e’ perfettamente consapevole del fatto che questa e’ la norma. Questi sono semplicemente i casi arrivati sui giornali.
    Un saluto,
    V.

    • Non parlerei mai di casi isolati, ma non aiuta fare di ogni erba un fascio. Gli specifici scandali citati da Vladimir (non so però chi sia Luciano Suss) hanno fatto molto rumore, e moltissimi (si veda: http://petizionesecsp01.wordpress.com/) hanno firmato una petizione e poi contribuito alla raccolta fondi per il ricorso giudiziario relativo al caso di Varese (al Piemonte orientale il Rettore non ha firmato gli atti). Certo non tutti i firmatari/contributori sono venuti dall’interno dell’Università italiana, ma molti sì. Io tra di loro.

    • questi casi (zero pubblicazioni) sono casi estremi, ma di casi in cui un candidato nettamente piu’ qualificato si e’ visto passare davanti il “prescelto” di turno ce ne sono tantissimi.

    • E no caro Antonio, non mi sta bene questa posizione della ROARS visto anche le critiche al vitriolo che fate a quelli dell’ANVUR. Prima di criticarli dovete essere in grado di proporre un sistema che eviti i frequentissimi casi di cui ti porto un esempio reale.
      Concorso da ricercatore in fisiologia nel 2006. Candidato A: 20 pubblicazioni. Candidata B: 4 pubblicazioni. Stessa eta’ accademica. IF riviste Candidato A molto piu’ alti che IF riviste Candidato B. Vince candidato B (interno chiaramente). Nel 2012, Candidato A H-index 21, Candidato B H-index 4. Non mi sembra che l’universita’ italiana (e il tax payer che la finanzia) ci abbia guadagnato. Quelli che ci hanno guadagnato sono i tax payers della UK dove lavora il Candidato A.

    • Dimenticavo. All’analisi puramente qualitativa della commissione (come proposto da ROARS), il candidato B aveva ricevuto un giudizio MOLTO BUONO mentre il candidato A aveva ricevuto un giudizio BUONO. Rido per non piangere

    • Vladimir: “Eppure si continua ad obiettare sull’impact factor e sul numero di citazioni come se qualcuno avesse mai proposto (nemmeno l’Anvur in realta’!) di utilizzarli da soli come criteri assoluti.”
      ________________________________________
      Questa affermazione di Vladimir è falsa. Infatti, nella VQR l’ANVUR ha proposto criteri automatici per la valutazione degli articoli basati proprio su impact factor e numero delle citazioni. Per verificarlo, basta la seguente citazione presa dal documento “Criteri per la valutazione dei prodotti di ricerca Gruppo di Esperti della Valutazione dell’area Scienze Fisiche (GEV 02)” (http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev02_criteri_21_05.pdf):
      ________________________________________
      “La valutazione si baserà su una classificazione della rivista su cui il prodotto è stato pubblicato e su un indicatore bibliometrico che misura l’impatto del prodotto nel periodo che va dalla data di pubblicazione al 31 dicembre 2011.
      In particolare verranno considerati:
      6.5.
      • l’Impact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nell’anno di pubblicazione;
      • il numero di citazioni ricevute dal prodotto fino al 31 dicembre 2011;”
      ________________________________________
      Anche per quanto riguarda l’Abilitazione Scientifica Nazionale, la valutazione dei candidati è stata soggetta a soglie bibliometriche basate sulle citazioni (DM 76, Art. 6, comma 1):
      ________________________________________
      “Nelle procedure di abilitazione per la prima fascia, per i settori concorsuali di cui all’allegato A, la commissione utilizza per la misurazione dell’impatto della produzione scientifica complessiva di cui all’articolo 4, comma 4, lettera a), gli indicatori bibliometrici indicati nel predetto allegato, attenendosi al principio secondo il quale l’abilitazione può essere attribuita esclusivamente ai candidati:
      […]
      b) i cui indicatori dell’impatto della produzione scientifica complessiva presentino i valori richiesti per la prima fascia, sulla base delle regole di utilizzo degli stessi di cui all’allegato A, numero 3, lettera b).
      ________________________________________
      Più precisamente, nei settori bibliometrici, due mediane su tre (la seconda e la terza) sono basate sulle citazioni, come prescritto dall’Allegato A del DM 76/2012:
      “2. Gli indicatori bibliometrici da utilizzare nelle procedure di abilitazione a professore di
      prima e seconda fascia sono i seguenti:
      a) il numero di articoli su riviste […];
      b) il numero totale di citazioni ricevute riferite alla produzione scientifica complessiva normalizzato per l’età accademica;
      c) l’indice h di Hirsch normalizzato per l’età accademica.”
      Per chi non lo sapesse, ricordo che l’indice h è basato sul numero di citazioni ricevute dagli articoli scritti dal candidato.
      ========================================
      Vladimir: “ma nessuno dei numerosi PO che scrivono dicono esplicitamente cosa pensano delle storie riportate qui: http://www.ilfattoquotidiano.it/2012/02/21/zero-titoli-posto-vita-alluniversita/192780/
      ________________________________________
      Da parte mia, penso tutto il male possibile di chi promuove persone non meritevoli a danno di candidati più preparati. Proprio per migliorare la qualità del reclutamento, insieme alla redazione di ROARS abbiamo pubblicato delle proposte concrete per migliorare l’imparzialità delle procedure di reclutamento: https://www.roars.it/online/universita-e-ricerca-prime-proposte-roars-per-una-discussione/
      ========================================
      Vladimir: “Chiunque ha frequentato il mondo accademico italiano e’ perfettamente consapevole del fatto che questa e’ la norma.”
      ________________________________________
      Un approccio scientifico esige che non ci si basi sulle impressioni, ma si faccia riferimento ai dati. Se la norma fosse scartare “i candidati migliori per far posto ai propri cari pupilli, spesso con il principale merito di essere ottimi autisti”, non si spiegherebbe come mai proprio la bibliometria applicata su scala nazionale mostri che nei settori bibliometrici, la produttività italiana è superiore a quella di Germania, Francia e Giappone, come illustrato sotto:


    • Samuele, scusa, mi spieghi in che senso il sistema ANVUR eviterebbe casi come quello che descrivi? Le mediane non sono soglie minime? A me paiono soglie minime fatte male, e per di più – ti ricordo – sono derogabili per i candidati.

    • Samuele, Roars non ha proposto analisi puramente qualitative. Abbiamo proposto abilitazioni a numero chiuso con soglie statiche come filtro d’accesso. Se vuoi proporre qualche altra soluzione che trovi più efficace, saremo lieti di prenderla in considerazione. Basta che non mi vieni a dire che le attuali abilitazioni saranno selettive, perché francamente mi viene da ridere.

    • Si ma voi proponete soglie statiche di QUANTITA’ mentra la QUALITA’ della produzione scientifica la lasciate al soggettivo giudizio della commissione. Quando ci sono GROSSE DIFFERENZE di qualita’ della produzione scientifiche, la bibliometria (e.g. H index, IF, citazioni etc) discrimina eccome. Quindi casi come quelli che ho descritto non sarebbero successi i per lo meno i commissari avrebbero avuto piu’ difficolta’ a dare il giudizio che hanno dato.

    • Ma non si stava dicendo che contare articoli e contare citazioni non misurava nulla? Non capisco come vai si puo’ usare questa metrica a livello paese ma non a livello individuale.
      E’ metodologicamente corretto fare classifiche fra paesi con strutture dell’universita’ e della ricerca diversi sommando tutti i settori che possono essere molto disomogenei?

    • Federico: “Ma non si stava dicendo che contare articoli e contare citazioni non misurava nulla? Non capisco come vai si puo’ usare questa metrica a livello paese ma non a livello individuale.”
      ______________________
      Come ribadito più volte, c’è un largo consenso scientifico sull’inutilizzabilitò delle statistiche bibliometriche per la valutazione individuale dei ricercatori e delle pubblicazioni, mentre c’è consenso sulla loro utilizzabilità a livello aggregato (per ragioni di natura statistica), per esempio nazionale. Aggiungo che l’osservazione sull’omogeneità è appropriata. Per fare un esempio, se si stilano classifiche di efficienza bibliometrica, l’Università dell’Insubria si colloca in ottima posizione, ma sarebbe inappropriato tirare conclusioni affrettate. Infatti, in quell’ateneo il peso percentuale di medicina è più alto che in altri atenei e per rendere corrette le comparazioni bisognerebbe tener conto della diversa (e più alta) produttività bibliometrica dei medici rispetto ad altre aree disciplinari, diversità che non può essere tradotta in un giudizio di merito. Nel caso dell’Italia, il modo migliore per verificare che il buon posizionamento della nazione non dipende da pochi settori eccellenti che mascherano un degrado generale è consultare le statistiche di SCImago: http://www.scimagojr.com/countryrank.php
      Infatti è possibile specificare la “Subject Area” (per una granularità più fine c’è anche la “Subject Category”). Vediamo le posizioni in classifica dell’Italia che a livello globale è ottava (periodo considerato. 1996-2011, dati: Scopus):
      _________________________________________
      Agricultural and Biological Sciences: 12
      Arts and Humanities: 8
      Biochemistry, Genetics and Molecular Biology: 7
      Business, Management and Accounting: 14
      Chemical Engineering: 12
      Chemistry: 10
      Computer Science: 8
      Decision Sciences: 9
      Dentistry: 6
      Earth and Planetary Sciences: 7
      Economics, Econometrics and Finance: 9
      Energy: 10
      Engineering: 9
      Environmental Science: 11
      Health Professions: 8
      Immunology and Microbiology: 6
      Materials Science: 10
      Mathematics: 6
      Medicine: 6
      Multidisciplinary: 12
      Neuroscience: 7
      Nursing: 11
      Pharmacology, Toxicology and Pharmaceutics: 7
      Physics and Astronomy: 8
      Psychology: 9
      Social Sciences: 10
      Veterinary: 13
      ____________________________
      Naturalmente sarebbe affrettato dare le pagelle in base a queste posizioni in classifica. Infatti, i risultati andrebbero rapportati alle risorse dedicate sia da noi che dalle altre nazioni nelle aree specifiche. A prima vista l’impressione è di una ricerca universitaria italiana con risultati relativamente uniformi: l’Italia si colloca tra la sesta e la decima posizione in 21 aree su 27.

    • “Non capisco come vai si puo’ usare questa metrica a livello paese ma non a livello individuale.”

      Perché a livello di paese si guarda un dato aggregato. L’approccio bibliometrico ha senso quando considera una statistica ampia, sul singolo articolo non è rilevante

      “E’ metodologicamente corretto fare classifiche fra paesi con strutture dell’universita’ e della ricerca diversi sommando tutti i settori che possono essere molto disomogenei?”

      Dipende che classifiche si fanno. Se si guardano quantità omogenee come numero articoli/citazioni negli stessi campi che hanno banche date solide, un senso ce l’ha.

    • C’e’ consenso su una stima di quando i “grandi numeri” sono grandi abbastanza e la bibliometria diventa utilizzabile?

    • @federico
      La più grande aberrazione nell’applicare la bibliometria ai singoli individui nasce dall’impossibilità di distinguere o differenziare il contributo di ogni autore.

    • “C’e’ consenso su una stima di quando i “grandi numeri” sono grandi abbastanza e la bibliometria diventa utilizzabile?”

      Il problema della statistica è questo. Nel limite N che tende ad infinito le frequenze diventano probablità, per il resto vi è incertezza, come qualsiasi statistico le potrà spiegare meglio di me.

    • Non appoggiamo nessuna bibliometria del cun. Sosteniamo soglie statiche per abilitazioni a numero chiuso sulla base di criteri condivisi. I vecchi criteri CUN non furono neanche portati a compimento e non hanno nulla a che vedere con le nostre proposte.

    • “secondo me la bibliometria del CUN (che voi appoggiate) e’ ancora piu’ fai da te di quella dell’ANVUR”
      ____________________
      Anche il CUN ha avuto delle sbandate ed alcune delle bozze contengono criteri non condivisibili (non è facile esprimere un giudizio unitario perché persino gli approcci presentano significative differenze da un’area all’altra). Ma a partire dai primi documenti ANVUR sulle mediane, il CUN ha avuto la lucidità di denunciare l’ingestibilità e le deleterie conseguenze di criteri dinamici. Per tale ragione, più che contrapporre criteri CUN ed ANVUR bisognerebbe contrapporre l’uso di criteri statici alle malaugurate mediane ANVUR. In molte occasioni, a fronte della richiesta di criteri alternativi alle mediane, si sono spesso citati i criteri CUN perché nella maggior parte delle aree erano stati formulati in modo statico. Sembra anche di capire che nel corso dell’ultimo anno e mezzo la “cultura bibliometrica” del CUN sia andata allineandosi con gli standard internazionali, mentre ANVUR non ha recuperato il ritardo evidente sin dai suoi primi documenti.

    • Samuele: ti piace il sistema anvur? Abilitazioni farsa, condotte sotto il timore di ricorsi in cui tutti – verosimilmente – i candidati sopra mediana saranno abilitati (e magari anche gli altri) e reclutamento libero in sede locale? Perché è questa, ora, l’università italiana.

    • Il mio sistema preferito e’ un altro e fortunatamente ci lavoro. So solo che, per quello che vedo nel mio settore, il sistema ANVUR non dara’ l’idoneita’ a gente che, col sistema passato, invece sarebbe diventata sicuramente associato o ordinario senza meritarselo. Anzi conosco non pochi casi in cui il sistema ANVUR ha dissuaso queste persone ha presentare domanda. Quindi, per quanto mi riguarda, vedo solo un passo avanti rispetto al passato. Mi spaventano solo i pasticciacci procedurali che probabilmente daranno seguito a ricorsi e quindi al blocco delle assunzioni per vari anni ancora.

    • samuele: il tuo sistema è discrezionale e soggetto ad autocontrollo. Mi pare che sei in contraddizione. O meglio, è la solita teoria delle leggi d’emergenza per gli italiani suonatori di mandolino e mangiatori di pizza. Io continuo a pensare che si potrebbe far meglio responsabilizzando, non deresponsabilizzando.
      p.s. no le citazioni non si regalano ma è molto facile adottare comportamenti opportunistici, quando non fraudolenti, c’è un mare di letteratura in materia. Ovvio che grandi differenze bibliometriche dicono qualcosa, infatti nessuno dice che bisogna buttare via la bibliometria, solo che va usata cum grano salis.

    • Certo che il tuo sistema è discrezionale e soggetto ad autocontrollo. Ma non e’ assolutamente una contraddizione. Il problema e’ che in UK il sistema discrezionale viene usato per assumere il candidato piu’ meritevole, mentre in Italia il sistema discrezionale e’ stato usato MOLTO spesso per assumere il candidato prescelto anche quando non era il piu’ meritevole.
      Quello che e’ in contraddizione sei tu. Se concordi con me che la bibliometria distingue tra grosse differenze di qualita’ scientifica, perche’ non usarla? Chiaramente, nei casi di H-index 19 e un H-index 21 bisognera’ usare il grano salis. Ma almeno quello con H-index 8 dopo 30 anni di carriera non diventera’ ordinario. Per questo che, nonostante i mille difetti, appoggio il sistema ANVUR.

    • Perchè i medici incompetenti invece di curare i suoi malanni (che nessuno dei redattori e dei collaboratori di ROARS hanno mai negato) la stanno uccidendo. Un approccio scientifico impone che i pregiudizi cedano il passo ai dati di fatto. Le statistiche internazionali dimostrano che, a dispetto dei ritardi e delle sacche di improduttività, *in media* la ricerca universitaria italiana ha retto il passo con le altre nazioni europee. Ogni tentativo di riforma deve prendere atto di questa situazione. Riformare con l’idea che non ci sia quasi nulla da salvare vuol dire legittimare la “tabula rasa”. Riformare sapendo che esiste una parte non piccola che compete validamente a livello internazionale esclude il ricorso alle pozioni miracolose dei ciarlatani. Chi è imbevuto di pregiudizi porta pochi fatti e tante provocazioni. Ma lo scopo di ROARS è quello di portare la discussione sul piano dei fatti e della scienza. Dato che nella letteratura scientifica internazionale certi strumenti non hanno corso, a difendere l’uso di strumenti bibliometrici screditati o improvvisati è rimasto solo chi invoca lo stato di eccezione. E tuttavia a costoro spetta l’onere di provare che l’università italiana sarebbe un “unicum” a livello mondiale al punto da giustificare (?) il ricorso alla stregoneria. Sono proprio i dati bibliometrici a smentire i profeti dello stato di eccezione. Il seguente grafico (fonte SCImago su dati Scopus) mostra l’andamento nel tempo della quota di produzione scientifica come % mondiale (marrone) e % continentale (verde). Si vede che prima delle purghe gelminiane, la produzione italiana è cresciuta più rapidamente di Germania, UK e Francia, tenendo il passo con i Paesi Bassi.


    • Samuele: discutere di bibliometria in modo rozzo, come se si parlasse di una partita di calcio, non credo ci porterà molto avanti. Non è bene usare la bibliometria come unico o principale fattore di valutazione individuale, e del resto non mi risulta si faccia nel paese dove ora lavori. Invochi, come tanti altri, “leggi di emergenza” senza comprendere i danni che queste producono e senza, a mio modo di vedere, andare a toccare il punto centrale, che è la moralità delle comunità scientifiche, di cui tutti fanno parte, ma molti al momento opportuno fingono di essere chissà perchè estranei. Quanto a h 8, h 10, h 1000, bisogna parlarne cum grano salis, tenendo presente le differenze fra settori e anche fra singoli campi di ricerca. A questo proposito segnalo quanto scritto da Baccini, che non è certo un “nemico della bibliometria”: https://www.roars.it/online/classifiche-incredibili/

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.