Recentemente lo Schema di Decreto Ministeriale “Regolamento recante criteri e parametri” per la nuova ASN è stato sottoposto all’ANVUR (di cui abbiamo già pubblicato il parere) e al CUN (che deve ancora esprimersi). In questo articolo, evidenzio alcune criticità del documento, suggerendo anche le opportune modifiche. Mentre alcuni commenti hanno valenza generale, per quanto riguarda gli indicatori bibliometrici l’analisi si limita alle criticità riguardanti i cosiddetti settori bibliometrici, rimandando ad un successivo articolo l’analisi per i settori non bibliometrici. In particolare, nel post si discute di: (1) inderogabilità delle condizioni, (2) valori soglia, (3) definizione di pubblicazione di qualità elevata/non elevata, (4) inadeguatezza degli indicatori bibliometrici.

Commenti sullo schema di DM recante criteri e parametri per la valutazione dei candidati ai fini dell’attribuzione dell’abilitazione scientifica nazionale per l’accesso alla prima e alla seconda fascia dei professori universitari, nonché le modalità di accertamento della qualificazione dei Commissari”

1. Inderogabilità delle condizioni

Art. 4, comma 4: La commissione attribuisce l’abilitazione esclusivamente ai candidati che soddisfano entrambe le seguenti condizioni:

  1. a) ottengono una valutazione positiva del titolo di cui al punto 1 dell’Allegato A (impatto della produzione scientifica) e di almeno tre titoli secondo quanto previsto al comma 2, lettera b);
  2. b) presentano, ai sensi dell’articolo 6, pubblicazioni valutate in base ai criteri di cui al comma 1 e giudicate complessivamente di qualità “elevata” secondo la definizione di cui all’Allegato B.

 

L’inderogabilità delle condizioni irrigidisce eccessivamente la procedura, mettendone a rischio l’equità e la tenuta.

In primo luogo, per quanto riguarda l’impatto della produzione scientifica, è ben noto che qualsiasi indicatore bibliometrico presenta caratteristiche statistiche che sono influenzate dalla disciplina e, all’interno di essa, anche dal campo di studio. È pertanto assai probabile che alcuni valori soglia possano risultare ingiustamente discriminatori nei confronti di determinati argomenti di studio, caratterizzati, per esempio, da una “bassa intensità bibliometrica”, intesa come produttività scientifica e anche come impatto citazionale della comunità scientifica internazionale che vi si dedica. Appare difficile garantire una compensazione mediante algoritmi di calcolo e di adattamento delle soglie capaci di riequilibrare la selettività, differenziando i valori soglia tra SSD dello stesso settore concorsuale (Allegato C: «tale “valore-soglia” può eccezionalmente essere differenziato per settore scientifico-disciplinare»). Tra l’altro, tale differenziazione implica l’attribuzione di un SSD ad ogni candidato (o la scelta da parte del candidato stesso), mentre l’abilitazione è riferita all’intero settore concorsuale. Piuttosto, conviene rimuovere l’inderogabilità delle condizioni, lasciando l’ultima parola alla commissione che, motivando le sua decisioni, potrebbe tener conto di una serie di fattori specifici, la cui inclusione in sede regolamentare risulta non solo ardua, ma foriera di ulteriori paradossi e irrigidimenti.

Lo stesso ragionamento si applica alla richiesta di una valutazione positiva di almeno tre titoli ulteriori, “secondo quanto previsto al comma 2, lettera b dell’Allegato A”. Una mancata abilitazione legata al non riconoscimento di un titolo specifico, rende più fragile la procedura a fronte di ricorsi relativi all’accertamento di titoli che, tra l’altro, potrebbe presentare margini di discrezionalità.

Un pericolo ancor più grave conseguirebbe dall’applicazione della condizione di valutazione positiva di “almeno tre titoli” agli aspiranti commissari. La valutazione degli aspiranti commissari spetta all’ANVUR (Art. 7.3: “Entro trenta giorni dalla ricezione della lista, l’ANVUR accerta il rispetto dei requisiti stabiliti dal comma 1, lettera c”). È vero che il comma 1, lettera c limita l’accertamento al “possesso di una qualificazione scientifica coerente con i criteri e i parametri stabiliti dal presente regolamento attestata dal raggiungimento dei “valori-soglia” degli indicatori secondo quanto previsto all’Allegato E”. Tuttavia, appare illogico che i candidati siano valutati da commissari che non possiedono titoli che costituiscono condizione inderogabile per il conseguimento dell’abilitazione. Il mancato possesso di “almeno tre titoli” da parte di uno o più commissari potrebbe dunque essere oggetto di un successivo ricorso da parte di qualcuno dei candidati (o di altri aspiranti commissari non sorteggiati nella commissione). Se la commissione risultasse illegittimanente costituita per il mancato possesso dei titoli da parte di alcuni dei commissari, verrebbe messa a rischio l’intera procedura per quel settore concorsuale. Da notare che anche la valutazione di impatto degli aspiranti commissari è soggetta a qualche rischio, dato che errori per eccesso – seppur meno frequenti – non sono impossibili nelle citazioni fornite dai database bibliometrici.

Riguardo al punto (b), ovvero la richiesta che le pubblicazioni siano “giudicate complessivamente di qualità “elevata” secondo la definizione di cui all’Allegato B” si rimanda alla successiva discussione della correttezza e opportunità di tale definizione.

Modifica proposta: Rendere derogabile da parte della commissione la valutazione positiva del titolo di cui al punto 1 dell’Allegato A (impatto della produzione scientifica).

Rimuovere la condizione di valutazione positiva di almeno tre titoli secondo quanto previsto al comma 2, lettera b).

Rimuovere la richiesta che le pubblicazioni siano “giudicate complessivamente di qualità “elevata” secondo la definizione di cui all’Allegato B”

2. Valori soglia

Art. 9, comma 4: Entro quarantacinque giorni dalla data di entrata in vigore del presente regolamento, con decreto ministeriale di natura non regolamentare sono stabiliti, sulla base di una proposta dell’ANVUR e sentito il CUN, i valori-soglia degli indicatori di cui agli allegati C, D ed E.

Appendice C.3: per ciascuno degli indicatori di cui alle lettere a) e b), ai sensi dell’articolo 9, comma 4, è definito un “valore-soglia” distintamente per i professori di prima e di seconda fascia di ogni settore concorsuale; in relazione alle specifiche caratteristiche del settore concorsuale, tale “valore-soglia” può eccezionalmente essere differenziato per settore scientifico-disciplinare;

Nelle precedenti tornate i valori soglia erano costituiti dalle cosiddette “mediane”, il cui calcolo spettava all’ANVUR:

Il calcolo delle distribuzioni degli indicatori e delle relative mediane è effettuato dall’ANVUR e pubblicato sul proprio sito web e su quello del Ministero.

D.M. 76/2012, Allegato A, punto 4

Tuttavia, la distribuzione degli indicatori non fu mai pubblicata dall’ANVUR, che anzi pubblicò due diverse versioni delle mediane, riconoscendo infine di aver adottato una definizione di mediana diversa da quella utilizzata in ambito statistico (i valori nulli vennero rimossi dalla popolazione, prima di procedere al calcolo della mediana).

Nel presente schema, viene affidata all’ANVUR la proposta dei valori soglia, senza garantire trasparenza sulla procedura di definizione e sulla loro selettività. Perché il CUN possa esprimere un parere è necessario conoscere il grado di selettività dei valori soglia. Per esempio, l’ANVUR dovrebbe pubblicare la distribuzione degli indicatori, distinta per fasce, all’interno di ogni settore concorsuale. Sarebbe in tal modo possibile valutare le conseguenze della loro applicazione.

Modifica proposta: Aggiungere che l’ANVUR effettua il calcolo delle distribuzioni degli indicatori nelle popolazioni dei docenti e dei ricercatori in servizio, pubblicandole sul proprio sito web e su quello del Ministero.

Eliminare il riferimento a valori differenziati, concedendo invece a tutte le commissioni la facoltà di derogare (vedi Sezione 1), abilitando – con adeguata motivazione – anche chi non superasse i valori-soglia bibliometrici.

3. Definizione di pubblicazione di qualità elevata/non elevata

Nell’Appendice B, sono riportate le seguenti definizioni

Si intende per pubblicazione di qualità elevata una pubblicazione che, per il livello di originalità e rigore metodologico e per il contributo che fornisce al progresso della ricerca, abbia conseguito o è presumibile che consegua un impatto significativo nella comunità scientifica di riferimento a livello anche internazionale.

Si intende per pubblicazione di qualità non elevata una pubblicazione che, per il livello di originalità e rigore metodologico e per il contributo che fornisce al progresso della ricerca, abbia conseguito o è presumibile che consegua un impatto non significativo nella comunità scientifica di riferimento a livello anche internazionale.

Tali definizioni appaiono erronee, formulate in modo impreciso, fuori luogo nel contesto di un Decreto ministeriale e potenzialmente dannose.

Prima di tutto, le definizioni sono erronee in quanto confondono la qualità di una pubblicazione con l’impatto che essa ha avuto o potrebbe avere nella comunità scientifica. Qualità e impatto sono notoriamente nozioni diverse e non sovrapponibili:

citation impact is primarily a measure of scientific utility rather than of scientific quality, and authors’ selection of references is subject to strong biases unrelated to quality. For evaluation of scientific quality, there seems to be no alternative to qualified experts reading the publications

Seglen, Per O. “Why the impact factor of journals should not be used for evaluating research.” Bmj 314.7079 (1997): 497.

La formulazione è imprecisa dal momento che, accanto all’impatto osservato, considera l’impatto “presumibile”, la cui valutazione si fonda sulla previsione – del tutto problematica – dell’utilità e della popolarità futura di lavori scientifici già pubblicati. Previsione resa ancora più problematica dal dover essere circoscritta ad una non meglio definita “comunità scientifica di riferimento”, come se i confini disciplinari italiani avessero una qualche valenza sostanziale nel complesso intreccio e scambio di conoscenze e scoperte scientifiche internazionali. Infine, è problematica anche l’interpretazione dell’aggettivo “significativo”.

Appare degno di altri regimi politici e ideologici la circostanza che la nozione di qualità scientifica divenga oggetto di una definizione burocratica nel contesto di un decreto ministeriale.

Gli effetti di una definizione che equipara la qualità scientifica all’impatto sono potenzialmente dannosi, in quanto il più comune indicatore di impatto, le citazioni, oltre che dipendere da una varietà di fattori estrinseci alle modalità di produzione dell’attività scientifica, risultano facilmente manipolabili mediante accordi tra ricercatori e gruppi di ricercatori. Non può essere sottovalutato l’incentivo a perseguire (o abbandonare) tematiche di ricerca solo in base alla loro popolarità e pure l’incentivo a comportamenti opportunistici, distruttivi per l’etica della comunità scientifica. Essendo noto che i paradigmi e gli scienziati affermati tendono a ricevere più citazioni, esiste anche un incentivo al conformismo scientifico, con la conseguenza di creare un ulteriore freno all’innovazione scientifica e all’effettiva competizione delle idee. Infine, è noto che le donne e le minoranze sono statisticamente meno citate, un altro elemento che rivela quanto la scelta di privilegiare l’impatto favorisca le rendite di posizione a diversi livelli, scientifici e non scientifici.

Modifica proposta: eliminare dal Decreto la definizione di cosa debba intendersi per produzione scientifica qualità elevata/non elevata.

4. Inadeguatezza degli indicatori bibliometrici

Nell’Appendice E si specifica che, per conseguire l’abilitazione, i candidati devono superare dei valori soglia relativi ai seguenti indicatori:

a) il numero di articoli pubblicati nei 10 anni consecutivi precedenti la data stabilita nel bando candidati su riviste scientifiche contenute nelle banche dati internazionali “Scopus” e “Web of Science” pesato per l’indicatore di impatto della rivista scientifica;

 

b) l’indice h di Hirsch, rilevato nelle banche dati internazionali “Scopus” e “WebofScience” e calcolato con riferimento alle pubblicazioni edite nei 10 anni consecutivi precedenti la data stabilita nel bando candidati.

Il primo indicatore appare inadeguato, alla luce letteratura scientometrica e anche di autorevoli pronunciamenti da parte di importanti istituzioni e associazioni scientifiche, tra cui la IEEE.

Sebbene la formulazione non sia esente da qualche ambiguità, il primo indicatore sembra coincidere con la somma degli Impact Factor (IF) delle riviste in cui sono apparsi gli articoli cofirmati dal candidato. Da tempo, la letteratura scientometrica esclude l’utilizzabilità dell’IF nella valutazione della ricerca per una serie di ragioni discusse, per esempio, nel già citato articolo di Seglen, intitolato “Why the impact factor of journals should not be used for evaluating research.”

La consapevolezza sempre più diffusa dell’inadeguatezza e anche della dannosità dell’uso dell’IF ha trovato espressioe pubblicq nella San Francisco Declaration on Research Assessment (DORA, http://am.ascb.org/dora/), che è stata sottoscritta da più di 12.500 individui e da più di 580 organizzazioni (comprese riviste come Science, Plos e PNAS e istituzioni come l’HEFCE – l’agenzia di valutazione inglese, l’European Mathematical Society e l’Institute Pasteur). La raccomandazione n.1 di DORA è:

Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.

Sempre a proposito di DORA, l’estensore o gli estensori dello schema di Decreto Ministeriale, potrebbero utilmente leggere l’editoriale “Impact Factor Distortions” di Bruce Alberts, Editor in Chief di Science,

Nella stessa direzione va il Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”, sottoscritto dall’IEEE Board of Directors, secondo il quale:

the use of the bibliometric index of a journal in which a researcher publishes (typically the Impact Factor (IF)) as a proxy for the quality of his/her specific paper is a common example of a technically incorrect use of bibliometrics

 

Pertanto, introdurre una soglia, espressa in termini di Impact Factor, quale condizione necessaria per il conseguimento dell’abilitazione scientifica, significherebbe non solo adottare una metrica antiscientifica e priva di fondamento, ma anche relegare l’Italia in una posizione di retroguardia nella comunità scientifica internazionale.

Anche l’indice di Hirsch non va esente da criticità sia di natura metodologica che inerenti all’affidabilità del suo calcolo. Dal punto di vista metodologico, si tratta di un indicatore ibrido che dipende simultaneamente dalla quantità di articoli che dal loro impatto, col risultato di rendere indiscernibili informazioni che andrebbero invece esaminate distintamente. Quello che è probabilmente il più importante centro di ricerca mondiale per quanto riguarda la bibliometria, ovvero il CWTS B.V. (Centre for Science and Technology Studies) di Leiden, già da qualche anno ha preso pubblicamente posizione contro l’uso dell’indice di Hirsch come strumento di valutazione:

The research by Waltman and Van Eck makes clear that the h-index may produce illogical and sometimes even unfair assessments of research performance. For this reason, CWTS strongly advises against the use of the h-index.

CWTS Press Release, 15.09.2011, http://www.cwts.nl/download/f-x2x2.pdf

 

Un ulteriore problema riguarda la possibilità di contare in modo affidabile le citazioni ricevute negli ultimi due anni. Infatti, è noto che le registrazioni nei database bibliometrici vengono continuamente aggiornate e che occorrono uno-due anni prima che i dati possano ritenersi assestati. Per fare un esempio, il National Science Board statunitense nel suo report del 2010 (http://www.nsf.gov/statistics/seind10/), non usava i dati 2008 e 2009 perché riteneva assestati solo i dati fino al 2007. Un’instabilità che potrebbe contribuire a spiegare le difficoltà tecniche incontrate nelle tornate 2012 e 2013 dell’ASN, durante le quali gli indicatori di numerosi candidati sono stati rettificati, non solo in corso d’opera, ma persino dopo che erano stati chiusi i verbali, costringendo le commissioni a riaprirli per ripetere la valutazione dei candidati i cui indicatori erano nel frattempo mutati. Un’esperienza che non sembra essere stata sufficiente a scoraggiare il MIUR dal proporre l’uso a fini normativi e amministrativi di dati bibliometrici che, oltre ad essere mutevoli e soggetti ad errori, sono nella disponibilità di soggetti commerciali non interessati né capaci di garantirne l’affidabilità necessaria per la tenuta di un procedimento amministrativo.

A titolo di curiosità, sembra che l’estensore del presente schema di decreto si sia ispirato ai

“Dos and don’ts in individual level bibliometrics”

presentati da due noti studiosi, W. Glänzel e P. Wouters, nel corso della 14th Int. Society of Scientometrics and Informetrics Conference (Vienna 2013), con particolare riferimento al terzo comandamento, riassunto in questa slide.

no_bibliometric_filters

All’estensore ministeriale deve essere però sfuggito che i dieci comandamenti della presentazione riguardavano dieci cose da non fare.

Modifica proposta: usare un solo indicatore costituito dal numero di lavori scientifici registrati sui database Scopus o Web of Science, allo scopo di disincentivare la partecipazione di chi non avesse maturato un volume sufficiente di produzione scientifica.

Print Friendly, PDF & Email

48 Commenti

  1. Proposte ragionevoli. Io aggiungerei per gli aspiranti commissari un numero minimo di lavori negli ultimi cinque o dieci anni, giusto per garantire che questi siano ancora in qualche modo attivi nella ricerca.
    Possiamo augurarci che il CUN si muova su qesta linea, o chiedo troppo?

  2. Scherza? La risposta non può che essere negativa, pensi che adesso, che si prevede comunque la “continuità” della produzione scientifica, la presidente della commissione di diritto privato vanta 6 titoli in 13 anni di cui l’ultimo su rivista non di settore…vorrà mica provocare?

    • Sia il post di De Nicolao che il mio commento si riferiscono ai settori blibliometrici. Giuseppe ha promesso una anlisi dei sttori non bibliometrici, io non ne so a sufficienza.
      Comunque il fatto che una proposta sia destinata a essere bocciata non la rende meno ragionevole di quelle che magari saranno adottate!
      E’ triste che le proposte ragionevoli siano ormai delle provocazioni, ma è anche importante continuare a farle.

  3. Guardi che il mio era un commento ironico basato su fatti veri. Troverei sacrosanto che i commissari siano, almeno, tanto produttivi quanto i candidati che sono chiamati a giudicare…ma non è così e, per quanto riguarda il settore privatistico, sarebbe una pretesa che legittimerebbe si e no 10 aspiranti commissari. Per questo parlavo, ironicamente è tristemente, di provocazione.

  4. Ottimo articolo.
    Sottolinea criticità, peraltro evidenti, e propone alternative.
    Purtroppo il piano è sempre più inclinato.
    A proposito dell’elevata qualità delle pubblicazioni, credo che l’impostazione sia emblematica dei tempi e dell’arroganza di chi, governando processi, pensa di saper tutto, di aver in pugno la verità. Da studente (e non solo), ho spesso studiato la storia del mio settore scientifico scoprendo interessantissime cose, esempi (di vita e dedizione) illuminanti. E tanti, tantissimi, casi di ricercatori le cui scoperte, pubblicate nei contesti scientifici del tempo, furono dimenticate se non derise per anni.
    Un altro caso emblematico lo segnalo in merito agli indicatori bibliometrici. Nei giorni scorsi, in molti hanno ricevuto una richiesta da parte del ministero di aggiornare il proprio profilo per eventuali valutazioni future di progetti di ricerca.
    In tale aggiornamento, oltre all’indice h si richiedeva espressamente il valore relativo agli ultimi 5 anni. Chiunque abbia un po’ di dimestichezza con la problematica o, quantomeno, usi scopus come elemento di ricerca bibliografica, è perfettamente consapevole che le citazioni e anche il numero di articoli degli ultimi due anni sono assolutamente inaffidabili.

  5. Qualche indice per valutare la produttività dovremo pur utilizzarlo, o basta che qualcuno abbia scritto qualcosa contro un indice per distruggerlo? Consideriamo anche quanto scritto in favore di quell’indice.
    D’accordo sull’inutilizzabilità dell’IF, ma l’h-index (che però andrebbe pesato per il reale contributo del candidato nelle pubblicazioni) è un ottimo indice. Non va troppo per il sottile, contiene informazioni sul numero di lavori e sul loro impatto, consente di non dover utilizzare altri indici quali numero di pubblicazioni e di citazioni (per inciso: da ignoranti di bibliometria utilizzarli tutti assieme). Un solo indice, l’h-index pesato per il contributo del candidato, sarebbe la soluzione migliore. Con soglie (e relativi ‘margini di errore’) per ciascun SC, o SSD dove serve.
    Infine, trovo non opportuno limitare il calcolo dell’h-index agli ultimi 10 anni. Se si è fatta una importante scoperta 12 anni fa perchè dovrebbe essere totalmente ignorata? I fatto che l’indice cresce anche mentre si fa il bagno al mare non mi sembra un buon motivo per calcolarlo solo parzialmente.

    • Per la precisione: l’h index è calcolato a partire da numero di pubblicazioni e numero di citazioni ricevute da ogni pubblicazione. E li condensa in un solo numeretto di facile lettura.
      Non è un indice di produttività!
      Indici di produttività sono indici calcolati a partire dal solo il numero di pubblicazioni.

      Calcolare i margini di errore dell’h-index è piuttosto complicato (sempre che lo si voglia fare in modo scientifico) ed infatti non lo fa nessuno.
      Pesare per il numero di autori: ci saranno almeno una ventina di modi per farlo. E questi modi danno risultati diversi: quale si sceglie? E che succede se quel modi si applica all’indice H? Conseguenze non banali.
      E infine: Ma chi dovrebbe farli questi calcoli? Il miur? L’ANVUR? (Evito commenti)? E con quali metodi?

    • “Qualche indice per valutare la produttività dovremo pur utilizzarlo, o basta che qualcuno abbia scritto qualcosa contro un indice per distruggerlo? Consideriamo anche quanto scritto in favore di quell’indice.”
      ___________________________________
      Par condicio bibliometrica? Non riesco ad immaginare in quale settore di ricerca valga la par condicio. In quelli che pratico io, se qualcuno dimostra che un metodo è errato oppure non funziona, non è che si prende qualche articolo temporalmente anteriore che ne magnificava i pregi e si fa pari e patta. I riferimenti menzionati nel mio articolo riflettono lo stato dell’arte del dibattito internazionale. E se lo stato dell’arte non si accorda con i feticismi bibliometrici nostrani, bisognerà che qualcuno se ne faccia una ragione. C’è sempre un Vannoni della situazione. Ma deve rassegnarsi a sentirsi dire che il suo metodo è privo di fondamento.

    • A. Baccini: la qualità della produttività scientifica (quindi la produttività, in italiano, se non vogliamo utilizzare gerghi troppo tecnici che non conosco) si può misurare con il numero delle citazioni. Quindi trovo corretto dire che l’h-index è un indice di produttività. Non considero produttiva un’azienda di mele che produce tante mele ma tutte marce.
      G. De Nicolao: la perfezione non esiste, sicuramente non nella valutazione della ricerca. Dobbiamo accontentarci di quello che c’è. E’ un po’ come per i leader politici…sono buoni tutti a criticarli ma dobbiamo scegliere fra quelli che ci sono.
      Comunque grazie per il servizio, gratuito, che proponete.

    • Basta aprire wikipedia o treccani per vedere cosa significa produttività. http://www.treccani.it/vocabolario/produttivita/
      Qualità della produttività non significa rigorosamente nulla.
      Qualità della produzione (non della produttività!) scientifica può volere dire qualche cosa. Ma l’h-index non c’entra nulla.
      Le citazioni sono una misura dell’impatto (cosa diversa dalla qualità) della produzione scientifica nella comunità dei pari.
      E il numero di prodotti, che entra nel calcolo dell’h-index, è una misura della produzione (e nel caso di un singolo ricercatore anche della sua produttività).
      La sintesi dei due indicatori (h-index) non è un indicatore di produttività in senso stretto, perché contiene informazioni anche sull’impatto.

  6. Forse il mio commento è poco calzante…però a proposito dell’uso di scopus:

    ho appena scoperto che c’è un errore per quel che mi riguarda su scopus: un articolo è riportato due volte e ancora manca l’ultimo pubblicato (a fine settembre).

    Adesso che dovrei fare? Mettermi a scrivere mail a scopus per far correggere la svista? L’ultima volta mi è “costato” una decina di mail.

    E chi me lo paga il tempo perso? O dovrei farlo di notte?

    • Scopus contiene molti dati mancanti e l’unica possibilità di correggere è, si, passare giornate (o nottate) a spedire e-mail per correggere pubblicazioni sbagliate, citazioni mancanti, riferimenti imprecisi. Con un lavoro del genere si può migliorare il proprio h-index sensibilmente. Nessuno ti pagherà per farlo. La cosa più buffa, però, è che l’istituzione per cui lavori pagherà scopus per i dati che, grazie al tuo lavoro, scopus le fornisce. Effettivamente mi sembra un modello di business quasi imbattibile.

  7. Una breve considerazione riguardante il punto 1.
    Se i valori soglia sono decisi in modo ragionato ed equo (non troppo bassi, ma neanche elevati) nell’ottica di stabilire un minimo di decenza per presentarsi all’abilitazione, allora va benissimo che questi siano vincolanti per la commissione.
    La vera alternativa a questo e’ eliminare del tutto questi parametri decisi dall’ANVUR e lasciare alle commissioni l’arbitrio di decidere quegli indicatori minimi ritenuti vincolanti per la presentazione della domanda.
    Il punto fondamentale qui e’ che ci devono essere dei criteri di minimo e delle indicazioni che diano ai candidati una guida e una ragionevole certezza delle modalita’ con cui verranno valutati, altrimenti diventa una estrazione a sorte dato che le commissioni sono designate cosi’.
    Per favore, evitiamo l’errore del prima abilitazioni, in cui gli indicatori vincolanti “ma anche no” che introducono confusione e incertezza. Lasciare totale campo libero alle commissioni e’ altrettanto sbagliato e foriero di ricorsi che avere una procedura di calcolo rigida.

    • D’accordo, ma se non ci fidiamo delle commissioni e se abbiamo bisogno solo di soglie rigide e secche, cosa ce ne facciamo di tutto questo carrozzone dell’ASN? Facciamo solo i concorsi locali mettendo delle soglie rigide nazionali per la partecipazione. Risparmieremmo tempo, soldi e ricorsi. Io personalmente son d’accordo con De Nicolao sull’indicatore unico relativo alla produzione indicizzata. Gli hindex, specie quelli surrogati, sono manipolabili con una sola pubblicazione;quelli relativi alle pubblicazioni recenti poi sono in balia delle autocitazioni o delle citazioni compiacenti e non misurano un bel nulla.

    • Non ci fidiamo delle commissioni nazionali e ancora meno di quelle locali.
      Se si fissano dei criteri di minimo, le commissioni hanno il compito di fare quelle verifiche necessarie per evitare la manipolazione degli indici.
      Questo non lo può fare un burocrate, perché per stabilire se una pubblicazione è scientifica o meno, pertinente al settore o se una citazione corretta o è stata inserita solo per aumentare il numeretto dell’indice, serve una commissione di esperti del settore.
      Se i commissari facessero il loro dovere, e non i passacarte, la manipolazione degli indici per superare le soglie sarebbe inutili, perché porterebbe alla bocciatura.
      Questo non è possibile chiederlo ad una commissione locale, che avrebbe necessariamente un favorito, e sarebbe troppo portata a chiudere anche entrambi gli occhi.

    • Se si tratta di capire se un letterato si è presentato all’esame di botanica lo può fare la commissione locale, non c’è bisogno della commissione nazionale. Ma vedrai che presto l’interesse per questa procedura elefantiaca dell’ASN diminuirà. Ormai stanno tutti scappando all’estero perché da noi si guadagna un terzo, i laboratori sono a pezzi e l’aria è irrespirabile, come si capisce da queste disquisizioni su indicatori taroccati.

    • per Macroaree, si solo a quel livello si dovrebbe fare una valutazione dei titoli di produzione scientifica del candidato: articoli, citazioni, progetti, attività di ricerca e collaborazione con entri di ricerca esteri e/o italiani qualificati.
      Poi si da la qualifica di abilitato ASN (abilitazione scientifica nazionale) questa qualifica potrà essere usata sia per fare i concorsi per l’insegnamento (i pochi che ci saranno in futuro) ma anche per dare la possibilità di qualificare gli altri incarichi di lavoro dove potrà essere richiesta la qualifica di Scienziato Nazionale Abilitato….. nuovo lavoro, si perché il nostro stato ha tanto ma tanto bisogno di teste pensanti che producono idee nelle aziende.

  8. 1) gli indici di produttività scientifica sono qualcosa di oggettivo! (e forse per questo che non piacciono a tutti…..).
    2) se ben calcolati gli indici bibliometrici [IF, H-index, citazioni totali, ma anche altri parametri come ad esempio, IF medio, Source Normalized Impact per Paper (SNIP), SCImago Journal Rank (SJR), che tutti insieme aiuterebbero a definire meglio la produttività scientifica dei candidati] potrebbero far parte di un software automatico che abolirebbe, di fatto, le commissioni, con risparmio economico e maggiore trasparenza.
    Se questo non piace è perché si vuole (anche se non lo si dice apertamente) cercare, per se stessi, una via di fuga poco onesta.

    • Mamma mia che confusione. Sorvolo sulla nozione di oggettivo (ai miei studenti, se usano il termine oggettivo, suggerisco di leggere prima questo: http://ukcatalogue.oup.com/product/9780199606696.do)
      Purtoppo, caro Francesco1408 (o Josephine o Joker, chissà) se solo avesse la bontà di studiare un po’, tutti gli indici che lei cita non solo non sono indici di produttività (oops errore da bocciature in un esame di scientometrics), ma non si riferiscono neanche a “candidati”, perché sono tutti definiti per le riviste. E francamente a nessuno ancora è venuto in mente di sommare gli snip o i sjr. Anche se ben calcolati non servono a valutare individui. Basta leggere un po’. Lo trova scritto dappertutto.
      Devo dire che se ci fosse qualche italiano che proponesse di usarli ugualmente non mi meraviglierei affatto. Anche la somma degli IF a me risulta sia stata proposta per la prima volta da due italiani. Alla ricerca di indicatori oggettivi…

    • Nel mio commento precedente c’è una imprecisione (nell’elenco scalcagnato di Francesco 1408 mi ero perso h-index). L’indice h (su cui avevo commentato in precedenza) nasce effettivamente per caratterizzare un ricercatore, ma non è un indice di produttività in senso stretto. Il totale delle citazioni è invece un indicatore generico di impatto (non di produttività) usato ad ogni livello di disaggregazione (articolo, rivista, ricercatore etc. etc.).

    • Raramente ho letto un tale cumulo di sciocchezze. Credevo che in questa sede intervenissero per lo più studiosi – non necessariamente accademici, ma persone abituate a studiare e ad applicare un metodo scientifico. Purtroppo mi devo ricredere.
      Infine, mascherare la propria crassa ignoranza dietro accuse di disonestà è proprio la ciliegina sulla torta.

    • “Se ben calcolati”. Ma il punto mi sembra tutto qui. Che si assume ci sia un modo univoco di “ben calcolarli”. Invece, a tutt’oggi, non c’è.
      – come normalizzare per settore scientifico
      – come definire il contributo del singolo autore
      – come considerare il dato temporale (cumulativo, per anno, per periodo di anno)
      – quali indici far entrare nella formula.

      A ognuna di queste domande si tende a pensare esista una risposta semplice. Quando la si guarda da vicino ci si accorge che ogni risposta a queste domande fornisce, in alcuni casi, risultati discutibili. E che la correlazione tra i risultati ottenuti con scelte diverse è bassissima.

      Cosa che a me (mi sembra di non essere il solo) porta a concludere che tale “formula ben calcolata”, molto semplicemente, non esista.

      Ma questa, si sa, è una opinione disonesta.

  9. Caro Baccini, non faccia il processo alle intenzioni e di tutta l’erba un fascio.
    Io concordo con Lei e non con Francesco. IF, SNIP eSJR servono per confrontare le riviste e non le persone.
    H-index e Citazioni totali invece valutano le persone sotto il profilo scientifico. Infatti, come saprà, vengono utilizzati per valutare la possibilità di coordinare progetti in bandi competitivi (livello internazionale, non italiano).
    Penso, però, che l’uso esclusivo di questi due parametri potrebbe aiutare in queste nuove abilitazioni.

    • Venivano utilizzati, ora non più. Chissà come mai. Poi non è vero che hindex si riferisce a singoli ricercatori, piuttosto misura una specie di impatto, magari anche in senso negativo, di cordate di ricercatori. Se lei pubblica sciocchezze con il coautore giusto il suo indice schizza in alto. Secondo me avremmo solo bisogno di commissioni serie che leggano pubblicazioni selezionate e magari le commentino.

    • Oddio Joker/Francesco1408 ma lei se vuole fare l’astuto commentatore deve imparare a usare il web. Quando uno lascia un commento oltre l’email compare anche l’IP. Se non sa cosa sia l’IP usi Google ammesso che ne sia capace. Poi torni a pettinare le bambole.

    • Suvvia Francesco, perché hai rivelato l’arcano? Io trovavo molto interessante osservare un accademico che con 3 nomi diversi metteva in scena dialoghi provocatori…

    • “H-index e Citazioni totali invece valutano le persone sotto il profilo scientifico”
      Io valuto che lei abbia delle grosse carenze nell’uso della lingua italiana. Dovrebbe occuparsi di questo prima ancora di venire a cianciare di indici che non conosce e non sa usare.

  11. Wow!
    Quanta animosità, partita come risposta ad un mio post.
    A parte l’ovvietà dell’IP, credo che bisognerebbe parlare con cognizione di causa.
    Da anni parlo, in svariati contesti, di indici e valutazioni. Fin dai primi anni (ricordate il software publish or perish?) ho parlato, pontificato di indici e produttività. Usavo l’argomento come grimaldello (da precario di lungo corso) per trovare argomenti contro “vecchi” professori che non avevano mai, o quasi, pubblicato oltre il confine provinciale.
    Sgombro subito il campo da sospetti: ho indici di assoluto rilievo nel settore, 3 o 4 volte le mediane e superiori a moltissimi professori associati ed ordinari (anche se in pochi pare se ne siano accorti) ed avrei convenienza personale ad una visione presunta oggettiva. Ma temo sempre le mistificazioni.
    Peraltro, i tempi sono cambiati.
    Tutti negli ultimi 3 – 4 anni hanno pubblicato e (partendo da quasi nulla era peraltro facile) triplicato i loro indici. Che inevitabilmente hanno perso valore. Così come le pubblicazioni su molte riviste internazionali (anche quelle ritenute di qualità e prestigio) sono regolamentate in modo spesso lobbistico. Negli ultimi anni mi son visto rifiutare lavori, poi ben accettati altrove, semplicemente perché su alcune riviste bastano pochi gruppi a pubblicare (con le dovute eccezioni) per ottenere, con giri di pubblicazioni e citazioni incrociati, elevati indici e parametri, ecc.; alla faccia dell’oggettività di IF e citazioni.
    Quindi la presunta oggettività credo non possa essere sbandierata come un valore.
    A questo, aggiungo la banale constatazione (ripetuta) che Scopus, ISI Web, ecc. non sono strumenti, per loro stessa definizione, di valutazione per riviste, gruppi, ricerche, persone.
    Tanto non lo sono e non possono esserlo che le citazioni ed i lavori stessi appaiono spesso con grandissimi ritardi.
    In tal senso, quindi, non è possibile pretendere di valutare (ed escludere) persone sulla base di indici siffatti e, ancor più, riferiti agli ultimi anni.
    Tale scelte, tutt’altro che oggettiva, sarebbe facilmente contestabile ed impugnabile.
    Volendo far proposte, credo sarebbe quindi più saggio individuare delle soglie minime, che rappresentino una attività minimale, e riferire qualunque indice ad un periodo di tempo che escluda quantomeno gli ultimi due anni, ovvero che possa essere considerato se non rappresentativo ed affidabile almeno consolidato.
    Chiunque non comprenda (o peggio contesti integralmente) queste banali considerazioni o è in mala fede o semplicemente con conosce l’argomento.

    • L’idea di escludere gli ultimi 2 anni è molto originale ma la trovo ottima. Peccato che invece si vada in senso opposto (cioè h-index contemporaneo (che boiata) o conteggio dei soli 10 anni precedenti (idem)).
      Ma all’ANVUR hanno una minima considerazione di quello che viene scritto qui (articoli E commenti)?

  12. Non sono proprio d’accordo con questi suggerimenti di modifica. L’asn 2.0 è decisamente migliore della precedente.
    Le commissioni devono entrare nel merito dei lavori proposti secondo parametri qualitativi che tendono a definire innovatività, originalità, rigore scientifico, complessità e articolazione della ricerca, oppure se i lavori proposti sono solo un applicazione di un metodo, la conferma di un fenomeno già osservato oppure ribadiscono un concetto o un fatto scientifico ormai risaputo, ecc ecc.. Ormai si sprecano paradigma di questo tipo.
    La modifica che occorrerebbe alla asn 2.0 è che le commissioni dovrebbero accertare il contributo dell’autore soggetto a valutazione. Da questo punto di vista, continuo a pensare che le pubblicazioni devono essere registrate al cineca con una formula che contempli la leadership, e quindi il nominativo unico, o in alternativa il “pari contributo” o volendo anche il coordinatore della ricerca, quest’ultimo da utilizzare di misura solo per la fascia ordinari o per essere selezionati nelle commissioni. Così al data base di cineca si darebbe anche un senso diverso dal più affidabile scopus
    Sappiamo tutti che chi è solo nella ricerca si trova ad essere penalizzato sotto tutti i punti di vista: pochi lavori, poche citazioni, mantiene le mediane basse favorendo gli altri ma non se stesso. ecc. ecc.
    E poi! Meriterebbe l’abilitazione chi non supera di poco le soglie (mediane) ma è quasi sempre primo autore, oppure chi ha un sacco di pubblicazioni ma è un prescelto imbucato cronico?.
    Poi! Le commissioni! Qual è lo scopo di una commissione quando la valutazione non è comparativa?
    Si affidi la valutazione dei singoli candidati a un numero dispari di commissari indipendenti, anche stranieri, che decidono in autonomia sull’idoneità del ricercatore in base a ciò che gli viene presentato. Le commissioni vanno utilizzate per i concorsi di comparazioni selettiva e per x-factor dove bisogna decidere uno o i vincitori tra tanti o alcuni. Un po’ di risparmio poi non farebbe neanche male
    Ma confido nella 3.0 per queste e altre modifiche. Tuttavia ritengo che la 2.0 è già un buon raddrizzamento di rotta.
    Venendo ai parametri quantitativi d’ingresso, penso che la normalizzazione per if delle riviste sia sacrosanta. Questo numerino si porta dietro tutta una serie di processi selettivi tutt’altro che banali. L’If non è dovuto solo ed esclusivamente al numero di citazioni ma, in preponderanza, al relativamente basso numero di articoli pubblicati dal giornale. ciò starebbe a significare già un opera di severa selezione a monte; più revisori, più rigetti, tempi di referaggio più lunghi . E poi, a chi non è capitato di ritentare la sottomissione su una rivista di più basso if, dopo un rifiuto. Magari sarà successo anche il contrario ma questo motiva ancora di più il perché del basso if della rivista. Ci saranno pure riviste dopate, per fortuna pochissime, queste utilizzano lo stesso metodo di molti gruppi di ricerca sulle citazioni, ma penso sia più semplice stanare la rivista dopata che gli autori che vicendevolmente si dopano. Poi in alcuni campi ci sono riviste storiche stranote che hanno fortemente contribuito, e stanno contribuendo, a gettare le basi della materia.
    Quindi ben venga questo indice nella 2.0 e poi limitiamo questo “e(i)sterismo” che sembra tanto di convenienza. Non sempre i modelli d’oltralpe o di oltreoceano sono giusti e leciti (see you volkswagen, audi, seat, skoda). E poi, se non erro, questi articoli dicono maggiormente che l’if non è un idoneo parametro di valutazione quando considerato in maniera esclusiva , di fatto va accompagnato, come lo è, all’ h.index.
    L’if è un po’ ballerino consiglierei di utilizzare quello corrente a 5 anni (visto che le pubblicazioni riguardano gli ultimi 10 anni) per le riviste che lo posseggono, per quelle giovani chiaramente il corrente a 2 anni.

    • “Venendo ai parametri quantitativi d’ingresso, penso che la normalizzazione per if delle riviste sia sacrosanta.”
      ___________________________
      Ma ha letto l’articolo (con i riferimenti citati)? E se l’ha letto, lo ha capito? A difendere l’IF sono rimasti solo alcuni giapponesi nella giungla a cui non è arrivata notizia che la guerra è finita. Tutte le considerazioni menzionate a difesa dell’IF, oltre a essere ben note in letteratura, sono state smontate. Si prova quasi tenerezza a leggere certi commenti di chi non riesce a rassegnarsi al declino dell’IF.
      ===========================
      “E poi, se non erro, questi articoli dicono maggiormente che l’if non è un idoneo parametro di valutazione quando considerato in maniera esclusiva”
      ___________________________
      Sta errando. Basta leggere quanto riportato (con virgolette) nell’articolo:
      ____________________________
      “La raccomandazione n.1 di DORA è:

      Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.

      Sempre a proposito di DORA, l’estensore o gli estensori dello schema di Decreto Ministeriale, potrebbero utilmente leggere l’editoriale “Impact Factor Distortions” di Bruce Alberts, Editor in Chief di Science,

      Nella stessa direzione va il Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”, sottoscritto dall’IEEE Board of Directors, secondo il quale:

      the use of the bibliometric index of a journal in which a researcher publishes (typically the Impact Factor (IF)) as a proxy for the quality of his/her specific paper is a common example of a technically incorrect use of bibliometrics”
      ______________________________
      Non vedo margini di ambiguità: sta scritto “Do not use”, ed anche “a common example of a technically incorrect use of bibliometrics”.

    • Mi pare si stia facendo un pò di confusione riguardo l’uso dell’ “indicatore di impatto” previsto nella bozza di decreto.
      Innanzitutto abbiamo già più volte sottolineato come questo non sia necessariamente l’ i.f. tout court, ed è l’Anvur stessa nei suoi commenti al DM a chiarirlo.
      Molto probabilmente (e ragionevolmente) sarà un indicatore ottenuto da i.f. (WoS) e/o SJR (Scopus) (per simmetria con gli altri indicatori, come per la prcedente ASN, dovrebbe essere il migliore ottenuto dall’elaborazione dei due), con un ranking delle riviste divise per subject area ed una suddivisione in quartili o percentili. Si evita così una eccessiva sperequazione tra i.f. bassi ed i.f. alti (non è ragionevole avere pesi che spaziano di un fattore 100, essendo assolutamente comune avere i.f. nella stessa subject category da 0.1 a 10). Vedi VQR, ma a mio parere con usa suddivisione lineare di percentili e pesi.
      Poi, e qui DORA non centra, non si vuole valutare il ricercatore o il paper con l’ i.f..
      Questo indicatore, che sarebbe uno fra diversi (almeno tre, anche nella visione Anvur)
      dovrebbe servire a valutare la sede di pubblicazione, che è SOLO UNO dei parametri che possono definire la qualità del lavoro.
      A questo indicatore si deve certamente associare il numero delle citazioni ricevute, che in qualche modo misura l’impatto del lavoro, e siccome alla fine dobbiamo avere una valutazione del singolo, anche il contributo dell’autore (diciamo il numero degli autori, purtroppo su questo Anvur tace).
      L’indice H offre un indicatore combinato di produttività ed impatto.
      La valutazione della produttività scientifica con il mero conteggio degli articoli (o dei lavori in generale) indicizzati è assolutamente fuorviante ed altamente manipolabile. Con poco sforzo, due soldi, e max in un paio di mesi ti tempo si pubblica praticamente “qualsiasi cosa” su riviste online indicizzate (con i.f. residuale o senza i.f.).
      Il messaggio è chiaramente quello cercare di puntare a riviste di un certo prestigio, quand possibile, sapendo che lo sforzo verrà premiato. Scalando il prestigio della rivista (che in qualche modo è indicato da i.f./SJR) si scala nella valutazione delle sede editoriale, ovviamente. Questo andrebbe fatto, come dicevo, evitando eccessive sperequazioni.

    • Ed anche sull’aspetto della proprietà, credo che la situazione sia ben più articolata della semplice “leadership”. L’approfondimento di Paola Galimberti a riguardo (qui https://www.roars.it/se-lautore-e-un-ospite-oppure-un-fantasma/) è illuminante.
      Insomma, invece di andare nella direzione di avere un ventaglio più ampio di parametri, sui quali i commissari possano valutare le specificità (e fare il lavoro di una commissione), sembra che ci si muova sempre più alla ricerca del singolo “numerello” (ne sono rimasti due…). Grazie a Giuseppe De Nicolao per avere proposto, almeno, dei rinforzi di emergenza ad una struttura decisamente malmessa.

    • Gab@ Hai conoscenze dirette in ANVUR per dire qual è l’interpretazione del fattore di impatto? Secondo me potrebbe esser tutto e il contrario di tutto, visto che non è specificato con chiarezza. Il famigerato hindex contemporaneo, di cui l’attuale H10 è una versione stiracchiata, è saltato fuori all’ultimo minuto in un contesto simile.

    • Dal parere del CUN:
      * * *
      B) che si espliciti nel testo del decreto che cosa debba intendersi per «peso dell’indicatore di impatto».
      Questo Consesso ritiene che sia preferibile
      ancorarlo a un a suddivisione delle sedi di pubblicazione in classi di rilevanza, attribuendo loro pesi diversi e crescenti linearmente.
      Tale classificazione potrebbe essere effettuata dall’ANVUR, sentite le Comunità Scientifiche di riferimento, anche sulla base di percentili di indicatori bibliometrici ove tale classificazione sia ritenuta adeguata.
      * * *
      Non occorre avere “aderenze” all’Anvur per proporre una possibile implementazione sensata dell’ “indicatore di impatto”…

    • @gab Come volevasi dimostrare, il CUN non si fida di ANVUR e vuole che si specifichi da subito il significato dei vari parametri. Invece mi era parso di capire che tu ti fidassi ciecamente dell’ANVUR. Quindi non è scontata l’interpretazione dell’IF e qualsiasi cosa potrebbe succedere (Katsoros index docet).
      E comunque il CUN sta di fatto proponendo la riscrittura del regolamento. Nota che molte osservazioni sono di natura giuridica, quindi molto serie, e di simili ne arriveranno dal Consiglio di Stato.

    • @Angel: beh forse hai ragione, tra Anvur e Cun non saprei a chi lasciare le chiavi di casa. A sensazione preferirei lasciarle a te pur non conoscendoti…

  13. Appunto! Quando parlavo di e(i)sterismo a questo mi riferivo!
    Avrò letto molto fugacemente il suo post ma come vedo Lei non è da meno.
    Ribadisco che gli articoli o le note a cui lei fa riferimento, e altre, trattano l’argomento IF come indicatore della qualità di ricerca del singolo specifico lavoro. Infatti :” he use of the bibliometric index of a journal in which a researcher publishes (typically the Impact Factor (IF)) as a proxy for the quality of his/her specific paper is a common example of a technically incorrect use of bibliometrics” o “… quality of individual research articles” in DORA
    ed in questo caso, ed in riferimento alla valutazione di un autore ovvero di un paniere di singole pubblicazioni su riviste diverse, la somma non è detto faccia la differenza, anzi.
    Io intendevo della non esistenza di articoli che parlassero della non appropriatezza nella valutazione dei ricercatori attraverso l’uso combinato di H-index e numero di pubblicazioni normalizzato per l’if. Es. se in 10 anni un ricercatore pubblica 3 grandi lavori su riviste rinomate e di alto if e sono stati citati pure 100 volte ognuno; il suo h-index sarà comunque 3 mentre l’altro indice (il normalizzato) sarà elevato questo a prescindere dalle citazioni che sono comunque compendiate nell’h-index. Come vede anche in questo caso il risultato non è una somma di effetti.
    Il mio pensiero voleva essere qualcosa che evidenziasse un certo peso intrinseco dell’ IF che non può essere quantizzato in articoli che lo trattano basandosi solo su dati di output.
    A parte le motivazioni riportate nel mio precedente post, sfido chiunque a dire il contrario; quando ultimo un articolo, in baseai risultati e a tutti i parametri qualitativi che ho riportato sempre nel precedente post, già faccio un’autovalutazione sull’opportunità o meno di piazzarlo ( a parità di topical) su una rivista di if idoneo all’artico che sto proponendo. Non penso che si piazzi un articolo dove capita capita, anzi dirò di più, se però mi serve per aumentare rapidamente gli indicatori (asn 1.0) lo riempio di autocitazioni e lo piazzo su una rivista di basso if basta sia rapida a pubblicarmelo.
    Se non serve l’IF togliamo scopus e facciamo riferimento a G scholar ( è una provocazione, ee!)
    Ma poi stiamo parlando di un indicatore screening in ingresso (in generale indicatori che ci devono essere assolutamente). Ripeto! Le pubblicazioni vanno valutate singolarmente dalle commissioni e sinceramente vedo il superamento delle soglie d’ingresso parca materia. L’attenzione deve essere rivolta alla qualità delle pubblicazioni e soprattutto su chi abbia fatto cosa in esse. Argomentazioni che hanno occupato gran parte del mio precedente post, il resto è “fuffa ” .

  17. Non so se sono in ritardo rispetto ai tempi di questo dibattito, in ogni caso volevo segnalare il punto focale. La bibliometria è manipolabile. Infatti se l’autocitazione può essere un tentativo maldestro di aggirare le regole, le citazioni ‘concordate’ a cui tutti e sottolineo tutti fanno ricorso, rappresentano una vera e propria disonestà intellettuale.Se mettiamo insieme, come è successo più volte, un Inglese, un Tedesco ed un Italiano, come nelle barzellette degli anni 60, e fondiamo una rivista ISI bimestrale che pubblica 100 lavori/anno, ecco che ci si è assicurati un pacchetto di 30 lavori. Se poi questa rivista, in virtù della scaltrezza del comitato scientifico, assume un buon IF, ecco che ci siamo assicurati 30 lavori/anno di buona qualità. Se poi concordiamo con gli altri avventori lo scambio di citazioni, ecco che ci siamo assicurati un buon h-index. Se poi elargiamo, con sapienza ed oculatezza, qualche lavoro pubblicato al di fuori della nostra cerchia ristretta, sempre concordando ovviamente lo scambio di citazioni, ecco che ci siamo fatti anche un certo potere accademico.Si dirà che questi sono casi estremi. NON E’ VERO, è la prassi normale. Le anime belle e pure invece girano il mondo per congressi a fare in buona fede lo stesso mestiere di conoscere gente ed ottenere un ragionevole scambio di citazioni. Dovremmo una volta ‘contabilizzare’ le risorse economiche spese per tale attività di promozione e ci accorgeremmo, forse, che superano il 20% di FFO che viene offerto come quota premiale alle nostre istituzioni. Quindi lo stato potrebbe ottimizzare i costi della ricerca, semplicemente disincentivando queste pratiche disoneste ed autoreferenziali. Putroppo però lo Stato si è messo nelle mani di un organismo sostanzialmente monocratico come l’ANVUR, il cui capo ‘padrone’ è figlio delle prassi appena denunciate e le incentiva pro domo sua, per accrescere il prestigio del suo settore nell’ambito della comunità accademica, così come i vari piccoli profittatori locali (del tipo di quelli che hanno fondato la rivista con l’Inglese ed il Tedesco di turno) che adoperano la superiorità dei loro indici per ottenere risorse e potere nella propria Università.
    Alla fine, dunque, il punto è che i criteri bibliometrici vanno respinti per principio. Inoltre va disincentivata l’ipertrofia pubblicatoria. Si può stabilire un minimo di lavori/anno (2 o 3 al massimo, senza riferimenti alla sede di pubblicazione) come soglia minima per dimostrare di essere vivi accademicamente. La qualità e l’eccellenza non possono poi che essere valutate leggendo i lavori ed analizzando il curriculum della persona. Se il sistema Universitario, non è in grado di valutare nel merito le persone, perchè incompetente o peggio corrotto, allora andiamo tutti a casa.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.