Conosco colleghi che hanno pubblicato diverse decine di lavori in un anno! Tanti quanti nei dieci anni precedenti. Un’improvvisa esplosione di…creatività e produttività scientifica? Conosco colleghi che in 5-6 anni hanno avuto un numero di citazioni come mai negli anni precedenti. La loro ricerca è, improvvisamente, diventata … molto più interessante per la comunità scientifica internazionale? Pragmaticamente, di colleghi così si dice: “… s’è fatto le mediane”. Delle soglie per l’abilitazione scientifica nazionale, hanno parlato (male) tutti. La gran parte delle motivazioni sono condivisibili, anche se alcune si rifanno solo ad aspetti tecnici, perdendo di vista che il vero problema è rappresentato dalla filosofia generale  che mira a valutare l’attività scientifica con indici più quantitativi che qualitativi e, comunque, strumentalizzabili con pratiche opache e atteggiamenti opportunistici. Proviamo allora prima a dire cosa c’è che proprio non va e poi a dare qualche consiglio, riferendoci esclusivamente al settore biomedico che è l’unico che conosciamo.

Escape_from_LA

Delle soglie per l’abilitazione scientifica nazionale, hanno parlato (male) tutti e ROARS ne ha ampiamente riferito. E la gran parte delle motivazioni sono condivisibili, anche se alcune si rifanno solo ad aspetti tecnici, perdendo di vista che il vero problema è rappresentato dalla filosofia generale utilizzata che mira a valutare l’attività scientifica di un ricercatore con indici più quantitativi che qualitativi e, comunque, strumentalizzabili con pratiche opache e atteggiamenti opportunistici. Proviamo allora prima a dire cosa c’è che, intrinsecamente, proprio non va nella metodologia utilizzata e poi a dare qualche consiglio ragionevole e di facile applicazione, riferendoci esclusivamente al settore biomedico che è l’unico che conosciamo.

Cos’è che non va

  1. Chiedere un numero minimo di pubblicazioni spinge gli spiriti più…deboli (vogliamo chiamarli così?) a pubblicare il maggior numero possibile di lavori, indipendentemente dal significato, originalità, forse anche veridicità dello studio. Ma anche a cercare colleghi conniventi con cui scambiarsi reciprocamente il favore di essere inseriti fra gli autori in studi cui non si è minimamente contribuito.
  2. Individuare un valore soglia per numero di citazioni e indice di Hirsch (HI) porta alla vergogna delle citazioni reciproche fra colleghi complici: tu citi me io cito te, con penose chiamate alle armi che superano qualunque limite di decenza e con citazioni a volte così “forzate” da far ridere, se non ci fosse da piangere.

E, infatti, cos’è accaduto sotto i nostri occhi qualche anno dopo il fatidico 2012, anno dell’entrata in vigore delle soglie ANVUR? Due gli esiti più clamorosi.

Conosco colleghi che hanno pubblicato diverse decine di lavori in un anno! Tanti quanti nei dieci anni precedenti. Un’improvvisa esplosione di…creatività e produttività scientifica!?

Conosco colleghi (non necessariamente gli stessi di prima) che in 5-6 anni hanno avuto un numero di citazioni come mai negli anni precedenti. La loro ricerca è, improvvisamente, diventata….molto più interessante per la comunità scientifica internazionale!?

Pragmaticamente, di colleghi così si dice: “… s’è fatto le mediane”.

Chirugo_plastico2

Nella foto: Surgeon General  of Beverly Hills, “a surgeon general who has performed so much surgery on himself and on his patients, that they have disfigured their faces” (personaggio del film “Fuga da Los Angeles“).

_____

Qualche consiglio di facile applicazione

  1. Verificare la posizione nella lista degli autori.

E’ meglio il candidato A che in 10 anni pubblica 40 lavori col proprio nome in posizioni defilate o il candidato B che ne pubblica 10-15 in cui è primo, secondo, penultimo o ultimo nome? Se questo aspetto venisse considerato, diventerebbe dura la vita per i furbi. Chi ti cede i posti nobili tra gli autori se il tuo contributo allo studio è stato modesto?

  1. Considerare la continuità degli interessi scientifici.

E’ migliore A che ha pubblicato 40 lavori su 6-7-8 problematiche diverse (nei paesi scientificamente più progrediti un’evenienza del genere non è neanche contemplata) o B che, nello stesso lasso di tempo, ha pubblicato 10-15 lavori, tutti su un argomento, via via approfondito, contribuendo ad un vero miglioramento delle conoscenze nel settore? Perché un aspetto così rilevante dell’attività scientifica di un ricercatore non viene valutato? Ed anche in questo caso, diventerebbe difficile truccare le carte.

  1. Valutare la qualità delle riviste su cui si pubblica.

E’ migliore A con 40 lavori su riviste che seppur in Inglese, hanno una audience loco-regionale o meglio B con 10-15 lavori su ottime riviste di chiara rilevanza internazionale? La domanda è oziosa e non dovrebbe neanche essere posta.

Insomma, è chiaro a tutti che B è un ricercatore migliore di A eppure, tanto per restare ai fatti, nell’abilitazione alla I fascia del mio settore concorsuale (06/D2, Endocrinologia, Nefrologia, Scienza dell’alimentazione e del benessere) il candidato B non supererebbe certamente la soglia del numero dei lavori pubblicati e quasi certamente neanche quella del HI. Al contrario, il candidato A, che ha avuto un ruolo secondario in molte delle sue pubblicazioni, che si è disperso su campi diversi e che, quasi inevitabilmente, ha pubblicato su riviste minori, avrebbe molto più chance.

I veri scienziati sanno bene che chi pubblica molto non è necessariamente un bravo ricercatore e viceversa un bravo ricercatore non sempre pubblica molto. I motivi possono essere tanti e non sempre legati alla capacità produttiva del ricercatore. Per esempio, all’interno della stessa biomedicina vi sono ambiti storicamente più produttivi di altri, magari più nuovi e ancora non affermati ma non per questo meno importanti. E qui piove sul bagnato, non solo perché si pubblica meno ma anche perché si viene citati meno. Oppure, ambiti, come la biologia cellulare e molecolare, dove la produzione del dato necessita più tempo e maggiore accesso ad alta tecnologia, non facilissima da ottenere in un laboratorio di medie dimensioni. E poi si, c’è il ricercatore “lento” che ha bisogno di tempo per meditare, per tornare indietro sugli esperimenti vecchi anche di qualche anno, per leggere molto, che è pieno di dubbi. Questo tipo di ricercatore è stato l’unico tipo di ricercatore per centinaia di anni. Nessuno ha mai messo fretta ai ricercatori fino a qualche decennio addietro e certo non si può dire che la scienza non sia progredita. Meglio di me lo dice il manifesto della “slow science” su http://slow-science.org/slow-science-manifesto.pdf. Oppure, relativamente a certa ricerca del settore biomedico, alla sua autoreferenzialità, al suo reale valore sociale (se misurato sul miglioramento che produce in termini di qualità e durata della vita e non su indici bibliometrici o su elementi autoreferenziali proposti ed utilizzati dallo stesso mondo accademico) leggete su JAMA http://jama.jamanetwork.com/article.aspx?articleid=2541515.

Ed invece adesso il ricercatore “lento” non va più di moda; ma anche se, rispetto alla media dei suoi colleghi, pubblica poco, qual è il problema se pubblica bene? Davvero non si capisce.

Insomma, tutti noi sappiamo che se si ha tempo e voglia la valutazione di un CV è cosa semplice (e pure intellettualmente stimolante), che prescinde da aspetti meramente quantitativi. E invece con l’abilitazione scientifica targata ANVUR non ci siamo proprio. Spiace dirlo, ma s’è persa un’occasione che in molti abbiamo atteso per anni tanto che…peggio dell’università valutata dall’ANVUR conosco solo l’università non valutata, quella nella quale sono ahimè cresciuto.

 

Send to Kindle

31 Commenti

  1. Molto condivisibile ma dissento sulla conclusione. Quando un sistema di valutazione entra a gamba tesa a modificare le prassi della stessa ricerca scientifica e’ un sistema pessimo. E pessimo è superlativo *assoluto*.
    .
    I mali dell’ università di ieri, oggi (e verosimilmente domani) non dipendono dai sistemi di valutazione più o meno automatici della qualità scientifica. Dipendono dalla mancanza di controlli ex-post e di sanzioni per comportamenti scorretti. Che continuano tranquillamente anche nella meravigliosa era dell’ anvur.

    • Sono d’accordo con GP “I mali dell’ università di ieri, oggi (e verosimilmente domani) non dipendono dai sistemi di valutazione più o meno automatici della qualità scientifica. Dipendono dalla mancanza di controlli ex-post e di sanzioni per comportamenti scorretti. Che continuano tranquillamente anche nella meravigliosa era dell’ anvur.”
      Tuttavia, se dobbiamo avere una ASN dei valori quantitativi, minimi e condivisi con la comunità scientifica di riferimento ci vanno. Non vorrei che insieme al “ricercatore lento” si intrufolasse anche il “ricercatore fannullone” figlio di papà.
      Sono d’accordo che in alcuni settori valutare la posizione come primo, secondo, penultimo o ultimo nome renderebbe dura la vita per i furbi. Ma nulla toglie che le commissioni lo possano già fare in questa ASN, dopo aver scremato i troppo lenti o i troppo fannulloni.
      Anche questo PUNTO “E’ migliore A che ha pubblicato 40 lavori su 6-7-8 problematiche diverse (nei paesi scientificamente più progrediti un’evenienza del genere non è neanche contemplata) o B che, nello stesso lasso di tempo, ha pubblicato 10-15 lavori, tutti su un argomento, via via approfondito, contribuendo ad un vero miglioramento delle conoscenze nel settore?” DA commissioni disoneste in passato l’ho visto rigirare a proprio piacimento: se doveva passare A,questo veniva descritto come un eclettico e fantasioso ricercatore.
      Ovviamente anche il TERZO punto “E’ migliore A con 40 lavori su riviste che seppur in Inglese, hanno una audience loco-regionale o meglio B con 10-15 lavori su ottime riviste di chiara rilevanza internazionale? La domanda è oziosa e non dovrebbe neanche essere posta.” può tranquillamente essere valutato dalla commissione dopo aver filtrato il troppo lento o il troppo fannullone.
      Quindi riassumendo un ASN con soglie minime stabilite dalla comunità scientifica di riferimento, e una valutazione ex-post premiale (veramente premiale e non semipunitiva) fatte da commissioni numerose (oneste (???)) diverse nella fase ASN e ex-post, potrebbe, forse, raddrizzare la barra prima di naufragare.

    • Per Paolo. ” “ricercatore fannullone” figlio di papà ” . Ma che maschilismo intollerabile …. Ci saranno pure le ricercatrici fannullone figlie di mammà …? Sto scherzando, ovviamente. Comunque, è un’ingenuità. Spesse volte figli/e di papà/mammà si corazzano solidamente, per prevenire appunto le critiche, con grossi strati di pubblicazioni verbose e magari in vesti editoriali prestigiose, dove queste due caratteristiche si sostengono vicendevolmente. Così nessuno ha nulla da ridire. È semplicemente “oggettivo”.
      2. “comunità scientifica di riferimento”.Di grazia, ne vorrei una definizione precisa e univoca al massimo.

    • Sono completamente d’accordo con la frase di GP “I mali dell’ università di ieri, oggi (e verosimilmente domani) … Dipendono dalla mancanza di controlli ex-post e di sanzioni per comportamenti scorretti. Che continuano tranquillamente anche nella meravigliosa era dell’ anvur.”

      Sono in disaccordo con Paolo perché mi pare che, se si è a favore di controlli ex-post, non si possa essere anche per una valutazione a priori per escludere tutti i casi strani che si possono verificare. Tra l’altro, per quanto pochi, ci sono anche i figli di papà capaci.

      A me pare che solo una valutazione ex-post, anche semplicemente (i.e., biecamente) quantitativa purché non serva a fare un rank per trovare la supposta eccellenza, ma per identificare invece i comportamenti scorretti, possa migliorare le cose.

      Invece abbiamo l’anvur ed i nostri rettori che gli corrono dietro.

  2. pienamente d’accordo, dato che gli strumenti per valutare almeno in parte le qualità di un ricercatore ci sono (eliminare le autocitazioni, qualità delle riviste, numero di autori etc) a pensar male si fa peccato ma il dubbio resta : a chi conviene (se non all’Oste) un sistema che valuta una capretta un genio ed un genio una capretta?

  3. mi colpisci al cuore…generalizzando il ricercatore A sembra un mostro profittatore. Ma io sono un ricercatore A modello e i miei nomi me li sono sempre sudati. La mia attività è presso una large scale facility…uno di quei cosoni che la UE finanzia per far accedere il maggior numero di ricercatori a strumentazioni molto potenti ma anche molto costose. Il personale che ci lavora è tutto di tipo A: mettiamo a disposizione il nostro tempo per discutere come fare certe misure che B pensa, ma solo fino ad un cero punto: poi noi dobbiamo modificare/adattare la strumentazione, il SW di acquisizione dati, qualche volta gli facciamo l’analisi dei dati, perché B si è presentato tronfio della sua bella idea, ma poi non ha tempo per lavorare sui dati oppure non è proprio capace…insomma: generalizzare è sempre sbagliato e in questo caso è pure offensivo.

  4. L’Università vive di cooptazione, vogliamo negarlo? Il sistema funziona se chi si prende i più bravi ci “guadagna”, e chi si prende dei brocchi ci “rimette”. Altrimenti: fatta la legge, trovato l’inganno. Non è che quando non c’era l’Anvur funzionava meglio.
    Allora meglio il “barone” che ha il posto nel cassetto con piena discrezionalità e lo da all’amante di turno. A breve si auto-estinguono entrambi, e forse è il male minore. Ma almeno se ne assume la responsabilità.

    • Il problema è che si estinguono anche i Dipartimenti che ospitano “barone” e “amante”. Chissà che consolazione, per chi è minoranza in quei Dipartimenti, il fatto che ce ne si assuma la responsabilità!

  5. Lo ribadisco anche in questo post. La colpa di tutto ciò è il comportamento totalmente scorretto e disonesto delle vecchie carriere universitarie. Tale comportamento persiste tuttora. Questo è davvero incredibile. Non si bandiscono concorsi se non c’è l’abilitato che interessa al “barone”.

  6. GAB.
    E dalle col barone e l’amante di turno. Che vedute limitate; ci sono : figlie, nipoti ( al femminile) , madri, mogli, compagne (magari di turno), vicine nipoti di terzo grado amanti di turno (dunque niente incesto), simpatiche ex compagne di scuola, compagne di partito. Si estinguono? Ma l’attrazione sessuale non è una legge della natura? Così si riproduce l’umanità, e al suo interno l’accademia.

  7. ne ho viste tante e tanti e vi garantisco che se ne inventano di tutti i colori ed è difficile venirne fuori.
    E’ difficile dire cosa sia la “comunità scientifica di riferimento”, ma qualunque cosa essa sia che almeno stabilisca un numero (tutto si può cambiare a proprio piacimento, TUTTO quando hai il coltello dalla parte del manico. TUTT0, tranne un semplice numero), una soglia. Almeno non vedrò più associati con 1 pubblicazione, a meno che il numero che la “comunità scientifica di riferimento” stabilisca che debba essere una, ma che lo stabilisca!

    • Ma di quale SSD stiamo parlando e a quanti anni fa si riferisce il caso del professore associato con una sola pubblicazione? Dalle mie parti, saranno circa 30 anni che non si vedono cose simili. Non è che stiamo riesumando l’ordinario a fine carriera che non ha mai scritto una riga in vita sua?
      ____________
      https://www.roars.it/online/lordinario-a-fine-carriera-che-non-ha-mai-scritto-una-riga-in-vita-sua-lintervento-di-mauro-moretti-al-secondo-convegno-roars/

    • Come dice DeNicolao E come dico anche io molto più modestamente “Le uniche soglie sensate sono quelle basse, proprio perché hanno un effetto marginale nei confronti del giudizio di merito dei commissari e nei confronti dei comportamenti dei futuri candidati.”
      QUINDI su un punto siamo d’accordo.

      Per quanto riguarda i settori in cui si fanno associati con zero titoli, ti dico che si tratta di settori biomedici. Ti dico le iniziali di due ricercatori che sono rimasti tali grazie all’ASN: PD e BP. Sono rimasti RTU perchè sono entrati nel 2006 con 1-2 (uno-due) lavori a testa e se non fosse intervenuta la tanto odiata ASN, sarebbero già PA, perchè i loro capi sono dei potenti. Adesso hanno 10-12 (dieci-dodici) lavori a testa e sono quasi cinquantenni…. e come queste ve ne sono decine e decine di situazioni.

  8. Ferma restando la critica radicale nei confronti dell’intero impianto dell’ASN all’italiana, caratterizzata da una burocrazia elefantiaca rispetto ad altri paesi evoluti che adottano il sistema dell’abilitazione, personalmente sono favorevole a un sistema in cui le soglie, se esistono, non siano derogabili da parte delle commissioni. Dunque, su questo specifico punto l’ASN 2.0 mi sembra migliorata rispetto alla prima versione. Permangono criticità paurose, riassumibili, per i settori bibliometrici, nel doping citazionale e, per i non bibliometrici, nel “salami slicing” per aumentare artificialmente l’indicatore dei capitoli in volume e nella farsa delle riviste “di classe A” (che in alcuni settori concorsuali sono centinaia, mentre in altri si contano sulle dita di poche mani: basterebbe questo a far ritenere insensata questa classificazione). Si tratta di problemi ben noti e sperimentati nell’ASN 1.0, ma ai quali non si è voluto trovare una soluzione. Speriamo nell’ASN 3.0.

    • Una persona sana di mente non mette soglie inderogabili su indicatori forniti da enti commerciali, soggetti ad errori, ritardi di aggiornamento e fluttuazioni più o meno spiegabili:
      __________
      https://www.roars.it/online/incerti-incompleti-e-modificabili-ecco-gli-indicatori-dei-candidati-allabilitazione/
      __________
      Le uniche soglie che (forse) potrebbero tenere dal punto di vista amministrativo sono sul numero di pubblicazioni apparse in sedi ben definite (ma le esperienze accumulate con le sgangherate liste di riviste dovrebbero far riflettere anche su questa ipotesi). Che degli accademici si facciano incantare dalle perline di vetro colorate degli indici citazionali e delle liste di riviste di fascia A,B,C,Z la dice lunga sull’epoca di decadenza che stiamo attraversando. Le uniche soglie sensate sono quelle basse, proprio perché hanno un effetto marginale nei confronti del giudizio di merito dei commissari e nei confronti dei comportamenti dei futuri candidati.

    • Caro Fabio,
      Anche io sono d’accordo in linea di principio che quando si chiede un requisito questo debba essere inderogabile, ma il requisito però deve essere un qualcosa misurabile in modo indiscutibile. Le soglie dei settori biliometrici non sono quantità misurabili con esattezza, e derivano da un’analisi su dati che loro stessi hanno una grande incertezza.
      Ricordiamoci le nostre discussioni sull’età accademica (abbandonata nell’ASN 2.0, questo sì qualcosa di migliorativo). Il problema nasceva dall’aver stabilito per legge un requisito non quantificabile in modo univoco (data della prima pubblicazione). Criticità superata dal potere discrezionale di deroga dato alla commissione ASN. Nel resto d’Europa, l’età accademica parte dalla data del conseguimento del PhD, che è un dato CERTO. Analogamente, si diventa maggiorenni in un giorno preciso, non in base a una non meglio definita maturità che non sarebbe quantificabile. L’età anagrafica è stabilita tramite un sistema di certificazione. Come ricordato da De Nicolao, i database commerciali contengono una serie di errori perché sono degli strumenti di tipo informativo. Non hanno una certificazione che li permetta di utilizzare per stabilire soglie rigide. Esiste un’area grigia attorno ai parametri biliometrici la cui estensione non è quantificabile (Copyright Baccini).

    • Se Lei considera il caso delle riviste di fascia A, su cui tanti altri hanno scritto e per cui non mi ripeto, il fatto che non si considera la possibilità che alcuni possano scrivere più monografie e meno articoli e siano tagliati fuori, mentre le soglie erano più alte nel 2012 per monografie, che stranamente per gli articoli si valutano solo 10 anni e non 15 come per gli altri indicatori, non può dirmi che questa ASN abbia una logica ‘sana’

    • @mariam: non ci può essere nessuna logica sana in una procedura di abilitazione con parametri stretti sulla produzione degli ultimi 10/15 anni ma che non erano noti 10/15 anni fa.
      .
      Qui ormai ci siamo abitati non alla valutazione ex-post, ma ai criteri ex-post. E questo una volta si chiamava arbitrio. Oggi lo si traveste da “procedure di valutazione obiettive”.
      .
      anvur delenda est.

  9. Per esperienza, concordo sulla deriva causata dalle ultime leggi, che ha favorito atteggiamenti ‘furbi’, ed esasperato rapporti diciamo di favore fra gruppi.
    Dissento solo, ed in parte, sull’insistenza su un solo tema, che forse è giusta per le discipline scientifiche.
    Credo che nel caso delle Umanistiche, l’apertura a più periodi, a più autori, sia encomiabile, se vi è serietà, ed un filo comune fra i soggetti d’interesse.
    Credo che ciò comprovi che si debbano valutare i lavori con serietà e che si dovrebbe anche dare tempo ai commissari di leggere e giudicare: probabilmente più tempo avrebbe almeno consentito più omogeneità nei giudizi.
    Comunque, sono felice che si parli nel concreto e vedo speranza per l’Università se le opinioni si coagulano in un’azione che spinga la politica a dare risposte che funzionano e non spingono a comportamenti scorretti.

  10. Caro Prof. il fatto che lei si sia formato nell’università non valutata è evidente in quei tre consigli dati (il resto dell’articolo è condivisibile).

    Infatti, a mio parere, tutti è tre contengono un vulnus assoluto:

    1)la posizione nella lista degli autori non dice praticamente nulla di utile al fine di capire chi è il migliore: i figlioli accademici si aiutano in tanti modi.
    Sarebbe più utile NON permettere l’esistenza di posizioni NON nobili in un articolo, e.g. sul lavoro va SOLO chi ci ha lavorato davvero, in questo modo anche molti ultimi nomi scomparirebbero semplicemente;

    2) la continuità degli interessi scientifici non discrimina tra chi è più bravo (un interesse solo) e chi meno (più interessi) ma anche (esclusivamente?) tra chi ha più interessi scientifici e non resta sotto l’ala protettiva del solito ultimo nome sull’articolo (magari solo per farsi le mediane);

    3)Valutare la qualità delle riviste su cui si pubblica serve solo a valutare il contenitore (che tra l’altro più ha una chiara rilevanza internazionale più ha articoli ritrattati per FRODE scientifica). Quindi consigliarlo per eliminare comportamenti distorsivi dell’etica mi pare un po’ azzardato.

    Ah già, ho scritto “etica”, questa parola, attualmente desueta in ambito accademico, che eliminerebbe gran parte delle valutazioni farlocche tanto care ad una parte consistente del mondo accademico.
    Cordialmente

    • Invito chi sa più di me e ha più forze e conoscenze a preparare una vera primavera delle Università: molte delle cose che leggo mi confortano. Capisco che tutti abbiamo visto, forse sofferto, e che tutti sappiamo che più etica nell’Università sarà un vantaggio.

    • persino se si prepara un congresso, una lecture, è considerato errore capitale non inserire i nomi di colleghi superiori in grado che non collaborano. Così nelle curatele dei libri.
      Alle conferenze si invitano persone che possono aiutare nella carriera, non chi si occupa da anni di quel tema …
      Quando sento parlare di merito ….

  11. Una volta constatato che chiunque di noi conosce qualcuno le cui pubblicazioni e citazioni sono esplose negli ultimi anni, si dovrebbe concludere, in base al metodo scientifico dell’evidenza sperimentale, che qualunque criterio basato sugli indici deve essere rifiutato in toto. Di più, in base all’evidente dato sperimentale, si dovrebbe promuovere una moratoria sulle pubblicazioni che penalizzi in modo draconiano chi ne ha più di un tot/anno ed in modo retroattivo. Ogni altra considerazione e distinguo mette l’ANVUR in condizioni di gioco win-win: Vincerà sempre l’ANVUR!

    • Giusto! tu pubblichi tanto e ti tirano le pietre,
      non pubblichi per niente e ti tirano le pietre,
      qualunque cosa fai, dovunque te ne vai tu sempre pietre in faccia prenderai.
      tu sei citato un casino e ti tirano le pietre,non sei citato per niente e ti tirano le pietre, al mondo non c’è mai qualcosa che gli va e pietre prenderai senza pietà.
      sara così finché vivrai sara così [Per chi non l’avesse capito è Pietre di Antoine]

  12. Voglio dire a Giorgio Pastore che sono assolutamente d’accordo con lui: questi criteri non si conoscevano. L’indicazione che veniva data era che le mongrafie erano qualificanti, non gli articoletti, si diceva, alemno nelle umanistiche…

  13. Sono molto contento di vedere una discussione così vivace sugli spunti dati da Enzo Trischitta. E con molti punti di vista differenti ma nessuno sterilmente polemico.
    Da parte mia vorrei aggiugnere:
    – secondo me l’Università non valutata aveva tanti difetti, troppi, e se di alcuni baroni potevi apprezzare l’intuito scientifico ed il valore nel selezionare e portare avanti allievi, di altri purtroppo… Non è pensabile uno studio storiografico, ma forse cercare retrospettivamente qualche “esperimento naturale” sarebbe possibile, per descrivere quel sistema. Quindi meglio valutare.
    – Lo abbiamo visto in molti ambienti, non solo nell’Università: i numeri sono spesso cercati come dita dietro cui nascondere le reali intenzioni pre-costituite.
    – un sistema in cui devi pensare a controlli “ex-post” per “beccare” i furbacchioni, ed a sanzioni per i comportamenti scorretti, è un sistema che non ha onestà intellettuale, o se si preferisce etica, come Salvatore Valiante (unico) ha detto. E c’e’ da essere irreparabilmente preoccupati.
    – in un sistema in cui non devi preoccuparti del punto precedente, le informazioni quantitative sono elementi informativi per un giudizio qualitativo di cui tutti si possano fidare. “…informed academic judgement, and bibliometrics are part of the informing process.” Adams et al., CPE-Leeds and ISI, 1997
    – concludo ricordando le regole per l'”autorship” enunciate dal mio capo americano, che si opponeva alla nostra italica tendenza inclusiva. Autore può essere solo: a) chi ha avuto l’idea b) chi ha scritto l’articolo c) chi ha fatto una quantità sostanziale del lavoro materiale d) chi ha contribuito con una tecnica secondaria ma senza la quale non si sarebbe potuto avere il risultato. Fine

    PS Ciao Enzo!
    PS a paolo: Pietre di Antoine è di Sanremo 1967, sono 50 anni fa (fonte: Wikipedia), tradisce la nostra età.

  14. Qualcosa di meglio, pur in una logica meramente quantitativa, si poteva pur fare per ovviare ai punti deboli della valutazione, correttamente segnalati nell’articolo.
    Per esempio, la regola di assegnare un punteggio per articolo diviso per il numero di autori, a parità di criterio comunque scelto per valutare il prestigio della rivista, e per articoli con coautori paritari (con coautori non paritari il criterio può essere facilmente aggiustato con dei pesi).
    In questo modo, molto semplicemente, sarebbe scomparso il fenomeno
    (due, o più, piccioni con una fava) ben descritto nell’articolo.
    Questo criterio è talmente ELEMENTARE che è IMPOSSIBILE che non sia venuto in mente a chi ha creato questo obbrobrio di ‘valutazione’, e quindi necessariamente vi è MALAFEDE, e il perseguimento di obbiettivi
    che nulla hanno a che vedere con la valutazione del merito scientifico nella creazione di questi cosiddetti ‘criteri’.

    Un’altro punto delicato, le citazioni (col connesso fenomeno del ‘io cito te e tu citi me’), avrebbe potuto essere risolto in questo modo: considerare
    le citazioni per articolo solo al di sopra di una certo numero (alto) di citazioni, ad esempio (dipende dai settori) al di sopra delle 100. Quindi se tu hai 20 citazioni e io ne ho 50, entrambi abbiamo ZERO citazioni.
    Se io ho 50 citazioni e tu ne hai 300, allora solo tu hai citazioni (300) io ne ho ZERO. In questo modo il problema è eliminato, perché su un numero alto di citazioni (e per un solo articolo) è impossibile che tu abbia un tale numero di complici…

    Si potrebbe continuare, ad esempio con l’H index, che va abolito del tutto
    (essendo probabilisticamente, una semplice funzione del numero di articoli e del numero di autori che hanno partecipato a questi articoli…).

    Di conseguenza, anche se, ovviamente, solo una valutazione qualitativa può realmente essere veritiera, molte cose avrebbero potuto essere fatte per rendere meno scandalosi e totalmente fasulli i criteri che invece sono stati adottati.

    • Non ci siamo. Qualsiasi criterio basato sull’ ordine/numero degli autori non puo’ che essere relativo ad una (sotto)comunità e anche funzione del tempo. Non ci sono ricette esportabili per tutti, per quanto semplici e “naturali” possano apparire.
      E mentre e’ chiaro che un articolo ad autore singolo e’ interamente responsabilita’ dell’ autore, non c’e’ neanche un motivo razionale per giustificare (in generale) un peso 1/n ad un articolo con n autori.

  15. (A Giorgio Pastore)
    bè, se non è razionale assegnare un peso 1/n ad un articolo con n autori
    a fortiori non è razionale assegnare ad un articolo con n autori un peso 1 per ogni autore…
    La motivazione forte della divisione per n non è la pretesa (che non c’è) di
    essere il misuratore infallibile del merito individuale, ma semplicemente di essere la cosa PIU’ razionale che si possa fare, nel momento in cui si è stabilito un qualche criterio (non importa quale) per assegnare un punteggio ad un articolo. Diventa un puro fatto ECONOMICO: se io e te siamo soci di una ditta, e ci abbiamo messo lo stesso capitale, i proventi della ditta si dividono per due… poi potrai accusarmi di non aver contribuito per nulla a quei proventi, ma finché sono socio, e non ti crei tu una ditta da solo, mi devi il 50%… Non si scappa, non puoi prenderti il 100%, e nemmeno avere la botte piena e la moglie ubriaca, dando il 100% a tutti e due. Non si scappa: solo l’ANVUR si ritiene non soggetta alla logica, e da tranquillamente il 100% a tutti gli autori… (e il bello è che a nessuno scappa da ridere….)

    Occorre non confondere il piano qualitativo con quello quantitativo altrimenti si arriva a conclusioni assurde come credere che l’ANVUR sia in grado di fare i
    miracoli, in particolare: la moltiplicazione dei pani e dei pesci (con tutto il rispetto: l’ANVUR non è Gesù Cristo)

    La cosa è assolutamente elementare, e discorrendo con esperti di valutazioni scientifiche, ne ho sempre avuto conferma (ammesso che sia necessario…): non dividere per n, è aberrante e contrario a qualunque legge economica di base.

    Perché allora lo si fa? Non può che essere il solito gattopardismo all’italiana: con questo ‘piccolo’ escamotage, gli esiti dei concorsi non sono molto diversi da come erano una volta nell’Università ‘non valutata’..
    Il potere ‘baronale’ continua ad essere l’elemento decisivo: il ‘barone’ può in questo modo continuare a favorire il proprio ‘figlioccio accademico’ (per usare un’espressione dell’articolo) semplicemente ordinando ai i suoi numerosi dottorandi di inserire nei lavori il figlioccio.
    Il trucco può anche essere effettuato non da un ‘barone’ cioè da una singola persona alta nel ruolo (se poi è arrivata in tale ruolo con simili trucchi il cerchio si chiude bene… ma evitiamo di entrare in questi dettagli) o ‘potente’ nel senso che manipola molti soldi (questo è un nuovo tipo di ‘barone’ che non c’era una volta). Basta semplicemente un gruppo di persone che si mettono d’accordo per moltiplicare i pani e i pesci: se non si divide il punteggio per n, cosa perdo a inserire un’altra persona fra gli autori? Soprattutto se so bene che la persona inserita dovrà ricambiarmi il favore. Non è necessaria una ‘intelligenza criminale’.. è una cosa assolutamente naturale, un andazzo che si crea molto facilmente e naturalmente fra i ricercatori (di ogni specie).

    • Sul fatto che ” dividere per n … sia la cosa PIU’ razionale che si possa fare, nel momento in cui si è stabilito un qualche criterio (non importa quale) per assegnare un punteggio ad un articolo” dissento profondamente.
      .
      Per due o tre ragioni:

      1. il ragionamento implicitamente assume che il contenuto o il valore di un articolo sia indipendente dal numero di autori (al piu’ dipenderebbe dall’ IF della rivista secondo i fanatici e acritici fautori dell’ IF). Ma ci sono ricerche in cui avere più autori è un valore aggiunto sia in estensione della ricerca e spesso in interdisciplinarità. Qualche volta semplicemente quella ricerca non ci sarebbe mai stata senza l’ unione di più competenze; ovviamente dipende dal campo e dall’ articolo;
      .
      2. ci sono differenze abissali nelle consuetudini e nel significato della pubblicazione di un articolo scientifico da settore disciplinare a settore, e a volte nello stesso settore. L’ idea di poter scegliere un sistema buono per tutti è di un’ ingenuità (e provincialismo culturale) disarmante;
      .
      3. non mi stancherò di ripetere alla nausea che di metodi automatici per valutare *seriamente* il peso scientifico di una pubblicazione o insieme di pubblicazioni, non ne conosco. Costa tempo e fatica ma una valutazione di merito la può fare solo un meccanismo di peer review; non è un caso se le riviste scientifiche pur conscie dei limiti del sistema, continuano ad utilizzarlo;
      .
      4. pretendere di applicare le regole dell’ economia a tutto è una sovrastruttura ideologica non basata su nessuna prova reale di correttezza ma solo unan petizione di principio valida come un’ altra; in particolare l’ applicazione di vaghe analogie con schemi economici alla produzione scientifica non ha mai avuto alcuna validazione scientifica
      (se ci fosse sarei lieto di conoscerla).
      .
      5. analizzare possibili (e a volte reali) distorsioni del sistema è possibile. Ma qualcuno in giro per il mondo progetta i sistemi educativi o le attività sulla base della lista delle possibili distorioni ? O piuttosto sulla base di strategie complessive di largo respiro ?
      .
      6. Il discorso sul potere baronale andrebbe parzialmente separato da questo. Certamente c’e’ e, questo va detto chiaramente, e’ un roblema dappertutto, anche nelle mitiche catterali estere della ricerca. Uno “jus firmae” esiste dappertutto appena si va in un’ organizzazione di ricerca strutturata. Ma questo la gente lo sa e non e ne preoccupa più che tanto perché, fuori da ANVURlandia, si utilizzano ancora altri metodi per valutare le qualità di un ricercatore per un posto o per una promozione.
      .

      Solo qui il sogno dell’ algoritmo perfetto di valutazione automatica continua a far proseliti.

  16. (Risposta a Giorgio Pastore)

    Per quanto riguarda 1, è chiaro che esistono pubblicazioni (conosco casi, ad esempio su ‘Nature’) a più autori, interdisciplinari, e che non sarebbero mai state fatte da uno solo degli autori. In queste pubblicazioni c’è anche la firma ‘baronale’, ma conosco casi in cui senza il ‘barone’ quella pubblicazione non ci sarebbe mai stata (se il barone non avesse creduto nella fruttifera collaborazione di esperti di campi molto diversi). Quindi persino il bistrattato ‘barone’ può avere una funzione determinante.
    E’ tutto vero, ma cosa c’entra la divisione per n? La divisione per n entra in gioco solo nel momento in cui si cerca di QUANTIFICARE il merito INDIVIDUALE. L’obiezione che pongo è che SE si sceglie di quantificare il merito, allora bisogna essere conseguenti. Se la pubblicazione è quantificata valere 100, allora la quantificazione del merito individuale cosa può essere se non una frazione di 100? E’ qui che entra in gioco l’economia (altrimenti non entrerebbe proprio in gioco..). Entra in gioco nel momento stesso in cui uno o più autori vengono elencati come primi autori, e gli altri come secondi e terzi. Già questa è una quantificazione, significa: qualunque sia il valore di questo lavoro, che si sappia che ai primi autori deve essere riconosciuta una frazione del valore superiore a quella dei secondi e terzi. E anche se un lavoro a più autori non sarebbe mai nato da uno solo degli autori, il criterio della divisione del merito cosa toglie? Se questo lavoro vale 100, ed è a due autori, a ciascuno va 50. Se confrontato con un lavoro a un autore che però vale 10, a quell’autore va 10. Risultato: ciascun autore del lavoro ‘grosso’ ha un punteggio superiore all’autore singolo del lavoro piccolo. Come è giusto che sia, dove ‘giusto’ significa una IPOTESI (che EFFETTIVAMENTE 100 e 10 sono i valori relativi dei due lavori). SE si pensa di poter stimare realisticamente il valore di un lavoro, ALLORA SI DEVE poi normalizzare sul numero di autori (con dei pesi eventualmente). Tutto dipende dall’ipotesi iniziale, la divisione per n non è vera IN ASSOLUTO, ma è VERISSIMA relativamente, se l’ipotesi iniziale è falsa, allora tutto il sistema salta in aria, ma la colpa non è della divisione per n, che resta VERA…

    Eppure l’ANVUR PROPRIO QUESTO HA FATTO…
    Ha adottato la quantificazione, e poi ha tralasciato la logica conseguenza.
    Allora il risultato non è proprio accettabile, non è un problema di ‘perfezione’, è che non va bene neppure in senso approssimato..non premia il merito, genera distorsioni.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.