I comportamenti opportunistici e adattivi dei ricercatori vanno dalla segmentazione dei lavori (salami slicing) alla fabbricazione di dati falsi, alla produzione di articoli inventati, alla vendita delle co-authorship.In particolare sono da tempo noti i meccanismi di ghost e guest authorship come modo per ovviare al problema della inattività di alcuni docenti o dell’incremento degli indici bibliometrici ad esempio nella valutazione delle strutture. Quando i comportamenti opportunistici raggiungono un livello intollerabile, la comunità scientifica corre di solito ai ripari producendo strumenti anti-opportunistici, come documentato nel lavoro fatto da un gruppo di alcuni editor di riviste in collaborazione con l’Università di Harvard e con la Sezione valutazione di Wellcome Trust.

Molte volte da queste pagine si è ricordata la legge di Goodhart e di come accada che i principi di valutazione finiscano per orientare le scelte di ricerca ed editoriali dei ricercatori (la variabile osservata dal valutatore diventa l’obbiettivo da perseguire per il ricercatore, Baccini, Napoleone e la valutazione).

I comportamenti opportunistici e adattivi dei ricercatori vanno dalla segmentazione dei lavori (salami slicing) alla fabbricazione di dati falsi, alla produzione di articoli inventati, alla vendita delle co-authorship.

In particolare sono da tempo noti i meccanismi di ghost e guest authorship come modo per ovviare al problema della inattività di alcuni docenti o dell’incremento degli indici bibliometrici ad esempio nella valutazione delle strutture. Un Dipartimento fa includere in pubblicazioni su riviste con alto IF i ricercatori “più deboli” (intesi sia come coloro che non pubblicano che come coloro che hanno abitudini di pubblicazione diverse dal mainstream).

Quando i comportamenti opportunistici raggiungono un livello intollerabile, la comunità scientifica corre di solito ai ripari producendo strumenti anti-opportunistici, come documentato nel lavoro fatto da un gruppo di alcuni editor di riviste in collaborazione con l’Università di Harvard e con la Sezione valutazione di Wellcome Trust http://www.nature.com/news/publishing-credit-where-credit-is-due-1.15033.

Scopo del lavoro svolto da questo gruppo di ricerca e già testato nelle aree di life sciences e medicine, è stato quello di individuare una tassonomia che permettesse di definire chi fa cosa in un articolo scientifico. Un test esteso è stato fatto su alcune riviste fra cui quelle della Public Library of Science (PLoS) che per ogni articolo riporta ora le Authors contributions, attribuendo a ciascun autore il o i ruoli svolti nella stesura del lavoro.

La tassonomia individuata comprende 14 descrittori di attività relative alla elaborazione di un articolo scientifico.

Le motivazioni per la creazione di questa tassonomia, oltre a quelle di salvaguardia da comportamenti opportunistici sono di vario genere:

“For researchers, the ability to better describe what they contributed would be a more useful currency than being ‘author number 8 on a 15-author paper’. Scientists could draw attention to their specific contributions to published work to distinguish their skills from those of collaborators or competitors, for example during a grant-application process or when seeking an academic appointment. This could benefit junior researchers in particular, for whom the opportunities to be a ‘key’ author on a paper can prove somewhat elusive. Methodological innovators would also stand to benefit from clarified roles — their contributions are not reliably apparent in a conventional author list. It could also facilitate collaboration and data sharing by allowing others to seek out the person who provided, for example, a particular piece of data or statistical analysis”.

Il gruppo di ricerca andrà avanti nello studio della applicabilità di questa tassonomia ad altre aree scientifiche e nel raffinamento dei descrittori. Resta da chiedersi se questa potrà essere la soluzione per certi tipi di scientific misconduct o se invece non sia più efficace, come suggeriscono alcuni esperti di indicatori di produttività scientifica, modificare i criteri dopo archi temporali relativamente brevi.

Print Friendly, PDF & Email

9 Commenti

  1. Infatti. Ma ad Harvard non sono riusciti ad arrivare alla fantasia dell’italiano messo alle strette. Dopo la pubblicazione delle mediane e visto anche il tempo e’ stato… galantuomo, in tanti hanno fatto richieste a editori di conferenze o riviste non indicizzate in Scopus per farle indicizzare. In certi casi, ben noti nella mia area, la pressione ha funzionato e gli indicatori sono poi saliti magicamente anche in tre sopra le mediane, che erano invece congelate alla pre-indicizzazione.
    Questo, se le procedure durano e gli indicatori sono calcolati anni dopo, e’ qualcosa che può accadere anche senza pressioni.

  2. Adattarsi per chi è debole è sempre difficile, adattare chi si vuole per chi è forte non è un problema quali che siano le regole che, compunque, chi è forte detta.
    Trovo comunque necessario stabilire un principio di conservazione: se due autori insieme fanno 10 lavori in 10 anni, è come se ne avessero fatti 5 a testa. Gli articoli sono infatti 10 e non 20. Anche i dividendi (citazioni) vanno ripartiti in base alle quote azionarie (contributo individuale).

  3. In linea di principio, il fatto che “la variabile osservata dal valutatore diventa l’obbiettivo da perseguire per il ricercatore” non ha alcunche’ di sconvolgente. E’ il modo piu’ ovvio per gestire un sistema complesso, come quello della ricerca, ed individuarne le priorita’. Il punto e’ quale sia la variabile osservata, cioe’ quale sia il criterio che i valutati debbano massimizzare.
    L’indicazione proposta da Thor (dividiamo il peso specifico dei contributi per il no. di autori) ha del tutto senso, *purche’* nelle valutazioni non si fissi un tetto sul no. massimo di pubblicazioni valutate.
    Ci sono forti resistenze contro la normalizzazione dei contributi (inclusi i conteggi citazionali) dividendo per il no. di autori perche’, naturalmente, qualcuno ci guadagna a non farlo. Nei settori bibliometrici, ad esempio, ci guadagnano proprio coloro che hanno avuto il “semaforo verde” dal Cineca per poter essere sorteggiati come commissari ASN. Ed e’ chiaro che costoro tenderanno (come hanno in realta’ gia’ fatto) a riproporre gli stessi criteri con i quali loro stessi sono stati (superficialmente) valutati, forse anche perche’ ciascuno tende ad invocare i criteri che meglio lo fanno posizionare rispetto agli altri… Quindi, il problema sta a monte.
    La motivazione che circola al riguardo della normalizzazione per no. di autori (sin dai tempi del primo esercizio di valutazione, CIVR 2003 o giu’ di li’) e’ che in tal modo si disincentiverebbe (o comunque non si incentiverebbe) la costituzione di gruppi di ricerca, di masse critiche, ecc. C’e’ del vero anche in questo, ma la cosa andrebbe declinata “con precisione chirurgica” sui settori e sottosettori della ricerca.

  5. Per farsi un’idea di come potrà evolvere lo stato dell’università consiglierei di seguire l’intervento di Fantoni in commissione cultura della Camera del 4 giugno.

    Da come Fantoni ha riportato (e commentato) i dati, risulta che l’ASN ha avuto grandissimo successo, mentre AVA non può che esser formulata così come è attualmente, tutti contentissimi! Addirittura, in riferimento all’ASN, Fantoni parla di “appena” 1300 ricorsi, mentre Mancini tempo prima a Trento parlava di 3500 ricorsi, peraltro in crescita.

    Una lettura, quella di Fantoni, di parte, con accenti messi al punto giusto, partendo da dati di fatto numerici per poi aggiungere, con degli studiatissimi “quindi” (come se fossero motivati), aggettivi molto lusinghieri nei confronti dell’ASN.

    Il teorema che ne è uscito è che le mediane hanno avuto l’effetto di selezionare i migliori! La dimostrazione? Eccola: il 70% degli abilitati ordinari ha riportato una valutazione VQR maggiore o uguale a 0.8, nel caso degli associati la percentuale scende al 60%.

    E’ un tantinello paradossale che un collega possa portare degli argomenti come questo. Ci dice che, utilizzando la statistica, due metri di giudizio basati su metodi analoghi, hanno riportato risultati congruenti: lo sapevamo a priori. E’ come dire, per citare il sole 24 ore, che metà dei docenti è sotto le mediane.

    Fantoni, forte di questo confronto, ha quindi concluso: è quindi chiaro che l’ASN ha premiato i migliori. Sarebbe interessante se la stessa proof potesse farla in un seminario di statistica, con esperti nella platea.

    Inutile dire che la commissione ha trovato molto convincenti questi argomenti. Illuminante il ruolo di quest’ultima. Era praticamente deserta (ma si rincontreranno) ma, anche se poche, le domande fatte hanno mostrato scarse conoscenze in materia di università e ricerca.

    Non c’è stato alcun contraddittorio e non pare proprio che lo stato dell’università sia argomento che attragga attenzione.

    Risultato ANVUR, ASN e AVA hanno dato un’ottima impressione. Si tratta di una sorta di mondo virtuale a cui purtroppo fa riferimento la politica. La vedo bruttina.

    • Fantoni & co. vi ricordo che i dati vqr non avrebbero dovuto essere usati a fini individuali. Ora servono anche a giustificare i risultati ASN. Dati che non sono pubblici sono utilizzati per proporre statistiche che nessuno può controllare. E poi ci meravigliamo che in questo paese ci sia Stamina. In questo caso siamo di fronte ad una agenzia ministeriale (sì ministeriale, vigilita dal miur) e al suo presidente e direttore. Che raccontano dati che nessuno può controllare di fronte ad una commissione parlamentare.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.