Segnaliamo la petizione lanciata da Patrizio Dimitri a proposito di bibliometria, reclutamento e valutazione.

La petizione può essere firmata a questo LINK.

 

Al Ministro dell’Istruzione, dell’Università e della Ricerca

 

Onorevole Ministro,

L’università e la ricerca pubbliche in Italia hanno ormai le ore contate. Alla quasi totale sparizione dei finanziamenti si aggiungono le pesanti ripercussioni che saranno causate dal nuovo sistema di reclutamento e di progressione delle carriere basato sulle mediane degli indicatori bibliometrici concepito dall’Agenzia Nazionale di Valutazione di Università e  Ricerca (Anvur).

Per sgombrare subito il campo dai facili malintesi, deve essere chiaro che noi non contestiamo la bibliometria dell’ Anvur per timore della valutazione. Siamo dei seri professionisti, abituati ad essere giudicati dai peers per la pubblicazione dei nostri lavori e dagli studenti che assistono alle nostre lezioni. Siamo convinti che una valutazione seria, trasparente e condivisa dell’attività scientifica di ricercatori e docenti, sia un requisito fondamentale e irrinunciabile per il buon funzionamento del sistema dell’Università e della Ricerca. Riteniamo però estremamente pericoloso dal punto di vista culturale e scientifico che la valutazione sia affidata esclusivamente a un sistema bibliometrico automatico.

Come lei sa, a livello internazionale non esistono precedenti per quanto riguarda l’uso di mediane ai fini del reclutamento. Infatti, gli indicatori bibliometrici sono ritenuti inadeguati, in assenza di altri parametri, per valutare i livelli di qualità, autonomia scientifica o originalità di ricerca ed il loro uso è fortemente sconsigliato. Gli indicatori dell’Anvur, infatti, non entrano nel merito del numero degli autori e del contributo apportato dai singoli partecipanti agli articoli soggetti a valutazione e non tengono conto del livello qualitativo delle sedi di pubblicazione. Come se non bastasse, le forti oscillazioni che i valori delle mediane mostrano tra settori, anche appartenenti alla stessa area, creano forti disparità tra concorrenti: in certi casi è sufficiente avere una produzione appena mediocre per essere abilitato, mentre in altri viene richiesto un curriculum tale da mettere in difficoltà anche studiosi di fama internazionale. E’ quasi inevitabile che questo sistema casereccio di “valutazione di stato” finirà per produrre svariate distorsioni, dando luogo in molti casi ad una meritocrazia alla rovescia, premiando la quantità a scapito della qualità.

L’utilizzo rigido degli stessi indicatori è stato messo in discussione addirittura dalla stessa Anvur. Sul sito dell’agenzia si legge, infatti, che il mancato raggiungimento dei parametri non preclude in alcun modo il diritto a partecipare alla abilitazione nazionale e anche il Ministero in un comunicato, ha invitato le commissioni a non considerarli indispensabili per l’abilitazione. Questa tardiva “conversione” ha però creato ulteriori problemi: nelle attuali abiltazioni le varie commissioni stanno adottando metri di giudizio diversi, con il risultato di fomentare polemiche, contenziosi e ricorsi che potrebbero mandare in stallo l’intero sistema. Una situazione stigmatizzata anche dai membri di molte commissioni che vivono una evidente frustazione per il gravoso e inutile compito che sono costretti a svolgere.

Usando una metafora biologica, il virus delle mediane Anvur in realtà sembra ormai fuori controllo e si sta rapidamente diffondendo, con ripercussioni negative a vari livelli. Ad esempio, in fase di reclutamento locale, le mediane potranno essere utilizzate come strumento per attuare una sorta di “eugenetica di docenti e ricercatori”, ovvero: solo chi supera le mediane vale. Questo, in verità, sta già avvenendo per la selezione dei progetti di ricerca di interesse nazionale (Prin): un fenomeno aberrante sia dal punto di vista scientifico che culturale. Un altro effetto scatenato da questa “infezione” è rappresentato dalla spasmodica corsa al superamento delle mediane. Uno spinta perversa a pubblicare molto e subito, con ovvie ricadute negative su qualità, originalità e profondità del contributo scientifico, ma anche uno stimolo a mettere in atto escamotage e a innescare comportamenti scorretti, secondo la peggiore tradizione italiana. I soliti furbetti dell’accademia italiana, infatti, si stanno già attrezzando per racimolare surrogati di pubblicazioni su riviste caserecce dell’ultimo minuto e per barattare authorship e citazioni. Non c’è che dire, proprio un bel segnale educativo per le giovani generazioni.

Gentile Ministro, in virtù di quanto esposto, è evidente che malgrado le ingenti risorse e le energie investite, la nave nell’Anvur rischia di affondare prima di salpare, a causa di un sistema valutativo che si sta rivelando già in partenza più controproducente che utile.

Le chiediamo, quindi, che vengano riviste sostanzialmente l’organizzazione e la funzione dell’Anvur e che sia abolito l’utilizzo dei requisiti bibliometrici, per mettere in atto misure urgenti ed efficaci volte ad instaurare un nuovo sistema di valutazione ispirato alle migliori pratiche internazionali. Un sistema basato su etica, qualità e responsabilità con il ruolo centrale dei Dipartimenti nel reclutamento e nella progressione delle carriere, che preveda una valutazione ex-post dei ricercatori e dei Dipartimenti stessi su base premiale.

Print Friendly, PDF & Email

27 Commenti

  1. Concordo con molte delle critiche alle mediane, ANVUR, liste pazze, etc. Ma ho anche il timore che, almeno allo stato, rinunciare al sistema esistente porti danni peggiori del mantenerlo.

    Il motivo fondamentale a difesa delle mediane, con tutte le sue enormi pecche, e’ che l’unica alternativa che riesco ad immaginare e’ il ritorno alla pura e semplice corruzione che vigeva nei concorsi locali.

    Preciso che per settore e profilo personale, sono semplicemente impossibilitato a pubblicare sulle riviste internazionali considerate migliori a causa degli argomenti della mia ricerca. Dovendo “accontentarmi” di riviste meno prestigiose, quindi, il sistema bibliometrico mi e’ intrinsecamente ostile.

    Detto cio’, il vantaggio (unico) delle mediane e’ che pone un vincolo inferiore alla sfrontatezza dei nostri colleghi. Ho visto personalmente concorsi da ricercatore banditi da baroni con 1 (una) pubblicazione nel curriculum e vinti da candidati che vantavano la laurea come unico titolo. La mia speranza e’ che il sistema bibliometrico, imperfetto quanto si vuole, sia in grado di limitare gli eccessi piu’ scandalosi.

    In conclusione, bisogna prendere atto che non esistera’ mai una procedura che si possa sostituire alla buona fede ed alla credibilita’ personale. Posto che ogni sistema e’ imperfetto, la scelta di evitare i danni peggiori puo’ essere condivisibile anche quando genera distorsioni.

    • L’uso della bibliometria per le valutazioni individuali non ha basi scientifiche e c’è un vasto consenso relativamente ai possibili danni che comporta, come testimoniato da diversi pronunciamenti di società scientifiche a livello internazionale (per lista di riferimenti bibliografici si veda: https://www.roars.it/?p=9644). Tra i pericoli segnalati, di particolare rilievo sono l’incentivazione all’omologazione scientifica e ai comportamenti opportunistici.

      In particolare, l’eterogeneità dei parametri bibliometrici in funzione degli interessi di ricerca, anche all’interno di settori relativamente circoscritti, rende veramente arduo elaborare soglie “eque” a meno di non mantenerle relativamente basse. L’uso delle mediane che rende le soglie dinamiche aggiunge un tocco di follia, anche solo per le difficoltà pratiche della valutazione statistica (incredibile che le mediane siano state calcolate in base a quanto presente nei siti docente popolati su base volontaria su *invito* del presidente dell’ANVUR).

      So bene che molti usano l’argomento “emergenziale”: vista l’eccezionalità del caso italiano non possiamo permetterci metodi scientifici e validati ma si devono usare metodi speciali mai sperimentati altrove. Un po’ come se un paziente grave venisse sottratto ai medici e curato con le pozioni dei guaritori. Meglio la pozione che niente, si dirà. Ma per un malato non è meglio affidarsi ad un medico che prescriva farmaci scientificamente testati? Chi sarebbe così sprovveduto da ingurgitare, primo al mondo, degli intrugli miracolosi preparati da guaritori che se ne infischiano degli avvertimenti della scienza medica e farmacologica?

      Senza voler negare i problemi dei concorsi italiani, se la visione del tutto catastrofica di alcuni fosse vera, non si spiegherebbe il fatto che nei settori bibliometrici, la produttività italiana è superiore a quella di Germania, Francia e Giappone, come illustrato sotto. Una ragione in più per adottare un approccio scientifico e non affidarsi alle pozioni miracolose.


    • Dissento.

      Se lasciamo le scelte agli “esperti” senza controllo numerico l’accademia continuera’ ad essere popolata dai soliti cognomi.

      Potrei fare almeno una trentina di esempi nel mio solo sottosettore, ma non mi sembra carino.

    • Giuseppe,
      non sono d’accordo, e cerco di spiegarmi. Avresti ragione se la bibliometria fosse l’unico criterio di valutazione. Se capisco bene questo e’ il sistema standard negli USA, in cui l’unica cosa che conta e’ quanto e’ lungo il tuo cv. In questo caso si producono tutte le conseguenze nefande come la spinta all’appiattimento culturale e all’omologazione. Ad esempio, una citazione in piu’ o in meno puo’ essere cruciale, e quindi ci si prostituisce in cambio di un H-index piu’ alto. Ripeto, io sono vittima di questo sistema nei confronti internazionali, e non mi piacerebbe affatto vederlo in Italia.

      Ma il sistema proposto, almeno per quanto lo riesco a capire, e’ diverso. La bibliometria e’ usata non per valutare il candidato, ma come soglia minima per poter accedere al ruolo, con la selezione competitiva delegata ad una fase successiva.
      La differenza e’ molto rilevante. Ad esempio, chi accede all’abilitazione solo grazie ad un articolo su “Suinicultura Oggi” potra’ essere anche un miracolato. Ma questo non gli garantisce il posto. Anzi, avere il suo curriculum online rende un po’ piu’ imbarazzante la sua eventuale selezione ai danni di altri candidati.
      E’ vero che nella storia ci sono premi Nobel e padri fondatori di discipline che, oggi, non passerebbero la mediana. Ma questo non puo’ voler dire che il sistema deve puntare a selezionare i geni che, per definizione, sono rari e di difficile identificazione. In questo senso le indicazioni alle commissioni mi sembra che vadano nella direzione giusta. La commissione deve infatti valutare anche chi non passa gli indicatori, quindi l’eventuale genio senza pubblicazioni puo’ ancora essere ripescato.

      Concordo, come ovvio, che la selezione delle riviste si sarebbe potuta fare (molto) meglio, e che la mediana sia un indicatore arbitrario. Ma non capisco la critica al fatto che sia un indicatore dinamico. La dinamica e’ comunque molto lenta (annuale) e, ripeto, e’ usata come limite inferiore per l’abilitazione. Chi si trovasse sul bordo, sia di qua che di la, comunque e’ chiaramente poco competitivo rispetto ad altri.

      Sono d’accordo che l’universita’ italiana, in generale, figura molto onorevolmente nei confronti internazionali, nonostante la scarsita’ delle risorse dedicatele. Per me l’indicatore migliore sono gli studenti italiani all’estero, che nella mia esperienza sono sempre tra i migliori. Ma questo non e’ assolutamente un indicatore di qualita’ del sistema. In base alla mia esperienza personale ci sono pochi (o pochissimi) che tirano avanti la baracca e gli alti che fanno carriera. Il fatto che in alcuni settori le mediane degli associati superino quelle degli ordinari mi sembra abbastanza indicativo, e sono abbastanza sicuro che i ricercatori batterebbero ambedue le fasce.

      Gli effetti dei disastri nel sistema delle assunzioni non li vedi subito, ma quando ci sara’ il ricambio generazionale. E la mia sensazione e’ che se anche il Titanic fili veloce e l’orchestra suoni piacevolmente, questo non durera’ ancora a lungo.

      In conclusione, la mia opinione e’ che una posizione non debba essere assegnata a chi pubblica di piu’, ma a chi piu’ e’ in grado di contribuire al successo dell’istituzione. Ovviamente un criterio cosi’ vago lascia ampio margine alla discrezionalita’, ma visto il pessimo uso che se ne fa e’ giusto che ci sia un vincolo inferiore.

    • Ritengo le spiegazioni e le motivazioni di marcov64 perfettamente esaurienti. Concordo, perfettamente con la sua linea.

      PS
      L’esempio del malato grave non calza: quando si è davvero malati, ma molto, e si è vicini alla morte, credo che si è disposti a tutto, pure a fare patti con il diavolo!

    • Spacciare l’università italiana per moribonda (per esempio riguardo al suo ruolo nel panorama scientifico internazionale) è servito a far ingurgitare intrugli miracolosi privi di basi scientifiche e precedenti internazionali. Il ciarlatano che riduce il paziente in fin di vita e poi, con la scusa che è moribondo, lo convince che tanto vale continuare ad ingurgitare pozioni di ali di pipistrello mi sembra l’ultima (e fatale) tappa del calvario dell’università italiana.

  2. “Un sistema basato su etica, qualità e responsabilità con il ruolo centrale dei Dipartimenti nel reclutamento e nella progressione delle carriere, che preveda una valutazione ex-post dei ricercatori e dei Dipartimenti stessi su base premiale.” … perfetto per la Svezia…..

    Da wikipedia: “Antonio Razzi (Giuliano Teatino, 22 febbraio 1948) è un politico italiano, residente in Svizzera. …bLascia l’Abruzzo nel 1965 emigrando a Emmenbrücke (Canton Lucerna) in Svizzera, lavorando per l’attuale ditta tessile Tersuisse Multifils SA (allora Viscosuisse)…..
    Nel dicembre 2010, con l’avvicinarsi della votazione sulla mozione di sfiducia al Governo Berlusconi IV, Razzi lascia l’Italia dei Valori e passa a Noi Sud[3][4][5]. Il suo abbandono è stato fortemente criticato dal leader dell’Idv, Antonio di Pietro[6]. Il 14 dicembre vota contro la sfiducia al Governo Berlusconi.
    Nel maggio 2011 viene nominato consigliere personale del Ministro dell’Agricoltura Francesco Saverio Romano, come lui del gruppo di Iniziativa Responsabile[7][8].
    Nel dicembre 2011 la trasmissione Gli Intoccabili ha trasmesso un video ripreso di nascosto all’interno del Parlamento in cui Razzi ammette di aver votato la fiducia al governo solo per motivi di tornaconto personale economico:[9]
    « […] Andavamo e dicevamo “Presidente, siamo noi due, quanto ci molla? […] Qui, ce ne date un milione?” E io e lui, con un milione ci facevamo una campagna elettorale, facevamo un partito nuovo. […] Perché per noi due il governo s’è salvato. Che 314 a 311. Se io e Scilipoti andavamo di là per un voto cadeva, cadeva Berlusconi. […] Io avevo già deciso da un mese prima [di votare la fiducia, ndr]. […] Io non avevo la pensione ancora. Dieci giorni mi mancavano. E per dieci giorni mi inculavano. Perché se si votava dal 28 come era in programma, il 28 di marzo, io per dieci giorni non pigliavo la pensione. […] »” ….

    Ovviamente viene poi valutato ex-post … e quindi:

    Sempre da wikipedia: “Alle elezioni politiche italiane del 2013, viene candidato in quarta posizione di lista al Senato in Abruzzo per il Popolo delle Libertà[10] e viene eletto.[11]”.

    Morale della favola … i nostri accademici continuerebbero a farsi i ..zzi loro e se la caverebbero come sempre ….

  3. Dal Tg di oggi: “copiare è come evadere” cosa ne pensano i giovani? “non è vero; copiare è una cosa da giovani” …
    morale: paese di copioni ed evasori sin dalla nascita … chi copia ed evade vive sulle spalle degli altri … si fa i .. azzi propri!

    … i metodi bibliometrici sono un male necessario …. quando c’è da amputare non si va molto per il sottile, poi magari dopo si fanno delle cure più razionali, ma un quinquennio di bibliometria (vera!), forse serve …. AMPUTARE!

  4. Riposto, ampliandola, una tipica situazione da concorso. Un po’ esagerata, ma non troppo:

    Commissario 1:
    “Quello di Marco Ancimboldi Immanicati e’ un lavoro bellissimo, introduce una favolosa transformazione tra operatori in spazi di Sobolev”.

    Commissario 2:
    “Si, ma e’ stato fatto 10 anni fa e nessuno ha utilizzato questa trasformazione. E’ il solo lavoro, per di piu’ a tre nomi, presentato da Arcimbildi Immanicati, e non ha citazioni. Invece, 10 lavori di Roberto Sfigatich, dei quali 4 a singolo autore, mi sembrano interessanti, e sono molto citati”.

    Commissiario 1:
    “Non si giudica un lavoro dalle citazioni che riceve. Bisogna guardare il contenuto del lavoro. E’ una trasformazione bellissima. Marco mi ha detto che gli ha scritto un e-mail Paul Dirac, congratulandosi per il favoloso risultato.”

    Commissiario 2:
    “Ma il lavoro e’ del 2003, e Dirac e’ morto nel 1984.”

    Commissario 1:
    “Visto! La trasformazione e’ cosi favolosa, che gli hanno scritto addirittura dall’aldila’”.

    Commissario 2:
    “Beh, di fronte a tale prodigio di trasformazione, non resta che … genuflettersi”.

  5. Sono perfettamente d’accordo con l’analisi di Giuseppe De Nicolao.
    E faccio i complimenti a chi mostra tanto entusiasmo per le mediane da accettarle come una panacea, da credere che baronie e clientele saranno stoppate grazie allo sbarramento!!! Ma pensate proprio che baroni e clan se ne siano rimasti con le mani in mano aspettando l’Anvur? Non vi sfiora il sospetto che forse siano intervenuti proprio nel “dare una mano” all’agenzia nell’indirizzare la scelta di molte riviste e nell’influenzare il calcolo delle delle mediane stesse? Sapete che in certi settori per abbassare le mediane si è impedito ai migliori di presentare i prodotti? Sapete che in altri settori invece i meno produttivi non hanno presentato nulla? Solo rendendo obbligatoria la presentazione dei prodotti da parte di tutti si sarebbe ottenuto un calcolo verosimile.
    In queste situazioni poi non bisogna pensare al tornaconto personale, ovvero: io ho le mediane, ergo sono bravo e chi se ne frega degli altri! E’ necessario uno sguardo un po’ più ampio, che vada oltre il proprio orticello, valutare le anomalie, le ricadute negative del sistema, che sono tante.
    E non è vero poi che le mediane sono solo un filtro per selezionare i migliori…migliori di che? Di quantità? In molti casi invece serve proprio a escludere gente brava, indipendente, non legata a gruppi di potere, che ha basato la carriera sulla qualità e non necessariamente sulla quantità.
    Ad esempio in ambito scientifico, oggi potrebbe essere abilitato chi ha pubblicato in 10 anni 20 lavori su rivistucole fatte in casa (come uno dei tanti autori) a svantaggio di chi magari pubblica 5 lavori su riviste di alto livello, anche a primo nome. Bisogna vedere poi quali e quante commissioni se la sentiranno di fare delle eccezioni, abilitando chi non ha le mediane, ma mostra autonomia e originalità di produzione. Rischieranno così di esporsi a ovvi ricorsi che potranno bloccare il sistema. E poi forse solo pochi sanno che alla Sapienza di Roma, le mediane sono usate per selezionare gli idonei interni da chiamare. Solo chi ha tutte e tre le mediane verrà chiamato, senza nessuna deroga. Per cui all’interno di una alla stessa macroarea (dove tra settori affini i valori delle mediane sono diversi) si rischierà di chiamare il candidato che sarebbe risultato meno valido se si fossero valutati i curricula ragionando solo sugli indici assoluti.
    Insomma, prima si abbandona questo sistema automatico e poco intelligente è meglio è.

    • Forse non e’ indirizzato a me (marcov64), oppure non mi sono spiegato bene. In ogni caso, mi ripeto per sommi capi.
      – Nessuno ha mostrato entusiasmo per le mediane, ne ritiene che le baronie saranno sgominate.
      – Se superi le mediane non sei bravo, potresti essere semplicemente nel 51′ percentile, con il 49% degli appartenenti al ruolo cui aspiri che sono peggio di te.
      – Se hai pubblicato meno della meta’ dei professori cui aspiri, spiega bene perche’ dovresti avere il posto di un altro/a che pubblica di piu’.
      – Se La Sapienza usa le pubblicazioni per le selezioni (non le mediane, che non ha senso), credo non possa che migliorare il record dell’ateneo che si e’ scelto Frati come rettore.

      Mi sembrerebbe piu’ utile smettere di criticare senza proporre le alternative. Qualcuno mi indichi un sistema di selezione che levi il potere alle baronie e che premi chi piu’ lo merita. Temo che non ci sia, e che quindi ogni miglioramento, purche’ imperfetto, sia da preferire rispetto alla mafia pura.

    • Dipingere il sistema esistente come “mafia pura” legittima qualsiasi soluzione. Un po’ come giustificare la sospensione dei diritti civili in nome di un’emergenza terroristica (o di mafia). Se il sistema esistente (i cui problemi nessuno nega, ma che vanno affrontati con realismo senza rifugiarsi in narrazioni mitologiche) fosse “mafia pura” non si spiegherebbe il posizionamento internazionale della ricerca universitaria italiana sia in termini assoluti che di efficienza (paper/Euro o citazione/Euro). Difendere soluzioni che non hanno basi scientifiche e precedenti internazionali in nome dello “stato di eccezione” è una scorciatoia logica che dispensa dalla fatica di studiare la letteratura internazionale e di analizzare la situazione nazionale. Scorciatoia di per sé discutibile (sospendere i diritti civili è veramente utile a combattere la mafia?), ma che richiederebbe quanto meno la dimostrazione che l’università italiana non occupa un posto di rilievo nel panorama scientifico internazionale. Che questa dimostrazione sia tuttora mancante è stato ampiamente spiegato altrove: https://www.roars.it/universita-cio-che-bisin-e-de-nicola-non-sanno-o-fingono-di-non-sapere/
      Chi invoca meritocrazia ed eccellenza, non può esimersi dal riferirsi agli standard internazionali in campo di bibliometria e valutazione. Invocare la meritocrazia nella scienza difendendo criteri e strumenti scientificamente screditati suona come uno strano paradosso.

    • Riassumendo:

      X crede di essere A.

      X con il criterio F risulta essere C.

      X rifiuta il criterio F definendolo “non scientifico”.

      X fonda una nuova religione il cui credo si riassume nel seguente dogma di fede:

      “il criterio F e’ non scientifico”

      Per rendere il tutto meno religioso e piu’ democratico, X aggiunge la postilla:

      “c’e’ un vasto consenso al riguardo”.

    • Va tutto bene, Madama la Marchesa.

      La fabbrica continua a produrre meravigliose macchine da scrivere.

      Gli operai sono bravissimi, per non parlare dei tecnici, che sono tra i migliori del mondo nel loro settore.

      Purtroppo il management non e’ all’altezza, e quindi c’e’ qualche problema con le vendite.

      Sono pero’ sicuro, Madama la Marchesa, che cambiando il management la Sua fabbrica di macchine da scrivere sara’ eccellente.

  6. Il problema non sono gli indici bibliometrici che intelligentemente utilizzati possono invece essere davvero utili. Ma per quale motivo un ricercatore od un associato dovrebbe avere una produzione superiore alla mediana del livello superiore (associati, ordinari) se i fondi a disposizione sono meno della meta’ di quelli dei colleghi piu’ avanti in carriera (soprattutto se confrontiamo gli associati con gli ordinari)?

    • E’ vero, in un mondo normale questo vorrebbe dire tagliare le gambe a tutti i potenziali candidati. Quindi, se il vecchio sistema andasse bene, nessuno dovrebbe passare questa selezione e gli abilitati saranno poche mosche bianche.

      Se invece ci saranno moltissimi abilitati, cosa ne possiamo dedurre? L’unica spiegazione e’ che molti che sono diventati associati ed ordinari in passato pubblicavano molto meno delle nuove leve. Se questo voglia dire che utilizzano altre forme di diffusione della loro dotta ricerca, o che non hanno mai fatto nulla, ognuno lo puo’ giudicare.

      Per Giuseppe. Trovo due pecche nel tuo ultimo post. Il termine “mafia pura” e’ sicuramente un esagerazione (e me ne scuso), nel senso che non sempre e non ovunque e’ stato cosi’. Pero’ insistere ad usare il prestigio internazionale del sistema italiano per dire che va tutto bene mi sembra a dir poco azzardato.

      Secondo problema. Trovo curioso utilizzare criteri bibliometrici per valutare il sistema nel suo complesso, al punto di citare l’indicatore paper/euro, ma considerarli il demonio per le selezioni. Delle due una: o le pubblicazioni servono per valutare la ricerca, pur con ampie approssimazioni, o non servono. Qual’e’ la tua opinione?

    • “Per Giuseppe. Trovo due pecche nel tuo ultimo post. Il termine “mafia pura” e’ sicuramente un esagerazione (e me ne scuso), nel senso che non sempre e non ovunque e’ stato cosi’. Pero’ insistere ad usare il prestigio internazionale del sistema italiano per dire che va tutto bene mi sembra a dir poco azzardato.”
      _________________
      Non ho mai sostenuto che tutto va bene, tanto è vero che ho scritto: “Se il sistema esistente (*i cui problemi nessuno nega*, ma che vanno affrontati con realismo senza rifugiarsi in narrazioni mitologiche)”. Tra il quadro di degrado totale dipinto da alcuni e dire che tutto va bene, diagnosi entrambe mitologiche e di comodo, c’è la fatica di capire sulla base di dati oggettivi dove teniamo il passo e dove cediamo terreno, per capire come aiutare il sistema a curare le sue infezioni e a potenziare le sue capacità. Mi sono sempre meravigliato che alcuni scienziati abdichino al metodo scientifico proprio quando si parla di valutazione della ricerca.
      =================
      “Trovo curioso utilizzare criteri bibliometrici per valutare il sistema nel suo complesso, al punto di citare l’indicatore paper/euro, ma considerarli il demonio per le selezioni.”
      __________________
      Gli indicatori bibliometrici hanno dei limiti che li rendono inaffidabili per la valutazione *automatica* di singoli articoli o studiosi (fermo restando che come valutatore sono informazioni che esamino e peso con attenzione, ma senza automatismi). Su questo punto c’è una letteratura estesa che sta alla base anche della recente Declaration on Research Assessment (DORA). DORA è stata sottoscritta da 78 organizzazioni (riviste -tra cui Science, Plos e PNAS – e associazioni scientifiche -tra cui unica italiana Telethon) e 151 studiosi promotori, vedi anche https://www.roars.it/dora/.
      Su scala aggregata (atenei o, ancor meglio, intere nazioni) si può far conto su compensazioni statistiche e si ritiene che gli indicatori bibliometrici abbiano un valore scientifico nel quantificare la quantità e l’impatto scientifico complessivo (anche in questo caso è possibile citare diversi lavori scientifici a partire da quello famoso di King apparso su Nature: http://sciencepolicy.colorado.edu/students/envs_5100/king_2004.pdf). Il pericolo più grosso è che i numeri aggregati nascondano delle “trappole”. Per esempio, qualcuno potrebbe dubitare che la (buona) produttività scientifica italiana dipenda da un’eccezionale produttività nelle scienze biomediche (ad alta intensità citazionale) nascondendo un diffuso degrado in tutti gli altri campi. Dall’esame dei dati disaggregati per “scientific field” (vedi per es. SCImago: http://www.scimagojr.com/countryrank.php) si vede che non è così. Con qualche oscillazione, l’Italia sia colloca prevalentemente tra la sesta e la decima posizione per articoli e citazioni.
      Insomma, le migliore pratiche suggeriscono proprio di evitare l’uso automatico della bibliometria nelle valutazioni individuali ed utilizzarla con le dovute cautele nelle valutazioni su scala sufficientemente aggregata.

  7. Personalmente, se si utilizzano gli indicatori bibliometrici in modo oculato e non automatico, non vedo un problema. Per me in modo oculato vuole dire che si applicano solo ai settori ove questo abbia significato, si calcolano in modo rigoroso (se qualcun altro li verifica deve trovare dei valori molto simili) possibilmente da parte del candidato, si tiene conto del numero di autori ma soprattutto se il candidato sia l’autore principale, si tiene conto delle autocitazioni e si evita qualsiasi soglia normativa ma solo come indicazioni, informazioni.

    L’idea della soglia minima costituita dalle mediane non ha nulla a che vedere con la bibliometria ma con la politica: dato che le promozioni costano, si vuole evitare di avere tanti abilitati che potrebbero richiedere un’abilitazione di massa.
    Ironicamente però se TUTTI i ricercatori strutturati nell’università italiana fossero promossi Prof. Associati potrebbe risultare un risparmio netto per lo stato, considerando che gli scatti adesso sono triennali… insomma c’è il rischio serio che molti abilitati e chiamati (quando e se questo accadrà) vedranno negli anni uno stipendio minore che se fossero rimasti nella fascia inferiore… questo sarebbe un risultato paradossale!

  8. Da docente e ricercatore che lavora e produce da anni e non si oppone alla valutazione dico che questo uso delle mediante è folle, non garantisce affatto il riconoscimento dei migliori e porterà a molte valutazioni falsate.
    Per valutare seriamente la carriera di un ricercatore/docente non si possono considerare solo 10 anni, non si possono usare criteri automatici “non intelligenti” che non discriminano, si devono esaminare/leggere le pubblicazioni, entrando nel merito del lavoro, del contributo dei singoli e della loro autonomia, altrimenti tutto ciò andrà solo a vantaggio di grossi carrozzoni accademici che pubblicano miriadi di lavoretti con decine di autori e cloneremo solamente tante copie di replicanti.

    • L’uso della bibliometria che si prospetta per ASN è tutt’altro che ottimale. Su questo sono d’accordo in molti. Ma cosa dire per quanto riguarda i PRIN? E’ chiesto solo di “indicare” i propri indicatori, calcolarseli e non confrontarli con nulla, non sono previste soglie minime e non c’è una corrispondenza automatica tra indicatori e valutazione dei progetti. Penso che tutto sommato l’uso della bibliometria che si prospetta nei PRIN si avvicini molto a standard accettabili e sia un sicuro miglioramento rispetto ad ASN. Possiamo concordare almeno sull’ultimo aspetto?

  9. Vedo molti commenti che restano sulla lunghezza d’onda del “il meglio e’ nemico del bene”, leit-motif di tanta propaganda anvur.

    Restano pero’ moltissimi dubbi se il “bene” sia veramente tale e non un male travestito.

    Intendiamoci, non e’ la valutazione che e’ in discussione. Ma quella non ha bisogno di regole cervellotiche come quelle messe in piedi dall’ anvur. Dove c’era una cultura della valutazione, si faceva anche prima delle mediane. E dove non c’e’, non ci sono mediane che tengano.

    Sui limiti della bibliometria come criterio unico o dominante su cui valutare il singolo esiste una letteratura estremamente critica ormai piu’ che decennale. Sarebbe interessante sapere quanti laudatores dei metodi anvur (o il direttivo dell’ anvur stesso) ne sono a conoscenza.

    Tra i problemi mai risolti e’ p.es. come evitare di dare un peso eccessivo alla produzione di un ricercatore inserito in un “gruppo forte”, rispetto ad un altro che fa un’ ottima ricerca contando solo sulle proprie forze.

    L’ altro aspetto vergognoso della “via anvur” alla valutazione bibliometrica e’ il rifiuto che l’ anvur ha opposto a qualsiasi tentativo di aver accesso ai dati su cui sono basate le famose mediane. Alla faccia della trasparenza! Il dubbio che tutte le discussioni, inclusa questa, siano basate su basi dati incomplete e incoerenti resta forte.

  11. A distanza di alcuni mesi, la bibliometria casereccia è ormai una veravera arma impropria nelle mani di gente senza scrupoli….
    Avete avete visto le incongruenze della VQR? Avete visto cosa sta accadendo con i dottorati di ricerca?

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.