Argomenti / Valutazione

Tre biologi USA sulla bibliometria ANVUR: “valutazioni da incubo”

Le tornate dell’abilitazione scientifica nazionale e la distribuzione dei fondi di ricerca sulla base dei risultati della VQR vanno avanti, malgrado vari esponenti del mondo scientifico e culturale abbiano sollevato nel tempo non poche obiezioni sulla bontà del metodo valutativo bibliometrico messo in piedi dall’ANVUR. La scarsa affidabilità del casareccio metodo ANVUR è da anni tristemente nota anche all’estero, con buona pace di quelli che da noi dicono: meglio una cattiva valutazione che nessuna valutazione. E’ di pochi giorni fa la lettera dei premi Nobel della Fisica che hanno aspramente criticato il sistema dell’ANVUR.  A questa lettera si aggiungono i commenti di tre autorevoli biologi, membri dell’Accademia Nazionale delle Scienze USA. Franklin Stahl, professore emerito all’Università di Eugene, Oregon: “In brief, it is a nightmarish system. There is no perfect way of judging, but this is about the worst I have seen.” Mary-Lou Pardue, professore emerito al Massachusetts Institute of Technology: “It seems to me that this system is so artificial that it should appeal only to those who do not know enough about the science to make judgements based on real value”. Daniel L. Hartl, professore emerito all’Harvard University: “Anyone who claims to have developed a methodology for evaluation of research based on a journal’s impact factor or a researcher’s number of citations, supposedly “objective” and “certifiable” criteria, has an invalid concept of how science really works and what impact one’s research actually has on the field”. E’ necessario accantonare al più presto le fallimentari esperienze di ASN e VQR, fatte di sbornie di numeri, orge di indici e numerologi assatanati, per definire un metodo di reclutamento e di valutazione della ricerca basato su qualità, etica e responsabilità, dove il contributo umano, professionale e scientifico sia primario.

Le tornate dell’abilitazione scientifica nazionale (ASN) per le due fasce di docenza universitaria vanno avanti, malgrado vari esponenti del mondo scientifico e culturale abbiano sollevato nel tempo non poche obiezioni sulla bontà del metodo valutativo bibliometrico messo in piedi dell’Agenzia Nazionale di Valutazione di Università e Ricerca (ANVUR). Proprio pochi giorni fa, alcuni premi Nobel della Fisica, hanno aspramente criticato il sistema dell’ANVUR, in una incisiva e condivisibile lettera aperta al Ministro Fedeli.

In un documento approvato il 22 giugno del 2011, per valutare candidati e commissari dell’ASN, l’ANVUR definì “criteri e metodologie basati su parametri oggettivi e certificabili” per il “miglioramento progressivo della qualità scientifica dei docenti abilitati, misurata mediante indicatori di produttività scientifica”.

Una pretesa non da poco, in quanto la conoscenza oggettiva è un aspetto da sempre dibattuto nella scienza e nella filosofia, sul quale sono state scritte montagne di testi. Ma non per i sette saggi dell’ANVUR.

In che modo l’ANVUR ha deciso di definire la sua oggettività? Nelle prime tornate dell’ASN, i parametri “oggettivi e certificabili”, nelle aree cosiddette bibliometriche, erano rappresentati dalle mitiche mediane di tre indicatori bibliometrici:

  1. numero di articoli
  2. numero di citazioni e
  3. h-index. Un ricercatore ha indice h, se possiede h pubblicazioni con almeno h citazioni ciascuna.

Nella più recente ASN, le mediane sono state rimpiazzate dai “valori soglia” dei medesimi indicatori e i candidati devono averne almeno due per accedere alla valutazione finale da parte delle commissioni. Come si può facilmente capire, il risultato non cambia: la quantità rimane il fattore discriminante per l’ANVUR.

Come fatto presente a più riprese dal sottoscritto e da molti altri colleghi, ormai da anni su Roars e altrove, l’uso della bibliometria tout court suscita non poche perplessità e all’estero è stato abbandonato ormai da anni. In particolare, gli indicatori quantitativi scelti dall’ANVUR non appaiono assolutamente idonei a valutare due aspetti fondamentali che definiscono l’autonomia dei ricercatori e la qualità della ricerca scientifica:

  1. il contributo del singolo alle pubblicazioni, espresso, per esempio nei settori biomedici dall’ordine degli autori (i più rilevanti sono il primo e l’ultimo) e
  2. il livello scientifico delle riviste.

Bisogna sottolineare, inoltre, che i sette saggi dell’ANVUR hanno deciso a priori, e direi molto soggettivamente, di rendere il parametro citazionale un fattore determinante ai fini della valutazione, visto che esso è rappresentato da ben due valori soglia su tre (numero citazioni e h-index). Inoltre, le citazioni aumentano in funzione della numerosità dei ricercatori di una data area, spesso a prescindere dal valore delle ricerche pubblicate. Basti pensare che in ambito biomedico, pubblicazioni di studi condotti in campo umano sono di due ordini di grandezza più numerose, e di conseguenza più citate, di quelle che hanno come oggetto gli organismi modello ( il moscerino della frutta Drosophila melanogaster, il lievito o il nematode Caenorhabditis elegans). Malgrado ciò, negli ultimi 20 anni ben sette premi Nobel per la Medicina sono stati assegnati a ricercatori che hanno utilizzato proprio questi organismi. Proprio pochi giorni fa, il premio Nobel 2017 per la Medicina è stato conferito a Jeffrey Hall,  Michael Rosbash e Michael Young per gli studi di ricerca di base condotti in Drosophila melanogaster, grazie ai quali è stato possibile delucidare le basi genetico-molecolari dei ritmi circadiani, poi rivelatesi universali.

E’ chiaro, quindi, che i presunti parametri “oggettivi” dell’ANVUR, cosi come sono stati concepiti non sono tali e non sono nemmeno  “democratici”, ma tendono a favorire gruppi di ricerca di ampie dimensioni che lavorano in campi di indagine molto diffusi e sfornano in tempi abbastanza brevi numerose pubblicazioni con folte schiere di autori che tendono ad autocitarsi, autoalimentando i propri parametri. Il risultato è un sistema che penalizza soprattutto la ricerca di base in ambiti meno gettonati, ma non meno importanti, gli studi più originali e quelli a lungo termine. Inoltre, un tale sistema spinge i giovani, e non solo, a pubblicare molto e molto in fretta, a discapito della qualità e dell’affidabilità dei risultati. Come se non bastasse, l’uso dei meri indici quantitativi ha incentivato la squallida compravendita di autori e citazioni, espedienti che alimentano un vero e proprio doping della valutazione e che nulla hanno a che fare con la qualità e il progresso della ricerca scientifica.

E il discorso non cambia molto, se ci riferiamo alla valutazione della qualità della ricerca (VQR) di Dipartimenti ed Enti. Anche in quel caso, l’utilizzo di parametri quantitavi unitamente a regole discutibili per definire la qualità delle riviste, ha creato non poche anomalie valutative, già ampiamente citate in passato su Roars.

La scarsa affidabilità del casareccio metodo ANVUR è da anni tristemente nota anche all’estero, con buona pace di quelli che da noi dicono: meglio una cattiva valutazione che nessuna valutazione. Infatti, a parte i già citati premi Nobel della Fisica, riporto di seguito i commenti di tre autorevoli biologi, membri dell’Accademia Nazionale delle Scienze USA (NAS), che due anni fa ho interpellato in merito al metodo ANVUR e che non potranno essere tacciati di opportunismo o malafede.

Franklin Stahl, professore emerito all’Università di Eugene, Oregon. Genetista e biochimico statunitense, noto tra l’altro per aver dimostrato nel 1958 la replicazione semiconservativa del DNA, insieme a Matthew Meselson:

In brief, it is a nightmarish system. There is no perfect way of judging, but this is about the worst I have seen.

Mary-Lou Pardue, professore emerito al Massachusetts Institute of Technology, nota per i suoi studi sui telomeri in Drosophila:

It seems to me that this system is so artificial that it should appeal only to those who do not know enough about the science to make judgements based on real value.

 Daniel L. Hartl, professore emerito all’Harvard University:

Anyone who claims to have developed a methodology for evaluation of research based on a journal’s impact factor or a researcher’s number of citations, supposedly “objective” and “certifiable” criteria, has an invalid concept of how science really works and what impact one’s research actually has on the field.

In conclusione, un tale sistema valutativo basato sulla bibliometria cruda “un tanto al chilo”, lungi dal migliorare progressivamente la qualità scientifica dei docenti, come proclamava originariamente l’ANVUR (e il suo indefesso artefice, l’ingegnere Sergio Benedetto), la sta in realtà deprimendo. A questo punto, per il bene della ricerca e dei ricercatori del nostro paese, è necessario accantonare al più presto le fallimentari esperienze di ASN e VQR, fatte di sbornie di numeri, orge di indici e numerologi assatanati, per definire un metodo di reclutamento e di valutazione della ricerca basato su qualità, etica e responsabilità, dove il contributo umano, professionale e scientifico sia primario.

Send to Kindle
Tag: , , , , , , , , ,

33 Comments

  1. Per quanto riguarda la sola ASN l’autore dimentica di nominare i famigerati titoli che il candidato deve possedere e che hanno provocato ulteriori storture. Ormai c’è una corsa tra i candidati a fare qualunque cosa pur di entrare a far parte di un qualunque colleggio di dottorato, per creare una spinoff, chiedere favori per entrare all’interno di qualche progetto europeo o comitato editoriale, etc… Insomma qualunque cosa che possa far felice la commissione senza che poi ci sia un reale interesse a sostenere queste attività. L’ASN ha spinto tutti a doparsi per mostrare i muscoli ma si tratta solo di operazioni di facciata.

  2. p.marcati says:

    La bibliometria non è un metodo che ha alcuna validità scientifica (soprattutto facendo snapshot su 5 anni) e se non lo usa alcun paese avanzato ci sarà pure un motivo.

    • Giorgio Pastore says:

      Non è da tutte le società abbandonare una riconosciuta posizione di prestigio nel panorama scientifico mondiale per prendere la via del sottosviluppo. Diventeremo un case study per generazioni di sociologi.

    • MarcelloGA says:

      Nei paesi avanzati i concorsi non sistematicamente truccati e quindi non c’è bisogno di soglie bibliometriche. D’accordo per i 5 anni, la bibliometria va estesa a tutta la carriera.

    • Giuseppe De Nicolao says:

      MarcelloGA: “Nei paesi avanzati i concorsi non [sono] sistematicamente truccati e quindi non c’è bisogno di soglie bibliometriche”
      ___________
      Se guardiamo ai numeri dobbiamo concludere che l’Italia è una nazione accademicamente avanzata e che non ha pertanto bisogno di soglie bibliometriche:


      Infatti, se i concorsi fossero sistematicamente truccati non si spiegherebbe una produttività in termini di pubblicazioni e di citazioni uguale o superiore a quella di Giappone, Canada, Francia, Germania e USA.
      ===========
      Riguardo poi ai concorsi truccati, è indubbio che in Italia ce ne siano e che anche se ce ne fosse uno solo sarebbe comunque uno di troppo. Ma non è nemmeno il caso di ritenere che il problema sia solo italiano. La seguente lettera apparsa su Inside Higher ED potrebbe essere scambiata per uno sfogo di qualche vittima di un concorso italiano. E invece si riferisce agli USA.
      ___________



      ___________

      Designated Interview Professor

      An anonymous faculty member, fed up at being rejected in favor of internal candidates in allegedly national searches, suggests a new system for hiring.
      By Anonymous
      ___________

      “At a North Carolina college, I was interviewed for a position, but the job was given to the candidate who, as an adjunct, was already holding the job … despite not having a doctoral degree in the required area (a requirement, according to the job posting). […]

      I was so eager and trusting and never imagined people with fancy degrees had the ethical structure of drug dealers and politicians. This is just flat-out wrong. It’s fraudulent and cruel and unacceptable. And it permeates the academy.

      This does not even count 10 or so phone or Skype interviews I had and despite qualitatively and quantitatively superior experience, training, and publications over the eventual winning candidate, often or usually from within the same college, I didn’t even make the cut to the campus interview. Thank goodness.

      The realizations above took me two or three years to believe, to actually accept that people who were trying to instill ethical, honest, fair, and even-handed behavior in students could behave so counter to their (supposed) core values.

      So, my recommendation: when you dare to think about interviewing at another college or university, please (I beg you) call first (anonymously or have your significant other call), and ask if there’s an internal candidate. If so, don’t waste your time.”

      https://www.insidehighered.com/advice/2012/06/20/essay-departments-falsely-claim-be-open-non-internal-candidates

    • Giorgio Pastore says:

      MarcelloGA: non facciamo confusione tra cose diverse. Non e’ che con la bibliometria anvur scompaiano i concorsi pre-determinati e altre belle trovate che vediamo spesso in giro. E, indipendentemente dalla perfezione o meno del sistema, la valutazione automatica anvur resterebbe sempre un problema, soprattutto per gli effetti perversi, più che sulle persone, sugli stessi meccanismi della ricerca scientifica.
      Forse che il Lysenkismo era sbagliato solo perché in epoca staliniana e non perché teoria a-scientifica?
      .
      Noi abbiamo davanti un mostro valutativo (i motivi della mostruosità sono riassumibili nel perché anvur non rientra tra i membri ENQA) e invece di dirlo chiaro e forte dovremmo tenercelo per un non dimostrabile effetto sulle distorsioni concorsuali?

    • @Giuseppe De Nicolao

      All’estero, dove ci sono finanziamenti di gran lunga maggiore rispetto all’Italia, una mela marcia non fa notizia per il semplice motivo che il sistema è in grado di fornire tante altre possibilità a chi merita. In un modo o nell’altro le occasioni per continuare la propria attività si trovano. Allora mi chiedo. Se anche in Italia il finanziamento alle università ed alla ricerca avesse le stesse percentuali dei paesi più avanzati staremmo ancora qui a discuterne?

    • Giuseppe De Nicolao says:

      bella domanda

  3. roberto di lauro says:

    SI potrebbe avere il testo completo dei giudizi espressi dai tre ricercatori americani?

  4. roberto di lauro says:

    Non ho capito. Un intero articolo fondato su tre frasi cosi generiche che potrebbero riferirsi a tutt’altro.

    • Giorgio Pastore says:

      Che sia vero che le competenze di comprensione del testo sono in declino?
      .
      “Anyone who claims to have developed a methodology for evaluation of research based on a journal’s impact factor or a researcher’s number of citations, supposedly “objective” and “certifiable” criteria, has an invalid concept of how science really works and what impact one’s research actually has on the field”
      .
      Mi sembra difficile considerarla una frase generica e che non calzi a pennello con le metodologie di valutazione anvur. Soprattutto, una frase che mostra quanto il sistema è lontano da standard internazionali. Mi preoccuperei di questo.

  5. Ditelo al Ministro.
    Se rimane tra noi non serve a nulla giacché l’incubo bibliometrico è già tristemente noto.

  6. Guido Abbattista says:

    “metodo di reclutamento e di valutazione della ricerca basato su qualità, etica e responsabilità”: ma bisogna guardare in periferia, più che all’ASN. Qualcuno vede cosa succede nei dipartimenti? Là dove le progressioni (o anche i concorsi aperti) sono affidate a logiche di schieramento interno, e c’è da temere che questa sia la situazione predominante, le conseguenze sono catastrofiche, senza tutela e senza garanzia. Questo è reclutamento basato su conformismo e acquiescenza, altroché. Etica e responsabilità: parole vuote, buone per filosofanti che si parlano addosso. La bibliometria o comunque la valutazione così come si praticano oggi sono l’aspetto meno grave dell’irresponsabilità diffusa, che della valutazione se ne infischia e l’aggira disinvoltamente. Buona o cattiva che sia, non conta. O meglio: se torna comoda la si usa per mostrare quanto si è in linea, se non torna comoda si trova il modo di aggiustarla e depotenziarla. Responsabilità, sì, ma nei dipartimenti e nei CdA. Non c’è niente da fare, qualsiasi “battaglia” per la qualità e il merito è persa – valutazione o non valutazione – quando mancano la responsabilità, l’onestà, la trasparenza.

  7. Appunto. Tutti si sono fissati sulle valutazioni che, intendiamoci, fanno schifo ma si ignora la vera questione importante: come evitare che gli illeciti vengano attuati? Questo è il cancro del paese, il tacito consenso sulla mancanza di conseguenze, almeno disciplinari e magari civili e penali, per chi compie atti illegali. È un paese corrotto e l’università ne è piena espressione, piena di lecchini e portaborse, figli e figliocci, parentado vario e amanti.

    • Giuseppe De Nicolao says:

      Con la logica di Orwell, dovremmo vivere in uno stato di polizia in cui i diritti civili sono sospesi per dare risposta alla “vera questione importante: come evitare che gli illeciti vengano attuati?”. In ogni caso, a costo di annoiare i lettori abituali ripeto la domanda che da anni pongo a chi dipinge l’università italiana come la quintessenza della corruzione. Domanda alla quale non è ancora seguita una risposta plausibile. Se l’università italiana è “piena di lecchini e portaborse, figli e figliocci, parentado vario e amanti” come si spiegano questi risultati?


  8. Salvatore Valiante says:

    Il testo decontestualizzato effettivamente potrebbe portare a molteplici interpretazioni semantiche.

    Per facilitarne la comprensione si riporta il testo originale completo dell’intervento di Daniel L. Hartl, professore emerito all’Harvard University:

    16 Ways To Cook Eggs

    “Loaded with proteins, vitamins, and minerals, eggs are a healthy and affordable choice when it comes to breakfast—or any meal, for that matter! Don’t fall into a rut with your standard scramble: Here’s how to make soft-boiled eggs, poached eggs, deviled eggs, and more. Time to get crackin’ but be careful: anyone who claims to have developed a methodology for evaluation of research based on a journal’s impact factor or a researcher’s number of citations, supposedly “objective” and “certifiable” criteria, has an invalid concept of how science really works and what impact one’s research actually has on the field”

    Adesso il significato delle frasi, riportate incautamente da Patrizio Dimitri senza contesto, appare molto più chiaro ed inequivocabile non lasciando spazio ad interpretazioni fantasiose.

    Cuocere uova è un’arte.

    • roberto di lauro says:

      Bene. Quindi il commento non era specifico della metodologia ANVUR come il testo poteva far intendere. Mi domando quale sia il contesto delle altre due. Che la bibliometria da sola non sia sufficiente a valutare la produzione scientifica di un singolo individuo e’ abbastanza assodato e non dovrebbe essere necessario scomodare grandi scienziati. Credo pero’ che la blibliometria possa aiutare una valutazione ,se seguita da una analisi che entri nel merito di quanto pubblicato.

    • Alberto Baccini says:

      Attendiamo con ansia le prossime contestualizzazioni di Salvatore Valiante.

  9. roberto di lauro says:

    Contestualizzazioni o ricette? Scherzare si può, citare le fonti correttamente si dovrebbe.

    • Giuseppe De Nicolao says:

      In molti stavamo domandandoci quanto tempo occorresse a di lauro per accorgersi che era uno scherzo. Ci è voluta una mezz’ora ma ce l’ha fatta.

  10. roberto di lauro says:

    Ci sono caduto. La fretta fa brutti scherzi. Ma le fonti delle citazioni?

    • Caro Di Lauro, due anni fa ho “scomodato”, come tu dici con magistrale ironia, i tre scienziati, come altri hanno scomodato i Premi Nobel della Fisica che recentemente hanno scritto alla Fedeli, per intervenire sull’utilizzo rigido, indiscriminato e direi anche persecutorio che l’ANVUR fa della bibliometria in questo paese.

      Se sei il genetista dell’Università Federico II di Napoli, dovresti conoscermi e trovo poco corretto il tuo tentativo di screditarmi, insinuando che io abbia riportato commenti estrapolati, manipolati o addirittura inventati…

      Per la tua tranquillità, ti faccio notare che le fonti sono state citate correttamente. Le dichiarazioni che ho ricevuto non sono state estrapolate da un discorso più ampio, ma sono ESATTAMENTE quelle dei tre famosi biologi e genetisti dell’Accademia dele Scienze USA che esprimono il loro sconforto sul metodo bibliometrico applicato dall’ANVUR e non solo in generale sulla bibliometria. Se hai letto l’articolo con una minima attenzione e non in fretta, come hai fatto per il commento di Salvatore Valiante, non ci dovrebbero essere dubbi.
      Se vuoi posso inviarti le loro mail originali, ma potrei aver manipolato anche quelle.

  11. roberto di lauro says:

    ROARS non cita le fonti. Non e’ solo la Madia

  12. roberto di lauro says:

    Pure Sylos Labini ci mette un po’ di tempo ad elaborare una risposta! Scherzi a parte, ho chiesto le fonti per capire se i commenti dei tre scienziati inseriti nell’articolo di Patrizio Dimitri fossero considerazioni generiche sull’uso della bibliometria o specifici commenti su ANVUR.

    • Certo che siamo ben rappresentati all’Ambasciata Italiana di Londra: grazie alla lungimiranza dei nostri politici che nominano a incarichi di responsabilità come l’addetto scientifico dell’ambasciata di Londra la creme dell’accademia italiana

  13. roberto di lauro says:

    Caro Patrizio, ci siamo conosciuti con Maurizio Gatti ai tempi della mia presidenza della SIBBM e della FISV. Forse ricordi che sono sempre stato un appassionato sostenitore della valutazione e della introduzione in Italia della Peer-review, che ancora stenta (ad esser generosi). Mi dispiace che tu abbia preso il mio intervento come un attacco personale. Lungi da me. Volevo capire se quegli interventi riportati nel tuo articolo erano valutazioni (condivisibili, ma generiche) sull’uso rigido della bibliometria o una specifica critica all’ANVUR. Mi hai risposto e quindi prendo atto che studiosi che vengono da un sistema dove la valutazione, rigorosa o addirittura feroce, (sopratutto ex-ante), impera attaccano l’unico sistema di valutazione che abbiamo in Italia. Il discorso e’ molto lungo e non voglio abusare dell’ospitalità di ROARS. Per ora voglio soltanto dire che condivido la critica al sistema delle mediane se diventa un sistema rigido, ma le trovo utili come indicazioni per le commissioni. Ho fatto parte di una commissione ASN ed abbiamo abilitato come ordinari docenti che avevano una sola mediana ed non abbiamo abilitato altri che ne avevano 3, perche’ siamo entrati nel merito della produzione scientifica. Sono state eccezioni, ma rivendico il diritto della commissione di fare motivandole. Pero’ le indicazioni ci sono state di grande aiuto per velocizzare i lavori a fronte delle molte domande. Come implicitamente suggerivo in un articolo su ilSole, parlando del sistema britannico, (https://goo.gl/gvaRAe) il vero superamento di queste rigidità sarebbe la totale autonomia degli atenei nelle assunzioni a patto ci avere un rigoroso controllo nell’assegnazione dei fondi a valle. Il parere di autorevoli colleghi stranieri dovrebbe aiutarci a spingere per una radicale riforma del nostro sistema ricerca che pero’ non può’ esimersi dall’essere “accountable” visto che usa risorse dei contribuenti. Scusa le lungaggini e scusami per averti dato l’impressione di volerti attaccare personalmente. Trovi facilmente i miei contatti sul sito dell’Ambasciata d’Italia a Londra.

    • Giuseppe De Nicolao says:

      roberto di lauro: “abbiamo abilitato come ordinari docenti che avevano una sola mediana ed non abbiamo abilitato altri che ne avevano 3, perche’ siamo entrati nel merito della produzione scientifica. Sono state eccezioni, ma rivendico il diritto della commissione di fare motivandole. ”
      ________________
      Osservo che nell’ASN 2.0 queste eccezioni non sono più possibili: è entrato in vigore un criterio di esclusione su base bibliometrica che opera in modo del tutto automatico. È questo il sistema con cui dobbiamo attualmente fare i conti, ancora peggiore di quello usato nella VQR 1.0 che almeno consentiva delle deroghe. A fronte dell’eliminazine di quell’ultimo residuo di elasticità, lo stesso di lauro dovrebbe convenire che siamo precipitati in un sistema contrario a tutte le indicazioni internazionali sull’uso assennato della bibliometria.

    • Caro Roberto, sinceramente quel tuo rimarcare le fonti mi era sembrato un voler gettare qualche dubbio sulla veridicità dei pareri da me riportati…ma ora ci siamo chiariti…
      Nella ASN 1.0 c’era in effetti quella elasticità di cui parli, anche se poi ogni commissione si è comportata diversamente….alcune abilitavano solo chi aveva le tre mediane, mentre altre erano più attente come nel tuo caso e consideravano anche aspetti qualitativi, ma questa eterogeneità di comportamento tra commissioni ha poi creato anche molte proteste e ricorsi….
      Nella ASN 2.0, come ha scritto anche Giuseppe De Nicolao, c’è invece un evidente sbarramento, se non possiedi due valori soglia su tre non puoi proprio accedere alla seconda fase, quella della valutazione da parte della commissione. Nella seconda fase c’è una verifica dell’indipendenza e del valore del candidato ecc ecc, ma a quel punto tutto dipende dai pareri dei commissari ed è più o meno paragonabile ai famigerati vecchi concorsi…e come abbiamo visto non è esente da inciuci e manipolazioni…vedi i casi di Firenze…

      Più in generale, mi chiedo se abbia senso mettere in moto tutto questo sistema anche costoso, per poi abilitare migliaia di candidati che non potranno mai essere assunti…..

      Come tu scrivi, “ la totale autonomia degli atenei nelle assunzioni a patto ci avere un rigoroso controllo nell’assegnazione dei fondi a valle” può andar bene, ma associata ad una seria valutazione ex-post fatta da commissioni esterne agli atenei e non bibliometrica…

      Un conseguenza seria è che le “mediane” o “valori soglia”, nel mondo accademico sono da molti considerati i requisiti minimi per accedere all’Olimpo dell’eccellenza! Anche per l’accreditamento dei dottorati di ricerca i docenti della scuola di dottorato sono soggetti alla bibliometria…i ricercatori devono avere i valori soglia da associati, gli associati quelli da ordinari e gli ordinari da commissari e i commissari da…no… scusa si finisce qui….
      Alla Sapienza l’h-index viene usato anche per selezionare i progetti di ricerca di Ateneo, adesso sembra che i valori soglia saranno utilizzati anche per assegnare gli incentivi…..insomma, nel nostro paese ormai la rigida bibliometria anvuriana è diventata un potente strumento usato ad ampio raggio… e a mio parere impropriamente…
      Non parliamo poi dalla VQR, dove alla stessa classe A appartengono riviste come “Journal of Pizza e Fichi” e “Science”…dove un articolo pubblicato su una rivista che afferisce a diverse “subject category” può ottenere valutazioni molto diverse a seconda della subject categry che si seleziona…….dove negli Atenei si utilizzano ulteriori normalizzazioni che appiattiscono o addirittura invertono i valori in campo. E si potrebbe continuare…

      Insomma le aberrazioni generate dalla rigida bibliometria anvuriana in ASN e VQR sono tante e tali che sarebbe ora di far esplodere il bubbone, ovvero di mandare a casa l’ANVUR e ripensare a tutto il sistema.

  14. Vorrei proporre una idea per poter avere un minimo di controllo sulle cose orribili che fa anvur. Occorrerebbe che tutti (dico tutti) i dipartimenti di un certo settore (tipo Fisica, Matematica etc) si riunissero e decidessero delle regole per le valutazioni sia a livello di VQR sia di abilitazioni. Queste regole il ministro dovrebbe adottare e imporre all’anvur e non il contrario. Penso che i dipartimenti esprimano piu’ competenze e di livello internazionale che non l’anvur che e’ chiaramente fatto da personaggi politici. Io ho provato a mandare suggerimenti al rappresentante del mio settore all’anvur basate sulla mia esperienza di 11 anni all’estero e 27 in italia, ma neanche si e’ sognato di rispondere.

  15. roberto di lauro says:

    Giuseppe De Nicolao, l’ho già’ detto” condivido la critica al sistema delle mediane se diventa un sistema rigido, ma le trovo utili come indicazioni per le commissioni”. Non ho seguito le evoluzioni di ASN 2.0

    • Giuseppe De Nicolao says:

      Beh, adesso ASN 2.0 è il mondo in cui viviamo da più di un anno e, se si discute di usi e abusi bibliometrici in Italia, ha senso essere consapevoli delle regole attualmente in vigore.

Leave a Reply

Sostieni ROARS

Sostieni ROARS