In un intervista incrociata, pubblicata sul Corriere della Sera, il matematico Giuseppe Mingione e l’economista, membro del Consiglio Direttivo di Anvur, Daniele Checchi discutono sulla robustezza e sull’utilità della VQR.

Mingione sostiene che

«La classifica delle università italiane al top nella ricerca che è stata pubblicata qualche giorno fa dall’Anvur non riflette la vera qualità del lavoro svolto nei vari dipartimenti. I metodi adottati per stilarla premiano la mediocrità e cancellano l’eccellenza»

Per mostrare l’inconsistenza della valutazione della VQR Mingione paragona le classifiche stilate dall’ANVUR con quella del ranking di Leiden. Idea semplice ed efficace poiché il ranking di Leiden si basa solo su dati bibliometrici. Se la classifica VQR e il ranking di Leiden danno risultati molto diversi, come, in effetti, è il caso, ci deve essere una ragione. Secondo Daniele Checchi la ragione è semplice:

«Tutta la procedura di valutazione dell’Anvur è stata concepita fin dall’inizio per fornire al ministero un quadro aggiornato dei punti di forza e di debolezza degli atenei (leggi: per stanare i supposti fannulloni, ndr), non per premiare le eccellenze»

Di parere del tutto diverso il presidente di Anvur Graziosi:

 

A questo punto ci sorge un dubbio. I membri del CdA Anvur parlano tra loro? Hanno una vaga idea di quello che fanno e del perché lo fanno?

Abbiamo discusso altrove il non senso di fare una valutazione massiva dell’università come è la  VQR e il suo costo. Qui vorremmo ricordare che la VQR, che secondo Checchi serve per “stanare i fannulloni” e non “per premiare l’eccellenza” , costa una cifra compresa tra i 30 e 56 milioni all’anno, cioè tra i 120 e i 240 MLN in 4 anni. Al contribuente italiano scovare un fannullone è costato tra gli 82 mila e i 136 mila, a seconda delle stime dei costi che si preferisce adottare.

 

 

Print Friendly, PDF & Email

52 Commenti

  3. La pagina del ranking di Leiden

    http://www.leidenranking.com/

    è un sogno che si avvera per chi, come me, considera i ranking universitari alla stregua del parmigiano sugli spaghetti alle vongole.
    E’ possibile modulare i ranking con un filtro al numero minimo di prodotti presentati, se gli articoli erano in collaborazione o meno, se si contano i lavori nel top 1% o 10% o 50% percentile delle citazioni, se normalizza per il numero di lavori presenti, e si può anche tener conto della percentuale di coautori, e della distanza in Km dei coautori. Ho preso ad esempio il settore delle scienze fisiche e ingegneristiche e mi sono messo a giocare con i parametri. Di sotto alcuni podi, e il ranking del mio ateneo (Federico II). Senza dover introdurre nuovi parametri, cosa sempre fattibile, il mio ateneo va dal quarto al venticinquesimo posto (su 37 in Italia).

    Divertitevi. Anche se l’aspetto drammatico è che la vita e le carriere della gente dipendono da ranking simili (e peggiori).

    1 Sapienza
    2 Poli Mi
    3 Bologna
    6 Napoli F2

    1 Napoli Seconda U
    2 Bari
    3 L’Aquila
    17 Napoli F2

    1 Sapienza
    2 Bologna
    3 Padova
    4 Napoli F2

    1 Sapienza
    2 Poli Mi
    3 Padova
    6 Napoli F2

    1 Firenze
    2 Siena
    3 Verona
    20 Napoli F2

    1 Poli MI
    2 Sapienza
    3 Bologna
    6 Napoli F2

    1 Napoli Seconda Univ
    2 Trento
    3 Perugia
    19 Napoli F2

    1 Trieste
    2 Siena
    3 Verona
    20 Napoli F2

    1 Poli Mi
    2 Sapienza
    3 Bologna
    6 Napoli F2

    1 Perugia
    2 Udine
    3 Poli Mi
    22 Napoli F2

    1 Siena
    2 Udine
    3 Trieste
    21 Napoli F2

    1 Trieste
    2 Bari
    3 Ferrara
    20 Napoli F2

    1 Sapienza
    2 Padova
    3 Bologna
    5 Napoli F2

    1 Trieste
    2 Bari
    3 Udine
    25 Napoli F2

    • Fedele Lizzi, il ranking di Leiden permette di fare analisi sulla banca dati Web Of Science, dipende poi da quello che uno decide di ritenere significativo. Se si vuole analizzare la fascia più alta dei lavori, si prende il primo 1%, altrimenti il primo 10% e si va a scendere. Ovviamente, più si scende, più le medie si normalizzano e le dove tagliate, quindi, nessuna scoperta sorprendente nella tua osservazione.

      Tenendo conto del fatto che truccare le citazioni per far entrare un lavoro nel primo 50% è abbastanza facile, ma truccarle per farlo entrare nel primo 1% è quasi impossibile, prendere una classifica che tenga conto del primo 1% è significativo e rende il risultato abbastanza solido. Inoltre, nella fascia del primo 1%, la correlazione tra citazioni e qualità è molto molto alta.

      Capisco sia diffusa in certe parti dell’accademia una volontà di non fare mai paragoni, ma certi paragoni si possono fare. Specialmente se poi si vogliono enfatizzare le pecche di una cosa come la VQR, che a questo punto non serve proprio a nulla.

    • Dimenticavo, quando si usa il ranking di Leiden bisogna però ricordarsi di usare la versione rinormalizzata alla grandezza dell’ateneo, se no al primo posto ci vengono sempre i più grandi.

    • Caro Giuseppe, sono completamente d’accordo con te, solo il primo percentile cattura l’eccellenza che va premiata e sostenuta.
      oppure
      Caro Giuseppe, sono in totale disaccordo, anche se il 50% percentile, o mediana, può prestarsi a valutazione drogate, una valutazione equa che voglia rifuggire dal seguire le mode, deve valutare in maniera uniforme tutti i lavori che hanno avuto una eco nella comunità.
      oppure
      Caro Giuseppe,
      sono parzialmente d’accordo con te. Secondo me il 10% superiore non si presta all’uso di citazione farlocche, ma mantiene una platea sufficientemente ampia da non restringersi alle cordate di successo dei settori.
      oppure
      Caro Giuseppe,
      il miglior percentile è il 38.19%, che come avrai immediatamente riconosciuto è uno meno il reciproco della sezione aurea. Solo questo numero potrà raccogliere gli articoli davvero belli, e premiare gli atenei in base a un criterio estetico oggettivo

    • Ma Infatti Francesco, il mio fine era osservare come, scegliendo il parametro del primo 1% (o del primo 10%) che mi pare rilevante per la qualità, escono risultati completamente diversi rispetto alla VQR. Il fatto è che ci sono persone che rifiutano la bibliometria anche quando un suo uso appare ragionevole. Rifiutata la bibliometria si passerà a rifiutare ogni considerazione di merito in generale. D’altra parte, si sono persone che scrivono che “la qualità della ricerca non esiste di per sé”.

    • @ Giuseppe Mingione

      L’ equivoco del “rifiuto della bibliometria” va chiarito perché è troppo facile bollare le critiche della stessa, o la segnalazione delle arbitrarietà sottostanti, come rifiuto tout court di qualsiasi scala di valori.
      .
      Di fatto tu stesso in altre risposte sottolinei che la bibliometria va usata *insieme* ad altri indicatori.
      .
      Io sono più duro: la bibliometria NON va usata se non ci sono gli altri indicatori e se non si esplicita la metrica che si vuole usare per una valutazione quantitativa. Metrica che non dovrebbe essere imposta dall’ alto ma risultare da una negoziazione tra interessi interni ed esterni ad una data comunità scientifica.
      .
      E’ cosa molto diversa dai “ranking” imperversanti sui quotidiani o nella fervida fantasia del direttivo anvur. Ma anche di buona parte dei colleghi dei settori “bibliometrici” (che brutto termine!!!) che spesso e volentieri si fanno prendere da ansia da “dimensioni”.
      .
      Purtroppo in queste discussioni si tocca appena il cuore della questione, restando su livelli del tipo “autore singolo vs autori multipli” o “con o senza autocitazioni”.
      .
      “la bibliometria misura sempre qualcosa”. Vero. Ma nessuno dei miei colleghi fisici userebbe mai il valore di una misura senza sapere i) cosa viene misurato, ii) in che condizioni, iii) con che apparato, iv) con che unità di misura,v) con che barra d’errore, vi) come la misura dipende dalla taglia del sistema che viene misurato,…
      .
      Quindi non vale la difesa della bibliometria come “bene a prescindere, in attesa del meglio”. O si sa cosa si sta misurando e perché o meglio non tentare assurdità classificatorie come quelle su cui si e’ basata l’ ultima VQR.
      .
      E’ necessaria la bibliometria per dare un giudizio di qualità sulla ricerca che ha condotto alla dimostrazione dell’ ultimo teorema di Fermat o ci si può arrivare anche senza bibliometria ?
      .
      E soprattutto, quanto e come tutto ciò sta impattando sulla libertà di ricerca in modo subdolamente non esplicito ?
      .
      Sono interrogativi complessi per i quali non credo esistano risposte semplici. Anche se ignorali sarà comunque una risposta. Ma forse non la migliore.

  4. Mi ricordo che tempo fa si ironizzava su queste pagine in risposta a chi (non mi ricordo chi) diceva che finalmente si era trovato un modo per far emergere la fannullaggine, vera piaga dell’università italiana.
    La risposta era stata: “Allora la VQR sarebbe lo scovafannulloni più costoso della storia!”
    Ironica.

  5. Avevo letto l’articolo citato

    http://www.corriere.it/scuola/universita/17_febbraio_24/classifica-anvur-qualita-ricerca-premia-mediocri-penalizza-eccellenti-7275c7a0-fa8b-11e6-8a8e-992138e983bf.shtml

    a suo tempo, dunque un mese fa. Mi sono meravigliata della meraviglia e dell’indignazione, dopo tutte le analisi svolte qui su Roars e le loro discussioni (tipo che Graziosi o chi altro aveva dichiarato molto prima della comunicazione ufficiale dei dati che i due estremi valutativi si sarebbero avvicinati; il perché ce l’hanno spiegato ma qualche rettore ancora non l’ha capito e si rallegrava dei risultati migliori della prima volta – Mingione lamenta l’opposto).

    Tanto più che c’era un articolo di un anno fa

    http://www.corriere.it/scuola/universita/16_febbraio_01/protesta-matematico-genio-mingione-vqr-valutazione-ricerca-soldi-fondi-7aea665c-c8c8-11e5-8532-9fbac1d67c73.shtml

    dove Mingione già dichiarava di astenersi dalla Vqr. Se roba razionalmente inconsistente era allora, superfuffa sarebbe stata anche un anno più tardi. Sostenuta però da tonnellate di documenti (in rete), probabilmente più della prima volta, per la lettura e comprensione dei quali servono legioni di addetti. Lamentarsi oramai serve a poco, il sistema va rifondato di sana pianta e gli attuali responsabili sostituiti.

  6. Il fatto è che la VQR poggia quasi interamente sul concetto di ‘citazione’ come misura del merito. Allora, credo di non dire cose nuove dicendo che
    innanzitutto il concetto di ‘citare un articolo’ non coincide affatto col concetto di ‘leggere l’articolo’, e se vogliamo che le due cose si assomiglino almeno un po’, dovremmo perlomeno eliminare le auto-citazioni (è ovvio che un articolo ha avuto come lettori almeno coloro che lo hanno scritto…).
    Poi: un articolo può essere citato anche senza essere letto, può essere messo in bibliografia perché (sbizzarriamoci): 1) un revisore ha chiesto di inserirlo 2) l’editore ha chiesto di inserirlo 3) fa parte di un gruppo di citazioni (del tipo ” in [5]–[10] bla bla’) che viene ricopiato interamente da un altro articolo, ecc ecc (sbizzarritevi). Ma poi, anche se viene letto,
    dire che è stato citato non porta con se alcuna informazione sul perché è stato citato. E’ stato citato perché è uno dei tanti articoli che mostrano che c’è gente che ha lavorato (senza che sia chiaro il suo contributo) sul tema dell’articolo citante? Oppure è citato perché E’ LA BASE di ciò che viene scritto nell’articolo? E comunque, anche se è la base di ciò che viene scritto nell’articolo, se questo articolo parla di fuffa, certo non è abilitato a valorizzare l’articolo citato come sua ‘base’. La citazione del proprio cognome nel titolo di un articolo direi che è una signora citazione, ma è considerata zero. E perché? Avere 100 citazioni negli ultimi due anni è più meritorio che averne 0 negli ultimi due anni, e averne 100 fra due anni?

    Ma la VQR serve a stanare i fannulloni. Ma se ci riuscisse allora non servirebbero nemmeno i concorsi per la progressione di carriera: basterebbe usare la VQR per assegnare premi di produzione e viceversa per licenziare i non sufficientemente produttivi. E poi non serve affatto a questo: a seconda dei risultati vengono attribuite risorse. Ma se una università è andata male alla VQR, tagliargli le risorse è esattamente l’opposto di quello che servirebbe… Al limite la si potrebbe chiudere. Ma la punizione su chi ricadrebbe? Sugli abitanti locali che non hanno più una università (e che non hanno colpa se la VQR è andata male..)

    Appare evidente che il tema è di non facile soluzione, e che le scorciatoie tipo VQR non rappresentano un ‘qualcosa invece che il nulla’.

    • “è ovvio che un articolo ha avuto come lettori almeno coloro che lo hanno scritto…”
      ___________________
      Di questi tempi non ci giurerei che sia così ovvio ;-)

    • Infatti, non a caso ho ristretto la mia analisi al primo 1% degli articoli più citati tra le varie scelte possibili con Leiden. In quel caso la correlazione con la qualità diventa molto alta. E’ vero, alcuni articoli vengono citati senza essere letti, ma quasi sempre perché contengono risultati molto famosi e importanti. Esempio, l’articolo fondamentale in cui si dimostra l’Ultimo Teorema di Fermat. SI tratta di crica 300 pagine tecniche. Citato migliaia di volte. In quanti lo hanno letto? Pochissimi. Ma viene citato perché il risultato è estremamente importante. Questo schema è un altro di quei casi in cui la bibliometria funziona.

    • E’ un caso (forse sconosciuto a Marinella che è di un altro settore) in cui non è importante che un articolo sia letto affinché sia di per sé importante. La lettura non implica il valore.
      Ma, giustamente, in questo caso la citazione, pur non significando ‘lettura’, PUO’ essere comunque rivelatrice del valore. Ma resta una misura grossolana: una cosa è ‘citare’ il teorema di Fermat in una frase del tipo ‘tanti risultati restano indimostrati per tanto tempo, per esempio [cit]’
      ben altra è una citazione così: ‘e quindi da [cit] segue il risultato principale dell’articolo’.

    • Si tratta di un malinteso Francesco1. I lavori molto citati sono tali anche perché generano, per impatto culturale, altra ricerca e letteratura. Il che può essere anche una cosa molto indiretta e non diretta. Le citazioni misurano anche quello. Io penso che le citazioni vadano usate insieme ad altri parametri, perché misurano sempre qualcosa.

  8. d’altronde, c’è anche il rovescio della medaglia.
    In settori in cui molto è lasciato alla peer review, il giudizio è determinato dalla faida (non sei di questa cordata? La tua monografia si piglia zero). Non parlo per sentito dire.
    Naturalmente anche questa è una conseguenza dell’idea di valutare la ricerca per assegnare premi di produzione… voglio dire, è in sostanza (la faida) la stessa logica che governava i PRIN

  9. @ Giuseppe Mingione Lo leggono in pochi perché pochi sono in grado di leggerlo. Chi è stato in grado di leggerlo lo ha letto, altrimenti Annals non lo avrebbe pubblicato. Comunque quello è un caso a parte. Un lavoro deve essere citato solo se è stato letto. Della bibliometria si può dire ciò che Fantozzi disse della Corazzata Potemkin.

  10. Uno dei motivi per cui la valutazione bibliometrica non ha senso è proprio perché ci sono lavori che pochissimi sono in grado di capire. La proof del teorema di Wiles, 200 pagine di “una certa complessità”, unite alle 20 di Wiles con Taylor, fu riconosciuta valida dalla comunità dei matematici solo dopo 3 anni dalla pubblicazione. Peraltro la versione originale conteneva un bachetto che mi pare fu notato da pochissimi, tra cui D. Kazhdan.

    • Naturalmente, se non esistessero i settori disciplinari ad attenuare questo effetto (cioè che in un settore ci sono poche citazioni perché c’è poca gente che ci lavora e c’è poca gente che ci lavora perché è un settore troppo difficile) ebbene il criterio ‘citazionista’ sarebbe semplicemente osceno. Comunque qui in Italia non ci facciamo mancare nulla: al CNR ad esempio si fanno concorsi basati sulla bibliometria e che mescolano settori diversi.

  11. Un fatto “osceno” è che all’interno di uno stesso settore, direi addirittura dello stesso argomento, si può spaziare da lavori del tutto insignificanti ma, per vari motivi, popolari e molto citati, ad altri molto più profondi ma incomprensibili ai più, compreso, ovviamente, il generico valutatore vqr di turno.

    • ..SI figuri allora comparare dei matematici con dei fisici sperimentali, tramite…il numero (puro e crudo) di pubblicazioni e citazioni. Non c’è limite all’oscenità, e si trova sempre qualcuno disposto a compiere atti osceni, anche non pagandolo.

      Comunque sono d’accordo: anche nei settori esistenti e più o meno ben delineati, i lavori insignificanti possono essere molto citati semplicemente perché, essendo più facili, i ‘peones’ si buttano lì (e poi si citano a vicenda). Lavori difficili (a meno che non siano già arrivati al punto da rivelarsi la chiave per la soluzione dei problemi applicativi, ma l’autore potrebbe nel frattempo essere morto di vecchiaia..) proprio per questo i ‘peones’ non li leggono (spesso non ne sono nemmeno capaci)
      e non li citano (a meno che non siano arrivati al punto di cui sopra). Facile prevedere cosa succede poi nel futuro: molti ‘peones’ diventano ben presto full-professors, e la successiva generazione come sarà? Se (l’ormai ex) peone (adesso full-prof.)
      si ritrova davanti uno studente bravo (più di lui), come agirà l’inevitabile narcisismo umano quando dovrà scegliere se mandarlo avanti oppure no? Probabilmente manderà avanti al posto dello studente bravo uno studente ‘peone’ come (e possibilmente più) di come lo è stato lui…

  12. Mi pare che Mingione in sostanza sostenga che valutare 2 lavori non basta, perché chi ne ha molti di più è penalizzato. La cosa non fa una grinza, per chi sostenga che la ‘qualità’ è correlata al numero di lavori. Ma è proprio questo il punto ‘cruciale’, che mi pare sia facilmente smentibile e sia stato scientificamente smentito da molti.
    Un criterio che ‘stani i fannulloni’ parrebbe saggio, perché, al di là della qualità dei docenti si dovrebbe in primis pretendere che almeno non siano fannulloni. Ma se il fannullone è quello che non fa pubblicazioni, magari si sbaglia, perché, magari, fa altre cose, che, magari, sono utili almeno se non più delle pubblicazioni. Quindi la faccenda non è banale. In ogni caso, quello che non si può accettare, è che i criteri siano esclusivamente basati sulle pubblicazioni, perché altrimenti si alimenta inevitabilmente la già ipertrofica mania pubblicatoria. Io stesso, negli ultimi anni, ho pubblicato un sacco (per me) di lavori. Non vado orgoglioso di averlo fatto, tantomeno vado orgoglioso dei lavori che ho fatto. Ma, si sa, bisogna pur campare ed in questo non sono diverso dagli altri. Forse Mingione non si rende conto che l’infinita varietà del caos consente a lui (che di caos si occupa) di pubblicare una quasi infinita quantità di lavori. Perlomeno non se ne glori!

    • Non faccio mai paragoni, fondamentalmente perché non sono geloso. In genere mi sforzo di esprimere una opinione che vale quel che vale per ognuno. A proposito di opinioni, per quanto ho capito, forse poco o niente, la Sua attività mi è parsa riconducibile per i profani al caos. Del resto, anche Lei modula il linguaggio a seconda dell’interlocutore: al Corriere dice che vuole che gli contino tutte le Sue innumerevoli pubblicazioni, qui discetta sull’ 1 percentile del ranking di Leiden, tutta roba che mi guardo bene dal capire, perché so di non essere in grado di farlo.

  13. Il punto focale per me non è come fare lo “scoring” degli articoli “top”, è che si continua considerare fannullone chi non pubblica almeno due articoli su “international journal” indicizzati Scopus nel periodo di valutazione.
    Se in alcuni settori scientifici effettivamente chi non fa ciò è veramente un fannullone (o magari uno che si impegna tanto, ma in attività organizzative e non scientifiche), in altri settori questo criterio appare del tutto arbitrario.
    In alcune discipline di frontiera, collocate a cavallo fra arte, tecnologia, spettacolo e intrattenimento, una pubblicazione su un “journal” indicizzato appare come una misura ben scarsa dell’effettivo apporto innovativo, che si misura in altro modo: software, produzione di filmati, musica, eventi spettacolari, realtà virtuale, etc..
    Il mondo della comunicazione sta cambiando velocemente: un “testo scritto” privo di suoni, immagini in movimento, esperienze polisensoriali ed immersive, anche interattive, nel mio settore scientifico è di fatto un dinosauro.
    Ma come applicare la bibliometria alla produzione di software o di documenti multimediali?
    Si continuano ad usare metriche che forse erano valide nel secolo scorso anche in settori in cui la ricerca ha ormai condannato nel dimenticatoio il vecchio articolo fatto solo di testo, formule e figure…
    Già solo il concetto di una “rivista” magari cartacea: una roba del passato!
    Io tendo sempre a parlare solo per la mia esperienza, e non giudicare o valutare quella altrui.
    Nel mio lavoro scientifico, la validità di metodi ed algoritmi che sviluppo può essere giudicata solo ASCOLTANDO come suonano, non leggendo un testo in cui si racconta a parole una esperienza che può essere verificata solo mediante l’uso di un canale sensoriale, l’udito, che non viene utilizzato nella lettura di un tradizionale articolo scientifico.
    Il mondo sta cambiando, anzi, è già cambiato. Bisognerebbe solo rendercene conto…

    • Altro esempio estremo di una regola del tutto ovvia e generale: la valutazione della ricerca è esercizio assai complesso, ridurla a numeretti è offensivamente demenziale, se in più questi numeri hanno la stessa valenza dei numeri della tombola, vuol dire che siamo alla pura follia. Questo non implica che il numero e la QUALITA’ delle citazioni non siano informazioni da tenere (comunque debolmente) presenti, ma l’analisi va opportunamente contestualizzata. La qualità di un lavoro richiede capacità e competenze specifiche talvolta assai elevate. Ci sono giovani eccellenti che passano inosservati perché poco citati e quindi, se vogliono sopravvivere, devono attaccarsi al carro giusto e rincorrere il main stream, perdendo in fantasia, indipendenza … e il gusto di far ricerca. Questo è ciò che si respira grazie all’ASN, VQR e parentele varie. Non si rendono conto (o forse sì) che il danno procurato è enorme, dando corda a furbastri vari che, neppure troppo piano, occupano tutti i pochi spazi rimasti. Si tratta di una sistematica distruzione di un bagaglio culturale e scientifico di cui l’Italia poteva vantarsi… poteva.

    • Grazie Angelo, un contributo interessante e da meditare. Ti faccio comunque osservare che, nell’immutabile mondo della matematica, le formule sono sempre quelle scritte. Poi, grazie anche a quelle formule, si fanno le cose molto belle e di frontiera che fai tu.

    • Si il mondo cambia sempre, anzi direi che è piuttosto immutabile e noioso in questa sua caratteristica di cambiare sempre, nessuno lo mette in discussione. Il problema è: che significa concretamente ‘rendersene conto’? Che bisogna fare per ‘rendersene conto’? Mi rendo conto che nel campo dell’acustica siano importanti i suoni (quasi tautologico) e che la possibilità di inserire facilmente suoni nei testi sia una innovazione notevole (per voi). Ma in che modo tutto questo può venire in aiuto per la determinazione di un criterio di valutazione veritiero?

  15. So bene che la rivoluzione tecnologico-informatico-multimediale sviluppatasi negli ultimi 30 anni, ed in continua accelerazione, ha reso problematico mantenere immutati i criteri di valutazione obiettiva dell’impatto sulla comunita’ scientifica della ricerca sviluppata da un centro o da un singolo ricercatore.
    Se per alcune discipline l’impatto e’ stato sinora modesto, ed un buon articolo su rivista rimane un risultato importante e verificabile, sono nate dal nulla discipline in cui semplicemente non ci sono neppure le riviste scientifiche…
    Lungi da me fare gerarchie fra discipline diverse, o considerare per forza il nuovo migliore del vecchio…
    Osservo solo come in un crescente numero di settori, e dunque per un crescente numero di ricercatori, occorrera’ trovare nuove metriche di valutazione dell’impatto e del valore del loro lavoro.
    E guardate che alcune di queste nuove branche del sapere sono proprio legate ai processi di valutazione della qualita’, soprattutto quando si parla di valutare la qualita’ di prodotti abbastanza immateriali, come i video, i suoni, gli ipertesti, i videogiochi, etc…
    Chi produce in massa questi contenuti, ad esempio qui in Italia aziende come la RAI, si pone il problema di valutare la qualita’, misurarla, assegnare premi e punizioni in base ad essa, e dunque nasce il problema scientifico di misurare la qualita’ di una trasmissione audio o video.
    Problema che la stessa RAI ha appena affidato alla nostra Universita’. Non abbiamo ancora le risposte, ci lavoreremo, e penso che sia possibile arrivare a standard internazionali sulla valutazione della qualita’ e dell’impatto di pubblicazioni scientifiche realizzate sotto forma di video e di audio. Personalmente penso che fra soli 10 anni il grosso della produzione scientifica di avanguardia, in moltissime discipline, incluse molte di quelle tradizionali, sara’ su Youtube o su Facebook, e non sulle riviste dell’Elsevier o della Academic Press.
    Li’ alcune metriche spartane ma efficaci gia’ esistono (n. di visualizzazioni su Youtube, n. di “mi piace” su FB). Certo, mancano i peer review, per pubblicazioni scientifiche occorre qualche ulteriore step di affinamento, ma e’ chiaro che scrivere un articolo tradizionale e’ un modo del passato di trasferire la conoscenza, divulgare al mondo i risultati di un esperimento e mettere in condizione altri ricercatori di replicarlo.
    I grandi publisher di riviste scientifiche lo sanno: stanno combattendo una lotta di sopravvivenza, cercando di convincere tutti della loro utilita’ ed importanza. Ma e’ una battaglia di retroguardia, o si trasformano in portali multimediali a libero accesso o scompariranno nei prossimi 10 anni…
    La bibliometria e’ l’ultima freccia al loro arco.

    • La RAI vi ha posto un problema insolubile (in italiano si direbbe una mission impossible) perché la qualità non si misura. Il bello dei problemi insolubili, in ambito applicato, è questo: coloro che non sanno che sono insolubili, ci lavorano. Un fenomeno simile si verifica nel problema di utilizzare per fini civili l’energia da fusione: fa lavorare molte persone.

  16. PS: per Giuseppe – tu che sei un matematico, penso avrai piacere ad ascoltare come suonano una derivata o un integrale…
    Fatti un giro qui:
    http://www.angelofarina.it/Differentiation_Integration.htm
    Questo e’ un piccolissimo esempio di come si possa usare un ipertesto con suoni per spiegare ad uno studente derivate ed integrali, ma anche un esempio di quale sara’, secondo me, il futuro delle pubblicazioni scientifiche, anche per materie “dure” e tradizionali come il calcolo infinitesimale…
    Quel che servirebbe e’ un portale web su cui caricare ipertesti scientifici liberamente accessibili, con peer reviewing, possibilita’ di commentare, di dare voti sia di apprezzamento che di disprezzo, etc..
    Penso proprio che a breve li avremo!

  19. ”Tra tutte le specializzazioni di cui sono venuto a conoscenza, una che credo meriterebbe di essere più ampiamente conosciuta, perché riesce veramente a racchiudere in sé lo spirito della cultura dei nostri tempi, è la codicologia quantitativa. Anche tra gli studiosi specializzati nello studio di antichi codici si è diffusa negli ultimi decenni la tendenza ad affrontare le proprie ricerche con il supporto di metodi statistici quantitativi. Non è certo facile quantificare lo studio degli antichi manoscritti, ma alcuni ricercatori hanno avuto un’idea geniale, concentrando il proprio interesse sul settore del manoscritto che hanno identificato come il più facilmente inquadrabile in un preciso schema quantitativo, oggi ritenuto indispensabile perché un’indagine possa aspirare ad essere considerata veramente scientifica. Non è stato troppo difficile individuare tale settore nel margine bianco delle antiche pagine: basta infatti misurarne l’ampiezza per ottenerne una descrizione allo stesso tempo completa e quantitativa. Chi immaginasse che l’ampiezza del margine possa essere rilevante per individuare il copista produttore del manoscritto, o il laboratorio in cui ha lavorato, o la datazione, o qualsiasi altro elemento, sbaglierebbe: poiché i manoscritti erano spesso rifilati, l’informazione fornita dalla misura dell’ampiezza riguarda solo l’ultimo intervento. Ciò non ha impedito la nascita di una nuova disciplina, il cui oggetto è lo studio della parte non manoscritta degli antichi manoscritti.”

    La citazione è tratta da libro di Lucio Russo
    La cultura componibile: Dalla frammentazione alla disgregazione del sapere, Liguori Editore, 2008, pagine 8 e 9.

    Morale: i numeri misurano sempre qualcosa.

  20. ”L’unanime omogeneità degli specialisti e l’assenza di dibattito culturale è in stretta relazione con due meccanismi ormai considerati caratteristica irrinunciabile dell’ambiente scientifico: l’anonimità dei giudizi per l’accesso alle riviste e le valutazioni automatiche basate sul numero di citazioni ricevute. Torneremo nel prossimo paragrafo sul secondo punto. Osserviamo solo che l’anonimità dei giudizi è fondata sull’idea che tutti gli specialisti siano tra loro intercambiabili e che il giudizio su un articolo scientifico possa essere ”oggettivo”, possa cioè riflettere non l’opinione di qualcuno che ne assume la responsabilità, ma quella della comunità scientifica nel suo insieme: ciò è ovviamente vero nel caso si tratti di identificare banali errori, ma negli altri casi riflette (e contribuisce a generare) la caratteristica omogeneità dell’attuale comunità scientifica, che non è stata sempre presente nel passato né è logicamente necessaria. L’ultimo punto è reso evidente dal fatto che è capitato spesso che il giudizio unanime della comunità si sia rapidamente mutato nel giudizio opposto: per fare un solo esempio, i famosi esperimenti sulla fusione fredda di Fleischmann e Pons generarono prima una letteratura ospitata sulle principali riviste, che ne confermavano i risultati, per poi essere respinti nel campo delle ”bufale” da una comunità altrettanto unanime (con l’eccezione di piccoli gruppi che sono stati respinti nel campo degli ”alternativi”, su cui torneremo). Chi vuole intraprendere strade non ancora accettate dalla comunità, in primo luogo ha difficoltà a pubblicare, scontrandosi con un muro omogeneo e anonimo. Se anche, come supponiamo per comodità di argomentazione, riuscisse nell’intento di inaugurare una scuola di pensiero alternativa, sarebbe ovviamente poco citato, perché sarebbero ben rari i ricercatori che sceglierebbero di entrare in un gruppo minoritario, sapendo che il meccanismo quantitativo di valutazione, basato sul numero di citazioni, attribuirebbe ai loro risultati certamente un valore minimo. Il meccanismo per sua natura evidentemente si autoalimenta, generando automaticamente omogeneità. Un cambiamento di opinione è reso possibile solo da una transizione di fase che cambi contemporaneamente l’opinione di tutti gli specialisti: è ciò che avviene effettivamente con il rapido susseguirsi delle mode. Le qualità che vengono così selezionate sono la repentinità dell’informazione e la prontezza di riflessi che permettono di trovarsi sempre dalla parte maggioritaria.”

    estratto da

    Lucio Russo, La cultura componibile. Liguori Editore 2008.

    • Con le idee di Lucio Russo mi trovo spesso a disagio. E anche con quanto espreso in questa citazione. Tuttavia un punto è degno di nota: l’ accenno alle “mode scientifiche”.
      .
      E’ indubbio che anvur, con i suoi farragginosi meccanismi VQR fornisce una forte motivazione a seguire le mode. Si può discettare a lungo se qusto sia cosa buona o cattiva. Non credo sia importante. Penso che sia cosa *pessima* che un’ agenzia che dovrebbe valutare lo faccia in modo tale da indurre pesanti modifiche nel sistema che vorrebbe “misurare”. E tutto questo senza la minima discussione, ma sulla base delle idee “illuminate” di sette persone autoinvestitesi del compito di “migliorare la qualità della ricerca”. Non riesco a trovarla una cosa normale, anche se molti attorno a me si comportano come se lo fosse.

    • Il seguente articolo di Baccini, pur non rientrando nel top 1% dei più letti (gli indici webometrici, si sa …), rimane a mio modesto parere uno dei più importanti che abbiamo pubblicato. Mi sento di consigliarne la lettura a Pastore – e non solo. Credo che illumini bene il tipo di processo che è in atto:
      ______________________
      La rivoluzione dall’alto nell’università italiana
      https://www.roars.it/la-rivoluzione-dallalto-nelluniversita-italiana/

    • Io invece con le idee di Lucio Russo mi trovo parecchio d’accordo, e trovo che i suoi avvertimenti inascoltati abbiano trovato puntuale conferma a vent’anni di distanza. Che la follia bibliometrica porti a omogeneizzazione e sterilizzazione dei campi non solo meno alla moda, ma semplicemente più ristretti, credo sia evidente a tutti quelli che si ritrovano loro malgrado in questa situazione. A me questo, oltre che non normale, sembra estremamente deleterio per un orizzonte che si trovi appena oltre l’immediato dei prossimi due-tre anni, e per la scienza nel suo complesso.

Commenti più recenti »

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.