Un messaggio del Direttore del Dipartimento di Informatica, Sistemistica e Comunicazione di Milano Bicocca chiede ai colleghi di trasmettere alla direzione del Dipartimento i dati individuali VQR, per trarne indicazioni utili per le future valutazioni. Eppure, più volte ANVUR ha messo in guardia gli Atenei, spiegando chiaramente l’illegittimità dell’utilizzo dei dati della VQR per le valutazioni individuali. Contro l’andazzo che si sta verificando e che ancora una volta sarà inevitabilmente fonte di contenzioso, sarebbe bene che prendesse direttamente la parola il Ministro.

Un laconico messaggio del Direttore del Dipartimento di Informatica, Sistemistica e Comunicazione di Milano Bicocca, inviato ai colleghi, chiede loro – a quanto ci risulta – di trasmettere alla direzione del Dipartimento i dati individuali VQR, per trarne indicazioni utili per le future valutazioni. E’ solo l’ultimo di una serie di casi. La VQR sembra quasi si stia sostituendo alla valutazione interna di Ateneo, pur non essendo adatta allo scopo. A Palermo, pare, le richieste di bandi per ricercatore a tempo determinato sono valutate sulla base dello score VQR del settore all’interno del Dipartimento. Ove il settore non sia sufficientemente numeroso, si richiede di documentare le valutazioni individuali. Anche il Senato di Bologna avrebbe dato indicazione di esplorare i possibili usi dei risultati individuali per fini interni.

Eppure, più volte ANVUR ha messo in guardia gli Atenei rispetto all’utilizzo dei dati della VQR per le valutazioni individuali. Ha anche spiegato chiaramente l’illegittimità di tale utilizzo.

La tentazione deve essere davvero troppo forte: infatti abbiamo già segnalato i casi di Roma e Messina. Una tentazione irresistibile soprattutto (ma evidentemente non solo) in quegli atenei che nel corso di questi anni non hanno sviluppato un sistema interno di valutazione degno di questo nome. Le valutazioni della VQR vanno così a riempire un vuoto (procedurale e soprattutto culturale) poiché sembrano poter essere la soluzione più facile e più a portata di mano per una serie di problemi scottanti: distribuzione di fondi, borse, assegni e così via.

Come è stato più e più volte ripetuto, la VQR analizza un numero limitato di prodotti, quelli che ciascun docente, o in certi casi lo stesso Dipartimento di afferenza, ha considerato come la migliore espressione della propria produzione nell’arco temporale 2004-2010.  La scelta dei prodotti da sottoporre a valutazione è stata in parte condizionata dalla necessità di massimizzare i risultati dell’ateneo e del dipartimento di afferenza:  nel caso di più coautori i prodotti sono stati scelti non per massimizzare la valutazione individuale, ma quella di struttura.

Infatti, giova ripeterlo, sulla base delle  pubblicazioni selezionate per la VQR ANVUR traccia un quadro della produzione dei Dipartimenti. Se avesse voluto valutare i singoli individui avrebbe preso in considerazione l’intera produzione scientifica, o comunque una sua vasta parte, per un arco temporale significativo, come ad esempio è stato fatto per la ASN.  Pensare di utilizzare valutazioni che sono state fatte per uno scopo ben preciso piegandole a scopi del tutto diversi è sbagliato e costituisce un grave errore metodologico, che ancora una volta conferma l’arretratezza scientometrica del paese.

Resta a questo punto la curiosità di capire in che misura le valutazioni future potranno trarre giovamento dall’invio al Direttore di Dipartimento di valutazioni individuali all’interno di un esercizio che valuta esclusivamente le strutture. Ai destinatari della richiesta, ci permettiamo di suggerire di attenersi alle indicazioni chiaramente espresse da ANVUR in materia di utilizzazione dei dati individuali.

Infine, un’ultima considerazione: l’ANVUR ha già espresso chiaramente e in modo corretto il proprio orientamento circa l’uso da farsi dei dati individuali. A questo punto, contro l’andazzo che si sta verificando e che ancora una volta sarà inevitabilmente fonte di contenzioso, sarebbe bene che prendesse direttamente la parola il Ministro.

Send to Kindle

72 Commenti

  1. Grazie Alberto per il chiarimento… mi sembra molto sensata la tua proposta. Siamo tutti d’accordo che sia l’assessment tramite peer-review che l’assessment bibliometrico hanno dei limiti intrinsici, non facilmente superabili. Visto che in più la peer review è molto costosa, e temo che il sistema universitario italiano non possa permettersi un assessment come il REF inglese, forse val la pena di pensare ad un censimento bibliometrico su larga scala ( possiamo utiliazzare i dati inseriti in U-GOV se stiamo tutti raccogliendo in maniera omogenea queste informazioni). Naturalmente tutto a livello di strutture (Dipartimenti), non di singoli ricercatori. Sarebbe una bella base di partenza per il prossimo esercizio.

    • Persino gli universitari tendono a perdere di vista il fatto che la valutazione quantitativa di parametri relativi alla ricerca comporta da un lato problemi epistemologici (quello che viene misurato riflette in modo indiretto e talvolta ambiguo delle nozioni che a loro volta possono essere problematiche come quella di “qualità” o “eccellenza” scientifica), ma dall’altro anche problemi tecnici. Se pure facessimo finta di essere tutti d’accordo su cosa stiamo misurando, l’uso di strumenti scalibrati può rendere l’operazione poco utile per la collettività. La stessa ANVUR ammette che le metriche bibliometriche delle diverse aree CUN sono incomparabili. Ci sono ragioni per credere (in base ai dati disponibili) che siano scalibrate anche le metriche bibliometriche tra diversi SSD all’interno delle stesse aree. Il caso più clamoroso è quello dell’area 09 (Ingegneria Industriale e dell’Informazione) che ha usato una metrica bibliometrica pesantemente sfavorevole al SSD ING-INF/05 (Ingegneria Informatica): https://www.roars.it/online/vqr-tutte-le-valutazioni-sono-uguali-ma-alcune-sono-piu-uguali-delle-altre/
      Un’altra fonte di scalibrazione è il mix bibliometria-peer review. La peer-review è stata mediamente più severa e l’esito della valutazione sembra dipendere pesantemente dalla percentuale di lavori andati in peer-review.
      Queste scalibrazioni derivano da un uso amatoriale delle tecniche bibliometriche. Non che le valutazioni delle altre nazioni siano perfette, ma non siamo a conoscenza di altre agenzie che abbiano operato in modo altrettanto naive, ignorando stato dell’arte scientifico e precedenti esperienze internazionali. In Italia, la cultura bibliometrica e della valutazione è quasi assente. Questo spiega certe difese dell’ANVUR basate sull’assunto che “qualcosa bisognava pur fare” e che l’alternativa alle metodologie adottate sia negare qualsiasi ricognizione sulla produzione scientifica. Purtroppo, nell’inconsapevolezza generale sfugge che l’alternativa al decotto di ali di pipistrello non è accettare fatalmente ogni malattia, ma consultare un medico al corrente dello stato dell’arte della scienza medica.
      Indagini bibliometriche su larga scala (limitate ad aree debitamente coperte dai database) sono una delle tecniche utilizzabili (e che costano poco). L’ANVUR ha applicato questo metodo all’intera produzione nazionale nella terza parte del Rapporto Finale VQR (http://www.anvur.org/rapporto/files/VQR2004-2010_RapportoFinale_parteterza_ConfrontiInternazionali.pdf) ottenendo risultati interessanti ma sui quali sembra essere stata applicata la sordina. In attesa di scrivere un post su questi dati, mi limito ad una segnalazione che mi sembra degna di nota. Nello stesso periodo in cui un’accanita campagna di opinione preparava il terreno ai tagli Tremonti-Gelmini, la produzione scientifica italiana cresceva percentualmente più di Germania, UK, Francia, Svezia, USA:

  2. Grazie. Dai, cominciamo a pensare qualcosa di propositivo.
    Le indagini bibliometriche su larga scala possono essere un’opzione per le aree debitamente coperte dai database
    e per le aree non bibliometriche, cerchiamo di capire bene cosa fanno le altre agenzie di valutazione.
    io sono stanca delle persone che sanno dire sempre e solo di no e attaccare gli altri.

    Effettivamente, ci sono molti spunti interessanti nell’ultima parte della VQR, sul raffronto nella produttività scientifica nelle diverse aree tra Italia e altri paesi

    • Simonetta, senz’altro. Vede, già in diverse occasioni abbiamo avanzato proposte. Il punto è che troppe persone sono interessate solo alle loro abilitazioni. Altri amano il gioco molto facile di dire che non siamo propositivi, come se gli errori che abbiamo segnalato non fossero enormi. Ora le faccio io una proposta: attraverso la voce search del sito cerchi “proposte”. Con un po’ di pazienza troverà qualcosa. Confrontiamoci su quelle.
      Se si sforzerà, con altre chiavi di ricerca, troverà anche qualcosa sulle aree non bibliometriche. Dai, dai.
      Grazie.

    • Noi qualcosa di propositivo lo avevamo scritto prima che la VQR prendesse la china che ha preso.
      Se vuole leggere delle buone analisi aggregate sulla produzioine scientifica italiana aree 1-9 forse le meriterebbe non limitarsi a leggere la (modesta) appendice della VQR. Ci sono un bel po’ di riviste che pubblicano roba ben fatta in giro.

  3. Per Antonio: mi riferivo nello specifico al tono dei commenti di Francesco Sylos Labini in questa discussione…Io le vostre proposte le ho sempre lette, ma non sono mai riuscita a trasformarle in qualcosa di concreto, che rispetti la complessità della valutazione.
    Secondo me questo è il momento giusto per mettere giù dei nuovi criteri nero su bianco. Abbiamo due-tre anni davanti per testarli, facendo simulazioni che ci permettano di scoprire i loro vantaggi e i limiti che portano con sè.
    Io sono abituata così: se dovessi sostituire un test diagnostico che penso abbia dei limiti insormontabili, e sono convinta di averne sviluppato uno migliore, primo lo testo in un numero adeguato di campioni, e poi comincio ad applicarlo…
    Secondo voi si può fare?

  4. ciao Francesco,

    la proposta non era mia, ma di Alberto Baccini. Forse che anche lui non conosce le proposte di ROARS???
    Ti riquoto il suo post:
    “Altrimenti ci potremmo limitare con pochi costi a svolgere analisi statistiche su dati bibliometrici. Forse più utili e soprattutto enormemente meno costose.
    Io ho soltanto ripreso queste parole…

    Ma che senso intervenire in una discussione in un forum quando non si leggono gli interventi degli altri? E non si rileggono nemmeno i propri di interventi (prova a rileggere quello che hai scritto in questa discussione e vedi quante volte hai cambiato posizione). Mah, per fortuna che sono io quella confusa…

    • Simonetta i commenti li leggo e le proposte Roars ho contribuito a scriverle. Gli strumenti e le metodologie usate nella valutazione delle strutture dipendono da cosa si valuta e qual’e’ il fine. Eseguire un censimento bibliometrico su larga scala puo’ essere utile per capire come e’ la situazione nei macroinsiemi dei soli settori in cui le banche dati di dati bibliometrici sono affidabili (come direbbe de La Palice). Il tuo esempio del test diagnostico si applica perfettamente all’Anvur, ai quadrati magici ai valutatori-fai-da-te che ci vengono a spiegare che dobbiamo fare proposte concrete, che sappiamo sono criticare, che meglio una valutazione imperfetta che nessuna valutazione ecc. “se dovessi sostituire un test diagnostico che penso abbia dei limiti insormontabili, e sono convinta di averne sviluppato uno migliore, primo lo testo in un numero adeguato di campioni, e poi comincio ad applicarlo…”. Infatti, la metodologia Anvur avrebbe avuto bisogno almeno di uno studio pilota visto che e’ completamente “innovativa” rispetto a qualsiasi protocollo internazionale.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.