L’Associazione Italiana di Psicologia si esprime sull’uso dei dati VQR. Riceviamo e volentieri pubblichiamo.

AIP contro l’uso improprio degli indicatori VQR e ASN: i punteggi VQR assegnati ai prodotti di ricerca consentono di valutare le strutture e non le persone; le mediane devono essere utilizzate per l’abilitazione scientifica nazionale e non in altri contesti.

L’Associazione Italiana di Psicologia (AIP) esprime forte contrarietà e grave preoccupazione per l’uso improprio dei risultati della Valutazione della Qualità della Ricerca (VQR) e degli indicatori per l’Abilitazione Scientifica Nazionale (ASN), che sembra diffondersi in sede locale.

In diversi atenei, rettori e direttori propongono di estendere l’uso delle mediane e dei risultati VQR individuali ad altre forme di valutazione (assegnazione dei finanziamenti e delle risorse all’interno dei dipartimenti, attribuzione di incarichi e responsabilità, partecipazione ad organi di governo collegiali o elettivi, ecc.). Trasferire metodi e risultati da una procedura di valutazione all’altra, indipendentemente dagli scopi e dagli strumenti di misura, è sbagliato, concettualmente, metodologicamente ed eticamente.

La VQR è pensata per valutare atenei e dipartimenti e non per distinguere i singoli ricercatori all’interno delle strutture di afferenza. Scendere oltre il livello del dipartimento per generare graduatorie di merito è sbagliato, pretendere che i singoli docenti e ricercatori rendano pubblici i risultati individuali è ingiustificato e inutile.

Le strutture sono imprese collettive comprendenti studiosi di diverse discipline che concorrono in modo solidale e differenziato al funzionamento complessivo e alla realizzazione delle attività di ricerca. Per quanto riguarda la psicologia, i punteggi VQR individuali derivano dall’analisi di un numero esiguo di prodotti (al massimo tre) che potrebbero non essere rappresentativi della produzione individuale e da valori bibliometrici che dipendono dal numero delle sedi editoriali indicizzate e dall’ampiezza della comunità di lettori. A parità di qualità scientifica, il punteggio di prodotti di settori disciplinari diversi (calcolato sulla base del numero di citazioni, dell’Impact Factor della rivista e della collocazione in categorie di riferimento che variano per numerosità e composizione) è spesso diverso perché riflette le informazioni contenute nei database internazionali che differiscono per discipline e aree di ricerca.

Gli strumenti di valutazione bibliometrica (ma lo stesso discorso può essere esteso alle discipline non bibliometriche) sono validi per confronti all’interno di singoli settori disciplinari e di aree omogenee, non consentono invece alcun giudizio comparativo tra discipline e aree che differiscono per prassi editoriale e citazionale e per tipologia dei prodotti. Se si vuole usare la VQR all’interno di un dipartimento, il confronto può essere solo indiretto e limitato ai settori disciplinari, senza pretendere di classificare gli individui. I dati VQR consentono di conoscere come si colloca nel panorama nazionale l’insieme dei docenti e ricercatori di un determinato settore disciplinare. Può così succedere che all’interno di un dipartimento il gruppo con i valori assoluti più alti risulti quello con la peggior posizione all’interno del proprio settore disciplinare e quello con i valori più bassi rappresenti invece la migliore espressione della disciplina. Sulla base dei risultati VQR, a parte il confronto tra le diverse posizioni che i gruppi occupano nelle graduatorie nazionali, non è possibile in alcun modo, individuare i ricercatori migliori o i più meritevoli.

In alcune sedi, docenti e ricercatori sono stati invitati a rendere pubblici i loro dati individuali al fine di valutare la scelta dei prodotti effettuata e migliorare i criteri di selezione in occasione dei prossimi bandi. E’ possibile che in passato l’informazione non sia stata sufficiente e che colleghe e colleghi abbiano scelto prodotti non appropriati. Tutto questo però si corregge con un lavoro di preparazione e diffusione delle conoscenze, non certo chiedendo l’accesso ai punteggi individuali. Nonostante le rassicurazioni verbali, la trasmissione dei singoli risultati, lungi dall’essere un’operazione di trasparenza, rischia di giustificare politiche premiali grossolane e inique. Correttamente l’Anvur, proprio per evitare abusi e usi impropri, ha reso accessibili questi dati solo ai diretti interessati.

Anche gli indicatori ASN adottati per valutare candidati commissari e candidati all’abilitazione non devono essere utilizzati in altri contesti e per altri obiettivi. Le mediane servono per giudicare la produzione scientifica dei singoli studiosi, non per promuovere o bocciare la competenza delle persone, né per accertare la capacità ad assumere incarichi di direzione o responsabilità didattiche. La competenza scientifica non deve essere valutata sempre allo stesso modo, semplicemente usando i valori che derivano da altre forme di valutazione. Uno studioso può trovarsi sotto la mediana dell’ASN per motivi diversi, non necessariamente per demerito (composizione eterogenea del settore concorsuale, produzione scientifica qualitativamente elevata ma quantitativamente ridotta, area di ricerca circoscritta, tipologia di prodotti divesa) ed essere temporaneamente escluso dalle commissioni nazionali o dal giudizio di idoneità; questo non significa che non possa concorrere per ottenere risorse e finanziamenti, assumere ruoli istituzionali o partecipare a commissioni di selezione locale.

Nell’ambito della valutazione, criteri e procedure devono essere adatti agli scopi; non a caso, l’Anvur ha adottato per VQR e ASN, che valutano oggetti diversi, indicatori bibliometrici diversi: Impact Factor nel primo caso, H-Index nel secondo. All’interno dell’approccio bibliometrico, i numerosi strumenti disponibili consentono di realizzare procedure in grado di valorizzare i contributi individuali e di selezionare le persone e i progetti meritevoli, senza ricorrere a scorciatoie opportunistiche come l’adozione parziale e fuorviante dei dati VQR e ASN.

Per questo insieme di motivi, coerentemente con la recente raccomandazione CUN del 9 ottobre 2013 per un uso “consapevole e non automatico” degli indicatori di qualità, l’AIP stigmatizza l’uso improprio dei punteggi VQR e ASN e invita tutti i colleghi e le colleghe ad impegnarsi affinché nelle singole sedi si utilizzino procedure adeguate agli scopi della valutazione e si evitino conflitti tra settori e persone basati su false gerarchie o una ingiustificata interpretazione dei risultati nazionali. Nei dipartimenti psicologici o nei dipartimenti misti, per la distribuzione delle risorse (fondi personali, assegni, ecc.) o per la valutazione delle carriere, l’AIP sollecita l’uso di metodi di valutazione (che, a seconda dei casi, può essere comparativa o non comparativa) motivati tecnicamente e sensibili alle specificità dei diversi settori disciplinari. L’AIP si impegna a fornire supporto e consulenza per l’adozione in ogni sede di procedure appropriate e funzionali e a promuovere occasioni di formazione e riflessione per consolidare la cultura della valutazione del merito e favorire la conoscenza dei suoi strumenti.

Send to Kindle

4 Commenti

  1. Del documento AIP condivido l’idea che i dati individuali VQR non debbano essere resi pubblici. Vorrei però far notare che questo passaggio del testo pone problemi per una associazione tra le poche italiane firmatarie della dichiarazione DORA https://www.roars.it/online/dora/:

    “Nell’ambito della valutazione, criteri e procedure devono essere adatti agli scopi; non a caso, l’Anvur ha adottato per VQR e ASN, che valutano oggetti diversi, indicatori bibliometrici diversi: Impact Factor nel primo caso, H-Index nel secondo. All’interno dell’approccio bibliometrico, i numerosi strumenti disponibili consentono di realizzare procedure in grado di valorizzare i contributi individuali e di selezionare le persone e i progetti meritevoli, senza ricorrere a scorciatoie opportunistiche come l’adozione parziale e fuorviante dei dati VQR e ASN.”

    Usare ANVUR come esempio positivo di adattamento della bibiometria agli scopi mi sembra eccessivo. Ricordo che l’IF (in realtà sono stati usati dei quadrati magici bibliometrici) è stato usato nella VQR per giudicare singoli e selezionati prodotti di ricerca. La raccomandazione generale di DORA è:

    1. Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.
    Nell’ASN non si è usato solo l’h-index, ma anche numero di citazioni e h-contemporaneo (o simile). Per selezionare individui. Di nuovo DORA suggerisce di prendere le distanza da tecniche automatiche di questo tipo.

    Allo stato attuale della conoscenza mi sembra che sia tutt’altro che pacifico quanto sostenuto da AIP cioè che “i numerosi strumenti disponibili consentono di realizzare procedure in grado di valorizzare i contributi individuali e di selezionare le persone e i progetti meritevoli”.

    La dichiarazione DORA sostiene:
    “Be explicit about the criteria used in evaluating the scientific productivity of grant applicants and clearly highlight, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.
    For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.”
    Ricordo infine le raccomandazioni di DORA cui si impegnano I ricercatori firmatari della dichiarazione.
    “When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.”
    Un impegno che richiede di applicare il metodo scientifico alle pratiche di valutazione. In Italia purtroppo la comunità accademica ha abiurato il metodo scientifico in nome della fede nel potere salvifico dei “parametri oggettivi” della bibliometria.

  2. Ecco la risposta alla raccomandata:

    > Ai sensi dell’Art. 12 del DM VQR 2004-2010 > (http://www.anvur.org/attachments/article/122/vqr_d.m._n._17_del_15_07
    > _2011_
    > firmato.pdf) ANVUR ha provveduto a pubblicare sul sito docente i
    > risultati del processo di valutazione; ANVUR non rilascerà ulteriori
    > informazioni di dettaglio relative alle valutazioni effettuate e alle loro motivazioni.
    >
    > Cordiali saluti
    >
    > Il Team VQR

    • Ho appena ricevuto risposta dall’anvur circa la richiesta di accesso agli atti della VQR: ” … si comunica che essa non può essere accolta. Per costante giurisprudenza amministrativa, l’interesse che legittima la richiesta di accesso deve essere personale e concreto, nonché ricollegabile alla persona che sia titolare di una situazione giuridicamente rilevante. Nel caso specifico della valutazione della Qualita della ricerca 2004-2010 (VQR) non si ritiene, a giudizio dell’Agenzia, che in capo a singoli docenti e ricercatori si costituisca una situazione giuridicamente rilevante. (… SEGUONO 2 PAGINE) Giova sottolineare che la comunicazione ai singoli docenti e ricercatori sul sito docente CINECA da parte dell’ANVUR è avvenuta in ossequio non a un interesse giuridicamente rilevante in capoa ai soggetti valutati quanto piuttosto in ossequio al principio di trasparenza dell’attività della pubblica istruzione della pubblica amministrazione, come esplicitato, nel caso concreto, dall’art. 12 del decreto ministeriale del 15 luglio 2011 che recita. (…) l’ANVUR diffonde, in forme appropriate, i giudizi sulle singole pubblicazioni, valutate, fermo restando l’anonimato degli esperti autori degli stessi”. Per quanto motivato, non sussistono pertanto i presupposti per un diritto di accesso agli atti in capo ai singoli ricercatori e docenti.”

    • Anch’io ho ricevuto oggi identica risposta.
      Ora, “fermo restando l’anonimato degli esperti autori degli stessi”, come dice l’ANVUR, mi pare che i giudizi analitici che hanno portato al voto finale e le eventuali motivazioni siano invece interessanti almeno quanto il voto finale che hanno avuto la cortesia di comunicarci.

      In nome della trasparenza… appunto!

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.