AIP contro l’uso improprio degli indicatori VQR e ASN

L’Associazione Italiana di Psicologia si esprime sull’uso dei dati VQR. Riceviamo e volentieri pubblichiamo.

AIP contro l’uso improprio degli indicatori VQR e ASN: i punteggi VQR assegnati ai prodotti di ricerca consentono di valutare le strutture e non le persone; le mediane devono essere utilizzate per l’abilitazione scientifica nazionale e non in altri contesti.

L’Associazione Italiana di Psicologia (AIP) esprime forte contrarietà e grave preoccupazione per l’uso improprio dei risultati della Valutazione della Qualità della Ricerca (VQR) e degli indicatori per l’Abilitazione Scientifica Nazionale (ASN), che sembra diffondersi in sede locale.

In diversi atenei, rettori e direttori propongono di estendere l’uso delle mediane e dei risultati VQR individuali ad altre forme di valutazione (assegnazione dei finanziamenti e delle risorse all’interno dei dipartimenti, attribuzione di incarichi e responsabilità, partecipazione ad organi di governo collegiali o elettivi, ecc.). Trasferire metodi e risultati da una procedura di valutazione all’altra, indipendentemente dagli scopi e dagli strumenti di misura, è sbagliato, concettualmente, metodologicamente ed eticamente.

La VQR è pensata per valutare atenei e dipartimenti e non per distinguere i singoli ricercatori all’interno delle strutture di afferenza. Scendere oltre il livello del dipartimento per generare graduatorie di merito è sbagliato, pretendere che i singoli docenti e ricercatori rendano pubblici i risultati individuali è ingiustificato e inutile.

Le strutture sono imprese collettive comprendenti studiosi di diverse discipline che concorrono in modo solidale e differenziato al funzionamento complessivo e alla realizzazione delle attività di ricerca. Per quanto riguarda la psicologia, i punteggi VQR individuali derivano dall’analisi di un numero esiguo di prodotti (al massimo tre) che potrebbero non essere rappresentativi della produzione individuale e da valori bibliometrici che dipendono dal numero delle sedi editoriali indicizzate e dall’ampiezza della comunità di lettori. A parità di qualità scientifica, il punteggio di prodotti di settori disciplinari diversi (calcolato sulla base del numero di citazioni, dell’Impact Factor della rivista e della collocazione in categorie di riferimento che variano per numerosità e composizione) è spesso diverso perché riflette le informazioni contenute nei database internazionali che differiscono per discipline e aree di ricerca.

Gli strumenti di valutazione bibliometrica (ma lo stesso discorso può essere esteso alle discipline non bibliometriche) sono validi per confronti all’interno di singoli settori disciplinari e di aree omogenee, non consentono invece alcun giudizio comparativo tra discipline e aree che differiscono per prassi editoriale e citazionale e per tipologia dei prodotti. Se si vuole usare la VQR all’interno di un dipartimento, il confronto può essere solo indiretto e limitato ai settori disciplinari, senza pretendere di classificare gli individui. I dati VQR consentono di conoscere come si colloca nel panorama nazionale l’insieme dei docenti e ricercatori di un determinato settore disciplinare. Può così succedere che all’interno di un dipartimento il gruppo con i valori assoluti più alti risulti quello con la peggior posizione all’interno del proprio settore disciplinare e quello con i valori più bassi rappresenti invece la migliore espressione della disciplina. Sulla base dei risultati VQR, a parte il confronto tra le diverse posizioni che i gruppi occupano nelle graduatorie nazionali, non è possibile in alcun modo, individuare i ricercatori migliori o i più meritevoli.

In alcune sedi, docenti e ricercatori sono stati invitati a rendere pubblici i loro dati individuali al fine di valutare la scelta dei prodotti effettuata e migliorare i criteri di selezione in occasione dei prossimi bandi. E’ possibile che in passato l’informazione non sia stata sufficiente e che colleghe e colleghi abbiano scelto prodotti non appropriati. Tutto questo però si corregge con un lavoro di preparazione e diffusione delle conoscenze, non certo chiedendo l’accesso ai punteggi individuali. Nonostante le rassicurazioni verbali, la trasmissione dei singoli risultati, lungi dall’essere un’operazione di trasparenza, rischia di giustificare politiche premiali grossolane e inique. Correttamente l’Anvur, proprio per evitare abusi e usi impropri, ha reso accessibili questi dati solo ai diretti interessati.

Anche gli indicatori ASN adottati per valutare candidati commissari e candidati all’abilitazione non devono essere utilizzati in altri contesti e per altri obiettivi. Le mediane servono per giudicare la produzione scientifica dei singoli studiosi, non per promuovere o bocciare la competenza delle persone, né per accertare la capacità ad assumere incarichi di direzione o responsabilità didattiche. La competenza scientifica non deve essere valutata sempre allo stesso modo, semplicemente usando i valori che derivano da altre forme di valutazione. Uno studioso può trovarsi sotto la mediana dell’ASN per motivi diversi, non necessariamente per demerito (composizione eterogenea del settore concorsuale, produzione scientifica qualitativamente elevata ma quantitativamente ridotta, area di ricerca circoscritta, tipologia di prodotti divesa) ed essere temporaneamente escluso dalle commissioni nazionali o dal giudizio di idoneità; questo non significa che non possa concorrere per ottenere risorse e finanziamenti, assumere ruoli istituzionali o partecipare a commissioni di selezione locale.

Nell’ambito della valutazione, criteri e procedure devono essere adatti agli scopi; non a caso, l’Anvur ha adottato per VQR e ASN, che valutano oggetti diversi, indicatori bibliometrici diversi: Impact Factor nel primo caso, H-Index nel secondo. All’interno dell’approccio bibliometrico, i numerosi strumenti disponibili consentono di realizzare procedure in grado di valorizzare i contributi individuali e di selezionare le persone e i progetti meritevoli, senza ricorrere a scorciatoie opportunistiche come l’adozione parziale e fuorviante dei dati VQR e ASN.

Per questo insieme di motivi, coerentemente con la recente raccomandazione CUN del 9 ottobre 2013 per un uso “consapevole e non automatico” degli indicatori di qualità, l’AIP stigmatizza l’uso improprio dei punteggi VQR e ASN e invita tutti i colleghi e le colleghe ad impegnarsi affinché nelle singole sedi si utilizzino procedure adeguate agli scopi della valutazione e si evitino conflitti tra settori e persone basati su false gerarchie o una ingiustificata interpretazione dei risultati nazionali. Nei dipartimenti psicologici o nei dipartimenti misti, per la distribuzione delle risorse (fondi personali, assegni, ecc.) o per la valutazione delle carriere, l’AIP sollecita l’uso di metodi di valutazione (che, a seconda dei casi, può essere comparativa o non comparativa) motivati tecnicamente e sensibili alle specificità dei diversi settori disciplinari. L’AIP si impegna a fornire supporto e consulenza per l’adozione in ogni sede di procedure appropriate e funzionali e a promuovere occasioni di formazione e riflessione per consolidare la cultura della valutazione del merito e favorire la conoscenza dei suoi strumenti.