L’ANVUR ha deciso di pubblicare in forma provvisoria il Bando per la VQR 2011-2014 e di dare la possibilità a chiunque lo desideri di inviare commenti e proposte di modifica entro il 27 luglio. È facile prevedere che i più sceglieranno ancora una volta la strada del silenzio e che questa miscela soporifera di indifferenza e rassegnazione  sarà trasformata in implicita dichiarazione di assenso della valutazione competitiva e selettiva ad oltranza. Ma, se almeno il 30% dei Dipartimenti delle università italiane annunciasse la decisione di non partecipare alla prossima VQR in mancanza di una correzione sostanziale della sua “filosofia” le cose, probabilmente, cambierebbero. Chi non condivide questa filosofia  ce la farà ad alzare la testa?

they_live_submit

L’ANVUR ha deciso di pubblicare in forma provvisoria il Bando per la VQR 2011-2014 e di dare la possibilità a chiunque lo desideri di inviare commenti e proposte di modifica entro il 27 luglio.  La scelta non può che essere salutata con favore, ma è probabilmente destinata a non produrre effetti di rilievo. È facile prevedere, in primo luogo, che i più sceglieranno ancora una volta la strada del silenzio e che questa miscela soporifera di indifferenza e rassegnazione, sulla quale poggia di fatto l’aperta condivisione degli zelatori della valutazione competitiva e selettiva ad oltranza, sarà trasformata in implicita dichiarazione di assenso. C’è però una seconda e più importante ragione di perplessità. Il Bando recepisce i contenuti del DM 27 giugno 2015, n. 458, che ha fissato le Linee Guida per questa VQR. Cambiare il Bando, a meno che il contributo che si prevede di ricevere dai colleghi non si limiti all’indicazione di errori come quello sulla data dello stesso DM (p. 2 del Bando), significa evidentemente cambiare il DM. La questione è dunque politica e non tecnica. È al Ministro e al governo che vanno indirizzati commenti e proposte, con la consapevolezza che sarà tecnicamente più difficile (ma non impossibile) accoglierle. L’ANVUR ci invita a farlo. Io credo che valga la pena di non perdere l’occasione.

Sono tanti i punti che meriterebbero un approfondimento e profonde correzioni. Il meno che si possa dire è che il Ministro, che firma questo Decreto dichiarando di aver visto i risultati della VQR 2004-2010, non sembra aver considerato con sufficiente attenzione i limiti di questa esperienza e le distorsioni che essa ha causato nelle strategie delle università e degli enti di ricerca, nella allocazione delle risorse e infine nei comportamenti individuali. Senza nulla togliere – sia chiaro – al merito di aver reso irreversibile la sfida della valutazione nell’agenda di professori e ricercatori.  Si può però cominciare da un aspetto, anche simbolicamente cruciale, la cui modifica sarebbe sufficiente a cambiare l’etica della valutazione che si è imposta in questi anni, senza consentire di liquidare i proponenti con la consueta accusa di voler difendere lo statu quo e proteggere incapaci e fannulloni. Si tratta di una parziale innovazione rispetto al DM con il quale si avviò la precedente VQR, che è pertanto indicativa di una consapevole scelta politica, destinata a promuovere ulteriormente un’idea di università che io non condivido. Tanti dicono la stessa cosa e poi non fanno niente. Ecco perché è necessario chiedere di cambiare queste scelte.  E dimostrare, finalmente, di volerlo davvero.

Il sistema dei “punteggi” previsto nel DM è ispirato alla logica che già caratterizzava la VQR 2004-2010, ma ne esaspera gli effetti polarizzanti. L’obiettivo non è quello di riconoscere e incentivare la qualità diffusa del sistema, per poi innestare su di essa alcune punte di eccellenza, ma semplicemente quello di far emergere queste ultime e azzerare il resto (peraltro con tutti i rischi che un’operazione così radicale comporta nel momento in cui si utilizzano strumenti che si sono dimostrati a dir poco fragili alla prova dei fatti). Un prodotto eccellente, che si colloca cioè nel primo 10% (nella precedente VQR era il primo 20%) della distribuzione della produzione scientifica internazionale dell’area cui appartiene avrà un peso pari a 1, ma tutto ciò che si colloca, anche solo di poco, al di sotto della fatidica soglia del 50% sarà semplicemente ingoiato nel buco nero dell’irrilevanza, ovviamente insieme ai suoi autori. Diventa quasi uno sberleffo la concessione di uno 0,1 al segmento 50-80% della relativa distribuzione della produzione scientifica, soprattutto se si considera che questi prodotti vengono adesso definiti senz’altro accettabili. Anche l’abbassamento da 0,8 a 0,7 e da 0,5 a 0,4 degli altri punteggi intermedi è chiaramente finalizzato a “staccare” gli eccellenti dal resto della compagnia. Il valore di un prodotto riconosciuto degno di collocarsi al limite del 30% superiore può passare dallo 0,8 previsto per la precedente VQR allo 0,4.

Come è noto, i risultati e le relative classifiche saranno utilizzati anche nei prossimi anni per attribuire la quasi totalità dei cosiddetti fondi premiali (nel 2015 è stato assegnato in questo modo, per via diretta o indiretta, l’85% della quota del FFO destinata a questo scopo) e il messaggio che si trasmette è chiaro: si punta alla massima divaricazione fra i pochissimi che verranno considerati “meritevoli” di rappresentare l’Italia nel mercato internazionale delle conoscenze e tutti gli altri, destinati ad un futuro senza risorse e, alla resa dei conti, senza neppure il riconoscimento della dignità del loro impegno e del loro lavoro. Di quante “vere” università ha bisogno l’Italia? Secondo voci molto autorevoli, come è noto, quelle che si contano sulle dita di una mano potrebbero essere più che sufficienti. E non sarebbe un problema se fossero concentrate nelle regioni che si affacciano sul Po. Non è dunque una questione di affinamento delle tecniche di valutazione. In gioco, come ho detto, c’è un’idea di università e di come deve essere costruito il sistema universitario di un paese che voglia essere insieme avanzato e capace di offrire a tutti i suoi giovani e a tutti i suoi territori le migliori opportunità di crescita. Senza che ciò significhi pretendere irrealisticamente che si facciano ovunque le stesse cose nello stesso modo.

La VQR, che dovrebbe essere un momento di verifica utile a far crescere l’intero sistema senza mortificare chi sta comunque svolgendo dignitosamente il suo lavoro di ricercatore è oggi l’atto conclusivo e riassuntivo di una lotta per la sopravvivenza che richiama alcune pagine di Spencer piuttosto che la vita di una comunità nella quale impegnarsi perché tutti lavorino al meglio e non semplicemente per restare davanti agli altri, magari whatever it takes. Essa può aiutare certo ad evidenziare i risultati più innovativi e di maggiore impatto, ma gli strumenti più adatti per cogliere “il più bel fior” sono probabilmente altri. Per premiare i migliori sarebbe probabilmente più economico ed efficace utilizzare bandi ad hoc, anziché una procedura lunga e costosa il cui risultato atteso e voluto sarà la certificazione che solo del primo 10% (più, forse, l’ulteriore 20% degli autori dei prodotti di qualità elevata) vale la pena di occuparsi.

La proposta è dunque semplice. La soluzione ideale sarebbe quella di eliminare i punteggi e limitarsi ai profili, anche per evitare di scaricare su un valutatore coinvolto nella peer review la responsabilità, evidentemente superiore ad ogni capacità umana, di stabilire se il prodotto si colloca al livello del primo 9% o del primo 11% e deve dunque ottenere un punteggio di 1 o di 0,7, con tutte le conseguenze che ne derivano sull’autore e la sua istituzione. La rinuncia alle classifiche dettagliatissime e certificate sarebbe l’ovvia conseguenza di questa decisione e porterebbe a mio avviso più benefici che danni al sistema. In alternativa, si valuti almeno una diversa distribuzione, che espliciti la volontà politica di promuovere l’equilibrio e la coesione del sistema: 1 per il primo 20%; 0,7 fra il 20% e il 50%; 0,4 fra il 50% e l’80%; 0,1 per la fascia dei prodotti dal valore scientifico più limitato e che comunque rimangono, appunto, prodotti scientifici

A questa correzione, evidentemente radicale nel caso della prima opzione e significativa anche se si scegliesse la seconda via, il Ministro dovrebbe aggiungere un chiarimento e conseguentemente un impegno sull’uso che verrà fatto, in sede di allocazione di risorse, dell’indicatore relativo alla qualità dei prodotti degli addetti alla ricerca assunti da ciascuna Istituzione o transitati al suo interno in una fascia o ruolo superiori nel periodo 2011-2014. Questo indicatore, nascosto sotto la voce “valutazione delle politiche di reclutamento”, pesa nel 2015 per il 20% dei fondi premiali, creando così il paradosso per il quale la valutazione della qualità delle scelte fatte nell’assunzione di docenti avviene guardando in modo praticamente esclusivo al loro risultato nella VQR e non a quello che dimostrano di saper fare e fanno a vantaggio degli studenti. Lo stesso 20% si ritrova adesso, insieme ad un 5% attribuito al «profilo di competitività dell’ambiente di ricerca», nella determinazione del «profilo di qualità complessivo di ciascuna Istituzione». È bene che le università siano incalzate, in ogni momento e in ogni forma possibile, a utilizzare il merito come criterio di selezione. Non è affatto un bene, invece, proseguire sulla strada della implacabile demolizione del ruolo della didattica nella vita delle università e dei loro professori. Proprio quanto viene previsto dal DM consentirebbe (a meno che non si voglia far pesare due volte e in modo consistente lo stesso parametro) di guadagnare spazio per dare più peso alla didattica (auspicabilmente in forme meno improvvisate di quanto accaduto finora) nella assegnazione dei fondi premiali. Cosa ne pensa il Ministro?

Come ho detto,  proporre non basta. Sarebbe bello se le comunità italiane della ricerca si dimostrassero capaci di fare un passo oltre. Qualche mese fa, il Collegio dei Direttori di Dipartimento di Sapienza Università di Roma dichiarò in una lettera al rettore Gaudio di considerare «ampiamente criticabili» e tali da avere effetti «potenzialmente distruttivi nei confronti della fragile organizzazione della ricerca italiana» i principi e le finalità delle valutazioni finora decisi dal Ministero e dall’ANVUR. Non è cambiato nulla. Si trattava allora di compilare la Sua-Rd e i Direttori accettarono di farlo solo per «evitare l’ulteriore penalizzazione della struttura di appartenenza e dell’università italiana nel suo complesso». Ma questa penalizzazione non ci sarebbe se ci fosse una maggioranza che, riconoscendo questo effetto potenzialmente distruttivo, si dichiarasse pronta a “chiamarsi fuori”. Non presentare da soli le proprie pubblicazioni per la prossima VQR sarebbe un atto di testimonianza nobile quanto sterile (e peraltro, da quanto si intuisce dalla versione provvisoria del Bando, non si può escludere che i Dipartimenti possano anche farlo a prescindere dalla volontà degli interessati). Se almeno il 30% dei Dipartimenti delle università italiane annunciasse la decisione di non partecipare alla prossima VQR in mancanza di una correzione sostanziale della sua “filosofia” le cose, probabilmente, cambierebbero. Ho il massimo rispetto per chi, in buona fede e con piena convinzione, difende questa filosofia. Gli altri ce la fanno ad alzare la testa?

Send to Kindle

17 Commenti

  1. Sarebbe in effetti PIU’ che necessario che la comunità scientifica italiana si esprimesse in maniera articolata e approfondita sulla nuova VQR. Purtroppo in questi anni i commenti pubblici, cioè quelli noti, e strutturati per il “policy-making”, sono effettivamente mancati, o sono stati inadeguati.
    Soprattutto è mancata una “Review indipendente” della VQR 2004-2010 commissionata dal Ministero ad esperti (anche non italiani) di provata competenza. Tale comportamento va confrontato con – per dire – la costante e seria manutenzione del RAE/REF britannico, a cui la VQR “parrebbe” volersi ispirare. Tutto ciò è cosa grave e gravissima.

  2. La scelta di abbassare i punteggi sotto Eccellente pare anche a me decisamente sbagliata, e peggio che sbagliato (un po’ ridicolo) l’aver trasformato i punteggi da 4 a 5, cosi’ che esistano uno 0,1 e uno 0, che hanno in concreto lo stesso valore (non possono spostare nulla nei risultati).
    Mi viene pero’ il dubbio che l’abbassamento dei punteggi sia un larvato (ma non poi tanto) avvertimento a essere piu’ larghi nella valutazione.
    Se io fossi un valutatore (diciamo cosi’…), tra 1 e 0,8 sarei propenso a usare 0,8 piu’ spesso di quando non sarei propenso a usare 0,7; e immagino che molti 0,5 del turno precedente diventeranno 0,7 e non 0,4 (saranno i lontani ricordi scolastici, ma 4 e’ proprio un brutto voto).
    A questo proposito, ricordo a chi lo sapesse che esiste una tabella dei voti medi per settore nella precedente VQR, da cui risulta che ci sono settori che hanno avuto un 88% di Eccellente (voto medio 0,93); nell’area umanistica, a cui appartengo, ci sono settori con percentuali di Eccellente del 70% o piu’ e voti medio di 0,9 o piu’). Mi pare evidente che i metri di valutazione siano stati differenti.

  3. La critica alla scala dei punteggi mi sembra molto appropriata e condivisibile. Tra l’altro impedisce una chiara comparazione con quanto fatto nella scorsa VQR. Non e’ l’unico parametro che cambia ma questo e’ tale da impedire una comparazione di qualsiasi tipo, tra l’altro in contraddizione con l’assegnazione di 0.03 nel raffronto tra il risultato ottenuto e quello ottenuto nella precedente VQR.
    Quello che non condivido con l’articolo e’ l’addebitare all’ANVUR questa scelta. Infatti e’ gia’ nel decreto ministeriale con le linee guida. Una critica conseguente deve essere una critica all’operato della Ministra Giannini.

  4. sono d’accordo che l’ANVUR aveva quel punto di vista (e spero che chi si e’ trovato a quelle presentazioni abbia obiettato). Rimane la responsabilita’ del Ministro. La firma in calce al documento (debitamente scannerizzato…) era sua.

    • Certo. Su questo io ho una obiezione di fondo che sollevo inutilmente da prima dell’inizio dell’altra VQR. Se una agenzia lavora applicando le regole di valutazione decise dal ministro che in un DM decide i punteggi e i metodi di valutazione, allora quell’agenzia altro non è che l’esecutore di ordini ministeriali. Quindi non è una agenzia “indipendente” nelle decisioni più rilevanti sulla valutazione.

    • Funziona così – il Ministro chiede all’ANVUR: “quali regole vorreste adottare per la VQR?”. Quelli si riuniscono e producono il Regolamento, incluso il contenuto del Decreto Ministeriale. Glielo fanno vedere e gli dicono: firma; se hai qualche obiezione seria chiamaci e ne riparliamo.
      E’ così per vari motivi, fra cui il principale è che l’ANVUR non è un’Autorità Indipendente, e quindi il potere normativo (sul settore universitario/EPR) deve essere reso effettivo da un provvedimento Ministeriale.

    • Con i soggetti che girano ci manca solo che sia “indipendente” (per finta). Almeno che resti quello che è. Non è il paese adatto, sorry. Altre autorità non hanno dato un buon esempio finora. Alla larga.

  5. Condivido moltissime delle osservazioni di Semplici, e le critiche al ruolo dell’Anvur nei commenti. Però non mi distrarrei dal punto di fondo: “La soluzione ideale sarebbe quella di eliminare i punteggi” (non capisco benissimo cosa sarebbe “limitarsi ai profili”) – che è una conseguenza logica del fatto che il concetto di “distribuzione della produzione scientifica dell’area cui appartiene” è – per essere gentili – una boiata pazzesca, che non regge a nessuna neanche accennata analisi critica, figuriamoci poi la distinzione, al suo interno, tra il 9% o l’11% “superiore”. Senza dimenticare neanche che – come pure Semplici fa ben capire – la VQR non è MAI stata (neppure nelle intenzioni) “un momento di verifica utile a far crescere l’intero sistema”: non verifica nulla, non fa crescere nulla, non è utile a nulla, anzi costa sottraendo risorse a cose serie. E’ “utile” solo a ridistruibuire fondi, sottraendo fondi. Questo l’articolo lo dice con sufficiente chiarezza, però è difficile che si alzi la testa se si resta sotto il ricatto del mantra del “merito di aver reso irreversibile la sfida della valutazione nell’agenda di professori e ricercatori” (le uniche parole dell’articolo che non avrei scritto). Finché ci si sente ricattabili dal totem retorico che una valutazione è pur sempre necessaria e benefica, chiunque dirà che una valutazione è una misurazione, e quindi una comparazione, e la testa sarà sempre un po’ china. Però grazie a Stefano Semplici per aver segnalato tutto questo, e che le cose stanno peggiorando.

  6. Dopo anni di tentativi di far capire in maniera civile ed elegante che la valutazione, che pure è implicita nella dinamica di QUALSIASI PROCESSO (e dunque niente di nuovo), non può essere fatta così, tanto meno in un momento di crisi, sarebbe ora di cambiare tattica. Riducendo sempre di più i parametri della vqr ( che saranno comunque aggirati in sede concreta di valutazione, per cui ci sarà sicuramente un aumento delle eccellenze oculatamente distribuite sul territorio nazionale), si è arrivati alla semplice e rozza bipartizione in bianco e nero, indipendentemente dalle condizioni reali, sociali, demografiche, economiche areali in cui si vive e si lavora. Il bianco avrà finanziamenti, il nero no. Inutile spendere parole per raffinare il discorso, per vedere le percentuali, per valutare se il bisturi è o dovrebbe essere così o cosà. Questa è soltanto un’accetta fintamente ammodernata, nascosta sotto politichese, burocratese, formule, algoritmi, slogan tipo l’Italia è bella, facciamo la buona scuola, via i musi e i gufi. Ridurre, ridurre, ridurre la spesa pubblica. Svendere quel che si può svendere (di questo si parla troppo poco). Trasformare lo statale in semistatale e poi in privato (che però ora come ora si finanzia, appunto per dimostrare che il privato funziona). Formare una generazione di giovani senza alcuna capacità critica, anche perché ignorante ed educata su invalsi e test fatti da chissà chi (agenzie private, gli States), e possibilmente intruppata in movimenti di destra che si muovono compatti (ciò che si vede tramite facebook è allucinante), così tutto è più facile. Semplifico: quando un presidente di consiglio dei ministri prende in giro con lavagna e gessetti per significare che l’interlocutore (=noi) non capisce niente della ‘modernità’ (la sua), non sa niente di PP (nuova divinità) ecc., quando un ministro dell’istruzione e della ricerca, professore ordinario, presenta riforme (inutili) come un nuovo detersivo che toglie ogni sporcizia ed anticume, quando ci hanno affogati nella burocrazia che impedisce semplicemente di lavorare, quando nessun rettore e tanto meno la crui si dimette, cosa si deve fare? Ci aggregheremo il prossimo autunno alle proteste della scuola?

    • La mia previsione è che il prossimo autunno saremo tutti impegnati a fare i referee per la prossima vqr; e per i corridoi a lamentarci per la prossima asn che on arriva e per il collega che ha immeritatamente avuto/non avuto l’abilitazione.

    • Alla fine ne sarà valsa la pena? Qualcuno farà due affarucci, tutti gli altri (il 90% della popolazione)ci perderanno. Ci perderà un paese ricco di tradizioni culturali, che ha sempre cercato di coltivare una scuola dignitosa. Nei momenti di crisi si dovrebbe investire sull’essenziale: hanno trovato tanti soldi per inondare di teleschermi le aule scolastiche, mentre non assumevano docenti di ruolo per risparmiare contributi. Hanno messo in piedi megacentri informatici, mentre riducevano le borse di studio per i dottorandi. Si fa lezione a 200 persone perché mancano punti organico, ma l’ateneo spende 5 milioni di euro per un immobile da ristrutturare a peso d’oro. Qualcosa non quadra …

  7. Ah, dimenticavo: il Rettore umanista dice che non vuole più vedere un foglio di carta e riceve tre milioni di euro per computer nuovi fiammanti che saranno in breve obsoleti per la felicità ambientale di tutti.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.