evaluation-tool-picLa valutazione – nelle università e nella scuola, per non dire di altri ambiti – è considerata ormai un processo non solo inevitabile, ma giusto e necessario, per cui essa non viene più messa in discussione quasi da nessuno. Negli incontri sollecitati dall’Anvur, dove sono invitati i rappresentanti delle principali società scientifiche, la discussione parte ormai dall’assunto indiscutibile della necessità della valutazione, della sua giustezza, del fatto che essa debba essere effettuata secondo le direttive stabilite negli ultimi anni e implementate dall’Anvur. La discussione verte solo sul come effettuarla nel modo più efficace possibile, su come scegliere la tecnica migliore in relazione a ciò che deve essere valutato. Domande su cosa debba essere valutato, a quale fine lo debba essere e quali siano gli effetti della valutazione, sono tacitamente accantonate come irrilevanti o, peggio ancora, ritenute già superate nella prassi implementata. Ho in passato cercato di affrontare alcune questioni di fondo sulla valutazione: donde la sua esigenza negli ultimi tempi, rispetto ad un recente passato in cui tale esigenza non era avvertita? Non esisteva del tutto la valutazione in passato o, se in qualche modo era presente, in che modo è cambiato il modo di esercitarla? Vorrei ora riprendere questi temi ponendo una questione di fondo che di solito non viene affrontata, se non di sfuggita.

Cosa viene valutato. Di solito la valutazione come esercitata dall’Anvur nelle università (e dall’Invalsi nelle scuole – ma ci concentreremo solo sulla prima, anche se molte delle considerazioni che faremo varranno anche per la seconda) ha come proprio oggetto “i prodotti della ricerca” o i risultati conseguiti in vari campi e secondo diversi parametri (internazionalizzazione, efficacia della didattica ecc.). Prendiamo ad es. la VQR. In questo caso si valuta attraverso un processo di peer review (per i settori umanistici) o utilizzando indici bibliometrici (per i settori per i quali sono disponibili) la qualità dei prodotti della ricerca. La discussione è attualmente concentrata esclusivamente su come effettuare al meglio questa valutazione. Ma qui non ci interessa questo piano del discorso e anzi supponiamo che – qualunque sia il metodo prescelto – essa avvenga nel migliore dei modi, cioè riesca effettivamente a valutare come eccellente un prodotto eccellente e scadente un prodotto scadente. È una assunzione idealizzante molto forte, visto che di solito le critiche alla procedura messa in atto dall’Anvur si sono incentrate sui suoi molteplici difetti ed inadeguatezze, con le conseguenti controproposte per raggiungere quanto più possibile il risultato. Ma facciamo questa ipotesi per far meglio risaltare la ratio del discorso che vogliamo fare.

Ebbene, quando si valuta il prodotto scientifico di un ricercatore negli ultimi x anni si fa nella sostanza una operazione con cui si prende atto di una realtà costituita, effettuale e immodificabile (perché semplicemente passata). Si fa nella sostanza una operazione di inventario, per cui la constatazione che i prodotti del ricercatore Scipione sono eccellenti, e che di conseguenza il suo dipartimento Legione Africana è eccellente, non incide per nulla sulla natura di Scipione e della Legione Africana: così come questi sono stati eccellenti nelle condizioni x al tempo t, verosimilmente lo saranno anche alle condizioni x+1 e al tempo t+1, anche senza che nessun effetto dell’esercizio di valutazione si sia dispiegato o abbia avuto il tempo di dispiegarsi. A meno di una improvvisa senescenza intellettuale o rincoglionimento complessivo di tutti i ricercatori della Legione Africana, questi continueranno ad essere eccellenti per una semplice ragione: sono degli ottimi ricercatori, sono dotati di talento e hanno il gusto per la ricerca e la volontà di pubblicare i propri risultati.

Lo stesso accadrà per il ricercatore dichiarato scadente, anche se in senso opposto: preso atto che i prodotti di ricerca di Annibale sono pessimi e che quindi il suo Dipartimento è scadente, si sarà constatata una situazione di fatto che – indipendentemente dalla valutazione – resterà tale e quale anche in futuro, per la ragione esattamente contraria: Annibale è il solito figlio di papà incardinato nel solito dipartimento clientelare e continuerà a produrre prodotti scadenti perché è un cretino e tale resterà (purtroppo l’imbecillità è non curabile, con nessun mezzo). In questo caso il danno minore che potrebbe fare è non contribuire a distruggere il patrimonio forestale col pubblicare montagne di carta inutile.

Matthew EffectA che serve la valutazione. Ma meno male che c’è la valutazione! Essa infatti – nella ipotesi idealizzante fatta – ci permette finalmente di certificare che Scipione è eccellente e Annibale un cretino; e che il dipartimento Legione Africana è eccellente, mentre quello di Annibale è pessimo. A questo punto ci si domanda in che modo la valutazione può incidere su questa situazione: è ovvio, ci dice la vulgata meritocratica: essa serve a premiare i meritevoli e a non premiare o disincentivare (non diciamo “punire”, altrimenti potremmo scivolare in un discorso di tipo etico) gli immeritevoli. Questo avviene – è noto – attraverso l’attribuzione della quota premiale alle università (che ammonterà per il 2016 al 20% del FFO). Ancora per semplicità, ipotizziamo che tale premio vada non a Scipione (sarebbe troppo!, ma il discorso non cambierebbe di molto), bensì al Dipartimento di appartenenza. Questo si troverebbe a possedere risorse aggiuntive che non servirebbero affatto a far produrre di più Scipione, che già di suo, senza bisogno di quote premiali, fa abbastanza (è eccellente!), ma ad aumentare la “ricchezza del dipartimento” che potrebbe essere utilizzata per assumere ulteriori ricercatori, che supponiamo siano tutti eccellenti come Scipione e quindi contribuiranno a migliorare ulteriormente la performance del dipartimento. Insomma la quota premiale servirebbe solo fare divenire più eccellente chi è già eccellente, nella logica di quello è stato chiamato “effetto San Matteo” (Matteo, 25, 29).

Nel caso di Annibale, invece avverrebbe il fenomeno contrario: il Dipartimento, dotato di minori risorse, non solo non può in nessun modo incentivare i suoi Annibali a produrre di più (non può neanche fare o commissionare ricerche per terapie “eccellificanti”, ammesso che possano esserci, per aumentare il loro tasso intelligenza e talento), ma non potrà neanche – ipotizzando che lo si voglia fare da parte di qualche illuminata direzione – cercare di assumere degli Scipioni in modo da far migliorare il proprio tasso di qualità, perché mancherà sempre più di risorse.

Nel caso in cui non vengano adottate altre misure di compensazione (che però di fatto si metterebbero in controtendenza con la VQR, fatta proprio per premiare l’eccellenza e quindi differenziare le università), la conseguenza di tale tipo di esercizio valutativo sarà non solo quello di non aumentare la qualità media delle università italiane, ma piuttosto di approfondire la loro distanza sino a giungere a un sistema dipolare con università di serie A e B (appunto!), con studenti di serie A e B, con regioni di serie A e B e infine con livelli di servizi (avvocati, medici ecc.) di serie A e B, con relativi flussi migratori dalle situazioni B e quelle A (di studenti, pazienti, utenti ecc.), per chi se lo potrà permettere; gli altri si accontentino. Insomma un bel passo indietro rispetto a una ipotesi egualitaria e distributiva, in barba a Costituzione, Unione Europea e vari progetti di Lisbona ed Europa 2020 e così via: in questo caso l’Europa non conta nulla. Ma v’è qualcuno a cui tale prospettiva evidentemente piace.

Valutazione retrograda e valutazione prospettica. Il tipo di valutazione che abbiamo descritto possiamo definirla di tipo “retrogrado”: essa guarda al passato, lo certifica e non si propone per nulla di cambiarlo, semmai di ulteriormente radicarlo e approfondirlo nella configurazione che viene certificata. Può semmai avere solo un effetto punitivo verso coloro che non rispondono a standard minimi di qualità, assestando loro non colpi di frustra o altre punizioni corporali, ma decurtazioni di stipendio, di prestigio, di onori ecc., magari facendoli cadere in depressione, portando a una loro disaffezione verso l’istituzione e ingenerando una sorta di sabotaggio tacito e sotterraneo.

Ma v’è un altro tipo di valutazione. Mettiamo che un illuminato capo d’industria si proponga di assumere dei ricercatori o dei dipendenti di alta qualità, che possano portare al miglioramento della produzione e alla sua innovazione. Che farà? Seleziona giovani brillanti mediante dei test (di vario tipo) che non certifichino quello che hanno già prodotto (se non in misura minima) ma innanzi tutto mirino ad accertare le loro qualità (intelligenza, talento, passione, capacità di identificarsi con l’etica aziendale ecc.) e quindi li mette nella condizione quanto più favorevole possibile per permettere loro di produrre idee o lavoro efficace, allo stesso modo di come il ragno produce la tela. Oppure può anche puntare sull’usato sicuro, cioè assumere ricercatori che hanno già dato prova di sé altrove e li immette nella propria industria. In ogni caso la valutazione serve qui a sviluppare una strategia di attacco, proiettata al futuro, che mira ad eliminare i punti di debolezza e a consolidare quelli già di punta. È questa una valutazione proiettiva, progettuale, che serve a mettere in atto strategie che mirano al cambiamento; essa non serve a constatare una situazione di deficienza e a sanzionarla o approfondirla, ma mira a superarla e le risorse disponibili vengono impiegate proprio a questo scopo.

http://www.dreamstime.com/stock-photography-3d-small-people-statistics-improvement-image17699532Ebbene questo tipo di valutazione è proprio il contrario di quella messa in atto nelle università (e nelle scuole), che è solo di tipo retrogrado: non solo essa ignora (come già rilevato) l’esistenza di differenziazioni interne ai singoli atenei, ma si limita a sanzionare l’esistente senza fare nulla, assolutamente nulla, per cambiarlo. Per fare ciò sarebbe necessaria una politica opposta a quella attuale: effettuare una valutazione sí di accertamento (anche se con altri sistemi rispetto a quelli sinora utilizzati dall’Anvur), ma orientata a interventi che – realtà per realtà, dipartimento per dipartimento – possano portare ad un aumento del tasso di qualità. Per dirla all’ingrosso, se si constata che un certo dipartimento ha un tasso di clientelismo e localismo assai elevato (la solita “pietra dello scandalo”, sempre sulle pagine dei giornali), è inutile punire l’esistente, in un’ottica moralistica, attraverso la decurtazione delle risorse; bisognerebbe piuttosto finanziare, ad es., solo assunzioni nella direzione della acquisizione di personale di alta qualità (studiosi residenti all’estero, che abbiano certi requisiti, che siano selezionati in modi particolari, o comunque provenienti da altre realtà universitarie e così via); o incoraggiare l’internazionalizzazione, o migliorare i laboratori e via dicendo. Insomma, piuttosto che dare o togliere quote di FFO all’intera università, che non hanno altro effetto se non canalizzare le poche risorse residue verso i gruppi più forti (non quelli più eccellenti), oltre che a creare su scala nazionale il modello dipolare, sarebbe necessaria una politica attenta alle specificità, flessibile nelle sue soluzioni, e mirata allo sviluppo piuttosto che alla depressione. Insomma una “politica dell’università”, analogamente a come sarebbero anche necessarie una “politica industriale” (che manca), una “politica dell’ambiente” (che manca) e una “politica della salute” (che manca), ecc. In questa luce l’Anvur dovrebbe ridefinire radicalmente il proprio ruolo nella direzione di uno organismo strumentale di accertamento delle situazioni di difficoltà delle varie sede universitarie, in modo da fornire le informazioni necessarie affinché possa essere decisa a livello politico la strategia da seguire per superarle, di concerto con le singole università interessate e le loro rappresentanze (come il CUN).

Ma per fare tutto ciò è necessario muoversi in un’ottica di sviluppo complessivo del livello di istruzione, di maggiore qualificazione della ricerca nel suo complesso, di perequazione non solo salariale, ma anche delle conoscenze, della formazione e delle possibilità. Sarebbe la vera politica meritocratica, la quale non può ridursi a solo premiare chi non ne ha affatto bisogno, ma nel predisporre i percorsi che possono dare, a chi è effettivamente capace, la possibilità di “farcela”. Insomma occorrerebbe un ripensamento complessivo del modo in cui la valutazione è stata sinora pensata e attuata. Purtroppo è proprio questa volontà di ripensamento che mi sembra assente.

Send to Kindle

9 Commenti

  1. La prima parte dell’analisi è perfetta e condivisibile, invece quello che, secondo me, manca è che dietro questa politica del’Anvur c’è effettivamente l’obiettivo di un miglioramento complessivo dell’università. Dalla descrizione quelli dell’Anvur sembrano dei crudeli pazzi scatenati, senza obiettivi che non siano elitari e egoistici. Questo secondo me è sbagliato e debole, l’Anvur può facilmente ribattere attraverso il semplice concetto della concorrenza e dell’incentivazione. Chi è valutato di serie B e in quanto tale rischia la punizione, ha l’incentivo a migliorare per avvicinarsi alla seria A, chi è in serie A ha l’incentivo a rimanerci; insomma una corsa collettiva al miglioramento che porterebbe al complessivo miglioramento della struttura universitaria. Un darwinismo sociale e educativo che porta al miglioramento medio della specie.
    Se non si discute, critica e confuta la validità di questa impostazione la battaglia è persa, e le pur sensate proposte nella seconda parte dell’intervento, diminuiscono o addirittura perdono di rilevanza.
    Quella della concorrenza, del darwinismo sociale, contrapposto alla cooperazione e eguaglianza è una discussione antichissima, ma che nonostante la noia di affrontarla, è la chiave che è ancora utile, direi indispensabile, a prendere decisioni, grandi o piccole, in tantissimi campi, e sicuramente in quello dell’istruzione.

    • Forse, prima di fare ipotesi a tovolino sulla strategia anvur sarebbe bene ricordare quanto dichiarato dal prof. Benedetto in un’intervista del 2012:
      “Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa. Ora rivedremo anche i corsi di dottorato, con criteri che porteranno a una diminuzione molto netta.”
      .
      Direi che, a 3 anni da quella dichiarazione, dovrebbe essere ormai chiaro che non si trattava di esternazioni incontrollate. E soprattutto che nel direttivo anvur non ci si poneva il problema di portare università dalla seria B alla A. Ma di condannarne un certo numero alla B per sempre, magari eliminandone qualcun’altra.
      .
      Più che di darwinismo sociale io preferisco chiamarlo distruzione razionalmente ingiustificata del sistema di istruzione superiore italiano. Se ci sono motivi per farlo, che li si enunci in modo trasparente nelle sedi istituzionali assumandosi la responsabilita’ politica di una decisione del genere. Senza lasciare ad un manipolo incontrollato di “esperti” di accentrare potere legislativo, esecutivo e giudiziario per il sistema universitario. Prima ancora di politica universitaria stamo parlando di democrazia e trasparenza.

    • Due punti.
      Primo, non ho detto che quelli dell’Anvur sono dei pazzi scatenati assetati di sangue. Possono benissimo e in buona fede ritenere che con la valutazione come quella da loro effettuata effettivamente si stimoli i peggiori a migliorare e i migliori a persistere. Ma il punto è che io metto in discussione proprio questo: che sia possibile migliorare in assenza di politiche che incoraggino il miglioramento e che abbiano il coraggio di investire per supportarlo. E siccome sinora l’unica conseguenza della VQR è la decurtazione delle risorse, senza nessuna politica a supporto, allora le conseguenze sono a mio avviso quelle descritte.E io discuto proprio questa impostazione, in quanto a mio avviso se non si investe i poveri diventano più poveri e i ricchi più ricchi. Mi pare che decenni di neoliberismo abbiano testimoniato proprio ciò.

      Secondo. Ci sono seri indizi che tale politica dell’Anvur sia intesa proprio ad effettuare uno screening delle università, ai fini della loro classificazione in serie A e B. E in questo caso l’Anvur e la sua dirigenza si assumono il peso di una precisa opzione politica, che mi sia permesso di non condividere.

  2. E di uno Scipione che si trova nel dipartimento di Annibale, dove non lavora nessuno perché sono tutti figli di papà all’apice della carriera, mentre Scipione, oltre che bravo, è anche pieno di idoneità, ma è ancora RU o peggio PA e vedrà riconosciute le sue capacità con una promozione solo se anche l’altra sporca dozzina di Annibali si mette a fare qualcosa? Ne vogliamo discutere?
    Qui c’è il paradosso che agli Annibali conviene non lavorare per evitare che, salendo il loro dipartimento nel ranking, ci sarrebbe un po’ di quota premiale anche per Scipione, che così diventerebbe un loro pari.

    • Con il modo in cui avviene attualmente la valutazione, Scipione subirà la sorte dei tanti Annibale, è ovvio; a meno di non emigrare in altro ateneo. Nella valutazione che io caldeggio, si dovrebbe essere in grado di distinguere le situazioni interne alle varie università e ai vari atenei ed apportare le giuste soluzioni. Se nel dipartimento c’è – facciamo una ipotesi molto irrealistica – solo uno Scipione e tutti gli altri sono Annibale, allora il dipartimento dovrebbe essere lasciato estinguere e al tempo stesso dare a Scipione la possibilità di trovare una sistemazione più adeguata, in qualche modo stimolando la mobilità tra atenei, attualmente congelata dai problemi di budget.

  3. La debolezza di questo ragionamento sta, a mio modo di vedere, nel fatto che non si è preso in debita considerazione il peso (pur correttamente citato) della quota premiale. Esso sarà nel 2016 il 20% del totale. Cioè il dipartimento peggiore avrà ancora l’80% delle risorse a disposizione per realizzare progetti “virtuosi”. Naturalmente vi potrebbe essere un altro approccio: invece della punizione la proposizione. Ma sarebbe molto difficile differenziarlo per ogni dipartimento di ogni ateneo. Dovrebbe essere (abbastanza) generale. Stabilire, per esempio, che tutte le chiamate siano esterne o che per ottenere una certa posizione si debba avere maturato una lunga e significativa esperienza internazionale potrebbero essere misure alternative. Tali misure -non è un caso- sono applicate da tempo in diversi sistemi virtuosi…

  4. Mah…è sicuramente un tema che può vedere posizioni diverse.
    Personalmente penso che così come viene ora fatta, la valutazione presenti diverse criticità: l’obsolescenza dei risultati sui quali si basa, le perplessità sull’efficacia degli indici bibliometrici, la mancata considerazione della qualità della didattica impartita e dei processi di innovazione implementati, la generalizzazione.
    Ma al di là di tutto questo, su cui si potrebbe discutere a lungo, c’è un punto a mio avviso da considerare e riguarda le politiche di reclutamento e le scelte che conseguentemente ad esse vengono disposte. Chi operi da tempo in università ha avuto esperienza di come raramente gli Atenei ed i Dipartimenti si aprano e cerchino, realmente e nel concreto, di acquisire le risorse migliori disponibili….che detto fuori dalle righe hanno spesso nomi e cognomi ben noti ed indipendenti dalle analisi delle banche dati e degli indici bibliometrici.
    Non ho particolare stima per Anvur,anzi mi sembra che le cadute di questa Agenzia siano state veramente molte. Ma credo sia evidente che l’attenzione alla qualità dei reclutati sia cresciuta dopo queste vicende e che le chiamate siano fatte, ora, su basi meno localistiche di prima.

  5. Ma Scipione lo sapeva già di essere Scipione (o no?) ancor prima di mettersi a giocare a fare il RU o il PA! E sapeva già allora (o no?) che c’erano gli Annibali (rapidi PO). Ed eventualmente poteva andare a fare il carpentiere ….. ma poi ci sarebbero stati le botteghe dei figli di carpentieri già avviate …. vero? ed il ciclo si sarebbe ripetuto.
    Ma la volete finire di piangervi addosso … tutti voi sfigati …. e di iniziare a rimboccarvi le machine seriamente??
    Mi sembra che ogni tanto si rievochi la storia di Calimero: “Tu non sei nero, sei solo sporco”……

  6. secondo Lee Cronbach (1980), mentre l’accountability volge lo sguardo al passato per distribuire meriti o colpe, la finalità della valutazione è al contrario quella di capire i processi per indirizzare attività future.

    La valutazione negli ultimi decenni ha subito molti affronti:
    è stata stravolta nelle sue finalità, che sono diventate di controllo poliziesco o, nei casi più sottili di regolazione delle condotte (servitù volontaria)
    è stata scambiata con la misurazione (che invece può costituirne solo un momento).

    Coniglione ha perfettamente ragione. La valutazione serve a chi è impegnato in un processo ad attribuire valore a certe dinamiche per migliorare la propria attività. Non a sparare numeri a vanvera per controllare o dare l’impressione di tenere sotto controllo.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.