Valutazione

La valutazione, come l’essere di Aristotele, si può ‘dire’ in molti modi

In un momento infiammato del dibattito sulla VQR (che sarebbe un errore appiattire sulla questione salariale e degli scatti mancanti), è forse utile riflettere su quel che potrebbe essere un modello diverso di valutazione, magari prendendo spunto da qualche paese che non sia tra i soliti comunemente menzionati. Già in passato ho cercato di portare l’attenzione su ipotesi valutative diverse che – senza perdere di rigore e anzi stabilendo standard assai stringenti – evitassero tutti gli inconvenienti del modello implementato dall’Anvur, i cui difetti sono stati illustrati in modo così ampio e approfondito sulla pagine di Roars da esimerci dal ribadirli.

PAN logoPer far ciò vorrei raccontare un po’ quello che ho appreso da quando sono entrato a far parte, come membro straniero, della Rada Kuratorów del PAN, ovvero del Consiglio Scientifico del Dipartimento delle scienze umane e sociali della Accademia Polacca delle Scienze (in tutto cinque dipartimenti o sezioni). La Rada è il massimo organo che vigila su tutti gli istituti scientifici in questo ambito disciplinare (in tutto 14, con tre unità di supporto, come archivi e biblioteche). Esso, tra le altre cose, ha il compito di valutare ogni quattro anni le performance degli istituti; dopo due se quella della cadenza regolare è stata negativa. Per chi non lo sappia, il PAN è una sorta di Cnr; anche qui i suoi ricercatori non hanno compiti didattici (questo il motivo per cui in periodo comunista gli intellettuali dissidenti venivano collocati nel PAN, in modo da evitare il contatto con gli studenti); solo che ha un ruolo e un numero di ricercatori più significativo del Cnr ed è più diffuso sul territorio, rivestendo in un certo qual modo il ruolo di organo di eccellenza per la ricerca scientifica.

Vediamo dunque come viene effettuata la valutazione degli Istituti scientifici che ne fanno parte.

Innanzi tutto essa non avviene mediante la compilazione di moduli o modelli preformati, né concerne solo le prestazioni scientifiche, ma una molteplicità di elementi che sono stati stabiliti dalla stessa Rada e che comprendono in sostanza 14 punti: struttura impiegatizia; formazione dei quadri scientifici; attività nella ricerca di finanziamenti; attività editoriale; studi di dottorato; studi post-laurea e corsi organizzati dell’istituto; pubblicazioni; attività di expertise al di fuori del PAN; collaborazione con paesi e ambienti scientifici di nazioni estere; appartenenza di membri dello staff a consigli scientifici del PAN e di altri organismi; i 10 più importanti risultati scientifici; i 5 più importanti successi nella collaborazione con istituti impegnati nel sociale; condizioni dei locali e finanziarie; qualità della pagina internet.

Tutti questi indicatori vengono valutati da una commissione nominata dalla Rada, composta da due docenti universitari e da un ricercatore del PAN. Essa si reca presso l’istituto, parla con il direttore, con i ricercatori, constata ad oculos le condizioni logistiche, la biblioteca, il suo funzionamento, lo stato delle attrezzature, si fa fornire i dati necessari e quindi alla fine redige un rapporto di parecchie pagine in cui punto per punto enumera gli elementi di forza e di debolezza dell’Istituto. Questo rapporto si chiude con delle osservazioni generali e una serie di raccomandazioni sulle azioni che devono essere implementate per superare gli eventuali punti critici rilevati.

Ocena

Il rapporto viene sottoposto al direttore della struttura, che redige una sua lettera indirizzata alla Rada nella quale può rispondere alle critiche ed eventualmente indicare le azioni future che possono essere intraprese o che si impegna di implementare.

Il rapporto della Commissione e le “controdeduzioni” del direttore dell’istituto vengono acquisiti dai membri della Rada e quindi viene fissata una seduta plenaria nella quale intervengono uno o due commissari, per illustrare il rapporto e rispondere a eventuali ulteriori domande, e il responsabile della struttura valutata (o un suo delegato), che spiega e chiarisce, proponendo le eventuali azioni migliorative. Alla fine i commissari escono, esce il direttore e la Rada discute a lungo il da farsi. Nel caso di valutazione positiva, l’Istituto potrà continuare le sue attività, magari con qualche suggerimento fornito dalla Rada per migliorare ulteriormente le proprie performance; invece, in caso di valutazione negativa, la Rada indica tutta una serie di punti su cui intervenire e sui quali il Direttore deve impegnarsi. In questo caso la valutazione sarà ripetuta dopo due anni, in modo da constatare se effettivamente i cambiamenti suggeriti sono stati per lo meno avviati, anche se i risultati non possono essere ovviamente immediati.

Odpowiedz

Ebbene, avendo assistito a tali riunioni (per due Istituti, quello di Storia della Scienza e quello di Scienze giuridiche), ho potuto constatare come i membri della Rada abbiano fatto pelo e contropelo al direttore della struttura, con domande stringenti, obiezioni, critiche e così via. E come questi argomentasse, a volte con efficacia e a volte meno, a difesa del proprio istituto e proponesse le misure a suo avviso implementabili per rispondere alle critiche. Perché in ballo c’è la vita dell’Istituto: dopo due valutazioni negative di fila, infatti, esso viene sciolto e i suoi componenti licenziati! Essi non hanno la garanzia di essere riassorbiti in altre strutture del PAN o dell’università, ma devono andarsi a cercare una nuova collocazione, seguendo le normali procedure. Tuttavia – a differenza che in Italia – al grande rischio corrisponde anche una grande autonomia decisionale da parte del Direttore (che è il primo a perdere il posto!), il quale può licenziare o assumere nuovi ricercatori o nuovo personale non docente (anche la biblioteca può funzionare male). Non comportando la valutazione negativa una decurtazione del budget, le somme eventualmente liberate da un licenziamento o da altre misure, possono essere reimpiegate, ad es., per assumere altri ricercatori più giovani in grado di avviare quelle linee di ricerca ritenute deficitarie nel rapporto e dalla Rada.

Le lezioni che si possono trarre da una simile valutazione sono evidenti. Innanzi tutto, questo modo di procedere va nello specifico delle situazioni, mira ad una loro conoscenza diretta, a una presa d’atto di persone e cose e non si basa su formulari o giudizi su due sole opere effettuati da persone sempre destinate a rimanere sconosciute, come nella VQR. Il suo scopo non è punire e tagliare, ma piuttosto far crescere la struttura, accompagnarla nella sua capacità di miglioramento, dandole i mezzi per poter effettivamente procedere in questa direzione, giudicando le situazioni nella loro specificità. Non si vuole ridimensionare il sistema della ricerca nel suo complesso – come di fatto sta avvenendo in Italia – ma migliorarne il rendimento, cercando di individuare e affrontare i problemi complessivi che concernono la struttura. In secondo luogo, di fronte alla minaccia di uno scioglimento dell’Istituto, nessuno sarà disposto a rischiare la propria pelle per proteggere il figlio di Tizio o l’amante di Sempronio; nessuno ha l’interesse di salvaguardare il posto di chi non fa nulla, perché “tanto non leva di bocca il pane a nessuno”.

democracyCerto, in questo sistema vi sono punti che potrebbero e dovrebbero essere migliorati o approfonditi e inoltre ha aspetti che possono anche risultare ostici a chi è abituato a una gestione democratica dell’università. Infatti i direttori non sono eletti dal personale scientifico (e/o impiegatizio) degli istituti, ma sono il risultato di un concorso pubblico, specifico per ciascuna struttura, gestito da una commissione nominata sempre dalla Rada. E chi è abituato al posto garantito a vita, può storcere il muso di fronte a una soluzione così drastica quale quella dello scioglimento e del licenziamento. Bisogna però dire che questa è una ipotesi abbastanza rara ed è inoltre facile per i ricercatori migliori trovare una nuova collocazione, ad es. all’università o magari in un altro istituto affine che può essere creato dal PAN in sostituzione di quello liquidato. Sicché a correre dei veri rischi sono i ricercatori più inefficienti e improduttivi.

Ho portato solo un piccolo esempio, che deriva da una esperienza personale. Ma penso che esso basti a far capire come la valutazione non sia una nozione univoca, non ha un solo modo di essere implementata; essa, come l’essere di Aristotele, si può ‘dire’ in molti modi. E il modo in cui viene ‘detta’ in Italia è forse uno dei peggiori.

Send to Kindle
Tag: , ,

3 Comments

  1. Molto macchinosa. Come funziona la valutazione in Usa: tu porti i denari (grants ecc ecc) tu hai il posto. Tu perdi i finanziamenti,tu sei in mezzo alla strada e nessuno ti conosce più. Come funziona la progressione di carriera in Germania:diventi ordinario in un altra sede. Come funziona la valutazione in nord Europa (scandinavis-baltico): ordinario sottoposto a revisione ogni 5 anni.

    • Negli Stati Uniti tutte le maggiori università prevedono la “tenure” per i loro professori, generalmente a partire dalla posizione di “associate professor”. Fanno eccezione i professori della facoltà di medicina il cui stipendio viene pagato dai fondi del contratto di ricerca di cui sono titolari. D’altra parte il “National Institute of Health” (NIH) è molto generoso con le sue “grant”, ad esempio molto più generoso della “National Science Foundation” che è la principale fonte di finanziamenti per la “curiosity driven research” fuori dell’ambito biomedico.Non credo che si possa parlare di contratti della NIH non rinnovati, o ridotti al punto da non coprire lo stipendio del professore titolare del contratto. Così mentre i professori di medicina hanno rinunciato alla “tenure” non hanno fatto altrettanto i professori di altre discipline, ad esempio i professori di filosofia o di matematica. Un risultato interessante è che è abbastanza frequente il caso in cui i proventi delle facoltà di medicina (spese generali previste nei contratti, tasse universitarie, rimborsi delle assicurazioni per cure mediche) contribuiscono a finanziare i corsi di studio delle discipline umanistiche (in realtà non so quanto sia frequente questo fenomeno ricordo però che lo si diceva per la “Johns Hopkins university”.)

  2. Io sono membro del comitato scientifico di una istituzione di ricerca di Barcellona (ES), chiamata Barcelona Media (http://www.barcelonamedia.org/).
    Ogni due anni siamo chiamati a fare un “audit” molto simile a quello descritto in questo articolo, e le conseguenze dello stesso sono parimenti simili: se valutiamo che un intero settore di ricerca sia improduttivo esso viene chiuso. Poichè gran parte del personale è assunto con contratti a termine, questi vengono rinnovati solo a chi ha “tirato”…
    E posso confermare che questi metodi funzionano! Ovviamente è un sistema di valutazione costoso, questi audit richiedono un comitato scientifico internazionale, che ogni due anni visita l’istituzione per parecchi giorni, fa interviste agli sperimentatori, acquisisce ed elabora dati, indi produce una documentazione che costituisce linee guida abbastanza cogenti per i successivi due anni.
    Ma con quel che ci costa sto carrozzone dell’ANVUR, penso si coprirebbero abbondantemente tali costi.
    Va detto infine che per Barcelona Media il periodico contatto con alcuni “top scientist” stranieri costituisce, oltre che un momento di verifica e valutazione, anche un momento di proficuo scambio di conoscenze ed esperienze, da cui sovente scaturiscono nuovi progetti di ricerca e partnership internazionali.

Leave a Reply

Sostieni ROARS

Sostieni ROARS