La crisi ha fatto arrivare al capolinea il contrasto latente tra gli universitari “buoni”, cioè quelli che lavorano con impegno e che mandano avanti la baracca, e quelli “marginali”, che lavorano poco. Non avendo l’accademia la forza di fare pulizia in casa, i “buoni” hanno approfittato della VQR per svolgere il ruolo del giustiziere entrando a far parte dell’Olimpo dei Gruppi di Esperti della Valutazione.

L’università italiana è un sistema complesso che è sopravvissuto a se stesso per mille anni. Dopo la chiesa cattolica è la più antica istituzione nazionale che è sempre riuscita a rimodellarsi per rispondere alla propria funzione sociale. Oggi si trova ad un importante bivio della storia, con il fiato sul collo da parte di una società sempre più esigente in cerca di risposte a domande a cui nemmeno la politica riesce a dare risposte. La valutazione della VQR si inserisce in tale contesto.

Per addentrarci nell’argomento è utile partire da una doverosa premessa relativa al comportamento dei docenti universitari. All’inizio della sua esistenza l’università era un’organizzazione di sapienti che trasmettevano il proprio sapere agli allievi. Questi sapienti si incontravano e discutevano tra loro, spesso in ambienti molto confortevoli, davanti ad una tazza di tè. Ancora oggi, visitando antiche università, si possono vedere queste sale di ritrovo tappezzate in legno e con comode poltrone. Erano filosofi, astronomi, botanici, giuristi, medici, chimici, letterati, che nei loro discorsi davano vita a quella che oggi chiamiamo fertilizzazione incrociata e che è semplicemente il confronto aperto e fecondo tra persone di cultura. Non a caso l’istituzione è stata denominata università, luogo dell’universalità del sapere.

Nei tempi più recenti l’università si è talmente ampliata ed il sapere è diventato così specializzato che il dialogo tra i docenti/sapienti di fatto non esiste più, o quanto meno, è ridotto a lumicino. In Italia, il paese delle due culture, l’incontro tra scienze umane e scienze naturali è diventato un sogno. L’unico argomento che appassiona, che anzi ossessiona, i docenti italiani è quello dei concorsi.

Tale situazione ha condotto al patto fondativo dei rapporti tra docenti: poiché si ritengono (idealmente) tutti sullo stesso piano, ciascuno è padrone nel proprio ambito che difende con le unghie e con i denti, ed ha potere di interdizione nei confronti degli altri: la regola baronale è “vivi e lascia vivere e non ti immischiare in cose altrui”. Si danno casi di colleghi che svolgono attività simili, hanno laboratori nello stesso corridoio, non si parlano e poi, quando si incontrano nei convegni, scoprono di fare la stessa ricerca. Questo tipo di rapporti più o meno falsamente paritetici ha consentito nel corso del tempo di “coprire” magagne che sarebbero dovute essere sanzionate dal di dentro dell’università prima che il marcio venisse fuori sui giornali o nelle aule dei tribunali. Magagne che hanno prodotto scandali come quelli delle università di Roma, di Napoli, di Bari e che, pur essendo stranote a tutti gli addetti ai lavori, non hanno dato luogo ad un moto di rigetto e ad una autocorrezione in virtù della ferrea regola secondo cui “il collega non si tocca”.

 

La collettività accademica è molto variegata. Ai fini della nostra analisi, i docenti universitari possono essere divisi in tre categorie: gli “attivi interni”, gli “attivi esterni” ed i “marginali”. Gli “attivi interni” sono quelli che hanno il proprio centro di interessi nell’università, che fanno buona didattica e buona ricerca, che si impegnano nell’istituzione e che ne sono l’asse portante (e sono tanti); gli “attivi esterni” sono i docenti che svolgono prioritariamente il proprio lavoro all’esterno (a volte anche all’interno) e che di fatto utilizzano l’università come un supporto alla professione (una parcella di un professore è più pregiata e costosa di quella di un normale professionista). Di questa categoria fanno parte, tanto per esemplificare, i medici, gli avvocati, gli ingegneri, gli architetti, i commercialisti. Infine, i “marginali” sono i docenti che vanno poco all’università, che cercano di ridurre al minimo il carico didattico, che non si impegnano nell’istituzione, che fanno una vita accademica molto appartata; insomma, persone che, per motivi più o meno legati alle responsabilità individuali, o hanno sbagliato carriera, o sono scoraggiate dal contesto in cui si muovono, o non sono qualificate, o sono state emarginate, o che magari si sono intrufolate all’università attraverso i vari ope legis.

Gli “attivi interni” hanno accumulato nel corso del tempo un forte risentimento nei confronti dei “marginali”. E hanno mille ragioni: sono loro che “tirano la caretta”. Tale risentimento, che è rimasto latente negli anni di vacche grasse, si è trasformato in intolleranza in tempi di crisi in cui si è aperta la lotta per la sopravvivenza. Come uscirne? Visto che le regole non scritte del quieto vivere e quelle formali che regolano la vita accademica non consentono di mettere i “marginali” di fronte alle proprie responsabilità, quale migliore occasione della VQR? Si prende come punto di riferimento la ricerca, visto che la valutazione della didattica è troppo complessa, si trasferisce la responsabilità ad un ente esterno, l’ANVUR, e si fa piazza pulita dei “marginali”. L’operazione naturalmente richiede l’arruolamento dei “killer” (in senso buono, naturalmente). Ecco la soluzione: l’ANVUR mobilita gli “attivi interni” e li arruola nell’Olimpo dei Gruppi di Esperti della Valutazione (gli universitari sono la stragrande maggioranza dei 450 esperti). Per inciso va notato che i suddetti individui saranno pure i migliori conoscitori della propria materia, saranno pure quelli attivi nella ricerca perché hanno una produzione scientifica recente certificata dalla bibliometria, almeno delle scienze “dure”, ma è tutto da dimostrare che siano esperti di valutazione, attività che di per sé richiede una specializzazione professionale.

Se in linea di principio l’operazione di “pulizia” dell’università attraverso l’ANVUR è cosa buona e giusta, visto che le regole interne non lo consentono, vi sono alcuni rischi che potrebbero condurre a peggiorare, invece che migliorare, la situazione, e che quindi dovrebbero essere attentamente valutati.

Il primo è legato al fatto che il nesso tra didattica e ricerca non necessariamente è così stretto. Un bravo docente può anche essere un modesto ricercatore – e l’università si fonda sui bravi docenti.

Mettere, guardando soltanto alla ricerca, all’angolo un buon docente, che tra corsi, esami, ricevimento degli studenti, tesi, ecc. ha poco tempo per fare pubblicazioni non sembra la scelta più appropriata in un’organizzazione dedicata alla didattica.

In secondo luogo, va tenuto presente che non sempre i docenti sono in condizione di svolgere una ricerca di eccellenza per il semplice fatto che l’università non mette loro a disposizione i necessari strumenti organizzativi, finanziari, strutturali. Peraltro, negli ultimi anni le risorse finanziarie delle università si sono sempre più assottigliate e, per varie ragioni indipendenti dalla volontà dei singoli, è diventato sempre più difficile fare ricerca ai livelli richiesti dall’ANVUR. Insomma introdurre di fatto in Italia la pratica del publish or perish sarebbe una rivoluzione copernicana che andrebbe ponderata con grande attenzione.

Infine va tenuto conto che se, come auspicato da alcuni, l’impiego dei risultati della VQR condurrà alla chiusura di dipartimenti e financo di università, si metterà in moto un processo che richiederà misure e decisioni di natura politica e sociale che vanno ben al di là del ristretto orticello universitario.

Dunque: adelante Pedro, con judicio.

Print Friendly, PDF & Email

40 Commenti

  1. Penso che si dovrebbe aggiungere un’altra categoria, quella delle superstar, ovvero individui particolarmente attivi sul lato della ricerca e particolarmente infastiditi dagli impegni didattici e istituzionali (oltre la didattica oggi i docenti sono chiamati a svolgere molte mansioni anche di tipo organizzativo). Si tratta spesso di economisti, tanto imbevuti dell’utopia concorrenziale da considerare l’accademia soltanto uno strumento per far emergere le eccellenze, con buona pace della missione di trasmissione della conoscenza. Questo è il fondamento della (ragionevole) richiesta di agganciare le retribuzioni alla produttività scientifica e della (irragionevole) richiesta di ridurre il carico didattico dei docenti più produttivi dal punto di vista della ricerca. La giustificazione teorica è quella della specializzazione nelle rispettive mansioni di “docenti” da una parte e “ricercatori” dall’altra, attuata però in maniera “research oriented”. La riduzione del carico didattico è vista come un premio che spetta ai ricercatori più produttivi, a parità di retribuzione, oltre l’incentivo economico. I ricercatori meno produttivi, invece, sono puniti con un maggiore carico didattico. Questo schema consente di incrementare la produttività dell’elite dei “ricercatori” ma contemporaneamente riduce quella dell’esercito di “docenti”, con l’addio alla dignitosa ricerca che prima svolgevano. Se questo comporti, in aggregato, un miglioramento complessivo della ricerca (e della didattica) svolta in Italia è questione alquanto dubbia. Certo è soltanto il miglioramento della rendita di posizione dell’elite.
    Se di specializzazione vogliamo parlare non vedo perché non immaginare uno schema in cui sia possibile optare, a retribuzione ridotta, per una delle due mansioni (didattica o ricerca), o per entrambe, a retribuzione piena, prevedendo incentivi sui risultati raggiunti in entrambe le mansioni.
    Aggiungo che la 240 (art. 5, comma 3) specifica che “gli indicatori definiti ex ante dall’Anvur saranno utilizzati per la verifica da parte degli atenei di idonei requisiti didattici, strutturali, organizzativi, di qualificazione dei docenti e delle attività di ricerca, nonche’ di sostenibilità economico-finanziaria”. Quindi dovremmo discutere di didattica, ricerca, organizzazione e sostenibilità economica, non solo di ricerca.

  2. Concordo con quanto scritto da Bruna Bruno che individua anche la categoria delle superstar.
    L’università deve vivere in un ragionevole equilibrio tra didattica, ricerca ed altre attività svolte all’interno ed all’esterno. E tale equilibrio deve essere trovato con saggezza, anche in senso dinamico, in ciascuna sede tenendo presente che il sistema è estremamente complesso e che ha forti caratteristiche locali. Vi sono molti esempi di docenti che svolgono bene, con competenza e dedizione, tutte le attività. Il pericolo incombente è quello di fondare tutto sul parametro della ricerca compromettendo l’armonia.
    Va peraltro tenuto presente che la valutazione può avere effetti perversi che vanno assolutamente evitati per non peggiorare la situazione.
    Sarei piuttosto scettico sul fatto che in Italia si possa introdurre un tipo di rapporto di lavoro che veda una retribuzione ridotta ed incentivi misurati sui risultati raggiunti. Chi sarebbe responsabile di tali decisioni? Il preside o il rettore?
    Concordo infine sulla severa critica che Bruna Bruni fa degli “economisti imbevuti di utopia”. Da economista suggerirei a questi colleghi di prendersi un anno sabbatico, lasciare per un momento i loro modelli, le loro ideologie, e farsi un giretto nella quotidianità. Certamente la decisione di Mao, durante la Rivoluzione culturale, di deportare gli intellettuali nelle campagne è stata eccessiva e controproducente, ma l’idea di farli uscire dai felpati studi per camminare nel mondo non farebbe male ai nostri “economisti imbevuti di utopia”.

    • A me pare che il problema non sia tanto che certe tesi sono utopistiche, ma che lo sono in modo irragionevole. Ciò può dipendere sia da un difetto di realismo nel modello, sia dal fatto che esso incorpori assunzioni normative ingiustificate (e che potrebbero anche rivelarsi ingiustificabili). Tanto per fare un esempio, gli economisti che avete in mente (almeno credo) quando scrivono per i giornali tendono a assumere una concezione di giustizia che assomiglia a una versione semplificata dell’utilitarismo: giusto è ciò che massimizza l’utilità generale. Come è noto a chi studia queste cose, si tratta di una teoria cui si possono muovere obiezioni molto serie. Quindi, argomentando, non si dovrebbe farla passare per una sorta di verità di ragione.

    • Non so esattamente chi abbiate in mente quando parlate di economisti superstar imbevuti di utopia (il solito duo Alesina-Giavazzi?). Non nego che esistano, per carità, ma certamente non rappresentano il “tipo ideale” del collega favorevole al VQR, così come io lo conosco. Tanto per fare esempi concreti: il mio collega che fa parte del GEV13 è un economista di sinistra (parecchio di sinistra), che fa circa 200 ore di didattica, è preside di facoltà, e pubblica su importanti riviste internazionali.
      Forse Daniele è un caso estremo; più in generale, coloro che sono favorevoli alla valutazione della ricerca sono solitamente persone che hanno avuto esperienze di lavoro in paesi dove la valutazione si fa da anni, e hanno potuto apprezzarne gli aspetti positivi. Si tratta di giudizi maturati con l’esperienza diretta, non fondati su ideologie preconcette. Sempre le stesse persone sono ben consce dei danni che un’applicazione estrema dei risultati del VQR potrebbe causare. Ma essi enfatizzano la necessità di procedere in questa direzione perché in Italia siamo anni luce dalle aberrazioni paventate qui sopra. Se in Italia stiamo sbagliando, al momento stiamo sbagliando nella direzione opposta e dunque in questo contesto storico è bene sottolineare i vantaggi piuttosto che i potenziali danni della valutazione (che sono anni luce dal verificarsi). Come sicuramente avrete notato, su ROARS un intervento su tre è favorevole alla valutazione, ma non fatta dall’ANVUR; e due interventi su tre sono contro la valutazione in ogni caso. Quelli (come il sottoscritto) che continuano a dialogare con gli scettici, lo fanno perché sono appassionati del loro lavoro (anche della didattica), perché vorrebbero migliorare le istituzioni nelle quali lavorano, e perché credono che spiegando si possano convincere anche i colleghi riluttanti – o almeno dissipare alcune paure irragionevoli. Evocare ideal-tipi come il mostruoso economista a tre teste (bocconiano, superstar, liberista) non aiuta al dialogo, e secondo me danneggia tutti coloro che vorrebbero cambiare l’accademia italiana. Il fuoco di sbarramento che produciamo viene interpretato all’esterno come una riluttanza a priori a misurarsi con criteri di merito, e in un paese dove ogni giorno si suicida un poveraccio sommerso dai debiti, ci vuole poco a essere identificati con la casta degli intoccabili.

    • In verità, non mi sembra che si discutesse di “valutazione si, valutazione no”, quanto piuttosto del possibile uso che si vuole fare dei risultati della valutazione e dei molteplici oggetti possibili della valutazione. È opportuno non confondere i differenti piani.
      Tra i possibili oggetti della valutazione c’è anche la didattica, il sistema organizzativo (come nel vecchio CampusOne) e la sostenibilità economico finanziaria.
      Tra i possibili usi della valutazione c’è l’arcinota distinzione tra teaching e research departments e la proposta di ridurre il carico didattico dei ricercatori più produttivi (riproposta anche nei commenti al post più commentato di roars).
      Se non si confondono i differenti piani di discussione, si può essere favorevoli alla valutazione ma critici verso l’uso che se ne vuole fare, si può apprezzare l’impegno didattico e scientifico dei membri dell’ANVUR senza approvare la voglia di scrollarsi di dosso la didattica manifestata da altri ricercatori.

    • Caro Francesco,

      giudico l’Anvur principalmente come istituzione, ovvero come un insieme di regole. Da questo punto di vista credo che sia del tutto legittimo osservare che le regole in questione sembrano scritte da un legislatore benthamiano cui è stato affidato il compito di governare gli indigeni che vivono in una colonia, con il mandato di guidarli verso la civiltà attraverso un uso oculato degli incentivi. Government House Utilitarianism.

      Una brutta cosa per un liberale.

    • Ce l’hai proprio con gli utilitaristi eh! Devo ammettere che più invecchio e più scivolo verso il vecchio Jeremy… Nel mio caso fu an anno malefico da direttore i dipartimento a convincermi che molti colleghi (molti – non tutti) reagiscono soltanto agli incentivi. Ma so benissimo che il linguaggio degli incentivi è aborrito da molti nostri amici, specie i letterati e gli umanisti. I diritti inalienabili e le morali kantiane hanno una forza d’immagine imbattibile…

    • Lo sospettavo.

      Scherzi a parte, c’è una cosa su cui vorrei evitare fraintendimenti: quando dico che l’Anvur sembra ispirata dal Government House Utilitarianism di certi amministratori coloniali britannici non sto formulando una critica Kantiana. Non intendo affatto sostenere che se la stessa istituzione svolge compiti di valutazione e di regolazione, per giunta in un settore importante e delicato come l’università, vuol dire che il legislatore che l’ha concepita non abbia preso sul serio la distinzione tra le persone, per riprendere la formula di Rawls. Anche perché, per fortuna, l’Anvur non è parte della struttura di base della società. La mia obiezione è più politica. Ritengo che un paese che voglia preservare, magari migliorandole, le proprie istituzioni educative e di ricerca non dovrebbe accettare come se fosse normale che esse vengano sottoposte a poteri ampi come quelli che vengono attribuiti all’Anvur, specie se alcuni esponenti di tale organismo sembrano interpretarli come una delega in bianco nel perseguire la propria missione civilizzatrice. Una scelta di questo tipo sancisce legalmente una valutazione complessivamente negativa della comunità accademica italiana come inadatta all’autonomia e bisognosa di un despota benevolo che si assuma il compito di rieducarla.

    • Guala: quello che non aiuta il dialogo è continuare a scrivere schiocchezze. Se lei scrive che “su ROARS un intervento su tre è favorevole alla valutazione, ma non fatta dall’ANVUR; e due interventi su tre sono contro la valutazione in ogni caso” lei deve anche scrivere a chi si riferisce perchè, come abbiamo detto più volte, la valutazione va fatta ma va fatta bene e chi è contrario alla valutazione è chi l’ha organizzata in modo dilettantesco. Continuando a scivere queste schiocchezze lei non fa che confermare che una visione ideologica della realtà basata su preconcetti non supportati da dati di fatto, ma anzi con una continua manipolazione di questi, è la cosa più dannosa che infesta il dibattito pubblico sul problema dell’università e della ricerca e che ha fatto danni enormi in questi anni. E purtroppo per la categoria tale sciocca ma interessata visione è normalmente propagandata da “economisti” che l’unica cosa che conoscono sono le balle che si ripetono a vicenda ma che purtroppo hanno la possibilità di diffondere usando i principali quotidiani di questo paese come fossero la loro bacheca di facebook.

  3. Mi spiace Guala ma io non l’ho assolutamente notato “Come sicuramente avrete notato, su ROARS un intervento su tre è favorevole alla valutazione, ma non fatta dall’ANVUR; e due interventi su tre sono contro la valutazione in ogni caso.” Faccia esempi concreti con links grazie.

  4. Seguendo i temi affrontati mi rendo sempre più conto del tentativo di “aziendalizzare” l´università e la ricerca. I confronti per me sono moltissimi ma ne cito alcuni.
    1) La creazione di classifiche per “l´eliminazione” dei non efficienti (particolarmente usata nei periodi di crisi per ridurre i costi, insieme alla vendita dei gioielli di famiglia per placare i debiti con le banche). Alternativa a questo si offrono gli incentivi per andarsene.
    2) La standardizzazione di sistemi e procedure per il giudizio “dei dipendenti”
    3) La creazione di stipendi differenziati in base al presunto merito
    4) L´uso di “incentivi” per il raggiungimento degli “scopi” o target
    5) Iper specializzazione nel lavoro

    Premesso che secondo me il settore della scuola, Università, ricerca universitaria non può essere paragonato all´industria perché sono o dovrebbero essere portatrici di “VALORI” diversi, mi permetto di dire che se a prima vista potremmo concordare che potrebbe essere una buona idea attuare i punti sopra, dobbiamo anche essere coscienti che ciascuno dei punti ha anche dei risvolti molto amari se non vengono applicati correttamente.
    1) Le classifiche nel caso in cui siano fatte da persone o gruppi sono fortemente “SOGGETTIVE” e arbitrarie (così come le metodologie) e hanno dato la possibilità di effettuare “epurazioni” anche “ideologiche” non direttamente correlate all´efficienza lavorativa.
    2) La standardizzazione può non far diminuire le “ingiustizie” negli avanzamenti di carriera ma anzi in alcuni casi succede il contrario, perché contribuisce a far avanzare solo tipologie di persone specifiche, che a quei modelli “coincidono geneticamente” penalizzandone altre altrettanto utili per il sistema. Alcuni dei risultati sono: generale demotivazione e sfiducia nei sistemi di controllo.
    3) Premesso che in ogni sistema sociale ci sono i fannulloni e le “super star” che tirano avanti la baracca lavorando il triplo degli altri….. anche il Presunto merito è arbitrario, spesso viene confuso con la VISIBILITÀ di un individuo. Piú una persona è visibile e appariscente, ha i così detti “social skills”, piú è avvantaggiata nel salire di carriera, questo però non è sempre indice di un individuo etico, capace, preparato e bravo nel suo lavoro!
    4) Solitamente per stabilire gli incentivi vengono fissati i così detti “targets” che cosa succede a) Con gli incentivi si va a colpire la componente sociale e comunitaria a favore della componente profondamente egoistica sollecitata dal „premio“. la persona è concentrata a raggiungere solo i risultati perché egoisticamante portano il beneficio, non importa se quel “target” è giusto o sbagliato o non etico o sarebbe meglio fare delle cose in modo diverso. Sostanzialmente potremmo parlare di annullamento della volontà personale. b) c´è un generale calo della motivazione a “innovare” perché le linee vengono dettate dall´alto e sono quasi sempre a breve periodo. c) si può giungere a uno sfruttamento d`idee di sottoposti per raggiungere gli scopi (questo soprattutto da parte di individui privi di scrupoli), diciamo copiare == cooperare.
    5) La iper- specializzazione nel lavoro porta al lento degrado della inventiva e a un rallentamento della nascita di nuove idee.

    In un certo senso è come se si volesse ridurre tutti gli individui a una copia del “super homo economicus”, non considerando le diverse peculiarità e ruoli degli individui in una struttura sociale o lavorativa.
    Immaginate se in una squadra di calcio fossimo tutte punte o tutti difensori, la squadra non funzionerebbe. Stessa cosa se fossimo una squadra ma a ricevere i meriti o incentivi fossero solo quelli che fanno goal…… ma allora anche il difensore vorrebbe essere una punta…… ma purtroppo non lo sará mai!

    Per i motivi sopra citai bisognerebbe passare a dei sistemi NON PUNITIVI!
    Primo la responsabilizzazione del ruolo nell´ambito del lavoro, per alcuni individui più libertà di gestione non meno (purché dimostrino di meritarla). Individuare gli interessi delle persone e incentivare la CRESCITA in base alle proprie attitudini! Carriere differenziate.

    Vorrei comunque sottolineare che NULLA di tutto questo ha a che fare con le vere motivazioni che muovono chi alla ricerca e al lavoro ( e io credo ancora che ce ne siano tante di queste persone), qualunque esso sia, dedica la propria vita e passione! QUESTA NON È “MONETARIZZABILE”!

    http://www.youtube.com/watch?v=6tvIjZXGo7s

    • Credo che l’intera questione della valutazione soffra di un equivoco di fondo. Posto che forme di valutazione (soprattutto ex post) sono presenti nella maggior parte dei sistemi accademici funzionanti, ci sono buone ragioni per tentarne l’introduzione in quello italiano. Il vero problema però, prima di scendere nei dettagli relativi ai criteri, è il seguente: quale uso è opportuno fare di queste valutazioni? Cosa vogliamo che i nostri criteri effettivamente facciano?
      Infatti ci sono usi molto differenti in cui una valutazione di ricerca e didattica accademica può essere impiegata. Io ne distinguerei almeno tre.

      Il primo è quello di valutare le eccellenze, generando una gerarchia piramidale dettagliata.

      Il secondo è quello di fornire garanzie di buon funzionamento al sistema, stigmatizzando (disincentivando) comportamenti inefficienti o dannosi.

      Il terzo è quello di indirizzare i comportamenti (di ricerca ed eventualmente didattica) in certe specifiche direzioni, incentivando certe pratiche (per dire, l’internazionalizzazione) a scapito di altre.

      Queste tre applicazioni richiedono criteri differenti e presentano ciascuno problemi particolari. Un sistema che abbia obiettivi del primo tipo, mirando alla creazione di ranking piramidali con eccellenze al vertice, è tecnicamente difficile, se non impossibile da implementare. Una consapevolezza minima della storia della scienza e del pensiero ci indica senza ombra di dubbio che nessuna forma di valutazione, neppure la più raffinata (peer review in senso esteso) è mai stata in grado di dare adeguato riconoscimento all’eccellenza. Figuriamoci poi se come parametri di eccellenza pensiamo di affidarci a meccanismi bibliometrici. E’ forse necessario chiederci se di un tale sistema abbiamo davvero bisogno.

      Veniamo al secondo caso. Un sistema di valutazione può essere parametrato in modo da ‘togliere la morchia’ dal fondo del barile. Questo è molto più facile da implementare. Mentre esistono mille casi in cui qualcuno può essere un valido accademico mancando però in questa o quella qualità (pubblica male, ma insegna bene; pubblica poco, ma di peso, ecc.) esistono casi in cui non ci sono molte scuse possibili: se qualcuno fa scarsa o nulla ricerca ed è giudicabile come un pessimo docente ci sono buone ragioni per stigmatizzarne l’operato e ‘disincentivarlo’. Per queste valutazioni anche criteri abbastanza rozzi possono essere utili. La funzione benefica di valutazioni fatte per denunciare l’inefficienza univocamente individuabile è che produce spontaneamente una tendenza a conservare sempre uno standard accettabile, mettendo in attività tutti. Questo, si noti, è né più né meno di ciò che ogni sistema accademico funzionante richiede: non deve distribuire medaglie a presunte superstar, ma deve garantirsi che la qualità permanga buona. (Non è sul piano delle superstar che il sistema italiano è carente, ma su quello dell’affidabilità generale). Ciò è sufficiente a creare quell’incentivo che oggi manca in molte cooptazioni concorsuali ad hoc, cioè l’incentivo ad escludere possibili pesi morti, portaborse fedeli ma accademicamente fuori posto.

      Il terzo ordine di valutazioni è di nuovo complicato da implementare, ma meno del primo: si possono dare premi comparativi di varia natura a certi indirizzi, se lo si ritiene opportuno. Si possono adottare criteri che inducano le riviste ad utilizzare selezioni a doppio cieco, o magari a pubblicare anche in lingue diverse dall’italiano, o altro ancora. Se però i criteri di questo ordine si sovrappongono agli altri, soprattutto ai primi, si generano effetti non voluti ed esiziali, su cui adesso non mi soffermo.

      Il punto problematico generale però è che nei criteri che si sono elaborati (VQR) e che si stanno elaborando questi obiettivi sono confusi e producono perciò indirizzi necessariamente contraddittori e contestabili.

    • Caro Andrea,

      sono perfettamente d’accordo. Aggiungo che è il secondo tipo di valutazione su cui sarebbe ragionevole concentrarsi nella nostra situazione, ma nutro seri dubbi sul fatto che l’Anvur abbia un obiettivo così modesto.

    • Accolgo con particolare piacere l’intervento di Andrea Zhok che riporta il dibattito sul tema proposto dal post di Sirilli. Mi stupisce come in un blog frequentato da accademici (scusate la parola) non si riesca a focalizzare la disamina su un argomento per volta.

      Avendo messo in mezzo la definizione “superstar” mi sento in dovere di ribadire che la valutazione è importante, che può essere utile e che qualsiasi dibattito sul tema contribuisce a creare una “cultura” della valutazione in cui ogni impiegato pubblico (come i docenti universitari sono) è chiamato a dar conto delle proprie attività.
      I punti successivi sono:

      1) come si fa la valutazione
      2) perché si fa la valutazione
      3) cosa di valuta
      4) quando si valuta

      Sul primo punto, roars è particolarmente ricco di autori qualificati a discuterne.
      Sul secondo punto il post di Sirilli ha tentato di aprire un dibattito.
      Sul terzo punto mi sembra ci sia un generale disinteresse.
      Sul quarto punto ci sono alcuni accenni alla “fretta” ingiustificata dell’ANVUR, un po’ meno sulla qualificazione “ex ante” ed “ex post” della procedura.

      Parliamo di una cosa per volta.

  5. Tre buone pubblicazioni in 6 anni sono davvero poche. Tutti dobbiamo insegnare *e* fare ricerca. Richiedere una buona pubblicazione ogni due anni non vuol dire privilegiare la ricerca. Vuol dire imporre un requisito minimo, che solo chi ha messo i remi in barca non puo’ soddisfare. Come puo’ insegnare a scrivere un saggio a uno studente qualcuno che non e’ capace di scrivere un articolo ogni due anni? Ci sono senz’altro eccezioni – esistono grandi studiosi che pubblicano poco. Se le eccezioni diventano la norma, pero’, ci troviamo con una comunita’ accademica non all’altezza, tagliata fuori dal dibattito internazionale, dove non si fa carriera per merito accademico.

    • Gentile CervelloInFuga,
      il problema della VQR non è il fatto di richiedere N pubblicazioni per M anni ma come l’intera architettura del sistema di valutazione è stata progettata e con queli criteri le pubblicazioni vengono valutate. In questa pagina https://www.roars.it/?page_id=5528 può trovare le risposte ad alcune delle domande più frequenti sulla VQR che sono state discusse su questo sito.

  6. Leggero’, grazie. Gli esperti valutatori del mio campo sono studiosi di rilievo internazionale, non avrei problemi a far valutare la mia ricerca da loro o da esperti scelti da loro. La valutazione sara’ sempre imperfetta. L’assenza di valutazione consente storture vergognose, e.g. posti da ricercatore dati a chi si e’ pagato la pubblicazione dei propri libri senza pubblicare altro, posti dati a familiari etc. Meglio – molto meglio – una valutazione imperfetta.

    • l’eccelenza scientifica in un determinato campo non implica la conoscenza dei problemi della valutazione. Una valutazione fatta male e’ nociva in quanto condiziona in maniera artificiale a sbagliata il comportamento dei singoli. In questo post https://www.roars.it/?page_id=5601 c’e’ un riassunto dei punti salienti da cui puo’ risalire ai vari articoli. Un’unica esortazione: non sia superficiale.

    • Allora e’ meglio non valutare, o aspettare until doomsday che si trovi un sistema di valutazione perfetto?

      La valutazione in UK e’ imperfetta: 8 esperti assegnano da una a quattro stellette a quattro pubblicazioni per ricercatore su un periodo di 6/7 anni. Hanno un anno a disposizione per valutare. Come valutano? Imperfettamente: leggiucchiando, e molto probabilmente guardando dove gli articoli o libri sono stati pubblicati. (Le riviste peer reviewed con una acceptance rate tra il 4 e il 10% sono un ottimo modo per valutare la qualita’ della ricerca – senz’altro in modo imperfetto, ma efficace.) Il risultato pero’ e’ che un dipartimento ci pensa su molto bene prima di dare lavoro a un ricercatore scarso, che pubblichera’ poco e male. Significa anche che chi ha idee e pubblica abbastanza e bene, riesce, con un po’ di fortuna in questi tempi di crisi, a trovare lavoro. Fatto cruciale: la quantita’ di soldi ricevuta dalle universita’ e’ direttamente proporzionale alla qualita’ della ricerca prodotta. (Ripeto: le riviste peer-reviewed sono un indicatore piuttosto affidabile.)

      Lei scrive che la valutazione fatta male condiziona in maniera artificiale e sbagliata il comportamento dei singoli. Mi esorta anche a non essere superficiale.

      Puo’ darsi che io sia superficiale: senz’altro la valutazione puo’ essere fatta in modi diversi, alcuni migliori, altri peggiori. Ma risponderei che l’assenza di valutazione condiziona i singoli, e l’intero sistema universitario italiano (perlomeno nelle humanities), in modo ancora peggiore della presenza di una valutazione imperfetta. Chi fa poco o niente in Italia si sente minacciato, e opporra’ *qualsiasi forma di valutazione* (che sara’ necessariamente imperfetta: non illudiamoci!). Lei e’ persona intelligente, e un bravo ricercatore. Purtroppo il suo benaltrismo favorisce i tanti cialtroni, o piu’ semplicemente incompetenti, che popolano la nostra accademia.

      I miei due centesimi, e le miei impressioni dopo sette anni di studio e lavoro all’estero.

    • Nessuno ha detto che sia meglio non valutare. Per non ripetere le stesse cose consiglio di leggere il commento di De Nicolao qui sotto. Visto che e’ stato in UK si faccia una idea un po’ piu’ realistica di come e’ organizzata la RAE/REF e faccia un confronto con come e’ organizzata l’anvur. Le costera’ un po’ di fatica ma e’ utile per andare oltre gli slogan.

    • Vivo e lavoro in UK, e so come e’ organizzato il REF. E’ imperfetto, ma efficace. In Italia, conosco solo la valutazione in filosofia della scienza. So che esiste un pool di (bravi) valutatori, che nomina dei referees, i quali valuteranno 3 lavori per docente per il periodo 2004-2010. Se affidato a persone sensate, questo modo di valutazione non mi sembra del tutto sbagliato, e nemmeno troppo distante dal REF. Tutto dipende dalla soundness dei valutatori naturalmente. Se gli accademici che pubblicano poco e male (se pubblicano) devono valutare loro stessi, anche con i migliori sistemi di valutazione, non se ne esce.

      A proposito del REF: ha aspetti perversi, per carita’; l’impact e’ un chiaro esempio. Senza il REF, tuttavia, i dipartimenti assumerebbero meno in base al merito – questo glielo puo’ dire chiunque.

    • Certo Guala e il peggior sordo e’ chi non vuole sentire. Lei non fa che confermare quello che ho scritto sopra: parla per preconcetti basati su una visione delle cose che non ha agganci con la realta’: purtroppo non e’ il solo, anzi tra i suoi colleghi mi sembra si trovi in buona compagnia.

    • Il “meglio è nemico del bene” è un motto che, pur contenendo della saggezza popolare, si presta a giustificare qualsiasi cosa. Quando si è in difficoltà di fronte ad obiezioni circostanziate ci si appella alla necessità di fare comunque qualcosa, eludendo le obiezioni a cui non si sa dare risposta. Nel caso specifico, ci troviamo di fronte ad una procedura di valutazione che ignora e contraddice la scienza bibliometrica (con alcuni risultati paradossali se non del tutto errati) e l’esperienza internazionale.

      Le classifiche delle riviste sono state sperimentate in Australia (dandosi tempi e modalità di compilazione del tutto diversi da quelli nostrani) e, dopo aver suscitato fortissime e motivate controversie (per avere un’idea basta cercare su Google Scholar: http://scholar.google.com/scholar?hl=en&q=Australia+ERA+%22journal+rankings%22&btnG=Search&as_sdt=0%2C5&as_ylo=&as_vis=0&as_sauthors=&as_publication=&query_as=word) sono state ritirate in quanto potenzialmente dannose (http://theconversation.edu.au/journal-rankings-ditched-the-experts-respond-1598). Il possibile uso della bibliometria in UK per valutare i singoli articoli è stato oggetto di uno studio accurato e, alla fine, si è concluso che “Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”, vedi http://www.hefce.ac.uk/pubs/hefce/2009/09_39/. Sugli “errori ed orrori bibliometrici” dell’ANVUR ho scritto estesamente, mettendo in evidenza che affidare agli esperti delle discipline scientifiche la costruzione dei criteri bibliometrici non fornisce nessuna garanzia di competenza in ambito di scienza della valutazione.

      Come detto più volte, la voglia di fare una gita in aereo non è una buona ragione per farlo guidare da chi non ha il brevetto di volo. La mia impressione è che buona parte dei colleghi italiani sottovaluti le componenti tecniche e scientifiche della valutazione e che non siano consapevoli che da molti anni è un campo dove non c’è più spazio per il “fai-da-te”. Il credito che viene dato in Italia ai cultori del fai-da-te sembra dovuto a un nostro grave ritardo culturale che spesso si accompagna a diagnosi e terapie più ideologiche che fondate sui fatti (la valutazione come momento di purificazione collettiva più che come strumento tecnico).

      Concludendo: chi è il vero nemico della valutazione? Chi esige competenza e rigore etico e tecnico oppure chi si affanna a spingere soluzioni raffazzonate, scientificamente impresentabili e per di più esposte a sospetti di mancanza di fairness? (vedi l’ottimo articolo di Baccini e Ricciardi relativo alla composizione del GEV13: https://www.roars.it/?p=6794). Io credo che l’Italia meriti non l’ottimo (che non esiste), ma sicuramente qualcosa di meglio.

    • Un piccolo chiarimento: quando si dice che il meglio è nemico del bene si sta facendo una valutazione comparativa delle possibili conseguenze di diverse strategie. Non si stanno negando i problemi che sono stati meritoriamente identificati e ampiamente discussi. (Non è piacevole essere tacciati di ignoranza, specialmente dopo avere passato tante ore a informarsi leggendo i vostri contributi su Roars.) Ora, le conseguenze di fare adesso una valutazione imperfetta come si appresta a fare l’Anvur, oppure un’altra valutazione fra tre anni (anche quella imperfetta) non sono facili da prevedere e certo si prestano a diverse valutazioni, con un elemento forte di soggettività. Noto (vedi il post di Cervello in Fuga) che altri che hanno vissuto come me l’esperienza delle RAE inglesi, ne hanno una visione molto meno edulcorata e più pragmatica di quella che traspare da molti commenti di chi l’ha osservata dall’esterno. Probabilmente per questo siamo più tolleranti rispetto ai difetti evidenti di alcune procedure dell’Anvur.
      Proporre di bloccare tutto ha due conseguenze pessime, a mio parere (ma sono valutazioni in parte soggettive, lo ammetto):
      (1) si fa il gioco di chi non vuole la valutazione punto e basta, rischiando di fare passare il messaggio che la comunità accademica non ne vuole sapere. (Faccio un paragone un po’ provocatorio ma non troppo: anche i nostri parlamentari sono tutti favorevoli a tagliare le spese della politica, a parole, ma poi nei fatti dicono che non si può fare così, e neppure così… Ciascuno ha una proposta diversa, ma non si mettono mai d’accordo. Voi dall’esterno che opinione vi fate?)
      2) Gli effetti negativi del VQR imperfetto dell’Anvur saranno molto variabili a seconda dei settori. Per esempio, credo anche io che il GEV13 stia facendo un gran casino (anche se non per i motivi evidenziati da Baccini e Ricciardi), e che potrebbe danneggiare aree di ricerca come la storia del pensiero economico (ne abbiamo parlato in altri post). Al contrario, penso che l’area di filosofia della scienza abbia elaborato con l’Anvur una lista di riviste assolutamente decente, e che se il GEV11 sceglierà dei buoni referee, il bilancio della valutazione sarà positivo in quel settore. Allora dobbiamo mettere sul piatto due considerazioni: fermare tutto e penalizzare i filosofi della scienza (altri anni di status quo, zero incentivi, con in più il messaggio ai giovani che in Italia non si riesce a fare nulla)? Oppure andare avanti e dire “tanto peggio per gli economisti, che non sono stati capaci di elaborare una procedura soddisfacente”?
      I settori sono tanti, e ogni settore farà una valutazione più o meno buona a seconda di variabili diverse. The best is the enemy of the good vuol dire solo che ci saranno sempre punti critici e soluzioni insoddisfacenti. il punto è valutarne le conseguenze in modo pragmatico. Non siamo tutti ignoranti e neppure ideologicamente preconcetti: il giudizio complessivo sul VQR dipende non solo da considerazioni tecniche, ma anche (molto) da valori e previsioni di altro genere (sui quali si può discutere, ovviamente).

    • La retorica secondo la quale meglio questo che niente abbiamo gia’ visto dove ci ha portato, grazie ne facciamo a meno. Si diceva lo stesso della riforma Gelmini (tra l’altro molti erano quei geniacci dei suoi colleghi): meglio la riforma Gelmini che nessuna riforma. Questa maniera di ragionare e’ una catastrofe prima di tutto umana e poi anche politica. Inoltre Guala visto che lei e’ un attento lettore di Roars in base a quali links lei scrive che ““Come sicuramente avrete notato, su ROARS un intervento su tre è favorevole alla valutazione, ma non fatta dall’ANVUR; e due interventi su tre sono contro la valutazione in ogni caso.”

    • Concordo. Sylos Labini: provi a capire i sentimenti di qualcuno che in Italia a visto dare posti a tempo indeterminato a gente il cui CV varrebbe zero nel mondo anglosassone, e che – nel mondo anglosassone – avra’ fatto si’ e no una sessantina di domande e 6 o 7 interviste in vari paesi prima di aver trovato un posto da lecturer. Parlo solo per il mio ambito: li’ senz’altro meglio procedere con la valutazione cosi’ com’e’ piuttosto che non fare nulla. Ma molto meglio. Per gli altri ambiti, non so.

    • difficile capire a chi si riferisce, non so chi lei sia ne’ quale sia il suo ambito. comunque una valutazione fatta male serve solo a fare peggio: l’idea che invece serva comunque a fare giutizia e’ ingenua e irrealistica.

    • Chi è che fa il gioco di chi non vuole la valutazione? Chi sta correndo il rischio di produrre risultati inutilizzabili o chi chiede di rispettare le più elementari norme di correttezza metodologica?

      A titolo di esempio,nel GEV09 si usano due metri di giudizio diversi per ING-INF/05 e per tutti gli altri SSD. Questo invalida la comparabilità delle valutazioni. Più in generale, diverse classifiche di riviste sono indifendibili nel metodo e/o nel merito. Se raccolgo dati inattendibili faccio una valutazione inattendibile (se nessuno se ne accorge) oppure scredito l’idea stessa di valutazione (se gli altri se ne accorgono).

      Valutare accuratamente qualche SSD non basta perché i risultati diventano inutilizzabili se la valutazione dentro l’intera area scientifica non è omogenea e rigorosa. Bisogna ricordare che ad essere oggetto di valutazione sono delle strutture composite in cui sono presenti diversi SSD in proporzioni variabili da sede a sede. Se su scala nazionale alcuni SSD di un’area sono valutati accuratamente ed altri no (o anche solo con metri diversi), i risultati vengono falsati. La granularità su cui si misura il successo dell’operazione è a livello di area scientifica. I problemi, prima ancora che ideologici sono banalmente tecnici.

      Fermare la macchina e porre rimedio alle anomalie più vistose sarebbe stato un gesto di responsabilità. Da ingegnere, preferirei fermare e revisionare un progetto di cui sono evidenti le lacune architetturali che accanirmi a portarlo avanti per ragioni di immagine.

    • De Nicolao, faccio una domanda non retorica ne’ polemica, mi dica se sbaglio: il problema dell’omogeneità per area scientifica è serio e reale. Ma ogni sistema basato sulla peer review ha questo problema, intrinsecamente. Quindi se questo fosse sufficiente a dire “fermiamo le macchine”, non si sarebbe mai fatto nessun RAE.
      Capisco comunque che l’idea di usare la bibliometria e poi usarla in modo disomogeneo nelle aree scientifiche fa girare parecchio le scatole.

    • La domanda è più che buona.

      Se uso sempre la peer review (RAE), è già difficile garantire uniformità e ci vuole grande attenzione. Gli errori sono inevitabili, ma vanno evitati quelli sistematici.

      Le classifiche delle riviste, invece, sono particolarmente critiche perché eventuali errori sono per loro natura sistematici, a differenza di quanto potrebbe essere per la peer review dei singoli prodotti (certo che se il panel di valutazione ha un bias a favore/sfavore di certe scuole scientifiche è un problema, ma è qui che si capisce l’importanza della “fairness” nella composizione dei panel).

      Se mescolo peer review e bibliometria, è un impresa quasi disperata, soprattutto se la percentuale di articoli peer-reviewed varia da SSD a SSD dentro l’area.

      Infine, se dentro l’area uso soglie bibliometriche eterogenee insieme a peer review, la partita è persa in partenza (GEV09).

      Corriamo il rischio concreto di avere una valutazione delle strutture che dipende in modo non trascurabile dalla loro composizione in termini di SSD. Questo è un problema tecnico che è principalmente frutto degli approcci fai-da-te.

  7. Caro Mario, sono abbastanza d’accordo con quello che dici. Purtroppo come sai l’università è sempre stata afflitta da iper-regolamentazione, ben prima dell’Anvur e ben prima della legge 240, che semplicemente continua la tradizione dirigistica italiana. (Quello che irrita è che sia stata fatta da persone che si riempiono la bocca di libertà e liberismo e poi fanno il contrario.) Incentivi e autonomia comunque richiedono un mix delicato, e mi sembra che la valutazione ex post sia tutto sommato la soluzione più accettabile. Il massimo dell’autonomia si verifica nel libero mercato, ma molti di noi ritengono che questa soluzione abbia delle controindicazioni importanti per quanto riguarda l’educazione. Spendere soldi pubblici senza controllo è altrettanto pericoloso e immorale, a mio parere, e una soluzione che prevede che la comunità accademica si auto-valuti direi che è il compromesso migliore. Poi la comunità accademica può fare la valutazione bene o male, ma queste sono questioni pratiche più che filosofiche.

  8. Mi si permetta, da non accademico, d’inserirmi nella discussione.
    E’ indubbio che uno dei problemi di tutta la Pubblica Amministrazione italiana sia quello di valutare la quantità e qualità del lavoro. Se in una impresa piccola o grande la valutazione si fa a fine anno quando si capisce che ha incassato più di quanto ha speso (perchè ha avuto abbastanza clientela avendola trattata bene o perchè i prodotti son buoni), nella PA questo è ben più difficile. E’ buono un ospedale che ti dimette in pochi giorni ( ma in quali condizioni?) o esegue corrette operazioni ma senza tener conto del quadro generale per cui l’ammalato muore dopo 4 giorni per altre complicazioni? La polizia è efficace perchè ha arrestato tot persone ed inefficace perchè in un’area tranquilla dove non ci sono episodii di criminalità non arresta nessuno?
    Così la valutazione del sistema formativo, che poi non dovrebbe riguardare solo l’Università ma tutta la scuola. E’ buona una scuola che promuove tutti, ignoranti e no? Questo ci richiama anche ad un altro discorso di base cui Sirilli e qualcun altro accennano di passaggio: la funzione dell’Università. Insegnare o fare ricerca ? A mio modesto parere di cittadino che paga le tasse, l’Università dovrebbe avere per lo più una funzione di trasmissione della cultura – scientifica ed umanistica – attraverso dei percorsi pianificati che permettano ai giovani di vivere in autonomia nel vasto mondo sia del lavoro che della vita di relazione. Quindi l’Università DEVE pensare prima di tutto alla didattica. Per esperienza degli ultimi mesi so che però molti docenti non seguono né i laureandi né i dottorandi: presi fra riunioni, lezioni, esami, commissioni, relazioni, programmazioni, non hanno tempo o voglia; solo qualcuno, a scapito della famiglia e delle ricerca, si dedica un po’ più agli studenti, per lo più però abbandonati ai vecchi ‘’assistenti’’, agli ‘’specialisti della materia’’ a qualche dottorando. E chi valuta questa grave mancanza, come?
    Di nuovo Sirilli ci ricorda della rivoluzione culturale maoista che portò gli intellettuali nella campagne perché avessero contatto con la realtà e non rimanessero chiusi nelle loro torri d’avorio. E’ forse anche per evitare queste tragedie che, anche sull’esempio anglosassone, si spinge acchè l’Università si dedichi alla ricerca scientifica: questo è giusto. La questione s’ingarbuglia quando si dice: dalla ricerca dipende il finanziamento alle istituzioni e la loro sopravvivenza. Teoricamente giusto. Ma come valuto la ricerca ? Scrivendo un saggio ogni due anni (Cervelli in fuga) ? Ma se per scrivere una cosa seria devo fare ricerca, avendo impegni di didattica ed amministrativi, forse una famiglia che un minimo d’attenzione la merita, dov’è il tempo per fare una ricerca corretta, rimettere insieme le idee, scrivere, compulsare, rivedere ? Certo, si leggono tanti articoli di dotto rimestamento d’aria fritta da rimanere sconvolti, senza che ci sia nulla di nuovo, scritti sul treno da Roma a Milano: evidentemente fanno punteggio. Se si è a buon livello gerarchico si può far scrivere da qualche assistente mettendoci il proprio nome, i magnanimi e di buon fanno aggiungere il suo nome (dell’assistente) al proprio. Anzi, siccome i criteri ANVUR dicono che un lavoro collettivo vale di più, ce lo mettiamo proprio; anzi ce ne mettiamo anche due o tre.
    Ed un altro problema si scorda. L’autoreferenzialità universitaria del sistema che si va impiantando. Certo che dobbiam valutare il lavoro universitario, ma per lunga tradizione l’Italia ha tanti centri di studio e ricerca che università non sono, ma ai quali le persone che sono nell’Università collaborano. Potrei dire la Fondazione Cini ? l’ European Brain Research Institute di Roma ? centri di ricerca del CNR ? E queste non fanno ricerca ? Le loro pubblicazioni sono scientificamente non valide ?
    Il problema della valutazione è un problema complesso, ma la soluzione migliore è sempre stata quella collegiale (talvolta ci sono superuomini supercapaci di capire tutto da soli – molti di noi pensano d’esserlo- ma quando i superuomini scarseggiano i mediocri come noi devono far andare avanti il mondo, casomai coi cocci lasciati dai superuomini che non si curano del pretorio). Collegiale vuol dire comprensivo –olistico s’usa dire oggi- delle differenti esigenze: dalla principale che è la corretta didattica, ai centri di ricerca non universitari, alle pubblicazioni ‘’minori’’. Al momento mi sembra che il sistema stia tornando all ‘antico quando Galileo e Newton ebbero problemi nell’affermare nuove teorie, Caravaggio per far passare la sua arte, che rompevano il mondo stagnate dell’accademia. Accademia che al giovane Verdi suggeriva di cambiar mestiere in quanto non portato per la musica.

  9. Mi permetto anch’io, da accademico (scusate la parola) di inserirmi nella discussione, che mi pare un po’ involuta.
    Solo per segnalare un aspetto che leggo in giro su vari post e che, personalmente, mi pare un pessimo segnale. L’idea, cioè, che tra i benefit di una attività di ricerca ad alto livello vi sia/possa essere una diminuzione del carico di insegnamento. Così, si dice, funziona nelle grandi università e per i grandi cervelli.
    Orbene, una simile visione della didattica universitaria mi sembra fortemente degradante. Come se avere scendere in classe e fare lezioni a 50-250 giovani sia una condanna da riservare ai più scarsi o la gavetta per i più giovani. Sono naturalmente favorevole ai periodi di congedo (ne ho usufruito), che comunque dovrebbero essere soggetti ad un maggiore rigore e controllo. Conosco bene gli impegni di chi ricopre carichi organizzativi. Ma far passare l’esperienza vivificante del confronto con i nostri studenti come una sorta di sanzione, questo mi sembra una pessima strada.
    Sarà perché nel nostro settore (insegno Storia moderna) il momento della didattica è (o dovrebbe essere) anche un momento creativo di rielaborazione e non solo la ripetizione di formule cristallizzate..

  10. Ringraziando Mario Ricciardi e Bruna Bruno per l’attenzione, desidererei solo sottolineare un punto. Il confronto tra posizioni, come mostrano alcuni dei post precedenti, tende naturalmente a sclerotizzarsi in un’opposizione che, credo, non avrebbe ragione di sussistere. L’opposizione di fondo sembra essere tra 1) chi dice che siccome una valutazione è opportuno farla, allora, per non correre il solito rischio dell’inerzia all’italiana è opportuno implementarla nonostante la sussistenza di evidenti difetti. E 2) chi dice che una valutazione prodotta con criteri inadeguati corre il rischio di essere peggio di nessuna valutazione, in quanto ordinamenti gerarchici che vengano riconosciuti da chi vi si sottopone come falsi, lungi dall’avere effetti motivanti avrebbe effetti pesantemente demoralizzanti.

    Per parte mia io concordo con entrambe le tesi e credo che sarebbe perfettamente possibile conciliarle avendo consapevolezza di cosa vogliamo che la valutazione produca. Come dicevo sopra, se pensiamo che la valutazione (ex post o ex ante) debba premiare i migliori, selezionare le eccellenze e deliberare i vincitori della coppa dei campioni dell’Accademia, beh, deve essere chiaro che si tratta di un impresa intrinsecamente disperata, oltre che inopportuna. Nessun sistema, oggettivo o soggettivo, con bibliometria, peer review, o God knows what, è in grado di produrre una fine e fedele gerarchia della qualità intellettuale. Basterebbe un breve excursus nella storia del pensiero occidentale, punteggiato di difformità clamorose tra giudizi dei contemporanei (peer review sui generis) e giudizio storico per liquidare le pretese che un sistema di valutazione necessariamente (più o meno) generico e forfettario possa definire tali scansioni gerarchiche.

    Il punto è: ci servono? Qual è il problema dell’università italiana? Se, come credo molti ritengano, i problemi principali del sistema accademico italiano gravitano intorno alla occasionale ma gravemente nociva presenza di ‘buchi neri’, nepotismi clamorosi, nullafacenti in posizioni di autorità, ecc. ebbene, per porre rimedio a questo problema è sufficiente richiedere che il sistema di valutazione sia in grado di identificare quella parte del mondo accademico che, secondo qualunque parametro, di didattica e/o ricerca, si presenta come neghittoso, per poi sanzionarlo individualmente o ‘punirne’ le strutture di appartenenza. Tale operazione, ovviamente, sarebbe opportuno realizzarla per gradi, in modo da consentire allo status quo di venir trasformato virtuosamente.
    Per indurre comportamenti virtuosi non c’è bisogno di una classifica raffinata, ma è sufficiente l’esistenza di una soglia, ancorché bassa e generica, con implicazioni sanzionatorie (es.: riduzioni fondi di ricerca, ecc.). In una prima fase (3-6 anni) tale soglia potrebbe avere valore proporzionale, ad esempio applicandosi al percentile inferiore (es.: 20%), per poi stabilizzarsi su di una soglia non proporzionale (una valutazione minima di ricerca e didattica espressa in valore assoluto).

    Se poi proprio si desidera produrre una scala con un maggior numero di gradazioni, lo si può anche provar a fare nel tempo, forti delle esperienze valutative con soglia singola applicate per un buon numero di anni. Nulla esclude che, come in tutti i sistemi si possa plausibilmente trovare nel tempo un consenso su valutazioni meno generali, sgranando tre o più gruppi.

    Procedendo in questo modo si potrebbe far partire subito un sistema di valutazioni dall’impatto sicuro e dall’accettabilità diffusa, senza improvvisare classifiche dettagliate quanto illusorie, destinate a generare ulteriore diffidenza verso i processi valutativi in genere.

    Da ultimo, detto di passaggio ed in modo sgradevolmente assertorio (sarebbe questione da discutere in altro post): non credo affatto che la valutazione della didattica sia più difficile di quella della ricerca, tutt’altro; e credo che la valutazione della didattica sia assolutamente imprescindibile.

    • Credo che nel commento precedente ci sia una buona dose di saggezza. Conosciamo ancora troppo poco del funzionamento del sistema e proprio per questo è urgente raccogliere dati semplici ma affidabili. Un approccio scientifico procede per gradi.

  11. Vorrei inserirmi ancora nel dibattito scaturito dal mio articolo, ringraziando tutti quelli che vi hanno partecipato.
    Partiamo dall’articolo in sé. Diversamente da molti di quelli che ho pubblicato su ROARS, e che erano basati su dati e su specifiche evidenze, questo aveva l’obiettivo di proporre una congettura su cui confrontarsi: se cioè vi sia nell’accademia italiana una sorta di “resa dei conti”, spinta dal periodo di crisi, tra i docenti più attivi e quelli più marginali. Non osservando alcuna forma organizzativa che porti avanti esplicitamente tale disegno, mi chiedo, e chiedo agli universitari, se nei fatti non percepiscano tale “congiura” che, secondo la congettura, si appoggia alla VQR.
    Nel dibattito sono emerse varie questioni su cui vale la pena di fare un po’ di chiarezza.
    Mi sembra che tutti siamo d’accordo che la valutazione della ricerca dell’università vada fatta. E non dimentichiamo che sarebbe la prima volta (dopo l’esercizio del CIVR, che era sostanzialmente diverso). Forse il punto di dissenso, e ci sono fraintendimenti in proposito, è tra chi accetta la VQR così com’è e chi ritiene che il sistema sia mal congegnato e che sia destinato ad essere foriero di gravi problemi piuttosto che di miglioramenti. Per quanto mi riguarda, mi occupo professionalmente da alcuni lustri di valutazione della ricerca (sono nel Comitato editoriale della rivista Research Evaluation), ritengo che la cultura della valutazione debba diffondersi di più nel nostro paese, ma che la VQR non sia adatta allo scopo per cui è stata progettata.
    Ritengo pure che la valutazione debba essere adiuvante e non punitiva.
    Faccio infine notare che, anche se come paese siamo in ritardo, al CNR abbiamo fatto tre anni fa la valutazione della rete degli Istituti ed il sistema, anche anche se è stato soggetto a varie critiche, ha funzionato. Dunque il nostro paese non ha una maledizione celeste che lo danna a non essere valutato: basta fare le cose per bene.
    Conncludo con due notazioni ed una esortazione.
    La valutazione, come ogni forma di misurazione di sistemi fisici e sociali, induce modifiche nel sistema stesso – noto che molti colleghi stanno riorientando le proprie strategie nel senso di un allineamento a nuovi canoni che tendono a stravolgere il difficile equilibrio tra ricerca, didattica ed altre attività.
    Se la VQR fallisse, fallirebbe lo sforzo iniziato ormai molti anni fa con l’istituzione dell’ANVUR, e sarebbe una tragedia che ci spingerebbe indietro di decenni. Sta dunque alla saggezza di chi ha la responsabilità dell’esecuzione della VQR comprendere che debbono essere apportate modifiche per evitare il naufragio. E sono sicuro che la stragrande maggioranza dei ricercatori pubblici italiani non avrà alcun problema a sottoporsi ad una equa, anche se imperfetta, valutazione.
    Detto questo, commentate la mia congettura, please.

    • Caro Giorgio,
      a me sembra che tutto dipenda da cosa significa fallimento della VQR. Si fa e non viene applicata (ad esempio i risultati sono seppelliti da una valanga di ricorsi), non si fa proprio perché sono cambiate le condizioni politiche (e sono già cambiate le condizioni politiche), si fa e i risultati vengono utilizzati come quelli del CIVR (che è la stessa cosa di dire che non serve a niente). Ci possono essere diversi motivi per cui la VQR può fallire ma il punto basilare è che non si può fare una operazione del genere senza il consenso consapevole della comunità che si sta valutando. Dubito che questo ci sia, perché manca l’informazione basilare alla gran parte della comunità accademica ancora oggi: cosa è la VQR, come è fatta, perché, ecc. – una delle pagine più cliccate di questo sito è FAQ su VQR https://www.roars.it/?page_id=5528, non penso sia un caso.

  12. Caro Francesco,
    non dobbiamo sottovalutare il fatto che il nostro paese è in ritardo (anche) nel campo della valutazione della ricerca. La diffusione della cultura della valutazione è avvenuta nel corso degli ultimi anni ma abbiamo ancora molta strada da fare. Guai se il processo si interrompesse – significherebbe che l’università italiana non è valutabile. Uno dei problemi che abbiamo come sistema paese consiste nel fatto che l’istituzione dell’ANVUR è avvenuta con ritardo, all’Agenzia non sono state date le necessarie risorse ed allo stesso tempo sono stati assegnati troppi compiti, e che la VQR è stata varata troppo frettolosamente, mentre era necessario disporre di un tempo più lungo di progettazione e coinvolgere più largamente la comunità scientifica.
    C’è anche da dire che le università e gli enti pubblici di ricerca non sono stati così solerti nel collaborare fattivamente per migliorare il meccanismo della VQR. Ora, almeno per quanto riguarda gli enti pubblici di ricerca, si dovrà vedere se c’è la volontà dell’ANVUR di modificare la metodologia per non penalizzarli.
    Un momento importante per fare chiarezza sull’argomento sarà il Convegno organizzato dalla CGIL in collaborazione con ROARS che si terrà giovedi 17 maggio al CNR a cui parteciperanno il ministro, i il presidente dell’ANVUR, i presidenti dei maggiori enti di ricerca, il presidente della CRUI (http://www.flcgil.it/ricerca/valutazione-di-sistema-nella-ricerca-e-nell-universita-il-17-maggio-confronto-con-gli-attori-principali.flc).
    Credo, infine, che il caso della VQR potrebbe essere studiato dagli scienziati politici come un esempio del sempiterno problema tutto italiano del rapporto di mutua sfiducia tra il governo ed i governati. Non sarebbe male se il ministro (e non l’ing. Benedetto nell’improvvida intervista a Repubblica) spiegasse esattamente quale sarà l’utilizzo dei risultati della VQR nella formulazione della politica scientifica del paese.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.