Una delle caratteristiche fondamentali della valutazione come è stata concepita sia nella VQR sia nell’ambito dell’ASN è stata quella di assumere a parametro fondamentale del suo esercizio i “prodotti” della ricerca scientifica. A parte le facili ironie che si possono fare e si sono fatte su tale definizione, il “prodotto” non rispecchia l’attuale stato della ricerca di una persona, ma piuttosto è il punto terminale di uno studio che ha magari alle spalle anni di intenso lavoro – almeno nei casi di produzione non seriale o non effettuata mediante vasti team nei quali vieni premiato il valore di scala. Si pensi ad es. – e qui ci riferiamo al campo umanistico, del quale siamo maggiormente a conoscenza, ma il discorso potrebbe facilmente estendersi anche ad alcuni ambiti delle scienze “dure” – alle cosiddette “monografie”, opere spesso ponderose che richiedono anni di ricerche, affinamenti, ripensamenti, dibattiti e presentazioni di ipotesi parziali in congressi e seminari, prima di arrivare a una loro redazione definitiva; anni nel corso dei quali lo studioso è talmente preso – direi quasi ossessionato – dal tema della sua ricerca da avere scarso tempo per la produzione di saggi minori, che il più delle volte possono essere un fattore di distrazione e quindi portare ad un allungamento dei tempi per concludere l’opera da lui ritenuta più significativa.
Il “prodotto” ha quindi alle spalle una “persona” sulla quale o il sistema universitario ha già investito, inquadrandola nei ruoli in una delle figure esistenti, oppure essa cerca di entrarvi. Nel primo caso i “prodotti” valutati nel corso dell’ASN, che possono essere retrodatati anche a più di dieci anni, non fanno che testimoniare una attività passata (e magari effettuata in base a standard non ritenuti più adeguati per effetto di decisioni assunte negli ultimi due-tre anni) e non certo le capacità presenti del ricercatore/docente. Così, nel caso di persone già interne al sistema universitario, questo significa nella sostanza una presa d’atto di ciò che si è fatto e che comunque è già a disposizione della comunità degli studiosi, ma non garantisce per nulla che anche in futuro la persona si dimostri produttiva. A meno che questa non debba sottoporsi ad un altro giudizio di idoneità o di non sottoporla ad accertamenti periodici i quali non porteranno a null’altro che a forme di furbizia editoriale o a una inflazione cartacea atta a dimostrare la propria perdurante produttività. Insomma, la valutazione effettuata con l’ASN in quanto tale soffre – comunque essa venga fatta e indipendentemente dal modo disastroso in cui è stata implementata in Italia – di un limite di fondo: è sempre in giudizio ex post facto che serve a fotografare una situazione esistente, ma che nulla dice su quale sarà la situazione futura.
Nel caso, invece, di un giovane che cerca di entrare nel sistema universitario la valutazione non è di solito effettuata sulla base di “prodotti” preesistenti, ma in base ai risultati che esso ha saputo mostrare in tutta una serie di step che hanno segnato la sua carriera: dalla scuola secondaria, alla carriera universitaria, al dottorato di ricerca sino agli anni di ricerca come borsista. Il pretendere di giudicare un giovane in base ai suoi “prodotti” significa non scommettere sulla sua intelligenza e capacità, bensì limitarsi ad accertare una capacità già messa a frutto, che ha già dimostrato di essere in grado di “produrre”. È, per usare una metafora, preferire l’usato sicuro, per quello che è, piuttosto che correre il rischio di scommettere su una intelligenza brillante per aspettarne i frutti. Il fatto che oggi chi si presenta a un concorso di ricercatore a t.d. ha un elenco di pubblicazioni che una volta bastava a fare un ordinario, indica una patologia del sistema e non certo un pregio da salvaguardare: rivela alle spalle una grande quantità di vite sprecate nello studio e nell’attesa, il più delle volte invano.
La valutazione sarebbe tutt’altra cosa se invece di giudicare i “prodotti” giudicasse le “persone” in modo da accertarne le capacità e le qualità per fare ricerca o meno. Una volta tale giudizio sulle persone veniva effettuato mediante il “concorso” in cui il colloquio orale era fondamentale, perché serviva proprio a comprendere le capacità e l’intelligenza del candidato; lo stesso scopo aveva la prova scritta, improvvisata sulla base di un argomento prima non noto. Ma i concorsi di tal tipo sono stati in Italia screditati per il malcostume clientelare: la prova orale era ed è diventata solo il modo più efficace per promuovere i “raccomandati” in base al criterio della insindacabilità del giudizio di merito della commissione giudicatrice. Si è pensato allora di varare dei parametri “oggettivi”, che sono stati identificati con indici numerici e bibliometrici. E non è difficile scorgere in tale attitudine quel “mito della precisione” denunziato da un grande matematico come Giancarlo Rota: «The prejudice that a concept must be precisely defined in order to be meaningful, or that an argument must be precisely stated in order to make sense, is one of the most insidious of the twentieth century».
Ma a parte il fatto che quando si è voluto tali indici sono stati ignorati (molte persone che li avevano superati non sono stati abilitati, e viceversa), così venendosi a riaffermare la discrezionalità “sospetta” della commissione, la conseguenza di tale procedura è stata – per il presente – di avere semplicemente fatto una fotografia di circa gli ultimi dieci anni; per il futuro, sarà quella di spingere a mettere in atto tutta una serie di procedure idonee a conseguire l’adeguatezza numerica o formale a prescindere dalla qualità di ciò che si “produce”. A meno che lo scopo non sia solo quello di “stanare gli sfaticati”, in un’ottica meramente punitiva. Ma, in ogni caso, si è ignorato in sostanza che ogni procedura di misura retroagisce su ciò che è misurato, specie quando esso è in grado di reagire e di prendere le contromisure più opportune. Per evitare ciò si dovrebbero ogni volta cambiare criteri e parametri, in una corsa analoga a quella che vedeva contrapposti cannoni e fortificazioni e con l’inevitabile conseguenza dell’arbitrarietà (si misura ciò che si vuole misurare; non esiste la Misura in sé, come fosse una idea platonica).
La soluzione a questo impasse sarebbe quella di ritornare, almeno in parte, ad una valutazione delle persone; ma questo risultato è difficile da conseguire perché richiede il funzionamento di tutta la filiera formativa, attualmente dissestata da anni di riforme deflagranti, in modo da permettere quello screening progressivo che è il solo in grado di portare le persone più meritevoli nelle condizioni di creare “prodotti” scientificamente validi, senza avere l’ossessione di scrivere continuamente e quindi dando loro il necessario tempo per la concentrazione e la meditazione. La vera ricerca è scommessa e se non si vuole rischiare in essa, allora si avranno solo burocrati e imbrattacarte. Si è invece preferita la scorciatoia numerica, che però si sta dimostrando fallimentare. Perché – su questo spesso non si riflette abbastanza – se uno studioso non ha dentro di sé il “fuoco” che lo spinge alla ricerca, la curiosità dell’indagine, il piacere di scoprire e la soddisfazione di pubblicare quando crede di avere prodotto qualcosa di significativo e originale, allora nessun sistema di premi e punizioni, nessuna bibliometria o valutazione sarà in grado di cavar fuori altro che carta straccia, buona solo a soddisfare alcuni parametri formali: da una rapa non si può cavar sangue, né si possono frustare dei ronzini per farli correre al gran premio.
Compito del sistema di ricerca dovrebbe essere quello di selezionare le persone migliori, quelle più di “talento” (non i prodotti “eccellenti”: questi servono semmai al riconoscimento a posteriori del merito) e metterle in grado – non sottoponendole a stress valutativi inutili e creando le condizioni al contorno indispensabili per la creatività scientifica, in primo luogo alleggerendo quanto più possibile i pesi e i vincoli burocratici – di far fruttificare la loro intelligenza nei modi e nei tempi dovuti: la vera ricerca, e non la produzione di carta, ha bisogno di tempo, di pazienza, di “lentezza”, così come testimonia il caso di grandi studiosi che per anni o addirittura per decenni hanno pubblicato poco o nulla prima di creare la grande opera che li ha consegnati alla storia. E se non è possibile che tutti siano grandi uomini in grado di produrre grandi opere, ciò non toglie che anche per i piccoli che producono piccole opere (esprimendoci in un gergo più colto: che fanno avanzare la “scienza normale”) valgono gli stessi principi e le stesse regole: serenità, riflessione, dibattito e non frenesia produttiva. Col sistema del “publish or perish” a morire è solo la ricerca e la scienza autentica.
Grazie, bellissimo articolo. Da quando è nata la “follia” ASN non faccio che pensare a questo.
E tante volte mi dico: fai ricerca come ti hanno insegnato i tuoi maestri. Io faccio una discreta ricerca: e la controprova è l’opinione che hanno di me i miei colleghi europei ed americani. NON i chili di carta prodotta.
Era meglio prima? No. Ma il problema non sono le regole.
Il problema è che non siamo un paese onesto. O meglio, lo siamo meno di Francia Germania ed Inghilterra.
Caro professore, condivido perfettamente quanto sostiene nel suo splendido articolo. Leggendolo mi sembrava di sentire la sua voce nelle lezioni di filosofia al liceo a Nicosia… Mi fa davvero molto piacere ritrovarla e condividere con lei queste riflessioni in un momento di grande amarezza, essendo stata anche io sottoposta a valutazione per la prima fascia di Scienza politica, dopo 20 anni di lavoro e con criteri stabiliti un anno fa.
Ciò che trovo nel nostro caso più inquietante sono gli effetti prodotti dai criteri adottati dalla commissione che ha avuto l’idea geniale di introdurre il criterio dell’IF, ovvero un criterio bibliometrico in un settore non bibliometrico. Inoltre, avendo selezionato tra le riviste di fascia A quasi tutte riviste angloamericane che hanno un taglio metodologico ed epistemologico orientato sull’analisi quantitativa, di fatto si da a queste riviste il potere non solo di selezionare i docenti politologi italiani, ma anche di indurre la scienza politica ad orientarsi su quegli approcci e quelle tematiche che rientrano nella politica delle riviste. Questo significherà stroncare interi filoni di ricerca più qualitativi e interdisciplinari che intendono la politica come una scienza sociale che ha anche a che fare con la storia, con la cultura politica e con il territorio, soprattutto se italiano (perché questo viene ritenuto provinciale).. D’altra parte penso anche che in un paese come il nostro in cui la politica sta dando prova di una assoluta incapacità di comprensione e di rappresentanza di ciò di cui il paese ha bisogno, non ci si può stupire che i politologi non siano capaci di fare di meglio… Ne’ che i docenti universitari quando diventano ministri dei governi tecnici siano ancora meno in grado di governare problemi complessi… È come se questa valutazione abbia messo a nudo uno dei nervi scoperti della crisi dell’Italia: la selezione della “classe dirigente” delle università ( e quindi del paese) deve garantire che non vi sia tra questi nessuna capacità di comprensione delle problematiche reali del paese in cui vive, il ricercatore-docente deve essere anzi una specie di alieno, decontestualizzato e privo di passioni… Insomma, un vero “scienziato” …. Che tristezza! Non mi riconosco affatto in questo modo di intendere il lavoro del docente universitario e del ricercatore, ne’ intendo cambiare il mio modo di lavorare e di “produrre” valore attraverso il mio lavoro di ricerca secondo questo paradigma che sembra essere diventato dominante. Resistere, resistere, resistere!!!
Se vai in un laboratorio di ricerca Americano, la prima cosa che ti insegnano è : you must be fast…. tutto il resto viene dopo.
Presto e bene raro avviene …
Mi permetto di indicare che la citazione tratta da Gian-Carlo Rota si trova a p. 95 del suo libro “Indiscrete Thoughts” che parzialmente è in rete. Volevo vederne il contesto ed è per questo che l’ho cercata.
Entrambi i colleghi, Coniglione e Paolo, hanno ragione, indicano due aspetti del nostro mondo. Il “must be fast”, il “publish or perish” è tenuto altamente in conto anche in Italia, da un certo numero di anni, molto prima di VQR, ASN ecc. (evidentemente si capiva, alcuni capivano, quale aria stava per tirare). Non per niente si leggono in certi giudizi ASN valutazioni positive di questo tipo: “la produzione scientifica di x.y. ha conosciuto una accelerazione notevole negli ultimi 5 anni”. Per dare una accelerata, in genere, si devono adottare strategie di ricerca e di pubblicazione adeguate. Altrimenti il ritmo non si regge. Se pensiamo che per certi congressi gli atti ci mettono anche tre anni per essere pubblicati, bene, questi ritmi non sono più accettabili, a prescindere dal “must be fast”. E nemmeno la limitazione alle solite 10 p.
Bisogna invece adottare la ricetta e la cucina giuste: ingredienti facilmente reperibili, facilmente combinabili, facilmente digeribili o già predigeriti (luoghi comuni scientifici), rapidamente cucinabili e dal successo finale garantito, sotto forma di ‘prodotti’ servibili in luoghi di classe A. (dichiarati tali), magari tagliati a pezzetti, poi riassemblati, rietichettati, riconditi, serializzati, reciclati; ma anche, all’opposto, un assemblaggio di argomenti strampalati, non verificabili se non con immenso dispendio di tempo e energie; in entrambi i casi, un fidato team di sostegno (per bibliografia, reperimento di materiali, correzione di bozze, editing ecc. che prendono un sacco di tempo). Il che sarebbe anche accettabile, se però lo scopo non fosse quello della montagna di pubblicazioni per i concorsi o per altri tipi di valutazione che poi nessuno può leggere e veramente valutare.
Del resto anche per far questo ci vuole intelligenza e fiuto.
Parlo per discipline come la mia. Se uno dovesse fare tutto da solo la “fast research” diventerebbe per forza di cose “slow research”. Certamente ci sono anche i geni, sia ideativi che organizzativi ed esecutivi, ma in genere siamo persone normali, le formichine della ricerca.
E poi ci sono le mistificazioni vere e proprie.
@marinella.
Condivido tutto. Aggiungerei poi che ci sono formichine che passano qualche weekend (non tuti, ma quando necessario) e qualche notte (non tutte, ma quando necessario) a lavorare perchè il mondo corre più di loro. Grilli e grillo li lasciano agli altri ;-)
Articolo molto interessante, anche con alcune stranezze (la prima che mi viene in mente è sull’elogio del concorso: con una prova scritta ed un colloquio davvero scopri una persona? mah… allora che sia benedetto il periodo di prova!). Ma la tesi (per come l’ho capita io: non è efficace per la società selezionare le persone con criteri quantitativi) è condivisibile in toto!
E come ne usciamo? Io continuo a pensare che l’unico modo per farcela sia eliminare i concorsi, le abilitazioni, etc. Insomma dare libertà assoluta di assumere il nipote dello zio e poi (e soprattutto!) avere una valutazione delle strutture credibile e condivisa. Credo che dovremmo parlare di come fare una buona valutazione delle strutture, invece siamo ancora qui, costretti a parlare della inefficacia dei criteri quantitativi…
C’è un modo scientificamente ragionevole che la redazione di roars crede possa essere la base di una proposta seria per la valutazione delle strutture?
“Insomma dare libertà assoluta di assumere il nipote dello zio”
Ottima idea! Dopo tanti discorsi teorici, finalmente una riforma che si può realizzare qui e adesso. Anzi forse è già operativa.
@sorrenti
Sta scherzando vero?
@fausto_proietti Ma se guardiamo solo a quello che si può fare qui ed adesso allora… ci teniamo VQR e ASN come sono o quasi. Non trova che sia una buona idea per un qualche motivo? Ovviamente tutto insieme, inclusa la valutazione delle strutture, non la sola libertà di nepotismo :-) Se ci fosse, questo motivo, sarebbe interessante conoscerlo, almeno per me.
SI la riforma c’è già, ma zingales è preoccupato per sua nipote :-) vedi espresso e pos di proietti qui su roars.
La valutazione post seria … ottima soluzione … diamo libertà di assunzione di nipoti, ballerini, mogli, mariti amanti …. vedrete dopo che valutazione post che ti escogitano gli anvuriani … post-retro :-)
“Gli uni hanno sempre gran tempo a loro agio, e i loro discorsi fanno agiatamente e in pace; e come noi che mutiamo ora argomento per la terza volta, così anch’essi, se d’improvviso un argomento nuovo li attiri più di quello che hanno a mano; e di condurre il discorso più o meno in lungo non si preoccupano affatto, pur di toccare la verità. Gli altri, al contrario, non solo parlano sempre in grande affanno, incalzati come sono dall’acqua che scorre giù dalla clessidra, ma nemmeno hanno libertà di svolgere i loro argomenti come vogliono; ché sta loro addosso l’avversario, impugnando la legge inflessibile e recitando l’atto di accusa, che sono i limiti fuori dei quali non è lecito deviare. E sempre i loro discorsi sono pro o contro qualche compagno di servitù; e si rivolgono a un padrone che è là, sopra uno scanno, e ha la causa nelle sue mani; e sono come gare di corsa le quali non vanno mai per questa o quella via indifferentemente, ma sempre girano attorno a d una meta ben distinta.” (Teeteto, 172d-e)
Articolo interessante che mostra grande sensibilità sul tema, anche se non condivido in toto l’analisi.
Difficile giudicare una persona senza conoscerla davvero, più facile farsi un’impressione momentanea tramite una prova di esame, per esempio orale, che non necessariamente corrisponde alla realtà.
Contradditorio anche questo concetto: “Il pretendere di giudicare un giovane in base ai suoi “prodotti” significa non scommettere sulla sua intelligenza e capacità, bensì limitarsi ad accertare una capacità già messa a frutto, che ha già dimostrato di essere in grado di “produrre”. È, per usare una metafora, preferire l’usato sicuro, per quello che è, piuttosto che correre il rischio di scommettere su una intelligenza brillante per aspettarne i frutti. Il fatto che oggi chi si presenta a un concorso di ricercatore a t.d. ha un elenco di pubblicazioni che una volta bastava a fare un ordinario, indica una patologia del sistema e non certo un pregio da salvaguardare: rivela alle spalle una grande quantità di vite sprecate nello studio e nell’attesa, il più delle volte invano”.
Quindi? Che fine farebbe chi si presenta ad un concorso di ricercatore a t.d. con un elenco di pubblicazioni che (una volta) basta(va) a fare un ordinario? E’ usato (logoro) causa la patologia del sistema e dovrebbe essere sacrificato? E’ un perdente, una vita sprecata?
Il problema è secondo me altro. Se l’università individuasse un ruolo con determinate caratteristiche e responsabilità ed assumesse direttamente la persona che approssimi meglio tale ruolo, senza concorso, prevedendo però degli step di verifica del lavoro svolto, forse risolveremmo in minima parte anche il problema nipote-zio, secondo me mai del tutto irrisolvibile in questo paese.