Il meglio è nemico del bene e padre del peggio. Quindi senza per­dere tempo a escogitare il meglio, prendiamo esempio dalle peggiori pratiche internazionali. Ma davvero si è fatto qualcosa di diverso? Sì, altrove un po’ si è studiato, ci si è sforzati di mettere a punto criteri (almeno per un po’) presentabili. Qui invece, in tutta fretta, ANVUR e società scientifiche hanno allestito alla bell’e meglio classifiche delle riviste rilevanti per la VQR 2004-2010, ai fini di un «informed peer review» [link]: classifiche, si dice, «ottenute per via non bibliometrica», senza tuttavia chiarire i criteri in base ai quali sono state invece prodotte, salvo sottolineare che si tratta di «un risultato reso possibile dalla collaborazione con le Consulte e le Società di ogni SSD» [leggi documento].

Frutto di un’accettazione più o meno convinta, più o meno consapevole, più o meno rasse­gnata, l’attiva collaborazione dei settori scientifici è l’esito di una sistematica opera di persuasione, anche retorica, che conferma qualcosa di ben noto nella letteratura sull’argomento: os­sia che la valutazione, come del resto tutti i dispositivi di controllo ca­ratteristici dei nostri tempi («inspection age») e dei nostri sistemi so­ciali («audit society»), necessita di non essere avvertita come un corpo estraneo e invasivo ma come una prassi ovvia, naturale, che insomma non desti sorpresa. In prima battuta la direzione degli individui av­viene oggi non più limitando direttamente le libertà, ma «liberando» auto­nome razionalità di auto-governo e auto-controllo (self-empowerment, self-management, self-accountability, ecc…) e, con esse, pratiche capil­lari di controllo reciproco: catene in cui ciascun anello sollecita quello vicino alla medesima condotta responsabile (1). Una volta acquisito l’habitus mentale adeguato («cambiare le menti», dice qualcuno) la macchina può partire; anzi, deve partire. Se una volta era nozione co­mune «Meglio nessuna valutazione che una cattiva valutazione», velo­cemente si è approdati al «Una valutazione è comunque necessaria» e adesso – ostinato di contro alle evidenze o rassegnato all’ineluttabile – campeggia il «Meglio anche la peggiore valutazione».

Ma… meglio o peggio, buono e cattivo – in vista di cosa? Ne La scienza come professione Max Weber parla dell’impossibilità di presen­tare «scientificamente un atteggiamento pratico, tranne il caso della discussione sui mezzi per uno scopo che si presuppone dato». Forse si dovrebbe partire da questa consapevolezza, unita alla consapevo­lezza che sempre, nell’atto di definire metri e misure, si pongono an­che gli obiettivi. All’opposto, giudicare cosa sia meglio o peggio senza avere esplicitato in relazione a quale obiettivo, o senza avere neppure presente con chiarezza l’obiettivo, è un esercizio soltanto astratto, ma non per questo privo delle peggiori ricadute concrete.

Rispetto a questioni del genere si avverte da noi un’insofferenza. Eppure altrove il dibattito scientifico sulla valutazione non guarda con sospetto agli aspetti teorici. Per esempio, capisce l’importanza – anche solo per evitare nella pratica gli errori più grossolani – di distinguere tra «valutazione ristretta» e «valutazione ampia», ciò che non corri­sponde alla dicotomia elementare «valutazione interna» e «valutazione esterna», nel senso del riferimento al «chi» valuta (autovalutazione o agenzie terze), ma esprime una distinzione funzionale, riconducibile alla questione formale «Su quali basi normative si viene valutati?» (2). La valutazione infatti (nesso ovvio a cui non sempre si pensa) opera in ri­ferimento a valori. Bisogna quindi distinguere quali sono i valori che la guidano: se (valutazione ristretta) norme e valori costitutivi di una specifica disciplina scientifica – la quale sempre, in virtù di questo ri­ferimento, premia o sanziona determinate azioni e risultati – oppure (valutazione ampia) la compagine di norme e valori di volta in volta dominanti nella società di appartenenza, certo non privi di influenza sulla scienza, ma in linea di principio distinti da quelli che vigono al suo interno.

La distinzione diventa decisiva in questioni come l’allocazione delle risorse, le scelte relative alle aree di ricerca da promuovere o dismettere e i progetti da sostenere, la delineazione dei profili professio­nali da perseguire. Di fatto «l’organizzazione liberale della scienza», il principio per cui essa va lasciata autorganizzarsi sul presupposto della sua naturale fecondità per il progresso economico-sociale, si è ristretto a spazi d’élite (3). Con l’entrata in scena dei «legittimi portatori di inte­resse» e della parola d’ordine «value for money» (sono soldi pubblici, bisogna renderne conto pubblicamente), si ritiene giustificato indicare alla ricerca le vie da battere, i rami da tagliare, le relazioni da stringere, i modelli da assumere. Su queste materie parrebbe che le de­cisioni non possano essere rimesse a studiosi e scienziati, ma neppure – questo è il nodo – possano prescindere da loro. Ciò genera tensioni inevitabili, oggetto di una vera e propria assiologia del sapere scien­tifico.

Di fatto la «valutazione ampia» è un vettore per l’immissione nella scienza di valori extrascientifici, potenzialmente o anche direttamente in conflitto con i valori consolidati di singole discipline e pratiche di sa­pere o della scienza tout-court. Che ad un ricercatore, per esempio, sia indicato come valore la capacità di attrarre finanziamenti (e dunque di entrare in sinergia con un sistema produttivo dato), o il conseguimento di visibilità e fama internazionale, o ancora l’accumulare pubblicazioni secondo scadenze definite (a prescindere dall’interno andamento delle ricerche), è qualcosa che può contraddire i valori guida della sua atti­vità, fino a sollevare anche problemi di carattere generale in relazione ai principi di libertà di ricerca e della conoscenza costitutivi dell’ethos scientifico in cui si è formato. Si tratta di tensioni che paiono sopirsi nel concetto, su cui molto si insiste, di accountability, che nell’etica so­ciale d’impresa – l’ambito dal quale è tratto – designa insieme la re­sponsabilità morale e la rendicondazione quantitiva dovuta da coloro che sono investiti di un compito fiduciario.

Agli occhi di chi da noi istituzionalmente si occupa di valutazione, però, questioni come questa – centrale e qui appena sfiorata, o altre più determinate, per esempio l’analisi semantica di espressioni abusate come «qualità» o «eccellenza» – sembrano una perdita di tempo. In al­tri ambiti il principio di precauzione è invocato di continuo, prestiamo grande cautela all’introduzione di nuove tecnologie o materiali, richiediamo approfondite valutazioni d’impatto per le trasformazioni urbane e am­bientali; qui invece una grande opera di politica della conoscenza e di ingegneria sociale avviene non soltanto senza un adeguato dibattito pubblico intorno agli scopi, ma anche con volitiva indifferenza per la messa a punto dei mezzi e per gli errori possibili. Un po’ di danni collaterali sono esplicitamente messi in conto, le soluzioni tecniche si affi­neranno in seguito – l’intendance suivra. Intanto si allestiscono stru­menti consapevolmente rozzi, perché l’importante è partire. E tuttavia, com’è noto, qualunque strumento veicola valori. Tanto più gli stru­menti di misura e selezione, che non a caso in tutte le società organiz­zate sono annoverati tra gli attributi del potere (e spesso investiti di ca­rattere sacro). Tali strumenti strutturano le situazioni, suscitano mec­canismi, automatizzano decisioni, inducono comportamenti anche inconsapevoli in direzioni che consapevolmente magari non si sareb­bero imboccate, come sa chiunque si occupi di gestione.

Così, non appena sono stati annunciati la VQR e lo strumento del ranking o rating, in breve la classificazione delle riviste, persone che mai avreb­bero pensato di muoversi in queste logiche sono state catturate e, a ca­tena, si sono innescati comportamenti irriflessi, che in certo modo già hanno iniziato a cambiare habitus e prospettive delle comunità scien­tifiche coinvolte (trasformatesi non a caso da «comunità» in «so­cietà»). Ecco le «tecnologie invisibili» – gli apparati e gli strumenti di gestione, appunto – dove l’azione di chi vi prende parte è alla fine «gui­data più dal riflesso che non dalla riflessione» (4).

Un caratteristico mimetismo – anch’esso ben noto a chi conosce le tecniche gestionali – si è incontrato con le classiche ansie da posizio­namento accademiche, favorendo il generale accoglimento dei modelli proposti. Questi erano sì disorientanti, ma allo stesso tempo avanzati con parvenza di autorevolezza e rigore, di standard internazionale e di generica scientificità: appoggiarsi ad essi aveva, a suo modo, qualcosa di rassicurante; nessuno, nell’accoglierli, sarebbe apparso imputabile di leggerezza o arbitrarietà; nello stesso tempo, alle vecchie politiche di potere era lasciato ancora un margine di soddisfazione e tutela (ampio in principio, ma destinato a restringersi nel tempo, forse in concomitanza con l’interno avvicendamento generazionale). L’urgenza con cui la comunità scientifica è stata interpellata ha ulterior­mente favorito la generale semplificazione e l’appiattimento su codici comuni: indicatori sintetici e omogenei che conducono le persone più diverse a dire e a fare le medesime cose.

Coloro che hanno accettato di «fare i compiti» prescritti dall’ANVUR (ovvero dalle figure di interfaccia: accademici nominati dall’ANVUR), hanno spesso giustificato il loro operato presso i più critici come un gesto di responsabilità. Che si fosse d’accordo o no, i ranking sarebbero stati fatti comunque. Classificazioni insostenibili e i più in­congrui strumenti bibliometrici minacciavano di calare dall’alto. «There is no alternative». Si poteva solo limitare il danno.

Può essere istruttivo ripercorrere brevemente il processo così in­nescato in un ambito limitato come l’Area 11, le cui vicende per i settori filosofici conosco più direttamente. A inizio novembre, all’indomani di un incontro riser­vato tra l’ANVUR e i vertici delle Società scientifiche, è partita l’operazione che, in omaggio all’articolo di Giuseppe De Nicolao chiameremo nel seguito «La torta di Cic­cio»: elenchi di riviste degne di segnalazione andavano forniti per cia­scuna disciplina nel numero di venti, ripartite in A e in B, settoriali e intersettoriali, tenendo in qualche conto  alcuni parametri, come arco tempo­rale, diffusione, continuità e simili; il tutto andava apprestato per prima di Natale, per essere sottoposto, si dice, a referee italiani e stra­nieri (selezionati non si sa bene in che numero e come), e approdare in ultimo (ottenuto il parere definitivo delle Società) al pertinente GEV. Sul perché questo numero e questa suddivisione e questi parametri (se tali sono, ma non lo sono), nulla. I compiti, appunto. Ancora più oscura, anzi proprio impenetrabile – sia detto solo di passaggio – è la questione degli «elenchi di collane e case editrici ricevuti dalle Società e dalle Consulte», non si sa bene come e mai resi pubblici, ciò che non impedisce al GEV 11 di dichiarare il possibile ricorso ad essi «ai fini del controllo delle valutazioni di monografie operate dai revisori, e nel caso di disaccordo tra essi».

Questa dunque la ricetta della valutazione nell’Area 11 – o sarà meglio rinominarla Area 51? – il cui impasto è stato lavorato in modo più o meno accorto da parte delle diverse Società (si va da improvvi­sate preparazioni notturne all’insaputa dei più alle lievitazioni più lente e sorvegliate…). Fatto sta che per l’ANVUR è stato sostanziale presentare la torta di Ciccio come il risultato di un’aperta collabora­zione con le Società del SSD, «improntata al comune desiderio di te­nere fermamente la valutazione nelle mani della comunità scientifica», ignorando sistematicamente e per quanto possibile le espres­sioni di dissenso. Così è stato spinto nell’irrilevanza il fatto che una Società di quell’Area 11 – la Società di Filosofia teoretica – si era rifiu­tata di fornire le classifiche, e non per incapacità o per conflitti interni, ma per una posizione critica attentamente argomentata contro la ricetta prescritta e proponendo una alternativa (5).

Adesso che, a classifiche fatte, si accumulano perplessità anche radicali da più fronti, incluse quelle di chi non è contrario in linea di principio all’uso di questi strumenti, la scelta della SIFiT di prendere sul serio la questione del ranking delle riviste – che pure in genere si tendeva a ri­dimensionare nel ruolo di strumento puramente orientativo per referee comunque liberi di valutare nel merito – non appare più un al­larme ingiustificato. Ora come allora l’insistenza sul carattere non vin­colante delle classifiche non rassicura, giacché produce più problemi che non soluzioni.

In un primo momento, nelle bozze di lavoro, si diceva che il valu­tatore era libero di giudicare la singola pubblicazione indipendente­mente dal rango della rivista ospitante, con la sola aggiunta che, in caso di distacco dal riferimento metrico, avrebbe dovuto motivarlo adegua­tamente. La fragilità di questa impostazione deve essere apparsa con chiarezza durante il periodo di riflessione che ha fatto slittare di un mese la pubblicazione della classifiche da parte dell’ANVUR, sicché nei documenti ufficiali tale regola è stata sostituita da un nuovo proto­collo, che prevede che, in caso di difformità rispetto al riferimento me­trico del giudizio di uno solo dei referee, si at­tivi una procedura di «consensus report» (6) analoga a quella prevista in caso di difformità di valutazione tra i due revisori. E qui, come si vede, alla fragilità si sostituisce una imperturbata insensatezza, perché logicamente se uno solo dei revisori diverge dalla classifica vuol che diverge anche dall’altro, sicché prevedere questo caso particolare non significa niente (come ha rilevato Claudio La Rocca). Ma, a volerla prendere sul serio, niente significa pure, in discipline prive di una base di dati di riferimento condivisa, la prescrizione di distribuire i giudizi secondo una scala di quattro livelli corrispondenti a classi percentuali fisse della produzione scientifica mondiale, dove il presupposto logico è che il valutatore conosca a menadito appunto tutta la produzione mondiale del settore, incluso, ma per intero, il 50% di roba inutile…

Superficialità a parte, comunque si moduli il vincolo tra review e riferimento metrico, è sorprendente che la pretesa di oggettività della valutazione (non è questo il luogo per discutere se sia una pretesa so­stenibile) incappi in una contraddizione così vistosa, ammettendo anzi richiedendo di essere pregiudicata da classifiche dettate in anticipo. Si insiste tanto sul blind peer review come contrassegno di qualità di una rivista, ed ecco invece che qui non soltanto il valutando è sempre noto al valutatore (e non tocco la questione serissima dell’asimmetria tra valutatori e valutandi determinata dall’anonimato degli uni e non degli altri), ma più ancora è data a costui chiara indicazione preliminare circa il rango di quel che deve valutare; con l’effetto collaterale, in ag­giunta, che lo stesso valutando è indotto ad una preselezione falsata. Questo tipo di «informed peer review» spinge difatti il valutando – talora anche con un esplicito invito in questo senso da parte delle strutture di appartenenza – a privilegiare per la valutazione un articolo ap­parso in una rivista ora ben classificata rispetto ad uno apparso in una rivista ora mal classificata, sebbene al tempo della pubblicazione le due riviste fossero entrambe non classificate e in questo senso per lui equivalenti, e lui stesso magari ritenga migliore l’articolo a cui rinun­cia rispetto a quello che invia: una distorsione non indifferente, se il REF britannico, che non ricorre nelle sue procedure a JQL, diffida dalla pratica di preselezionare i prodotti da valutare in base a ranking autonomamente assunti (7). Forse nella torta di Ciccio queste contraddi­zioni non fanno problema. O forse, a veder bene, il carattere orien­tativo potrebbe invero spettare non già al ranking ma proprio al peer review: questo, cioè, potrebbe essere inteso sostanzialmente a testare uno strumento meccanico, destinato in prospettiva – una volta fatto accettare alla comunità scientifica (?) in forza del suo iniziale coinvol­gimento (?) – a marginalizzare sempre più il costoso e ridondante giu­dizio dei pari. E poco importa (o meglio, poco importa di quelli cui importerà) che il risultato di questa VQR sia compromesso da fanta­siose contraddizioni e da scelte opinabili. Nelle ultime dichiarazioni ufficiali queste sono fatte sfumare nella nebulosità del carattere «spe­rimentale» del tutto: il ranking delle riviste è «utilizzabile a soli fini di sperimentazione valutativa»; il documento che lo contiene ha «fini esclusivamente valutativi e sperimentali in relazione alla VQR» e non può essere utilizzato «da altri soggetti e per altri scopi»; solo «per spe­rimentazione e controllo» si «utilizzeranno […] i metodi e gli stru­menti bibliometrici disponibili ritenuti più opportuni, e [si farà] lad­dove utile riferimento alle classificazioni di riviste», ecc… dove regna la massima ambiguità, però, sul che cosa precisamente sia sottoposto a sperimentazione, se lo strumento del ranking delle riviste, se questo ranking particolare, se questo protocollo di valutazione nel suo com­plesso. I risultati tuttavia varranno in modo meno sperimentale per l’assegnazione di fondi, la sopravvivenza di sedi e strutture, il futuro di progetti scientifici e di chi vi si dedica; e le stesse classifiche sperimentali varranno forse, come ora si dice, quale base di riferimento per le prossime abilitazioni. Ma qualche cavia si potrà ben sacrificare: quel che conta è non arrestare la macchina.

Che nulla ne avrebbe intralciata la corsa, del resto, lo ha mostrato anche il fatto che la paventata classifica dall’alto non era semplicemente una minaccia. Nel caso della SIFiT, difatti, l’ANVUR non ha perso tempo a ri­battere (né a tuttoggi ha risposto alle argomentazioni della Società) e ha subito fatto approntare – sebbene non si dica da chi e in base a quali criteri – la classifica delle riviste di filo­sofia teoretica. I risultati (vedi gli interventi di Pievatolo e Illetterati) attestano una certa fantasia pasticciera, ma bisogna essere equi e riconoscere che astrusità e incongruenze non sono man­cate neppure dove le Journal Quality List sono state approntate con tempi e riflessione imparagonabili. Le classifiche prodotte tra il 2007 e il 2008 dalla European Science Foundation, dallo Au­stralian Research Council e dall’Agence d’évaluation de la recherche et de l’enseignement supérieur francese sono state sì complessivamente meno pasticciate, ma non meno deludenti. Anche in questi casi, l’idea di una classificazione delle riviste operata secondo parametri interni e senza ulteriori giustificazioni è apparsa ai settori umanistici (SSH) il solo compromesso possibile tra le istanze delle proprie comunità scientifiche e le esigenze del management della ricerca (il «mostro bi­bliometrico» che minacciava di travolgere identità e pratiche reali di quelle discipline). Tuttavia, diversi studi su come sono state prodotte e gestite le classifiche mostrano che esse hanno provocato una duplice indesiderata conseguenza, in certo modo implicita nella loro natura di «qualcosa di mezzo tra uno strumento politico e un accertamento scientifico» (8). Per un verso, invece di comporre le tensioni tra comu­nità scientifiche e agenzie di valutazione, le hanno fatte divampare e protrarre all’interno stesso delle comunità scientifiche. Per altro verso, le classifiche, pur se dette di applicabilità rigorosamente delimitata, sono state adoperate come strumento per le metriche più diverse.

Non è possibile soffermarsi su queste vicende – su cui si trattiene il documento della SIFiT del 21.12.2011 – ma vale la pena di ricor­darne qualche passaggio. Travolte dalle contestazioni, le classifiche dell’AERES hanno ridotto le fasce di merito da quattro a tre, poi a due e poi, nella maggioranza dei settori, a nessuna, dopo esser passate per l’attribuzione di stelle modello Michelin, poi di numeri e infine di let­tere, più una proposta di usare i colori per scongiurare il calcolo me­trico. Le prime classificazioni dell’ESF sono state anch’esse ritirate per le proteste, ma a livello europeo, mentre sulle nuove 2011 domina la perentoria prescrizione di non prenderle in considerazione per valu­tare «the specific circumstances of any particular individual or entità» [vedi]. Le liste dell’ARC, invece, sono durate grosso modo tre anni: in­trodotte nel 2008, sono state abolite dal governo nel 2011 per aver pro­dotto – testualmente – «gravi danni» [vedi] (9). Tutti questi tentativi di ranking quindi, seppure frutto di lunghi aggiustamenti da parte di appositi pa­nel e non di procedure frettolose, hanno mancato i loro obiettivi.

La ragione di ciò riposa, bisogna credere, su una contraddizione di fondo, che si ripropone sotto varie vesti. Per esempio, nella già men­zionata tensione tra la «valutazione ampia», secondo valori sociali ex­trascientifici, e la «valutazione ristretta», secondo i valori costitutivi delle singole discipline. O ancora, nella tensione tra due distinte no­zioni di qualità – una «nozione relazionale», propria di una logica di comparazione e concorrenza, e una «nozione intrinseca», propria della logica della dedizione scientifica (10) – la cui confusione, cioè l’assolutizzazione della prevalenza della prima sulla seconda, ha effetti stra­volgenti anche sulle pratiche di ricerca reali. O, andando più a fondo, nella dissimulazione di una distinzione semantica dalle conseguenze decisive.

C’è una differenza di principio tra una nozione di qualità1 come insieme delle proprietà essenziali che rendono una cosa quella che è, distinguendola dalle altre, e una nozione di qualità2 dipendente da un esterno riconoscimento del valore. La prima corrisponde alle deter­minazioni relative a come una cosa è, ossia a ciò attraverso cui essa ri­ceve i suoi contorni definiti, la sua fisionomia (11); la seconda, invece, corrisponde non a qualcosa di definito, ad un risultato, ma ad un pro­cesso che non ha fine (12). La nozione di qualità2 quindi può intera­mente prescindere dalla nozione di qualità1 e anche entrare in con­flitto con essa, quando non addirittura affermarsi a suo detrimento. Ora, è questa seconda nozione di qualità2 a guidare tutte le pratiche di valutazione. Se quel che conta è l’apprezzamento – per cui il ricono­scimento non è un momento che eventualmente segue alla produzione della cosa, guidata dalle sue leggi, ma ciò che la produzione ha come obbiettivo fin dall’inizio –, la qualità migra dalla cosa ai processi di produzione, ovvero al loro controllo, e finisce col coincidere con l’esito «scientificamente» predeterminato di un processo «virtuoso». Questo concetto di qualità2 ha dunque al suo cuore la formalizzazione e nor­malizzazione delle attività (tutte indefinitamente migliorabili in linea di principio – modello kaizen) che concorrono alla produzione del risultato, e corri­sponde ad un modello di «gestione della qualità» che deve essere ap­plicabile ad ogni produzione di merci o servizi «qualunque sia il set­tore e qualunque sia la loro grandezza e complessità» (13). In questa ac­cezione – propria del Total Quality Management – la Qualità è uno strumento di organizzazione, quello che consente di fare le cose giuste la prima volta (DRTFT: Doing the Right Thing the First Time).

Se qualità è dunque gestione della qualità, non stupisce che la qualità di una rivista non ammetta, per principio, deroghe all’osservanza di standard organizzativi e editoriali prescritti: continuità, pun­tualità, composizione dei vari board, blind peer review, tasso d’uso, diffusione in banche dati, repertori e biblioteche, disponibilità di un sito internet, presenza di abstract in inglese e pubblicazioni plurilin­gue, percentuale dei lavori su invito e su proposta e per questi ultimi rapporto tra articoli ricevuti e pubblicati, e simili criteri di selezione affatto esteriori e comunque spesso estranei, talvolta non senza ra­gione, a molte tradizioni disciplinari. In alcuni ambiti questa imposta­zione, mirante a predeterminare la qualità a monte e non a coglierla a valle, può comportare una perdita della qualità1: per esempio, in quanto spinge una rivista a sostituire la linea editoriale (sempre risul­tato di scelte né neutre né obbiettive) con una concezione omogenea – e «stagnante», ma soprattutto a ben guardare infondata (14) – della scien­tificità. Ancora, l’uso forzato delle riviste come strumenti di valuta­zione in concorrenza tra loro ne trasforma la natura (il loro «a che») da mezzi di confronto – e certo anche contesa, persino militante – tra studiosi, a strumenti di ricompensa o sanzione di individui o gruppi.

Fuori dalla cucina di Nonna Papera non lo si nasconde. Un mo­derno organismo di valutazione «non valuta – né potrebbe farlo – la qualità scientifica dei singoli prodotti, ossia del loro contenuto intellet­tuale. Ciò che […] può osservare, con un margine di approssimazione tollerabile, è la rilevanza dei prodotti sul mercato intellettuale della ri­cerca» (15). Del resto, la comparazione richiede qualità omogenee. Le pratiche di riduzione delle specificità, di formalizzazione e astrazione, che ne derivano, hanno certamente effetti su tutte le attività di ricerca, andando a ridefinire in fondo la natura stessa del lavoro intellettuale, ma nel campo delle scienze umane producono una forzatura davvero vistosa. Recentemente Francesco Sylos Labini ha osservato che «la dif­ferenza fondamentale tra le scienze naturali e le scienze sociali» sta nel fatto che generalmente «nelle scienze naturali, fuori dei periodi ri­voluzionari, tutti gli scienziati accettano lo stesso paradigma, mentre nelle scienze sociali i ricercatori si dividono in scuole», ciascuna delle quali «ha il suo paradigma, ma questi paradigmi sono spesso molto di­versi l’uno dall’altro» [link]. Il fare astrazione dai diversi paradigmi concre­tamente operanti all’interno di una medesima disciplina genera, di conseguenza, una valutazione non rispondente alla cosa, o meglio: ge­nera di necessità un’altra cosa al posto di quella che si dice di valutare. Una metabasis eis allo genos. In fondo, quello delle scienze umane non è che il caso più evidente di una distorsione o trasformazione si­stematica, per la quale «la valutazione crea la realtà che pretende di valutare» (16) e al posto dell’innovazione e dell’eccellenza che promette a gran voce genera di fatto «uno stato d’aggregazione di affaccendata conformità» (17).

Tutto questo può essere, certo, un progetto di ingegneria sociale e di riforma radicale della nostra cultura, che mette in conto – forse le­gittimamente o forse no – la scomparsa di interi modelli di sapere (e non sfioro nemmeno le conseguenze per la filosofia). Ma di questo, almeno, bisognerebbe discutere. Magari a partire dal titolo di un libro di un ingegnere di buone letture, che si chiama L’uomo senza qualità e però non racconta la storia di un tizio di scarso valore in Cacania.



(*)  Una versione più ampia e con alcune varianti di questo articolo è apparsa col titolo Valutazione della ricerca: tecnologie invisibili e pasticcerie manifeste in “Rivista critica del diritto civile”, (2012) XXX/1, pp. 107-118

(1) Cfr. P. Day, R. Klein, Age of Inspection. Inspecting the Inspectors, London 1990; M. Power, The Audit Society. Ritual of Verification, Oxford 1997; U. Bröckling, Das unternehmerische Selbst, Frankfurt/M. 2007; P. Dardot, Ch. Laval, La nouvelle raison du monde (Essai sur la société néolibérale), Paris 2009; S. Hornbostel, A. Schelling (a cura di), Evaluation: New Balance of Power?, iFQ-Working Paper No. 9, November 2011; A. Abelhauser, R. Gori, M.-J. Sauret, La folie évaluation. Les nouvelles fabriques de la servitude, Paris 2011.

(2) Sul tema e per una bibliografia cfr. Marcel Weber, Wissenschaftstheorie der Evaluation, in H. Matthies, D. Simon (a cura di), Wissenschaft unter Beobachtung. Effekte und Defekte von Evaluationen, Wiesba­den 2008, pp. 25-43.

(3) Cfr. in proposito F. Coniglione, Mirrors Research Group, Scienze e società nell’Europa della conoscenza. Nuovi saperi, epistemologia e politica della scienza per il terzo millennio, Acireale-Roma 2010. Del tema più generale della valutazione in area umanistica mi sono occupata in V. Pinto, Sulla valuta­zione, in F. Lomonaco (a cura di), Nuovi saperi e nuova didattica nell’Università del nuovo millennio. Dieci anni dopo il D.M. 509, Napoli 2010, pp. 111-157, disponibile online all’indirizzo http://www.filosofia.unina.it/materiali/atti/atti-2009-01/valeria-pinto.pdf.

(4) M. Berry, Une technologie invisible? L’impact des instruments de gestion sur l’evolution des systemes humains, Rapport du CRG, Ecole poliytechnic, 1983.

(5) I documenti approvati dalla SIFiT sono stati elaborati da una Commissione valutazione compo­sta da Luca Illetterati, Claudio La Rocca e da chi scrive. Sono molto riconoscente a Illetterati e La Rocca per la disponibilità con cui hanno discusso con me dei problemi della valutazione, anche ben oltre gli scopi immediati del lavoro co­mune.

(6) ANVUR, VQR 2004-2010, Criteri per la valutazione dei prodotti di ricerca. Gruppo di Esperti della Valutazione dell’area 11 (GEV-11), 29 febbraio 2012. La divergenza rimanda la valutazione del prodotto ad un gruppo di consenso interno al subGEV. Dal momento che le valutazioni dei revisori sono articolabili in almeno quattro livelli, le probabilità di divergenza sono elevate. Ciò lascia prevedere un notevole aggravio di lavoro: il consensus report è infatti una procedura che richiede tipicamente almeno tre membri e un’accurata verbalizzazione. Stando ai “criteri”, però, la decisione finale non appare vincolata né al giudizio dei revisori né ad altri parametri noti, il che apre anche uno spazio di sorprendente discrezionalità per i valutatori interni. Si direbbe l’ennesimo caso in cui un’ostentata trasparenza mette capo alla tenebra più totale.

(7) Cfr. R.J. Paul, Measuring research quality: the United Kingdom Government’s Research Assessment Exercise, «European Journal of Information Systems», (2008) 00, pp. 1-6; Z. Corbin, RAE table will be shaken by use of journal rankings, «Times Higher Education», 11.09.2008.

(8) D. Pontille, D. Torny, The controversial policies of journal ratings: evaluating social sciences and humanities, «Research Evaluation», 19, 2010, pp. 347-360; Id., Re­vues qui comptent, revues qu’on compte: produire des classements en économie et gestion, «Revue de la regulation», 8, 2010.

(9) Excellence in Research for Australia (ERA) 2011. Consultation Submission by the Australian Academy of Science. In un recente intervento ufficiale il vice-coordinatore della VQR, Andrea Bonaccorsi, ha sostenuto che il ritiro delle liste dell’ARC è stato effetto «non di debolezze metodologiche ma di pressioni politiche», in base a confidenze ricevute da un suo interlocutore australiano, «che per comprensibili ragioni mi ha chiesto l’anonimato». La singolarità dell’uso di questo tipo di fonti è stata segnalata tra gli altri da G. De Nicolao, VQR: AnvurLeaks, il complotto australiano, la maledizione di Atuk e le classifiche di Pinocchio e L. Illetterati, Salvezza dall’alto, cit. In effetti il ricorso a corrispondenti anonimi è potenzialmente infinito, sicché mi astengo dal rivelare qui quel che una mia autorevole fonte anonima ha ritenuto di confidarmi a proposito dell’interlocutore anonimo di Bonaccorsi.

(10) Cfr. Pontille, Torny, The controversial policies, cit.

(11) Cfr. Aristotele, Metafisica, V, 14, 1020 b. In questo senso la qualità è anche, in senso positivo, il «limite» della cosa (cfr. ivi, 17, 1022 a).

(12) Cfr. U. Bröckling, Das unternehmerische Selbst, cit., 218-219: «Gli specialisti della qualità controllano non più il prodotto ma l’autocontrollo dei produttori. – Il metro per la qualità è soltanto la soddisfazione dei clienti. Dal momento però che questi avanzano richieste non solo sempre nuove ma anche sempre più elevate e non c’è niente che non possa essere reso in qualche modo più veloce, più conve­niente o in qualche altra maniera più vantaggioso per il cliente, il risultato non può essere raggiunto con la semplice osservanza degli standard. La qualità ha un ‘carat­tere proattivo, vale a dire offensivo’, essa ‘non è uno scopo ma un processo che non ha mai fine’, ‘nessuna risultante, ma parametri d’azione’ [A. Oess, Total Quality Ma­nagement: eine ganzheitliche Unternehmensphilosophie, in B. Stauss (a cura di), Qualitätsmanagement und Zertifizierung, Wiesbaden 1994, 201]. Al di là dei con­trassegni di prestazione oggettivabili, si tratta qui di una condotta di fondo coniata sul modello di una sempre più attenta sollecitudine, che non conosce la parola ‘ba­sta’ e aspira ad essere sempre un passo più avanti del cliente, i cui bisogni devono essere soddisfatti prima che egli stesso li conosca o li articoli. Accanto al sondag­gio sistematico dei desideri del cliente c’è perciò bisogno di una generalizzata ‘er­meneutica del desiderio’, che capisca ciò che ancora non è stato detto e che quindi produca la mancanza che promette di soddisfare».

(13) ISO 9001: 2008 Sub-clause 1.2 ‘Application’.

(14) Cfr. per tutti Editorial: Classer, évaluer, «Annales HSS», 6, 2008, 1-4.

(15) Cfr. L. Bianconi, L’esperienza bolognese, in Evaluation in the Human Scien­ces: Towards a Common European Policy, Bologna 2008.

(16) U. Bröckling, Evaluation, in U. Bröckling, S. Krasmann, T. Lemke (a cura di), Glossar der Gegenwart, Frankfurt/M. 2004, p. 7.

(17) A. Koschorke, Wissenschaft als Wissenschaftvernichtung. Einfuhrung in die Paradoxlogie des deutschen Hochschulwesen, in D. Kimmich, A. Thumfart (a cura di), Universität ohne Zukunft, Frankfurt/M. 2004, p. 151.

Print Friendly, PDF & Email

7 Commenti

  1. Articolo molto bello di cui condivido pienamente la tesi di fondo: la VQR 2004-2010 ha buone probabilità di indebolire ulteriormente i già logori principi di autonomia e indipendenza dell’università come luogo di produzione del sapere, per renderla soggetta a forze eteronomiche che rischiano di far prevalere fini imposti dall’esterno. Ma nonostante la condivisione del quadro di riferimento, non mi convince la parte terminale dell’articolo in cui la differenza tra autonomia e eteronomia dei processi di riconoscimento della qualità o del valore è descritta come differenza ontologica (aristotelica) tra principi intrinseci (in quanto pertinenti alla cosa in sé) e principi estrinseci.

    I miei dubbi, i miei timori, non riguardano certo la rivendicazione del principio di autonomia, quanto l’uso di categorie che rimandano al sostanzialismo aristotelico, che ritengo poco adeguate alla causa.

    Il rischio è che vi sia un travisamento di quelle che sono le forze eteronomiche che stanno mettendo in discussione l’autonomia. Io non penso proprio che queste siano la logica “relazionale”, intesa come “logica di comparazione e concorrenza”, oppure ancora l’idea di qualità2 (come la definisci), che anziché corrispondere “a qualcosa di definito, ad un risultato”, rimanda “ad un pro­cesso che non ha fine”.

    Ora a me sembra, per paradosso, che proprio le categorie della relazionalità, della concorrenza, del processo senza fine siano quelle che maggiormente hanno contribuito all’emergere di quello spazio autonomo, sempre storicamente condizionato, governato dal principio della competizione delle idee: spazio autonomo proprio perché retto da meccanismi competitivi indipendenti da quelli del mercato.

    Queste metafore economicistiche, lo so bene, ti richiamano l’aziendalizzazione e la mercificazione di processi di produzione della conoscenza che tanto hanno contribuito a corrompere l’università.

    Eppure, sono convinto, vi si possa attribuire anche una diversa valenza, soltanto pensando all’impresa scientifica come sistema governato da feroce concorrenza e competizione all’interno di strutture di dominio, dove la posta in gioco è il “monopolio della manipolazione” legittima dei beni scientifici.

    Penso insomma non vi sia alcuna cosa in sé che corrisponda alla qualità1: questa è retta proprio dalle logiche relazionali interne ai campi scientifici, dalla concorrenza e dai processi di valutazione (critica) senza fine che attribuisci alla qualità2.

    A me sembra piuttosto che la governamentalità neoliberale stia riducendo l’autonomia dell’università come campo di produzione del sapere proprio restringendo gli spazi della competizione delle idee, per cristallizzare determinati rapporti di forze. E, per assurdo, che siano proprio i criteri dell’Anvur a postulare l’idea di qualità o di merito come “cosa in sé”, come realtà ontologica suscettibile di misurazione.

    Terenzio Maccabelli

  2. La ringrazio dell´analisi svolta!
    Una delle cose che più mi interessava capire era ed è la motivazione per cui queste liste o ranking hanno fallito.
    Nell´articolo si fa riferimento al controllo della qualità applicato all´industria della “scienza”….. mi piace come idea perché credo si avvicini molto al tentativo in corso di industrializzazione dell´Università .
    Una delle possibili definizioni del proposito del controllo della qualità è la seguente:

    “The purpose of quality control is to ensure, in a cost efficient manner, that the product shipped to customers meets their specifications”.

    I sistemi di controllo di qualità aziendali sono effettuati per garantire una qualità del prodotto ma CRISTALLIZZANO il sistema produttivo. Si stabilisce dove, quando, come e che cosa quantificare per avere carte di controllo o sistemi di controllo che il cliente potrà richiedere per avere riscontro del buon processo produttivo. Ogni modifica a tale sistema richiede più o meno complesse ri-analisi! MA STIAMO PARLANDO DI PROCESSI PROCUTTIVI e BENI DI CONSUMO!
    Ricordo anche che questi sistemi di controllo della qualità dipendono (anche se le metodologie sono trite e ri-trite scritte nei libri) dai soggetti UMANI che le trasferiscono nella realtà e anche successivamente richiedono di essere continuamente monitorati da persone altamente competenti e specializzate. Non di meno un sistema di controllo è sempre un sistema PASSIVO e MAI DINAMICO, controlla qualche cosa di pre-stabilito e reagisce se qualche cosa non funziona (alla peggio buttando i pezzi non conformi), ma solo ed esclusivamente in quel ambito e contesto ristretto, virtuale, uno spaccato della realtà ben più complessa. Non è mai DINAMICO o PROATTIVO e soprattutto non INVENTA assolutamente nulla, OSSERVA che tutto vada bene!
    Stesso discorso se facciamo riferimento alle metodologie di controllo nel management di progetti. In certi punti di progetto si verifica di aver raggiunto lo/gli scopi. Ma attenzione perché anche in questo caso i progetti di ricerca sono moto diversi rispetto a quelli per costruire un edificio, perché oltre ad avere un maggiore rischio, essi hanno delle componenti di “SORPRESA!” altissime e difficilmente prevedibili. Ma questa è un´altra storia.

    A mio avviso l´applicazione di un sistema di controllo della “qualità” alla scienze umane (ma a certe condizioni anche nelle altre)………non funziona perché ha dinamiche completamente diverse rispetto a un sistema produttivo. La ricerca è DINAMICA, è frutto di idee e intuizioni, di correnti diverse, è frutto di fallimenti in una direzione che hanno condotto poi a successi in un´altra e vice versa. E´ frutto di dinamiche di confronto tra gruppi con diverse correnti di pensiero. Come si può pensare di misurare tale complessità con dei sistemi statici (almeno fossero decenti!). Ma soprattutto è fatta da persone e le persone non sono una linea produttiva dove nel punto X, Y e Z si fanno delle misure per vedere se il prodotto è buono e risponde alle specifiche: ma a quali specifiche, chi le stabilisce e come, chi è il cliente?

  3. Ringrazio Maccabelli per il suo commento. Trovo interessantissime le tue riflessioni. Si va sui principi, cosa che raramente capita di potere fare in una discussione sulla valutazione.

    Sono assolutamente d’accordo sul carattere fortemente problematico della nozione di qualità1, che in generale, ora al di là dell’articolo, non pretendo di fare valere come paradigma assoluto. Diciamo che nell’articolo richiamo la qualità1 in funzione per così dire euristica, come nozione idealtipica di qualità all’opposto estremo della qualità2.

    La qualità1 sta indicare ciò per cui qualcosa è questa determinata cosa e non quell’altra. Ciò per cui ad esempio un coltello è un coltello e non un cacciavite, al di là del suo essere di buona o cattiva qualità. Conveniamo pure invece sul fatto che un coltello è un coltello non in base ad una essenza immutabile ma a partire da una rete di relazioni che ne definisce l’appropriatezza. Ma in che consiste questa rete di relazioni? E’ un problema: non so cosa tu intendi. Generalmente in questi casi si seguono derive pragmatico-utilitaristiche: tolta la qualità intrinseca si può pur sempre dire che il coltello serve a tagliare e non ad avvitare le viti, per quanto in mancanza di un cacciavite lo si possa anche “entro certi limiti” adoperare per avvitare qualcosa. Se però i produttori di coltelli vogliono vendermi i loro coltelli e per spingermi a buttare le mie vecchie posate mi disegnano coltelli dal design inaspettato, me li vendono con un packaging formidabile e un marchio che incarna un lifestyle o quant’altro, e poi però proprio questi coltelli non tagliano (non sono proprio conformi all’uso, ma il certificato ISO ce l’hanno lo stesso) non è un problema ovvero è un problema che si risolve da sé: eventualmente con set di coltelli invenduti e destinati a sparire e la sopravvivenza di coltelli complessivamente più adatti, cioè meglio rispondenti a un insieme non definito, relazionale, di bisogni “effettivi”. Assumiamo quindi anche che la qualità nel senso del valore di qualcosa – la buona o cattiva qualità di qualcosa – venga virtuosamente dissolta rimettendo tutto alla prassi e alla fine a quella prassi per eccellenza che è il mercato con le sue relazioni.

    Quando l’Anvur, la Crui, le agenzie di valutazione parlano di qualità, intendono precisamente questo: qualità nel senso del controllo formale della qualità, che per principio si applica uniformemente a tutte le merci e servizi. Così p.e. il Direttore esecutivo della Crui nel 2003: “Una università di qualità sarà quella capace di garantire certezze a tutti i ‘clienti’ (in primo luogo gli studenti) e parti interessate (personale interno, enti locali, Stato, mondo del lavoro, collettività in senso ampio) riguardo alla propria capacità di ottenere risultati adeguati agli obiettivi dichiarati e promessi. In un’Organizzazione che eroga servizi ed in particolare formazione, non essendo possibile o comunque tardivo e dannoso effettuare il controllo prevalentemente con misure effettuate a valle dei processi […], la ‘qualità’ dei processi deve essere ‘studiata’ (pianificata, progettata), valutata e validata preventivamente (dimostrarne la rispondenza ai requisiti d’uso a livello di sistema, soprattutto a livello di ‘progetto’, prima dell’erogazione vera e propria del servizio di formazione, con simulazioni, riesami, verifiche, sperimentazioni…) e quindi in fase di esecuzione solo controllata (mantenuta entro i limiti di controllo tramite misure non orientate all’accettazione o allo scarto ma alla regolazione) e migliorata in continuazione”.

    A me pare allora che la qualità2 non si limiti a bandire un’idea sostanzialistica di qualità sostituendovi un’idea relazionale della qualità (e del valore) come risultato di rapporti di forze, spinte contrapposte, istanze in conflitto: una liberazione di forze che, mi sembra di capire, avrebbe carattere virtuoso nella tua prospettiva. Il concetto di qualità avanzato qui non è un concetto relazionale generale, ma un concetto relazionale specifico e ben determinato: quello dell’“assicurazione della qualità”, Kaizen, TQM, ISO ecc. (grazie a Libera per aver portato l’attenzione su questo). Ciò che in genere accade qui, nella qualità2, non è affatto una semplice dissoluzione della qualità sostanziale in rapporti e relazioni, ma la sottomissione ad un’unica forma di relazione, alla “sostanza” del mercato, ovvero la sottomissione alla logica gestionale dell’impresa e del profitto: una rigida disciplina aziendale (rigida pur nell’imperativo della assoluta flessibilità e nel contrasto di ogni gerarchia fissa) dove le relazioni sono alla fine relazioni di mercato, non altro.

    Per inciso, in questa messa in libertà forzata – nella “messa a mercato” di ciò che per sua natura, o anche solo tradizionalmente, non rientra nel mercato – a prendere il posto della sostanza e dei vincoli sostanzialistici della qualità1 sono alla fine per lo più altre sostanze. Quando si parla – come si sente parlare senza fine – di individui come attori e soggetti di rapporti economici, i cosiddetti “portatori di interessi”, e del mercato quale luogo reale di incontro/scontro di istanze individuali, desideri, scelte liberamente avanzate, ciò che accade mi pare sia appunto semplicemente la sostituzione di alcune sostanze dichiarate reali ad altre dichiarate fittizie. Ma si potrebbe osservare che si vuole pensare in termini di pure relazioni, occorrerebbe rinunciare anche a quest’ultimo residuo di sostanzialismo che è l’individuo e alle idee assai metafisiche di sviluppo crescita, evoluzione, come pure rinunciare a nozioni morali assai problematiche come quella di scelta, interesse, merito eccetera, di cui si dà per scontata la sostanza. Ma è un discorso che non si può fare qui.

    In ogni caso, per pensare un altro concetto relazionale di qualità, persino un altro concetto di competizione, bisogna capire – mi sembra – in che modo questo concetto si distingue da quello economico di concorrenza. Tu parli appunto di una dimensione di “concorrenza e di competizione” che trova espressione in metafore economicistiche, ma che tuttavia non ricadrebbe, a quanto capisco dalle tue parole, nella logica economica. Mi vengono in mente diverse possibilità, ma per continuare a parlare vorrei capire tu cosa intendi. Resta il fatto però che nei processi valutativi in atto il mercato, o come ideale regolativo o come non meglio determinato “mercato intellettuale della ricerca” fa da guida, al punto che per superare un po’ di difficoltà si ricorre alla nozione molto problematica di “quasi mercato”. In altre parole, mettiamo pure tra parentesi il concetto di qualità1, ma fissiamo meglio quello di qualità2 e ciò che esso contiene ed esclude.

    A margine, poi, ci sarebbe da fare anche un altro discorso, che riguarda credo solo la filosofia e qualche altro sapere umanistico. Per quanto si possa discutere un concetto di qualità “insulare”, in campo filosofico non ci sono idee o paradigmi che “vincono” e che “perdono”. Non è che Platone o chi per lui sia oggi superato o smentito: forse nei termini di una storia della cultura possiamo registrare che una linea soccombe e un’altra prevale, ma questa è una considerazione del tutto esteriore, che non ha nulla a che fare con la considerazione filosofica di un pensiero. In filosofia non ci sono errori che vengono smascherati e superati: l’idea filosofica di verità non coincide, o almeno può del tutto legittimamente non coincidere con l’idea scientifica di verità, e almeno si può sostenere che rimandi ad una scelta di natura esistenziale (e che proprio così facendo svolga anche il suo ruolo sociale). Costringere invece gli studi filosofici ad aderire nelle loro prassi reali alle regole dell’oggettività scientifica impone una loro trasformazione dall’esterno che davvero appare priva di ogni giustificazione.

  4. Ringrazio Valeria Pinto per le nuove riflessioni scaturite a margine del mio commento, di cui ha colto perfettamente gli intenti.
    Proverò allora a riprendere il mio discorso dalla domanda esplicita che mi pone a proposito dell’uso dei concetti di relazionalità e competizione. Come scrive Valeria nella replica, “Tu parli appunto di una dimensione di ‘concorrenza e di competizione’ che trova espressione in metafore economicistiche, ma che tuttavia non ricadrebbe, a quanto capisco dalle tue parole, nella logica economica. Mi vengono in mente diverse possibilità, ma per continuare a parlare vorrei capire tu cosa intendi”.
    Direi di si, che è proprio quello che intendevo dire.
    L’idea banale alla quale mi richiamo è che la qualità1 (per attenermi al tuo lessico) sia qualcosa che è oggetto di competizione e lotta all’interno di un campo (scientifico, filosofico, letterario, ecc.), dove operano soggetti in concorrenza tra loro: una concorrenza che può essere alterata dai rapporti di forza e di dominio esistenti nel campo, ma che in condizioni di autonomia e indipendenza dei soggetti operanti nel campo ha prodotto storicamente quello che potremmo definire l’avanzamento del sapere.
    So naturalmente il pericolo connesso all’uso e all’accettazione di certe metafore (“Quando accetti un frame, hai già perso”). Ma mi sembra che in questo caso le metafore economiche (che peraltro riprendo da Bourdieu) siano particolarmente efficaci per descrivere lo sforzo collettivo di tutti coloro che operano in quell’inesausto processo (senza fine, appunto :-) di produzione del sapere.

    Ecco, i miei dubbi derivavano dal fatto che le categorie da te utilizzate per descrivere la qualità2 mi parevano altrettanto efficaci per descrivere la qualità1.

    Questo sul piano dei principi. Sul piano pratico, penso le nostre differenze scompaiano. Perché è indubbio che alla difficoltà di cogliere la qualità1 si sia fatto fronte con un surrogato, la qualità2, in questo caso davvero soggetta al più deleterio economicismo. E temo anch’io che questo surrogato possa rivelarsi una delle più grandi minacce all’autonomia dei campi di produzione del sapere.

    Terenzio Maccabelli

  5. Valeria

    leggerti e’ stato un grande piacere, non ti conosco ma vorrei farlo.
    Sono reduce da un sabbatico di 8 mesi negli Stati Uniti. Temevo di subire il consueto shock al rientro, invece le considerazioni svolte nel tuo articolo non potevano essere di miglior auspicio:
    condivido tutto verbatim!

    Paolo Caravani

    • Ieri è stata una giornata di soddisfazioni con l’importante presa di posizione dei costituzionalisti e di altre società contro i metodi ANVUR. Una giornata all’insegna del buonumore, anche grazie al tuo commento. Grazie davvero Paolo. Ciao.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.