Dalla scuola all’università la Pubblica Istruzione è allo sbando?

Come era prevedibile, il mito della “valutazione oggettiva” e dei test agisce come un gigantesco boomerang. Si era fatto credere che gli arbitrî nei concorsi universitari sarebbero stati sanati procedendo “oggettivamente” con indici ricavati dal numero delle citazioni ottenute dalle pubblicazioni dei candidati e dei commissari, sotto la guida tecnica dell’Anvur (Agenzia di valutazione dell’università e della ricerca).

La “bibliometria” è molto discussa all’estero. Personalità e istituzioni autorevoli ne hanno contestato la validità e persino denunciato la pericolosità per tante ragioni, se non altro perché le citazioni sono ricavate da database di ditte private che indicizzano quel che a loro garba, ignorando per lo più la ricerca di base o umanistica.

Sta di fatto che anche negli USA, che ne sono la patria, alcune istituzioni la usano (con criteri diversi), altre no. Solo da noi, caso unico al mondo, la bibliometria è divenuta una procedura di stato, gestita da un ente di nomina politica, tagliando fuori – come ha osservato il presidente emerito della Corte costituzionale Valerio Onida – il valutatore naturale, la comunità scientifica di riferimento. A Ferragosto l’Anvur ha pubblicato le “mediane”, ossia quei numeri che i docenti universitari o i candidati debbono superare per essere membri di una commissione o presentarsi al concorso. Quel che ne è uscito fa spesso a pugni con l’evidenza più elementare, quantomeno per chi abbia un minimo di competenza. Ma a poche ore dal termine per la presentazione delle domande, gli scienziati dell’Anvur hanno cambiato i numeri poiché le approssimazioni usate non sarebbero in linea con la definizione di mediana del decreto ministeriale relativo. Solo a poche ore dalla scadenza dei termini si sono accorti di aver fatto i calcoli sbagliati. Questa sarebbe la tanto vantata oggettività che porrebbe fine agli arbitri dei concorsi basati su giudizi di merito? Baloccarsi con gli algoritmi secondo criteri sconosciuti?

Per elementari motivi di trasparenza bisognerebbe spiegare che tipo di calcoli sono stati fatti finora e quali sono i nuovi algoritmi usati in “zona Cesarini” per mettere una toppa a un buco che neppure è chiaro quale sia.

Purtroppo l’assenza di trasparenza sembra essere una caratteristica della gestione del mondo dell’istruzione.

Difatti, siamo appena reduci dal disastro dei quiz preliminari per l’ammissione al TFA (Tirocinio Formativo Attivo, per la formazione dei nuovi insegnanti), che ha costretto il ministero ad ammettere i numerosi errori contenuti nelle domande, la loro assurdità, il loro nozionismo. Un disastro che è stato rabberciato confermando il proverbio secondo cui “la toppa è peggiore del buco”. Eppure, ancor oggi (29.8 ndr) non è dato conoscere i nomi di chi ha redatto i test né di chi è stato chiamato all’ingrato compito di mettere la toppa. Non dovrebbe essere una prassi elementare rendere noti i nomi dei “tecnici” reclutati a compilare i test, non prima, ma almeno dopo le prove?

Del resto, questa vicenda è in continuità con quella delle batterie di test al concorso per dirigenti scolastici, anche queste infarcite di errori, assurdità, ridicolaggini e ideologia costruttivista di stato, e ancor oggi non è dato sapere chi ha combinato quel disastro, né alcuno ne ha pagato il prezzo.

Ora si annuncia che il prossimo concorso per l’assunzione di nuovi insegnanti prevederà un test preliminare di “scrematura”, addirittura uguale per tutte le classi di concorso. Come escogitare domande buone per tutti? Saranno del tipo “chi era il presidente della repubblica nel 1985” o “chi ha vinto la medaglia d’oro di nuoto alle Olimpiadi del 1960”? E chi, e come, gestirà questa operazione gigantesca?  Come se i tanti disastri dei “tecnici” non bastassero, si parla di porre tutta la scuola sotto il controllo dell’Invalsi e dell’Indire (l’Istituto di documentazione e ricerca innovativa).

In definitiva, i soggetti del sistema – gli insegnanti – sono ridotti, a tutti i livelli, a semplici pedine sotto il controllo di enti di natura burocratica, nominati per via politica o per via di amicizie dirigenziali. Il sistema dell’istruzione italiano appare in preda a un dirigismo statalista ipertrofico che, in nome del mito della valutazione oggettiva e del merito, sta ponendo le premesse del suo contrario: distruggere il merito e trasformare il sistema in un’immensa e inefficiente baracca burocratica, com’è tipico di ogni sistema illiberale.

(Articolo pubblicato su il Giornale del 29.8.2012. Sulla questione TFA si veda anche questo articolo di F. Coniglione)

Send to Kindle

61 Commenti

  1. Quando il ministro Profumo aveva detto – sarà passato un mesetto – dopo il primo disastro dei test nazionali TFA, che avrebbero elaborato, per un’altra occasione, una batteria di domande comuni a tutte le classi di concorso, forse molti di noi si saranno ‘divertiti’ ad immaginare come si potevano formulare tali domande. La CRUI ovviamente taceva o dormiva. Per conto mio avevo pensato a questo (due sono serie, due no, indovinare quali): 1. Cosa ne pensa la CRUI? 2. Quante lettere ha l’alfabeto? 3. Neutroni, neuroni, neutrini possono viaggiare in un tunnel alla stessa velocità, considerando la sola differenza di una lettera? 4. Quanto fa 2+2?
    Altra domanda generale: stiamo macinando tempo, energia e parole per una cosa serie o un’idiozia?

  2. Gentile Marco Antoniotti, perché autocritica? Sfido a trovare una sola riga in quel che scrivo da anni che non sia contro test, valutazione oggettiva, bibliometria, Invalsi e Anvur. Casomai, sono io a dover dire “te l’avevo detto” a chi si è illuso che poi non sarebbe stato un così gran disastro e ha dato qualche credito ai test e alla bibliometria. Se poi si allude alla mia presenza in commissioni nel precedente ministero, non c’è nulla che abbia detto e fatto che non sia stato coerente in questo senso, fino ad esprimere apertamente quel che pensavo su Invalsi e Anvur in vari articoli sulla stampa ottenendo in cambio una raffica di insulti da parte del ministro.

    • Caro Israel,

      io apprezzo molto i suoi interventi più recenti sulla vicenda che ci coinvolge tutti e che è importantissima per il futuro del paese. La lotta contro i Vogons (ministeriali e non) è cosa buona e giusta.

      Ma lei pubblicò sul suo blog (e firmò) un appello dal titolo “Difendiamo l’Università dalla demagogia”, e riteneva il meccanismo di reclutamento dalla legge 240/2010 come uno dei punti ragionevoli della “riforma”.

      IMHO, io ebbi ragione nel non firmare l’appello e nel ritenere la 240/2010 nel suo impianto complessivo e nella forma del reclutamento imposto in particolare come una legge deleteria.

      Credo che la cosa migliore sia di registrare questi come disaccordi passati e di concentrarci sulla prossima riforma, quella si, si spera, “liberal” (nel senso USA del termine).

      A presto

      Marco Antoniotti

    • Su questo lei ha ragione ma anche qui una precisazione è necessaria. La riforma era in fase di gestazione e nel meccanismo previsto la funzione dell’Anvur non era intesa nel senso che ha preso ora, bensì come una valutazione a valle. In un convegno a Bologna mi espressi con forza nel senso di dare al reclutamento questo approccio e l’esponente politico venuto a rappresentare il ministro dichiarò fortemente l’intenzione di concepire la valutazione a valle e non a monte. Poi le cose sono cambiate e – sarò chiaro – sulla base di quel che è successo dopo – non firmerei mai più quell’appello. Peraltro, proprio sulle nomine dell’Anvur e sui poteri ad esso conferiti mi espressi esplicitamente col ministro che mi mandò a quel paese. C’è un articolo sul Messaggero che lo testimonia. Questo per la chiarezza. Per cui, se deve essere un’autocritica per mia ingenuità, non ho difficoltà; per incoerenza, no. Tenga conto che l’opposizione alla legge fu fatta per qualsiasi motivo al mondo meno che per quello. Tanto è vero che l’opposizione non si muove ancor oggi affatto su questo tema in contrasto con l’approccio dell’Anvur. Comunque sono d’accordo sul guardare avanti.

  3. Logica, comprensione del testo, lingua straniera, informatica. Sono voci, ma mi sembra che siano esattamente questi i temi su cui debba essere orientato un test preliminare per l’insegnamento nella scuola superiore. Certo non ha senso chiedere quali Italiani abbiano vinto il premio Nobel: rimane puro nozionismo, se non viene anche chiesto grazie a quale scoperta.

  4. Non sono affatto d’ accordo con l’autore dell’ articolo. Il problema sono gli autori dei test, non il metodo per quanto riguarda il tfa. Con criteri oggettivi bene studiati hai un metodo di valutazione preciso. Io stesso ne ho fatto le spese al concorsone dell 99. Tre commissari che dovevano valutare il mio tema su una materia affine di cui non erano specialisti e nemmeno laureati, al contrario del sottoscritto che era già ddr. Uno dei tre addirittura era diplomato col terzo anno. Conclusione, non ho superato la prova scritta perché non l’avevano capita.

  5. “La “bibliometria” è molto discussa…. Personalità e istituzioni autorevoli ne hanno contestato la validità….. se non altro perché le citazioni sono ricavate da database di ditte private che indicizzano quel che a loro garba, ignorando per lo più la ricerca di base o umanistica.”

    Critichiamo (giustamente) l’ANVUR quanto vogliamo, ma dobbiamo partire da punti fermi. TUTTA la ricerca di base seria e attuale è indicizzata sui database. Il probema è semmai che vi sono troppe riviste di dubbio impatto indicizzate. Sfido chiunque a citare una rivista prestigiosa di Fisica, Chimica, Biologia che non sia indicizzata su Scopus o ISI. A meno che non si voglia definire “ricerca di base” la Multiterapia Di Bella, che è discussa in molti articoli su “Il Giornale” dove scrive Israel….

    • Non è vero che “TUTTA la ricerca di base serie e attuale è indicizzata sui database”. In alcuni settori gran parte della ricerca è indicizzata, in altri assolutamente no. Ed i database attuali non sono affidabili se la coprtura è bassa. Bassa copertura dipende da tre cose: 1. poche riviste coperte; 2. comunicazione scientifica che avviene con strumenti diversi dalla rivista (libri, capitoli, conferenze etc.); 3. peso delle citazioni a articoli su rivista (le uniche presenti nei database) che è tanto più bassa quanto più alto è il peso di strumenti diversi dalle riviste.
      Consiglio di leggere tanto per farsi un’idea del problema: Larivière, V, E. Archambault, Y. Gingras, and E. Vignola-Gagné. “The Place of Serials in Referencing Practices: Comparing Natural Sciences and Engineering with Social Sciences and Humanities.” Journal of the American Society for Information Science and Technology 57, no. 8 (2007): 997-1004.

    • Penso ci sia un errore nel riferimento: l’anno dovrebbe essere 2006 e non 2007.

      Penso di essermi espresso male riguardo alla ricerca di base. Per quanto riguarda alcuni settori scientifici, e faccio l’esempio di fisica e chimica, ove la comunicazione dei risultati avviene prevalentemente attraverso riviste, la copertura di quelle più prestigiose tramite Scopus/Isi è pressoché totale.
      Ovviamente esiste ricerca anche in settori non biblometrici, e qui giustamente il problema della copertura potrebbe esistere, anche se non ho competenza per giudicare quanto.

  6. Mi scusi tanto, ma cosa intende lei per ricerca di base seria e attuale? le ricerche che vengono fatte nel mio settore – storia della matematica e della scienza, come del resto storia della medicina, della biologia, della fisica e della chimica – NON sono indicizzate da Scopus o ISI, o tutt’al più si arriva a un 10% di indicizzazione. Vuol dire che non sono ricerche serie e attuali, o che si tratta di roba alla Di Bella? Se vuol dire questo è che lei che non è serio o vive in un altro mondo. Questo per essere educati. Non solo. Molte ricerche di matematica non sono indicizzate. Mi scrive da poco un collega matematica che ha visto non considerate le sue ricerche – il che gli ha costato la mediana – perché diverse sue pubblicazioni sono sui rendiconti Lincei, che sono indicizzati soltanto dal 2008. L’h-index di Bombieri, uno dei massimi matematici viventi, è inferiore a quello di molti medici di quart’ordine. Illustri scienziati – per esempio, il presidente di SIAM (sa cos’è? dovrebbe saperlo se è informato su cos’è ricerca seria e attuale – definiscono la bibliometria “nefarious numbers”, numeri scellerati e hanno denunciato gli autentici misfatti che si commettono con essa. Si informi prima di parlare. E non so cosa c’entri il Giornale. Io scrivo su almeno 5 giornali, di varia tendenza politica, e quel che conta è quel che scrivo.

    • “L’h-index di Bombieri, uno dei massimi matematici viventi, è inferiore a quello di molti medici di quart’ordine.”

      Questo è un esempio classico di come la bibliometria possa essere distorta. NON ha senso confrontare indici H in discipline diverse, questo lo ha ditto Hirsh stesso nel 2005, nel suo articolo in cui confrontava i Fisici tra di loro. E’ assolutamente pacifico che i medici e biologi hanno un Hindex enormemente superiore ai matematici. Persino l’ANVUR ha infatti pubblicato mediane diverse per ogni settore.
      Non è un caso che la ricerca di Hirsh sia stata pubblicata su una rivista molto prestigiosa come PNAS, (Hirsh, J. E. PNAS, 2005, 102, 16569).

      Quale argomentazione arriva adesso, che Einsten aveva indice H 2 o 3 (all’inizio del 1900) e che quindi l’indice H non è affidabile come indicatore nel 2012???

      Il problema di una applicazione corretta della bibliometria esiste sopratutto per le aree non bibliometriche. Evitiamo però delle critiche sterili. Gli indicatori esistono e sono sicuramente migliorabili. Un ricercatore che scopre qualcosa di davvero importante ( e che ha rispetto della sua ricerca) manda I suoi articoli a Nature, Science, Cell, Angewandte Chemie, Phis. Rev. Letters, PNAS, non a “Rendiconti Lincei”

    • Nella definizione di Hirsh , L’indice H è “An index to quantify an individual’s scientific research output”. Non vuole dire che sia la soluzione di tutti i problemi di valutazione ma è appunto un “indicatore”, ovvero qualcosa che suggerisce ma non fornisce risposte assolute.

    • Appunto, una fonte di informazione che può essere utile per la valutazione. Ma non mi pare che la procedura delle abilitazioni sia animata da altrettanta cautela.

    • Perelman (medaglia Fields 2006) ha pubblicato la soluzione della congettura di Poincaré su arXiv. Il suo h-index su Scopus è 1 (vado a memoria).
      L’h-index è utile in certi contesti. Va benissimo per farsi un ‘idea approssimata di un ricercatore/rivista/gruppo di ricerca. Basarsi solo su di esso per prendere decisioni importanti è molto azzardato…

    • C’è da dire che in alcuni settori potrebbe anche essere inutile. Faccio un esempio. Anche se ci fosse un database affidabile con h-index dei filosofi, non credo che lo consulterei per valutare il lavoro di un collega o farmi un’idea delle sue capacità. L’unico modo è leggere quello che ha scritto. Non c’è un metodo migliore. Mi chiedo se la stessa cosa si possa dire in altri campi. Sarei curioso di sapere cosa ne pensate. Ciò detto, credo che il problema che noi abbiamo oggi è che nella cultura pubblica di questo paese si è affermata l’idea che ci siano metodi oggettivi per valutare la ricerca e che questi possano essere impiegati da un legislatore illuminato per raddrizzare il legno storto dell’accademia italiana. A me questa idea ortopedica – suggerita da dichiarazioni di autorevoli esponenti dell’Anvur – mette i brividi. Credo che sia un’idea pericolosa per il futuro dell’università, ma anche per il pluralismo di cui si nutre un’opinione pubblica liberale.

    • Secondo me il discorso varia molto a seconda dell’area. Nell’area medica, cui appartengo sarebbe un indicatore abbastanza accurato se le regole di authorship fossero rispettate. Il problema vero è che essere autore di un lavoro, soprattutto in Italia, non è necessariamente correlato al fatto di aver lavorato alla ricerca. L’authorship regalata per amicizia/convenienza/servilismo/opportunità/abitudine, praticamente uccide tutto il sistema.

    • Oppure, mi chiedo, “authorship” significa cose diverse in differenti contesti di ricerca? Lo dico senza alcuna intenzione di sminuire il lavoro dei colleghi di altre discipline. Sollevo il problema perché mi sembra importante riguardo al tema di cui si occupa Israel nell’intervento che discutiamo. Ma dovrei sapere di più su come dovrebbe funzionare e su come funziona l’authorship collettiva in settori diversi dal mio per formulare un’ipotesi ragionevole.

    • Appunto: dato che gli indici bibliometrici non possono essere confrontati tra aree di ricerca diverse, chi ci garantisce che entro i confini dei settori concorsuali italiani ci sia l’omogeneità necessaria per confrontare bibliometricamente i ricercatori? E non è un rimedio il tentativo maldestro di gestire la multimodalità all’interno dei settori concorsuali basato sulle (non scientifiche) regole della Delibera ANVUR n. 50. Qualunque statistico non può che inorridire di fronte al dilettantismo di quelle regole che non verrebbero perdonate nemmeno in una tesina universitaria. Per chi volesse apprezzarne la debolezza e i paralogismi, basta leggere il mio post:

      Abilitazioni: le mediane di Mr. Bean (https://www.roars.it/online/?p=10504)

      Nel primissimo documento ANVUR, la “multimodalità” non esisteva perché gli estensori non avevano consapevolezza del grado di eterogeneità delle statistiche bibliometriche ed è stata introdotta nel secondo documento come pezza per rispondere alle giuste critiche che avevano ricevuto. Peccato che si fossero infilati in un vicolo cieco. Anche con gli strumenti statistici adeguati (che non sono stati usati) il ginepraio è ingestibile, cosa che un po’ di scienza bibliometrica (o in alternativa un po’ di buon senso) avrebbe rivelato fin da subito. Per progettare un ponte non ci si rivolge ad un commercialista e per una dichiarazione dei redditi non si chiede ad un latinista. Perchè dovrebbe essere diverso per la progettazione di un sistema di valutazione nazionale?

      “Evitiamo però delle critiche sterili. Gli indicatori esistono e sono sicuramente migliorabili.”

      Tutto è migliorabile, ma nessuno al mondo usa questi indicatori in modo normativo per il reclutamento. Anzi, c’è un largo consenso nel ritenere che siano addirittura dannosi. Da un lato si sono pronunciati in tale direzione ricercatori di riconosciuto valore scientifico da D.N. Arnold, ex presidente della Society for Industrial and Applied Mathematics (Integrity under Attack, http://www.siam.org/news/news.php?id=1663, Nefarious Numbers, http://www.ams.org/notices/201103/rtx110300434p.pdf) fino a Ernst, premio Nobel per la chimica (The Follies of Citation Indices, http://www.chab.ethz.ch/personen/emeritus/rernst/publications). Ancora più significativo è il pronunciamento di numerose società scientifiche internazionali, tra cui la European Physical Society:

      “Although the use of such quantitative measures may be considered at first glance to introduce objectivity into assessment, the exclusive use of such indicators to measure science “quality” can cause severe bias in the assessment process when applied simplistically and without appropriate benchmarking to the research environment being considered. Funding agencies are aware of this, nevertheless experience shows that the reviewing of both individuals and projects on the national and European level is still relying excessively on the use of these numerical parameters in evaluation.[…]
      Since the very first applications of bibliometric indicators in this way, scientists and science organisations have taken strong positions against such purely numerical assessment. Various organisations in Europe have published studies on their potential adverse consequences on the quality of funded scientific research”

  7. Io direi che la bibliometria è una disciplina ancora non pienamente matura, i cui risultati vanno utilizzati con estrema accortezza. In Italia ne abbiamo fatto lo strumento per il rinnovamento dell’università, condotto da un gruppo di accademici scelti dalla politica. Ma non è la bibliometria illiberale in sé. Ragionamento analogo vale per i test.
    Purtroppo bibliometria/test sono facilmente utilizzabili/manipolabili dal decisore politico, e possono ammantati con la retorica della oggettività.
    Questo non significa che bibliometria e test debbano essere banditi. Ne dovrebbe essere fatto un uso accorto e consapevole.

  8. A me pare che l’intervento di Israel vada al cuore del problema. La bibliometria, se produce risultati affidabili (e questo, a quanto pare non accade sempre) può essere un’utile fonte di informazione sulla produttività di certe strutture accademiche o di ricerca. Può inoltre dare, indirettamente, qualche informazione sul valore di uno studioso. Tutto qui. In un mondo ideale usarla o meno dovrebbe essere una questione non controversa. Purtroppo nel nostro paese questo strumento viene utilizzato per sostituire giudizi dei pari di cui si teme, sulla base dell’esperienza storica, l’arbitrarietà. Chiunque abbia studiato un po’ di epistemologia, di storia o di filosofia della scienza si rende conto che l’idea di una valutazione oggettiva è priva di senso. Ciò non vuol dire ovviamente che l’arbitrio sia l’unica alternativa.

    In un sistema ragionevole il giudizio dei pari dovrebbe essere formulato in maniera pubblica e trasparente, usando tutte le migliori informazioni a disposizione, e ci dovrebbero essere dei disincentivi per le strutture che assumono sistematicamente persone non all’altezza del proprio compito. Dico “sistematicamente” perché gli errori non si possono evitare del tutto – nonostante quel che sostengono i difensori dell’oggettività della valutazione – e perché gli standard da prendere in considerazione possono essere diversi. Per esempio, non sempre un ricercatore brillante è un buon insegnante e viceversa. Ma normalmente le università hanno bisogno di entrambi, ed è una perdita di tempo e uno spreco di risorse tentare di costringere tutti a essere eccellenti da ogni punto di vista.

    Aggiungo che c’è una certa ironia nel fatto che l’attuale sistema “sovietico” di reclutamento è stato messo in piedi da un ministro che si era presentato come un alfiere di riforme radicalmente liberali (vedi https://www.roars.it/online/?p=303).

  9. Sono totalmente d’accordo. Non a caso la bibliometria è nata all’interno della sociologia per analizzare i comportamenti e le dinamiche di gruppo, proprio per mostrare il carattere non oggettivo ma “sociale” della ricerca scientifica… E, per una singolare inversione, è stata assunta a scienza oggettiva. Chiaramente a livello macro può fornire indicazioni utili, a condizione di analizzare con cura parametri e dati usati: è il problema della statistica che rende spesso inaffidabili i suoi risultati, quando usati da tecnocrati incompetenti e pervasi di furore mistico. In una loro autodifesa, due commissari dell’Anvur hanno detto che nessun sistema è privo di difetti e quella della peer review non lo è. Alla buon’ora! Il problema è se un sistema di peer review riformato e trasparente, come qui si dice, non sia migliore della bibliometria. A mio avviso, lo è anche quello attuale, poco trasparente. La prima riforma sarebbe quella di abolire l’anonimato perché – come ho verificato in otto anni di direzione di una rivista – questa è la massima fonte di distorsioni e di comportamenti scorretti, di vendette trasversali ecc. Intendo, l’anonimato dei referee. Capisco le obiezioni, ma chi scrive un rapporto ci deve mettere la faccia, e non essere libero di silurare una persona sparando dall’ombra.

    • Sono d’accordo, e ci sono proposte interessanti in tal senso, come quelle avanzate da Donald Gillies. Tra l’altro ciò sarebbe conforme al modello ideale della discussione intellettuale come un confronto tra pari sulla base di ragioni.

    • Condivido interamente il contenuto dell’articolo e le affermazioni di Israel e di Ricciardi: «Chiunque abbia studiato un po’ di epistemologia, di storia o di filosofia della scienza si rende conto che l’idea di una valutazione oggettiva è priva di senso. Ciò non vuol dire ovviamente che l’arbitrio sia l’unica alternativa».
      Sono referee in due riviste sulle quali pubblico. Quando valuto cerco di svolgere al meglio possibile il mio compito. Quando sono stato valutato, le osservazioni e le critiche dei colleghi hanno spesso contribuito a migliorare i miei testi ma è anche accaduto che fossi oggetto di stroncature isteriche e immotivate, che nulla avevano di scientifico, come la stessa direzione della Rivista ha poi riconosciuto. Metterci nome e cognome credo che aiuterebbe a ottenere una maggiore correttezza.

      Per quanto riguarda tutta la questione dell’ANVUR (dei suoi atteggiamenti di chiusura, dei criteri ballerini, degli errori macroscopici nell’elenco delle riviste, dell’ultradirigismo delle procedure coniugato all’ultraliberismo dell’ispirazione, dell’evidentissimo arbitrio che caratterizza tutta l’operazione), quanto sta emergendo ormai da settimane -e che Roars documenta assai bene- è talmente palese che difendere ancora questa procedura mi ricorda una frase evangelica: «Se non ascoltano Mosè e i Profeti, non saranno persuasi neanche se uno risorgesse dai morti». Se non ascoltano la razionalità e il rigore di questo insieme ormai imponente di analisi critiche, non saranno persuasi neppure se i membri dell’ANVUR in persona risorgessero dalle loro mediane e ammettessero i limiti della propria azione e il suo complessivo fallimento.

  10. Proprio così. La peer review correttamente utilizzata serve a migliorarsi reciprocamente, come sa chi abbia pubblicato su riviste scientifiche trovandosi di fronte a un referee anche molto critico, ma intellettualmente onesto. La bibliometria è soltanto fonte di polemiche e ingiustizie patenti e gabellate col mito ridicolo dell’ oggettività”. Ed è fonte di truffa, perché le ragioni per cui si cita (ben analizzate dalla sociologia della scienza) sono innumerevoli e poche sono oggettive: si cita per deferenza ai capi, per esibizione di completezza, nella logica dei “groups of mutual admiration”, non si cita per dispetto, ecc. ecc.

    • L’unico sistema di valutazione che può aspirare all’oggettività è il giudizio soggettivo di una pluralità di valutatori competenti e non pregiudicati.

      Il modo migliore per implementare un sistema di valutazione oggettivo è dedicarsi a creare le condizioni perché dei valutatori competenti abbiano interesse ad esprimersi in piena libertà di coscienza (esclusione conflitti d’interesse, responsabilizzazione individuale del giudizio, sistemi per impedire lo scambio di favori, ecc.).

      Ogni altro discorso su bibliometria ed affini viene molto dopo.

    • Caro Andrea,

      la ragione per cui insisto tanto sull’uso appropriato di ‘oggettività’ è che secondo me il problema che noi abbiamo, e che è all’origine delle distorsioni del passato, è che la valutazione in Italia non avviene in modo imparziale. Ora tu puoi dirmi che aspirare a un giudizio imparziale è uno dei modi per avvicinarsi a un ideale di oggettività del giudizio. Questo mi starebbe anche bene, ma preferirei che discutendo di questioni di policy si usasse ‘imparzialità’ piuttosto che ‘oggettività’ per non lasciare spazio al feticismo del calcolo di cui sono preda gli ispiratori della riforma. Le cui motivazioni – sarebbe bene ricordarlo – hanno poco a che fare con la ricerca della verità, il progresso della conoscenza o la fioritura di una mentalità scientifica. L’imposizione all’università di procedure come quelle di cui discutiamo nasce negli anni settanta da una motivazione politica. Di distribuzione di risorse scarse. Quando, come scrive Conrad Russell nel suo bel libro sulla libertà accademica, i conservatori britannici si convincono che non sia accettabile finanziare l’università pubblica senza ottenere in cambio un controllo politico sui risultati della ricerca. Dalla rottura del “patto tacito” (come, se non ricordo male lo chiama Russell, non ho il libro a portata di mano in questo momento) tra politica e università nasce la legge che istituisce il RAE. A preparare il terreno per questa svolta c’è il lavoro, che molti considerano non a torto demistificatorio, svolto dagli studiosi di Public Choice. Se non teniamo presente questo sfondo storico corriamo il rischio di illuderci che argomenti come quelli che stiamo discutendo in questo momento siano sufficienti per contrastare la presente tendenza verso l’assimilazione della ricerca alla produzione di spilli. Purtroppo io temo che i nostri argomenti, per quanto ben fondati sul piano teorico, rimarranno inefficaci fino a quando non saremo in grado di dare una risposta convincente alla domanda sul perché dovrebbe esistere un sistema universitario pubblico. Domanda in ultima analisi politica e non tecnica. Aggiungo, visto che oggi festeggiamo un milione di contatti a questo sito, che riportare al centro dell’agenda politica questo tema era la motivazione principale che mi spinse a organizzare, con Antonio Banfi e Vito Velluzzi, l’incontro milanese da cui nacque Roars.

    • @ Mario Ricciardi:
      Condivido la tua analisi.
      E credo anche che, in presenza di un sistema di finanziamento pubblico dell’Università sistemi di valutazione (a mio avviso preferibilmente ex post con ricadute economiche ed amministrative) devono esserci.
      Non credo peraltro che tu sia in disaccordo con l’idea che la costruzione di un sistema di peer review responsabile e mirante all’obiettività (imparziale) sia un sine qua non di ogni sistema di valutazione. Questo livello non è mai aggirabile.
      Ciò poi non toglie validità a tentativi di creare parametri quantitativi non negoziabili, che possono essere usati utilmente sia per introdurre soglie minime (sottolineo minime), note in anticipo, con funzione abilitativa, sia per fornire materiali su cui basare in modo argomentato una valutazione ex post da parte di pari.

  11. Purtroppo la peer review non è sempre intellettualmente onesta. Ed in contesti al riparo dalla scienza internazionale, suddivisi in corporativi SSD (come accade purtroppo in diverse parti dell’accademia italiana), dà luogo a risultati un po’ strani (tipo le % degli eccellenti incongrue nei PRIN). Io sono convinto che contrapporre la peer review virtuosa alla manipolabile bibliometria, faccia il gioco degli idolatri dell’oggettività. E l’ho scritto molte volte in tempi non sospetti. In assenza di un disegno istituzionale corretto, la peer review produce risultati incongrui né più né meno della bibliometria. Purtroppo non ci sono facili scorciatoie.

    • Parole sante. Per questo bisognerebbe sempre valutare i sistemi di valutazione in maniera *comparativa*: ovvero, chiedersi che risultati darebbe un sistema diverso (per esempio di pura peer review) date le risorse umane a disposizione e il contesto socio-istituzionale attuale. Il resto è materia per future riforme radicali del sistema-università — speriamo che vengano fatte, ma non mi illuderei sul fatto che vengano fatte presto.

  12. Osservo soltanto che chiedere a un matematico di pubblicare su Nature o uno dei giornali citati e non su Rendiconti Licei, altrimenti non ha fatto nulla di importante o non ha rispetto per la sua ricerca, è così assurdo che indica a che livello di incomprensione di cosa sia la ricerca scientifica abbia condotto la bibliometrolatria. I lavori di Ennio De Giorgi – che si annoverano per giudizio internazionale unanime – tra i massimi contributi della matematica del Novecento sono stati pubblicati su riviste italiane in italiano. Non aveva rispetto di sé stesso e non erano ricerche valide? La risposta è data dal noto detto del Principe De Curtis.

  13. Penso che il problema sia l’applicazione di qualcosa (la bibliometria) nata per alcuni settori ad altri. Non è un caso che il presidente dell’ANVUR sia un fisico, Fantoni, e che l’analisi dell’H-contemporaneo sia stata fatta su un campione di Fisici. Per alcuni settori, la bibliometria impiegata correttamente fornisce un’indicazione attendibile. Per altri no.
    Ci troviamo di fronte alla necessità di scegliere i candidati commissari per le abilitazioni scientifiche. Quale poteva essere una valida alternativa?

    1) mettiamo tutti i prof ordinari nel sorteggio?? Compresi quelli entrati con le ope legis dei meravigliosi anni ’80?
    2) deleghiamo ad un’agenzia estera una peer review dei commissari??
    3) mettiamo chiunque superi le “mediane” nel sorteggio indipendentemente dal ruolo?? Per l’ERC ci sono effettivamente molti Panel Member molto giovani.

    Non amo affatto l’ANVUR, ma mi sembra che la soluzione proposta, limitatamente ai commissari, non sia la peggiore possibile.
    Se qualcuno ha un’idea alternativa e soprattutto realizzabile, la scriva.

  14. E non è solo un problema dei matematici, bensì anche dei fisici teorici, e di tutta la scienza teorica. Piegarsi all’affarismo di Thomson Reuters significa far fuori la ricerca di base.
    È lecito notare che non esiste un solo paese al mondo in cui questo sistema (la bibliometria di stato) sia stato adottato. In Francia e in Inghilterra ci ha pensato un momento e si sono ritratti inorriditi. Un collega francese mi diceva: “Noi siamo statalisti e dirigisti, ma una follia simile non la faremo mai”. Non è certamente compito di un dibattito in rete dare risposta a come procedere per per le abilitazioni. Ma si può certamente dire che negli USA (modello mitico di chi straparla della vera ricerca scientifica) le assunzioni le fa il direttore del dipartimento, a suo totale arbitrio, e se poi l’assunto, dopo qualche tempo, è valutato come un asino o un nullafacente viene messo fuori e il direttore del dipartimento paga il prezzo dell’errore. La buona valutazione si fa a valle e non a monte: questo dovrebbe essere il principio di base. L’Anvur era nato per questo e doveva assolvere a questa funzione. Invece è diventato una cosa che non esiste in alcun paese al mondo: una sorta di Presidium supremo della ricerca e dell’università. Questo poteva accadere soltanto in un paese che ha dietro di sé un ventennio e poi qualche altro decennio di cultura totalitaria e che non sa dove sta di casa una visione liberale. Mi scuso per chiudere qui i miei interventi.

  15. Approfitto di questo spazio e mi inserisco nel dibattito con quest’osservazione: i cd. “strutturati” del mio settore (IUS/01: diritto privato) sono 690. Di qui due rilievi: fissare, oltre all’indispensabile e irrinunciabile giudizio qualitativo (giudizio dei pari, cioè cooptazione), anche una soglia quantitativa (la mediana), colpisce al cuore la libertà della ricerca e del ricercatore, e quindi la qualità della ricerca? Di rispondere “sì” non me la sentirei fino in fondo. E’ ovvio che la produzione scientifica implica un certo grado di serenità: chi dispera non è fecondo (bellissime parole di Giorgio Pasquali), e dunque un accanimento quantitativo danneggerebbe inevitabilmente scienza e scienziati. Nessuno vorrebbe instaurare, credo, una dittatura della mediana, cioè una dittatura della produttività fine a se stessa. Però è anche vero che, più la comunità scientifica si allarga, più è necessario pensare a un modo di evitare che persone improduttive (fortemente improduttive) possano provvedere alla più pura cooptazione, provocando gravi danni.
    Le mediane non bibliografiche non mi sembrano così assurde: soprattutto perché sono calcolate sulla produttività dei PA e dei PO; e non mi sembra irragionevole che, almeno oggi, in un tempo in cui l’università è aperta a tutti e quindi inevitabilmente riflette la pluralità sociale e la complessità sociale, siano fissati dei limiti quantitativi, per far sì che l’Università possa potenziarsi e migliorare. La mediana è semplicemente un primo filtro che bisogna superare per poter diventare commissari e per poter aspirare all’idoneità. Certo, ci fu un tempo in cui gli ordinari di diritto privato si conoscevano di persona tutti e conoscevano anche reciprocamente il rispettivo valore; ma oggi questa prospettiva è tramontata (e a me non pare un male); conseguentemente anche l’Università (qui intesa soprattutto come sistema di reclutamento e quindi di auto-alimentazione) deve, dovrebbe, cambiare. Poi naturalmente ci saranno “effetti-mediana” non previsti e magari anche contro le intenzioni, però io mi sento più rassicurato nel sapere che non qualunque PO (solo perché votato o sorteggiato) potrà essere mio commissario. E la mediana che si applica ai candidati all’idoneità garantisce anch’essa una certa serietà nella procedura di abilitazione. Sbaglierò, ma così mi pare. Grazie

    • Caro Mauro,

      due osservazioni veloci. Secondo me si dovrebbe distinguere inattività da improduttività. La prima si può misurare in maniera piuttosto affidabile con indicatori quantitativi. Faccio un esempio, poniamo che la mediana della disciplina per gli articoli è 17, un professore che avesse pubblicato soltanto 1 o 2 lavori in 10 anni sarebbe effettivamente sospetto. Ciò non vuol dire che sia necessariamente un cialtrone però. Questo si può stabilire solo leggendo quello che ha scritto. Magari ha pubblicato due articoli landmark sulla “Harvard Law Review”, che non sono numericamente tanti, ma sono comunque più di quanti ne abbiano pubblicati nella stessa rivista molti (o forse dovrei dire tutti?) i giuristi di questo paese. Questo, se vogliamo, era anche un argomento – sia pure non conclusivo – a favore della terza mediana. La produttività mi pare più difficile da misurare soltanto in modo quantitativo, salvo che non si confonda la produzione di spilli con la ricerca. La ragione di fondo delle critiche alle prime due mediane è questa. Usare un indicatore quantitativo come misura del valore di uno studioso in sostituzione della peer review. Ciò detto, mi chiedo anche se il problema degli inattivi non sia più ampio in alcune discipline che in altre. Se e quando verranno pubblicati i risultati disaggregati della vqr forse avremo un’indicazione in tal senso.

  16. Vedete, io sono molto preoccupato per tutto quello che è successo in passato con i concorsi locali, e sono moltissimo preoccupato per tutto quello che sta succedendo ora con le abilitazioni. In Italia abbiamo creato i “meritevoli in attesa di giudizio”. Questo porterà l’accademia allo sfascio!!!
    I concorsi locali sono serviti a rimpinguare l’accademia di elementi discutibili ora l’abilitazione farà altrettanto, se non di più. In alcuni settori saranno TODOS CABALLEROS, in altri saranno esclusi elementi validi solo sulla base di numeri (numeri schifosi). E’ micidiale dover avere parametri quantitativi E qualitativi ed è micidiale che i primi vengono prima dei secondi.
    Se uno ha parametri qualitativi, ma non quantitativi, perchè non dovrebbe essere abilitato?
    Siamo entrati in un vortice. I numeri sono necessari per le porcate fatte in passato, ma i numeri rischiano di fare più porcate dei concorsi locali truccati.
    Forse l’unico modo per uscirne è permettere a tutti di presentarsi come candidati, a prescindere dal semaforo, e dare indicazioni alle commissioni di avvalersi della facoltà di prescindere dai parametri numerici imposti dall’ANVUR.

    • Parole sagge. Valutare tenendo conto *anche* dei parametri bibliometrici (che possono fornire informazioni più che utili) ma senza esserne schiavi.

  17. @Mario Ricciardi

    qui c’è una buona descrizione delle regole per authorship nelle diverse aree: http://en.wikipedia.org/wiki/Academic_authorship

    Nell’area biomedica, bisogna soddisfare tutti i seguenti tre requisiti:
    a) aver contribuito in manier sostanziale al disegno dello studio, acquisizione e analisi dei dati, interpretazione dei risultati
    b) aver scritto o revisionato criticamente il testo
    c) aver approvato la versione finale del manoscritto

    Nonostante questi criteri siano piuttosto lassi, temo ci sia un’alta percentuale di casi che non si avvicina nemmeno ad alcuno dei tre.

    V.

  18. a me francamente preoccupa anche che le vostre posizioni, in parte condivisibili, possono essere facilmente strumentalizzate proprio da quelli che hanno occupato poltrone da anni senza produrre alcunché e corrompendo tutto il sistema.
    Sono sicuramente d’accordo che gli strumenti bibliometrici hanno dei limiti ed il loro uso non può essere automatico, ma da qui ad affermare che “E’ micidiale dover avere parametri quantitativi E qualitativi” mi sembra veramente assurdo. L’immediata domanda è: quali dovrebbero essere i parametri allora? Trovo assolutamente indispensabile che chi entra a far parte stabilmente dell’Università risponda a parametri sia quantitativi che qualitativi. Si può poi discutere di quale sia il modo migliore di valutarli.
    V.

    • La frase intera è: “E’ micidiale dover avere parametri quantitativi E qualitativi ed è micidiale che i primi vengono prima dei secondi.”. Non citiamone solo una parte per cortesia. La “E” volutamente maiuscola vuol dire che non è accettabile pretendere la quantità se c’è la qualità, ma soprattutto non è accettabile che i parametri quantitativi possano precludere la partecipazione al concorso (seconda parte della frase) se c’è la qualità. La qualità viene prima della quantità. Se uno ha qualità non è necessaria la quantità. Non vale il contrario. Ora bisogna vedere se la clausola che permette alle commssioni di derogare dai parametri quantitativi sarà messa in pratica. In tal caso tutto questo baraccone messo su dall’ANVUR potrebbe non essere micidiale- (Se la commissione potrà dire tizio supera tutti i parametri, ma non è maturo, invece caio non supera due dei tre parametri ma è maturo). Tuttavia temo che le commissioni guarderanno solo i numeri e avranno indicazioni dai colleggi dei vari settori in tal senso. Infatti i vari SSD che in settembre avranno modo di riunirsi nei vari congessi societari, daranno indicazioni di fare il più possibile abilitati (todos caballeros). Ci sono un sacco di ragioni che spingeranno i colleggi dei vari SSD a fare così- E’ evidente. Solo chi non è addentro al mondo accademico può sperare che non sia così.In tal modo anche un giovane del mio gruppo, con il nome in mezzo al lìelenco degli autori potrà essere un aspirante alla posizione di PO.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.