Il “Regolamento recante criteri e parametri per la valutazione dei candidati ai fini dell’attribuzione scientifica nazionale per l’accesso alla prima e alla seconda fascia dei professori universitari, ai sensi dell’art.16 comma 3 lettere a) b) e c) della legge 30 dicembre 2010, n.240”, recentemente prodotto dal Ministero e sottoposto per una valutazione preliminare a diversi soggetti istituzionali, come il CUN, l’ANVUR e il CEPR, suscita forti perplessità tanto nell’impianto generale quanto nelle singole disposizioni.

Oggi nessuno più mette in dubbio l’urgenza di ancorare le procedure selettive del personale docente universitario, oltre che al giudizio di merito qualitativo espresso delle Commissioni di valutazione, anche a criteri sufficientemente condivisi e verificabili che permettano di verificare la correttezza dell’operato dei selettori e di prevenire le scelte più evidentemente ingiustificabili e abusive.

Ma nel far questo non si può prescindere dalla consapevolezza di alcuni rischi, consapevolezza ormai molto diffusa nella comunità scientifica internazionale, la quale ha sperimentato ampiamente, assai prima di noi, le possibilità offerte da una sempre maggior disponibilità di informazioni bibliometriche, ma ha anche verificato i limiti e le patologie che sono insite nelle procedure parzialmente automatizzate di valutazione.

Pur con tutte le dovute cautele, è possibile cercare di oggettivare in un valore numerico il giudizio sulla produttività e sull’impatto di intere strutture di ricerca (Enti, Dipartimenti), contando sul fatto che, quando sono in gioco numeri sufficientemente elevati, la maggior parte delle potenziali distorsioni derivanti da misure rozze come quelle fornite dai dati bibliometrici (numero delle pubblicazioni, numero delle citazioni) non incide gravemente sull’esito finale grazie alle cancellazioni tra effetti di segno opposto, per cui in conclusione i valori medi mantengono un loro significativo valore informativo.

Quando invece si tratta di giudicare singoli individui, un’ampia letteratura scientifica ha da tempo dimostrato che anche gli indicatori più attendibili (come ad esempio l’indice H, per le comunità scientifiche cui esso è applicabile) non arrivano a un’efficienza del 50% (ossia, più della metà delle volte il giudizio è, almeno comparativamente, “sbagliato”).

Queste considerazioni sono volte a mettere in evidenza quanto sia importante, proprio in contesti selettivi, che non si generi alcun rigido automatismo, né ai fini dell’esclusione né, soprattutto, ai fini dell’inclusione. Il rischio maggiore si avrebbe, in effetti, qualora certi esiti quantitativi fossero elemento sufficiente (o quasi sufficiente) per un giudizio positivo, in quanto in tal caso si genererebbero certamente e facilmente comportamenti opportunistici, volti a massimizzare i parametri quantitativi, anche indipendentemente dalla qualità dei risultati, e le attività di ricerca tenderebbero a orientarsi verso i settori più premianti dal punto di vista degli indicatori, a scapito delle motivazioni scientifiche.

Da queste considerazioni discende la necessità che ogni definizione di indicatori e di parametri, oltre a tener conto del carattere statistico di tali quantità, e quindi dell’esigenza di non associare ad esse un valore rigidamente prescrittivo, sia comunque l’esito di un confronto senza posizioni preconcette con le comunità accademiche alle quali i parametri dovrebbero poi applicarsi, e che tale esito sia pienamente e convintamente condiviso da una qualificata maggioranza degli studiosi. In ogni caso dovrebbe essere lasciato uno spazio adeguato, nelle valutazioni individuali, a un giudizio di merito qualitativo formulato da esperti qualificati che se ne assumano la piena responsabilità, fatti salvi meccanismi di controllo ex post della qualità delle selezioni che, se penalizzassero concretamente le scelte improprie e inadeguate, sarebbero un deterrente nei confronti di tali scelte molto più efficace di qualunque cautela procedurale ex ante.

L’operato delle Commissioni deve essere regolato, e non regolamentato, se si vuole realmente operare nell’interesse del sistema universitario.Considerando il summenzionato Regolamento alla luce di questa lunga premessa, si rileva che ben poche delle osservazioni in essa contenute trovano un adeguato riscontro nel dettato normativo proposto dal Ministero.

In primo luogo non si può non notare che ci troviamo di fronte, ancora una volta, a un rinvio delle decisioni aventi effetti realmente operativi, in quanto il Regolamento, con l’Art.6, rimanda programmaticamente a un ulteriore decreto relativo agli indicatori, atto la cui natura formale e sostanziale genera fortissime perplessità. Si tratterebbe infatti, probabilmente, di un decreto di natura non regolamentare, e per ciò stesso sottratto a momenti di vigilanza sia politica che giuridica, malgrado l’assoluta delicatezza della materia trattata. Per di più la definizione della parte sostanziale del decreto (ossia gli indicatori e il loro uso) sarebbe lasciata alla sola competenza dell’ANVUR (attribuzione non prevista in alcun modo né dalla legge 240/2010 né dal decreto istitutivo dell’ANVUR stessa), al punto che, qualora il Ministro volesse chiedere il riesame della proposta, l’ANVUR potrebbe comunque dissentire dalle richieste di modifica e il Ministro sarebbe obbligato a sottoscrivere le scelte dell’ANVUR. Per grande che possa essere la fiducia nell’autorevolezza e nella competenza dell’ANVUR, un tale trasferimento di potestà decisionale sembra travalicare di molto quanto previsto dalle buone pratiche istituzionali.

Lo stesso Art. 6 sembrerebbe prevedere, in coerenza con alcune delle osservazioni in premessa, momenti di attenzione nei confronti delle comunità accademiche e delle loro rappresentanze, ma preoccupa che tale attenzione debba manifestarsi da un lato con una sorta di corto circuito tra ANVUR e “associazioni e consulte accademiche”, che facilmente si presta, vista la disparità di ruolo e di peso dei soggetti in gioco, a esiti poco più che formali: vengono alla mente formule del tipo “sentite le parti sociali”, dietro le quali ben sappiamo celarsi sterili e formali incontri dagli effetti trascurabili. Dall’altro lato la rappresentanza istituzionale del mondo accademico, che si concretizza nel C.U.N., è chiamata in causa soltanto per un parere al Ministro sulla proposta ANVUR, parere che, anche ammesso che il Ministro lo faccia proprio, può comunque essere disatteso senza possibilità di contraddittorio dai redattori della proposta stessa.

Un secondo punto di sostanziale debolezza nell’impianto del Regolamento riguarda la parte (disciplinata dall’Art. 8 ) relativa alla valutazione dei potenziali commissari. Si parte dal fatto, di per sé opinabile, che i criteri di valutazione dei candidati vengono trasferiti meccanicamente anche ai commissari (mentre la legge, assai più saggiamente, parlava solo di “coerenza” dei criteri), mentre è facile immaginare buoni motivi per cui un criterio valido per i candidati (quale l’intensità della produzione recente, che non coincide necessariamente con la richiesta continuità) possa essere in molti casi poco rilevante per un giudizio sui commissari. Ma forse ancor più grave è la farraginosità (che tra l’altro comporta un’ulteriore pesante dilatazione dei tempi di applicazione del Regolamento) di un meccanismo valutativo dei Commissari che, pur correttamente prevedendo una possibilità di riesame, trasferisce comunque all’ANVUR una decisione finale che si deve quindi ritenere basata su parametri strettamente quantitativi, mancando le condizioni per un “giudizio dei pari” qualitativo, che invece ai candidati sarebbe in qualche misura assicurato da una Commissione pur largamente diminuita di poteri arbitrali.

In subordine a queste considerazioni di carattere generale, ma certamente non meno preoccupanti ai fini della reale tenuta delle procedure sulle quali questo Regolamento andrebbe a incidere, vi sono numerose norme specifiche che non appaiono sufficientemente meditate nei loro effetti potenzialmente perversi.

Per non citare che le principali, ricordiamo qui:

la contraddizione tra l’attribuzione (Art. 3) di un peso non inferiore al 40% (e quindi non necessariamente maggioritario) ai parametri e agli indicatori di tipo quantitativo e la disposizione (Art. 6) per cui chi non supera la mediana dei suddetti indicatori non potrebbe comunque, salvo motivazione esplicita da parte della Commissione, conseguire l’abilitazione;

– l’uso indiscriminato e acritico del concetto di mediana, che, oltre a richiedere un rigore di definizione e di calcolo difficilmente attingibile per questa tipologia di dati, in numerosi casi (tra cui in particolare quello delle distribuzioni multimodali, tipiche di insiemi compositi come sono spesso i settori concorsuali) produrrebbe effetti devastanti e talvolta francamente assurdi;

– la natura oggettivamente offensiva e penalizzante del criterio della mediana per quei settori in cui la maggioranza dei nostri studiosi è già dimostrabilmente all’altezza degli standard internazionali;

– la previsione che per il personale già in servizio nell’Università valgano ai fini concorsuali solo le pubblicazioni prodotte nella posizione attualmente occupata, con effetti di conclamata disparità di trattamento e con penalizzazione proprio dei soggetti più validi, oltre che dei futuri ricercatori a tempo determinato;

– il riferimento alla “notorietà internazionale” come criterio applicabile anche a quei settori delle scienze umane e sociali per i quali non appare appropriato; – la nozione di “età accademica” legata arbitrariamente alla data della prima pubblicazione, senza tener conto delle differenze tra i possibili, e spesso assai articolati, percorsi scientifici e professionali individuali;

– l’idea che si possano applicare a valutazioni individuali e sistematiche i criteri classificatori della VQR, che sono espressamente (e correttamente) disegnati per una valutazione campionaria e collettiva;

– la quasi trascurabile differenziazione dei criteri per l’abilitazione alla fascia degli ordinari e di quelli per la fascia degli associati (violando peraltro un’esplicita previsione della legge 240/2010); – l’elencazione tra i “titoli” per la fascia degli associati di riconoscimenti e posizioni di prestigio del tutto improbabili già per gli attuali ricercatori di ruolo, per non parlare dei futuri ricercatori a tempo determinato, di cui il Regolamento sembra letteralmente ignorare esistenza e status.

Si noti che le considerazioni generali e quelle presentate nel precedente elenco offrono ampia materia per l’apertura di un gran numero di contenziosi, al punto da temere che, se il Regolamento fosse davvero approvato ed applicato, l’intero processo abilitativo risulterebbe ben presto paralizzato dai ricorsi.

In conclusione, se la materia non fosse così grave, saremmo tentati di cedere a una facile ironia di fronte alla palese discrepanza tra le quasi sconfinate ambizioni di “moralizzazione” e “riqualificazione” del sistema universitario sottese a questa proposta di Regolamento e i concreti strumenti messi in atto per realizzarle, strumenti che sembrano in realtà ispirati soprattutto a finalità di comunicazione mediatica, oltre che di forte accentramento del controllo, forse anche quantitativo, sul futuro processo di reclutamento del personale docente universitario.

Non essendo noi detentori di una dottrina della valutazione più sofisticata di quella messa in campo dai proponenti di queste soluzioni, non ci azzardiamo ad avanzare nostre specifiche controproposte, ma una sola modesta proposta: perché non confrontarsi con le soluzioni adottate da Paesi che hanno una solida tradizione scientifica e che hanno già affrontato, apparentemente con qualche successo, le problematiche della valutazione della ricerca? Io credo che difficilmente si troverebbero, nell’intero mondo occidentale, impianti valutativi altrettanto macchinosi e cervellotici di quelli che ci vengono proposti. Chiedere per il nostro Paese una soluzione assimilabile a quanto già previsto da uno qualunque dei migliori esempi europei mi sembrerebbe una richiesta onesta e non conservatrice, non volta all’interesse di una corporazione, ma per il bene del Paese per il quale l’intero sistema universitario è chiamato a lavorare, auspicabilmente nel modo più efficace, che ben difficilmente può coincidere con quello più burocratico.

Paolo Rossi 21 Ottobre 2011

Send to Kindle

3 Commenti

  1. Io credo che i criteri e parametri di valutazione ai fini dell’Abilitazione Scientifica Nazionale proposti dall’A.N.V.U.R. siano efficaci e condivisi dalla comunità scientifica internazionale.
    Spero che l’Abilitazione Scientifica Nazionale non faccia la stessa fine dei concorsi nazionali della legge Moratti 230/2005, mai più espletati.
    Auspico e mi auguro che i Professori Mario Monti e Lorenzo Ornaghi approvino al più presto l’atteso decreto legislativo dell’Abilitazione Scientifica Nazionale alla I e II fascia.
    Cordiali saluti,
    Vito D’Andrea
    http://www.Quirinale.it/elementi/Dettaglioonorificenze.aspx?decorato=185714

    • Caro D’Andrea,

      ovviamente tutti sperano che la sua fiducia sia ben riposta. Tuttavia, ciò che ci consente di distinguere le credenze accettate in seguito a una discussione razionale da quelle adottate sulla base dell’intuizione, dell’illuminazione divina o del pregiudizio è il fatto che le prime devono essere sottoposte alla prova dell’evidenza contraria. Se lei avrà la pazienza di leggere alcuni dei contributi pubblicati in questo blog si renderà conto che ci sono diverse persone – molte delle quali autorevoli, che rivestono incarichi di responsabilità in istituzioni accademiche o che presiedono al governo della ricerca in diversi paesi – che da qualche tempo sollevano dubbi su alcuni aspetti dei metodi di valutazione già messi alla prova altrove. Questo dovrebbe spingerci a riflettere, come stiamo cercando di fare, su come evitare – se possibile – errori nel modo in cui la valutazione verrà implementata da noi.

      Cordialmente,

      Mario Ricciardi

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.