Anvur

ANVUR: mobbing, zombizzazioni e ingiustizie: purtroppo sì.

Un riassunto delle carenze scientifiche, tecniche, giuridiche e persino etiche dell’azione dell’ANVUR. Un esercizio di valutazione della ricerca (la VQR) all’insegna del “fai-da-te”, che ignora lo stato dell’arte delle conoscenze bibliometriche e adotta soluzioni  rigettate in altre nazioni o persino sperimentate e poi abbandonate. Un’abilitazione scientifica che, unica al mondo, assegna un ruolo decisivo a dati bibliometrici privi di fondamento scientifico e tecnicamente inaffidabili. L’esperimento sociale dagli “effetti perversi” è completato dalla mancanza di trasparenza su dati e procedure e dal caricaturale furore ideologico di membri e collaboratori dell’agenzia che evocano  chiusure di sedi universitarie, mobbing e zombizzazioni sommarie.

articolo pubblicato nel fascicolo di ottobre 2012 di Alfabeta2

____________________

facciamo mobbing su quelli giovani ma mediocri o peggio per farli andare in pensione (p.es. tagliamoli fuori dalle commissioni di concorso e facciamone degli zombies). Quando poi i nostri colleghi avranno imparato ed il clima sarà cambiato, allora i soldi saranno ben spesi. In questo processo ci saranno delle ingiustizie? Purtroppo si

(Giovanni Federico, Gruppo di lavoro ANVUR per le procedure per la abilitazione scientifica nazionale nei settori non bibliometrici)

 Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.

(Sergio Benedetto, Consiglio Direttivo ANVUR e Coordinatore VQR)

 la valutazione è un esperimento sociale e non può evitare di produrre effetti non intenzionali, taluni anche perversi

(Andrea Bonaccorsi, Consiglio Direttivo ANVUR)

L’ultimo anno della vita universitaria italiana è stato segnato da due novità, entrambe sotto il segno dell’ANVUR (Agenzia Nazionale per la Valutazione del sistema dell’Università e della Ricerca): si tratta della VQR (Valutazione della Qualità della Ricerca), ovvero la valutazione della qualità della ricerca delle strutture – atenei e dipartimenti – e le nuove regole per l’ASN (Abilitazione Scientifica Nazionale), introdotta dalla recente legge 240/2010 di riforma dell’università.

La VQR italiana, a somiglianza del RAE (Research Assessment Exercise) britannico, chiede a ognuno dei ricercatori di sottoporre alla valutazione un numero ridotto di articoli o monografie pubblicati nell’arco di tempo preso in considerazione. Nel RAE, la valutazione delle pubblicazioni si avvale sempre della revisione dei pari. Ciò comporta costi elevati e nel recente passato si è esaminata la possibilità di alleggerire il lavoro ricorrendo all’uso automatico di strumenti bibliometrici, come per esempio le citazioni registrate nei database commerciali, quali il Web-of-Knowledge della Thomson Reuters e Scopus dell’Elsevier. Il risultato dello studio pilota britannico è stato inequivocabile:

Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF [Research Excellence Framework, il nuovo nome del RAE].

Questo esito è in accordo con la letteratura scientifica, che mette in guardia dall’uso della bibliometria come criterio per valutare e confrontare singole pubblicazioni e singoli ricercatori, restringendone l’uso all’analisi della produzione scientifica su scala aggregata, per esempio nazionale o di ateneo.

L’Australia aveva seguito una diversa strada per tentare di semplificare il suo research assessment exercise, l’ERA (Excellence of Research in Australia). Era stata messa a punto una classificazione delle riviste scientifiche in quattro categorie: A*, A, B, C. Il processo di classificazione, gli esiti e soprattutto i timori per le distorsioni dell’attività scientifica indotti dalla classifica delle riviste hanno suscitato controversie e dibattiti sulla problematicità di uno strumento che giudica il contenuto (la pubblicazione scientifica) in base al contenitore (la rivista che ospita la pubblicazione). La classifica australiana non è durata a lungo. Nel maggio 2011, il Ministro Kim Carr ha annunciato l’abolizione delle classifiche affermando che

There is clear and consistent evidence that the rankings were being deployed inappropriately […] in ways that could produce harmful outcomes.

In controtendenza con il contesto internazionale, l’ANVUR si è mossa nella direzione di un’adozione massiccia degli strumenti bibliometrici. Nella VQR, per le scienze dure è stato messo a punto uno schema di valutazione che combinava in modo inedito sia le citazioni degli articoli che le classifiche delle riviste. Le scienze umane e sociali, sono state risparmiate solo in apparenza, perché le classifiche delle riviste, costruite in pochi mesi con negoziazioni alquanto opache, sono usate come pietra di paragone delle revisioni dei pari e, in caso di impasse, risultano decisive.

L’abilitazione scientifica nazionale è l’altro grande processo supervisionato dall’ANVUR. Ancor più che per la valutazione delle strutture, c’è un vasto consenso internazionale sull’impossibilità di ridurre ad indicatori numerici le valutazioni individuali usate per il reclutamento e la carriera.

Nel campo del reclutamento, l’ANVUR ha proposto un’inedita metodologia di tipo “eugenetico”. Mediante indicatori quantitativi di produzione, produttività ed impatto della ricerca, ha diviso la popolazione dei docenti tra “buoni” e “cattivi”. Per fare un esempio, prendiamo i 204 professori ordinari di informatica. Il primo passo è costruire una classifica, ordinandoli in ordine decrescente di citazioni. I primi 102, quelli sopra la “mediana”, sono i “buoni” mentre gli altri 102 sono i “cattivi”. Il primo uso delle mediana è quello di escludere i “cattivi” dalle commissioni di concorso. La mediana, però, serve anche per scremare gli abilitandi. Per ottenere l’abilitazione, il candidato deve superare la mediana dei professori del ruolo a cui vuole essere abilitato. Al di sotto di questo livello, i suoi titoli non verranno nemmeno valutati e per due anni non potrà più presentare domanda per l’abilitazione. Rimane controversa l’interpretazione di un articolo del decreto ministeriale che concederebbe alle commissioni la possibilità di derogare dalle tagliole bibliometriche, esponendosi però a potenziali forme di censura sociale per aver rinunciato ai conforti dell’”oggettività” [NdR: la possibilità di derogare è stata infine confermata da una circolare ministeriale, rimanendo però possibile un’adozione rigida delle soglie bibliometriche].

La realizzazione tecno-burocratica del criterio, è in realtà più complessa, dato che coinvolge tre mediane e la necessità di superarne due su tre per le scienze dure ed una su tre per le scienze umane e sociali. Inoltre, le mediane per le scienze umane e sociali fanno riferimento non tanto agli indicatori ottenibili dai database commerciali, ma a due liste di riviste, una che definisce quali riviste sarebbero scientifiche ed un’altra che elenca le riviste “di fascia A”. Questa architettura eugenetica pone problemi di ordine etico-giuridico, scientifico ed, infine, tecnologico.

Ai sensi della Legge 240, l’abilitazione scientifica deve certificare una qualificazione scientifica e non ha valenza comparativa, tanto è vero che la procedura è a numero aperto. In un settore concorsuale le mediane potrebbero essere altissime perché i professori ordinari sono di grande valore scientifico e hanno ricevuto numerosissime citazioni. In tal caso, verrebbero esclusi a priori dalla valutazione anche candidati di assoluto valore internazionale solo perché il criterio della mediana ha surrettiziamente trasformato in comparativa una valutazione che non lo era.

Dal punto di vista scientometrico è ben nota è la dipendenza dell’intensità citazionale in funzione delle discipline e, persino all’interno della singola disciplina, in funzione dell’argomento di ricerca. La bioingegneria, per esempio, svolge una ricerca tipicamente interdisciplinare a cavallo tra l’ingegneria e le scienze biomediche, i cui risultati vengono talvolta pubblicati su riviste mediche ad alto impatto citazionale. Ebbene, il bioingegnere che svolge un ruolo di mero supporto tecnologico in pubblicazioni mediche ad alto impatto si troverà privilegiato rispetto al collega che sviluppa metodi e tecnologie di ben altro pregio scientifico, ma il cui sbocco naturale è ristretto alla letteratura ingegneristica più avara di citazioni. L’effetto delle mediane ANVUR sarebbe una selezione perversa che priverebbe l’accademia di competenze preziose in nome di una malintesa produttività misurata con indici sbagliati.

I problemi tecnologici non sono da meno. I database citazionali contengono spesso dati incompleti o errati e la disambiguazione delle omonimie è tutt’altro che scontata. La soluzione di ANVUR è stata quella di “invitare” i professori italiani a completare i loro siti docente con le pubblicazioni mancanti concedendo poco più di un mese di tempo. A partire da tali dati, caricati su base puramente volontaria, sono state stimate le mediane che verranno usate per selezionare commissari e candidati. Consapevole dell’inaffidabilità dei dati, l’ANVUR si è premunita specificando che

 L’aggiornamento e la verifica dell’esattezza e completezza delle informazioni sono cura del singolo docente. […] L’ANVUR non è responsabile degli eventuali errori presenti nelle banche dati.

Le mediane sono state pubblicate il 13 agosto per le scienze dure e il 24 agosto per le scienze umane e sociali. Inaspettatamente, il 27 agosto, appena un giorno prima della scadenza per il bando dei commissari, l’ANVUR ha ritirato le precedenti mediane e ne ha pubblicate di nuove con la seguente motivazione:

I valori delle mediane pubblicati in precedenza erano stati ottenuti utilizzando un’approssimazione che, ad un più attento esame, non risulta pienamente in linea con la definizione formale di mediana contenuta nel DM 76. Entro la settimana corrente pubblicheremo la lista delle riviste di fascia A per le aree non bibliometriche.

L’esame comparato delle vecchie e delle nuove mediane mostra che tutte le mediane delle scienze dure sono aumentate e che quelle delle scienze umane e sociali si sono invece mosse in direzione opposta. È un comportamento incompatibile con una formula matematica che non può distinguere se il numero “5” denota cinque articoli su una rivista di matematica oppure cinque articoli di filologia bizantina. La lista delle riviste in fascia A, che non avrebbe più dovuto subire modifiche dopo il calcolo delle mediane che su di essa erano basate, è stata pubblicata solo dopo dieci giorni, suscitando sospetti di negoziazioni fuori tempo massimo. Non è stata resa nota la lista delle riviste scientifiche, imprescindibile per calcolare la “seconda mediana” delle scienze umane e sociali [NdR: le liste delle riviste scientifiche sono state infine pubblicate il 20 settembre, innescando la memorabile saga delle “riviste pazze“, ovvero quelle riviste per nulla scientifiche inserite per negligenza o altri motivi negli elenchi ANVUR]. In mancanza di questa lista, commissari e candidati sono nell’impossibilità di verificare se superano o meno la relativa mediana e devono affidarsi ai responsi dell’ANVUR.

Ai commissari sono stati comunicati dei “semafori” verdi o rossi, ma il cui colore, per ammissione dell’ANVUR, aveva “esclusivamente valore indicativo”, dato che non prendeva in considerazione i dati caricati dopo il 15 luglio. Di fronte al semaforo rosso, giustificato o meno, molti aspiranti commissari hanno ritirato la domanda per evitare il rischio della “gogna elettronica” che attende chi, avendo presentato domanda come commissario, non supererà le mediane. Infatti, il decreto ministeriale prevede che il nome ed il curriculum degli aspiranti commissari rimanga pubblico, consentendo un facile raffronto con la lista più ristretta di coloro che, superando le mediane, saranno ammessi al sorteggio per la formazione delle commissioni.

Sebbene nel suo codice etico assicuri che “le decisioni siano prese in base a dati accurati, robusti e trasparenti“, l’ANVUR non appare intenzionata a garantire alcuna trasparenza ai dati e alle procedure.

Il ricorso presso il TAR del Lazio presentato da parte dell’Associazione Italiana dei Costituzionalisti, la cui sentenza è attesa per il 23 gennaio 2013 [NdR: il ricorso è stato giudicato inammissibile per difetto di legittimazione] , potrebbe essere solo l’avanguardia di una serie di ricorsi destinati ad azzoppare se non stroncare del tutto le procedure di abilitazione, minate da numerose e gravi irregolarità. Comunque vada, sarà una catastrofe annunciata per la credibilità del sistema universitario e per le carriere di chi ci lavora.

Il blog ROARS (www.roars.it) ha seguito tutti questi sviluppi fornendo analisi, commenti e spazi di discussione. In rapporto alle esperienze internazionali, la via italiana alla valutazione appare sempre più una grottesca caricatura di quello che si poteva e doveva fare. La barbarie etica, giuridica, scientifica e tecnica deriva da un tragicomico sincretismo di incompetenza e ideologia. Essere intransigenti nell’esigere competenza e trasparenza, fin da subito, è il passaggio obbligato per superare la notte in cui ci troviamo.

 

Questo articolo è stato pubblicato nel fascicolo di ottobre 2012 di Alfabeta2

Send to Kindle
Tag: , , , , , , , , , , , , , , , , , , , , ,

8 Comments

  1. Marinella Lorinczi says:

    Come si può commentare un evento la cui qualità era ampiamente prevedibile a partire dalle premesse sia ideologiche che tecniche? Entrambe già sviscerate attraverso gli articoli e gli svariati commenti a margine. Credo che ora e d’ora un poi saremo più che mai nella mani di Anvur e sostenitori, dal momento che il governo, sempre che lo si riesca formare, avrà grossissime e differenti gatte da pelare. D’altronde la maggioranza degli universitari è consenziente al procedere in maniera pasticciata e opaca. Probabilmente con il solito retropensiero (idiota, me ne scuso, ma non riesco a mitigare il termine) che questo sarebbe lo stile italiano congenito. E’ consenziente anche a sacrificare una sua parte (quale e quanta?) per tenere a galla il resto. Insomma, come in un naufragio dove il capitano (incompetente) non riesce a governare la situazione dal momento che “è buio e non si vede niente” e tutti pensano per forza a se stessi.
    Noi recentemente abbiamo votato sul rapporto autovalutativo per l’accreditamento futuro del CdL (di tipo umanistico). IL testo del rapporto (che ora si riduce a poche pagine, finalmente!, dopo anni di sofferenze) ci è stato inviato con 12 ore di anticipo, la sera tardi per la mattina successiva, perché a livello di UFFICI, che evidentemente ne supervisionavano la stesura, si è dovuto negoziare persino sulla terminologia da usare (ad es. non si poteva dichiarare che erano stati fatti test, ma solo “verifiche” delle conoscenze in ingresso, perché Verifica è il termine ufficiale che compare nella legge; cioè si è semioccultata la verità); dopodiché si pasticciava descrittivamente sul fatto che cambiando, da un anno all’altro, il tipo di testaggio si è abbassata drasticamente la percentuale degli ‘indebitati’ da ‘riallineare’ (su cosa poi?). Senza dedurne che ciò inficia il valore stesso del test d’ingresso, perché diventa del tutto aleatorio, e che dunque andrebbe abbandonato e sostituito con altro tipo di verifica.
    Del resto, tornando alle famigerate riviste, è evidente anche senza andare a cercare prove, che ci sono state negoziazioni per fare entrare alcune nella classe A. E allora? Si va avanti in questo modo poco serio ma costoso e stressante, e la maggioranza tace. Anche perché non si vedono alternative.

    • StefanoP says:

      Quando leggo articoli di questo tenore, non a caso riportati da ROARS, penso che non tutto sia definitivamente perduto. Mi solleva constatare che esiste ancora una forte corrente di pensiero razionale e illuminato e non allineato con la tecnocrazia imperante. Mi consola anche vedere la tensione etica che, mi pare, traspare da queste righe. Molto importante è ricordare e diffondere ciò che dicono e fanno i funzionari dell’ANVUR perchè anche loro, a tempo debito, dovranno essere valutati e si dovrà capire se il denaro pubblico è stato investito bene o no.

  2. Pingback: Rouspétances – Ocasapiens - Blog - Repubblica.it

  3. Ma qualcuno NON DORME e CUCU SETTETE!
    ——
    http://www.repubblica.it/scuola/2013/03/24/news/europa_contro_italia_per_tagli_istruzione-55273841/?rss
    ——
    “Tagli all’istruzione, l’Ue contro l’Italia
    Uno studio della Commissione europea rivela che tra i 27 il nostro è il Paese che ha ridotto di più i bilanci del settore: -10,4% tra il 2010 e il 2012. “C’è bisogno di un approccio coerente, questa è la chiave del futuro dei nostri giovani e della ripresa economica”
    ….
    “Se gli Stati membri non investono adeguatamente nella modernizzazione dell’istruzione e delle abilità – ha affermato Androulla Vassiliou, commissario europeo responsabile per l’istruzione, la cultura, il multilinguismo e la gioventù – ci troveremo sempre più arretrati rispetto ai nostri concorrenti globali e avremo difficoltà ad affrontare il problema della disoccupazione giovanile”. Un vero e proprio avvertimento neppure troppo velato al nostro Paese che soprattutto dopo il 2008 – con le riforme Gelmini – ha cominciato a tagliare su scuola e università senza troppi scrupoli e che adesso trova mille difficoltà a gestire e ad uscire dalla crisi economica globale degli ultimi tre anni.

    Ma non tutti i Paesi alle prese con la crisi hanno tagliato sull’istruzione. Lussemburgo, Danimarca, Austria, Finlandia, Svezia e Turchia – solo per citare alcuni Stati dell’Ue o candidati a farne parte – nonostante le difficoltà hanno scommesso sulla scuola incrementando le risorse. In testa la Turchia che fa registrare un più 16,5 per cento, seguita dal Lussemburgo col 7,4 per cento in più in appena due anni. Grecia, Italia e Inghilterra in coda. Col nostro Paese che dal 2010 al 2012 ha tagliato il bilancio della scuola – dalla materna alle superiori – del 10,4 per cento. Una sforbiciata accompagnata dal taglio di quasi 100mila cattedre e da un alleggerimento dei conti anche dell’università: meno 9,2 per cento in 24 mesi.
    ………”

  4. Augusto Cosentino says:

    Cari utenti di Roars, voglio sottoporvi un problema relativo all’abilitazione. Problema che – ritengo – non sia soltanto mio, per cui
    1. Mal comune mezzo gaudio. Oppure
    2. Qualcuno ne conosce la soluzione (che io ignoro).
    La mia commissione (11 A4) ha stabilito, nei suoi criteri specifici, di valutare, oltre alle mediane, anche altri indicatori (dottorati, contratti ecc.). Ora io nella mia domanda di partecipazione all’abilitazione ho indicato ciò che mi veniva richiesto (le pubblicazioni). Altri dati il sistema li ha inseriti automaticamente in un file di curriculum. Ma: alcuni dati (importanti, quali i dottorati: io ne ho due, e vorrei che mi fossero valutati) non risultano da nessuna parte. Come fare?

    Augusto

    • Marco Bella says:

      @Augusto Cosentino:

      Ecco la mia opinione:
      In realtà il DM 76 prevedeva esplicitamente la possibilità di valutare altri titoli, infatti c’era alla fine della domanda un campo da riempire, ove segnalare questi ulteriori titoli. Anche se le discussioni sono state incentrate sulle mediane e pubblicazioni, ANVUR aveva precisato che le commissioni avrebbero valutato anche altri parametri, di cui era cura del candidato inserire nella domanda.

      Come risolvere la situazione ora? Non c’è una graduatoria per l’abilitazione, quindi se un candidato a giudizio della commissione è idoneo comunque, gli altri titoli non servono. Analogo è anche il caso in cui il candidato non passa le mediane e la commissione ha stabilito il superamento delle stesse come criterio dirimente. Diverso potrebbe essere il caso “borderline” però non mi risulta sia prevista alcuna possibilità di integrare la domanda dopo la scadenza.

      Ecco una parte dell’art 4 del DM 76:

      1. Nelle procedure di abilitazione alle funzioni di professore di prima fascia, la valutazione dei titoli e delle pubblicazioni scientifiche e’ volta ad accertare la piena maturità scientifica dei candidati, attestata dall’importanza delle tematiche scientifiche affrontate e dal raggiungimento di risultati di rilevante qualità e originalità, tali da conferire una posizione riconosciuta nel panorama anche internazionale della ricerca. Sono ulteriori criteri di valutazione la capacita’ di dirigere un gruppo di ricerca anche caratterizzato da collaborazioni a livello internazionale, l’ESPERIENZA MATURATA COME SUPERVISORE DI DOTTORANDI DI RICERCA, la capacita’ di attrarre finanziamenti competitivi in qualita’ di responsabile di progetto, soprattutto in ambito internazionale e la capacita’ di promuovere attivita’ di trasferimento tecnologico. La commissione puo’ stabilire, con le modalita’ di cui all’articolo 3, comma 3, di non utilizzare uno o piu’ di tali ulteriori criteri in relazione alla specificita’ del settore concorsuale.

    • Augusto Cosentino says:

      @ Marco
      Caro Marco, il problema è che, quando io ho presentato la domanda, tali titoli non mi venivano richiesti espressamente. Mi vengono richiesti ora. In qualsiasi concorso, i titoli richiesti vengono richiesti ‘prima’ e non ‘dopo’

    • Plymouthian says:

      Altre commissioni hanno previsto criteri non espressamente richiamati nel modulo del CINECA. In effetti alcune hanno anche valutato la didattica (che un po’ tutti hanno cercato di inserire nei propri CV).
      Il problema qui e’ che vi sara’ una totale disparita’ di trattamento tra prima e seconda tornata, infatti alla seconda i criteri ulteriori erano gia’ noti ed oltretutto ci sono stati 6 mesi di tempo per eventualmente riempire le caselle aggiunte dalla commissione…

Leave a Reply

Sostieni ROARS

Sostieni ROARS