«Ma perché non ci affidiamo all’AVEPRO invece che all’ANVUR? Ci sarebbe un netto miglioramento della valutazione ed anche un bel risparmio economico» L’AVEPRO non è nient’altro che L’Agenzia della Santa Sede per la Valutazione e la Promozione della Qualità delle Università e Facoltà Ecclesiastiche, da cui laicamente l’ANVUR dovrebbe trarre ispirazione per le sue procedure ed attività. Infatti, le procedure di valutazione ANVUR sembrano prescindere totalmente dalle norme ENQA-ESG e da tutte le buone pratiche messe in campo dalle Agenzie già presenti in Europa e già membri ENQA (non solamente affiliate come l’ANVUR), tra cui la QAA del Regno Unito, ma anche l’AVEPRO della Santa Sede. Come diceva qualcuno?  «Ormai solo un dio ci può salvare».

 

E’ ormai dall’anno accademico 2013-2014 che l’ANVUR ha iniziato con i CEV (Commissioni degli Esperti della Valutazione) la valutazione dei corsi di studio di nuova attivazione, su cui sono state pubblicate le Linee guide sia per i corsi tradizionali che telematici. E’ disponibile sul sito ANVUR-AVA l’albo dei valutatori arruolati, formati e scelti per le valutazioni esterne, con procedure per la verità assai poco trasparenti, se non assai opache.

Eppure è necessario assicurare la massima trasparenza dell’Agenzia di Valutazione: per la sua credibilità , affidabilità e utilità. Sono previsti requisiti di Trasparenza per i valutati ma che non trovano alcuna formulazione o realizzazione per i valutatori (ANVUR). In queste valutazioni esterne per i CdS di nuova attivazione, non sono rispettate, infatti, le normative europee ENQA-ESG e non sono fornite da parte dell’ANVUR una serie di informazioni che rendono il processo di valutazione esterna credibile ed affidabile, in particolare manca:

  • un elenco pubblico dei valutatori esterni effettivamente impiegati insieme con i rapporti di valutazione prodotti ed i corsi di studio valutati
  • un esame complessivo delle valutazioni sui CdS di nuova attivazione effettuate per il 2013-2014 e 2014-2015 a mo’ di libro bianco delle buone pratiche da applicare; ad esempio: quante sono le valutazioni effettuate per anno accademico? Quante positive? Quante negative? Quali le ragioni più frequenti di giudizio negativo? Quali le buone pratiche da raccomandare?
  • un giudizio dei valutati sul lavoro svolto dai valutatori esterni: anche questo giudizio deve essere reso pubblico.

Le norme ENQA-ESG sono chiarissime sulla pubblicità delle valutazioni esterne e ad esempio la stessa QAA (l’Agenzia di Assicurazione della Qualità per l’Istruzione Superiore del Regno Unito, membro effettivo ENQA) in Reviewer database fornisce per valutatore le valutazioni effettuate e mette poi a disposizione i rapporti finali.

 

1. Normativa ENQA-ESG

1.1. Pubblicità dei Rapporti di Valutazione

Gli Standard e le Linee Guida dell’ENQA per l’Assicurazione della Qualità nello Spazio Europeo dell’Educazione Superiore (ENQA-ESG) prevedono tre parti, rispettivamente:

  • Parte 1: Standard e linee guida europei per l’assicurazione interna della qualità nelle istituzioni di istruzione superiore
  • Parte 2: Standard e linee guida europei per l’assicurazione esterna della qualità dell’istruzione superiore
  • Parte 3: Standard europei per le agenzie di assicurazione esterna della qualità

Nel paragrafo 2.5 Stesura dei rapporti si scrive:

Standard:

I rapporti dovrebbero essere resi pubblici ed essere redatti in uno stile chiaro e di facile lettura. I lettori dovrebbero poter comprendere senza difficoltà le decisioni, le valutazioni positive e le raccomandazioni in essi contenute.

Linee guida:

Per sfruttare al massimo i processi esterni di assicurazione della qualità, è importante che i rapporti diano una risposta ai bisogni individuati presso i potenziali lettori. Essi sono talvolta destinati a gruppi di lettori diversi tra loro, e questo richiederà grande attenzione per la struttura, il contenuto, lo stile ed il tono utilizzati. In genere i rapporti dovrebbero essere strutturati in modo tale da comprendere: descrizione; analisi (comprensiva delle testimonianze più significative); conclusioni; apprezzamenti e raccomandazioni. Dovrebbero aprirsi con un preambolo che illustra al lettore non specialista gli scopi della valutazione, il percorso seguito ed i criteri decisionali adottati. I lettori, inoltre, dovrebbero essere messi in grado di localizzare agevolmente i dati più significativi, le conclusioni raggiunte e le raccomandazioni finali.

I rapporti pubblicati dovrebbero essere facilmente accessibili; ai loro lettori ed utilizzatori (sia all’interno che all’esterno dell’istituzione esaminata) dovrebbe anche essere offerta l’opportunità di commentarne l’utilità.

 

Da ENQA-ESG paragrafo 2.8 Analisi sistemiche risulta:

Standard

Le agenzie di assicurazione della qualità dovrebbero periodicamente produrre rapporti riepilogativi in cui vengono descritti e analizzati i risultati delle attività di valutazione effettuate

Linee guida:

Tutte le agenzie per l’assicurazione esterna della qualità raccolgono preziose informazioni su singoli corsi di studio e/o istituzioni, che serviranno all’elaborazione di analisi strutturate sui sistemi accademici nella loro globalità; da queste, a loro volta, si possono trarre spunti utilissimi su sviluppi, tendenze, buone pratiche, punti di criticità e di debolezza. Le analisi sistemiche possono essere strumenti utili per l’individuazione delle linee di indirizzo in materia di istruzione superiore e per il miglioramento degli standard qualitativi. Le agenzie per la qualità devono valutare la possibilità di includere tra le proprie attività una funzione di ricerca e sviluppo, così da trarre il massimo profitto dal proprio lavoro.

Da ENQA-ESG paragrafo 3.8 Procedure di affidabilità risulta:

Standard:

Le agenzie dovrebbero disporre di procedure atte a dimostrare la propria affidabilità.

Linee guida:

Le procedure al riguardo devono includere i seguenti punti:

… 3. l’esistenza di procedure di assicurazione interna della qualità che possano contribuire al suo sviluppo e miglioramento. Tali procedure comprendono: meccanismi di riscontro interno (ad es. per accogliere suggerimenti da parte del proprio personale o dal proprio consiglio di amministrazione); meccanismi di riflessione interna (ad es. per recepire raccomandazioni esterne ed interne di miglioramento); meccanismi di riscontro esterno (ad es. per accogliere proposte provenienti dagli esperti o dalle istituzioni esaminate)…

L’ANVUR ha letto e meditato le norme ENQA-ESG? E pare strano che, con una domanda pendente di “membro” ENQA, l’ANVUR ignori bellamente molte specifiche previste dagli ESG: ma esiste o non esiste per l’ANVUR lo spazio europeo dell’istruzione superiore?

L’Assicurazione di Qualità non si deve risolvere in bocciare od approvare CdS/Sedi, come fa l’ANVUR, ma nel crescere insieme sulla strada del miglioramento continuo sia dei CdS sia della stessa Agenzia di Valutazione. Dalle stesse valutazioni positive o negative si può imparare a crescere e migliorare con le buone pratiche e procedure messe in campo dagli altri e convenientemente documentate e pubblicate. Che senso ha sulla strada di un miglioramento continuo bocciare in maniera inappellabile un CdS di nuova attivazione? Ed il tutto nell’oscurità più totale e in cui non si capisce nulla e tutto rimane misterioso, sia il lavoro dei valutati che dei valutatori.

Quante sono le opposizioni fatte dalle sedi ad un primo giudizio negativo? Quante sono state accolte? Ove sono pubblicati i giudizi ANVUR, le osservazioni dei CdS bocciati ed infine la decisione finale presa?

Tutto il processo di valutazione dei corsi di nuova attivazione ha un qualcosa di misterioso e di esoterico ove pochi conoscono e devono sapere: tutto il contrario di un processo democratico davanti a tutte le parti interessate e fatto per crescere tutti insieme sulla strada del miglioramento.

L’ANVUR non dovrebbe essere un’Agenzia di Santa Inquisizione che manda al rogo gli eretici, ma un’Agenzia che aiuta a crescere e migliorare il sistema universitario: mai i roghi o le repressioni brutali sono stati forieri di progresso o miglioramento.

 

1.2 Valutatori esterni

In ENQA-ESG al paragrafo 2.4 Adeguatezza delle procedure si scrive:

Standard:

Tutti i processi esterni di assicurazione della qualità dovrebbero essere progettati in modo tale da rispondere pienamente alle finalità e agli obiettivi per essi stabiliti.

Linee guida:

Nello Spazio Europeo dell’Istruzione Superiore le agenzie di assicurazione della qualità svolgono la propria attività in modi diversi e con finalità diverse. È di vitale importanza che esse operino secondo procedure adeguate agli obiettivi precedentemente stabiliti e resi pubblici. Vi sono peraltro alcuni elementi dei processi esterni di verifica, già ampiamente usati, che non solo servono a garantirne la validità, l’affidabilità e l’utilità, ma che contribuiscono anche a dare una dimensione europea all’assicurazione della qualità.

Tra tali elementi vale la pena di ricordare:

  • l’assoluta necessità che gli esperti chiamati a svolgere attività di assicurazione della qualità esterna possiedano le necessarie competenze e siano in grado di svolgere al meglio il compito al quale sono chiamati;
  • la necessità di selezionare accuratamente gli esperti;
  • le azioni formative o di briefing rivolte agli esperti;
  • l’impiego di esperti internazionali;
  • il coinvolgimento degli studenti;
  • l’individuazione di procedure di valutazione tali da fornire prove adeguate a sostegno delle conclusioni raggiunte;
  • l’impiego di un metodo di verifica basato su autovalutazione/visita in loco/rapporto preliminare/pubblicazione del rapporto conclusivo/follow-up e ulteriore verifica;
  • il riconoscimento che le politiche istituzionali di miglioramento sono l’elemento fondamentale dell’assicurazione della qualità.

Alcune domande in proposito vanno rivolte all’ANVUR-AVA:

  1. Come sono stati selezionati i valutatori esterni disciplinari e di sistema?
  2. Quali conoscenze e competenze specifiche possiedono?
  3. Quali attività di formazione dei valutatori esterni sono state effettuate?
  4. Come sono stati scelti i valutatori esterni per le valutazioni già effettuate?
  5. La procedura di scelta è cieca o no? E se no, su quali basi avviene tale scelta?
  6. Sono stati utilizzati studenti-valutatori?
  7. Sono stati utilizzati valutatori esterni per esempio del Mondo del Lavoro o esperti internazionali?
  8. E’ previsto un giudizio dei valutati sul lavoro svolto dai valutatori esterni?

Finché non verranno fornite queste informazioni e pubblicati i rapporti di valutazione siamo nel campo della più ampia discrezionalità e non di un’efficiente ed efficace valutazione per il miglioramento. Diceva qualcuno: dove inizia il mistero, là finisce la giustizia.

 

2. Qualche considerazione finale

Da ENQA-ESG paragrafo 2.6: Assicurazione della qualità non significa solo essere valutati criticamente dall’esterno, ma piuttosto cercare di migliorare costantemente il proprio lavoro.

Sembra che con l’ANVUR inizi l’anno zero delle Università italiane, una politica che richiama quella di regimi che vogliono rinnegare la storia e le tradizioni nazionali, per ultimo come esempio il regime di Pol Pot. La storia e le tradizioni delle Università italiane sono spesso centenarie, l’Università di Bologna “Alma Mater Studiorum” è millenaria, e l’ANVUR ha la presunzione, senza alcuna partecipazione attiva delle Università italiane, di voler valutare una tradizione storica secolare di come si fa Università, sulla base di regole e regolette non-condivise che ignorano completamente la storia e la tradizione universitaria italiana.

Come si fa Università secondo l’ANVUR?

Che cosa scrivono in proposito i requisiti AQ1 e AQ6 scritti dall’ANVUR e che compaiono nel DM 47/2013 poi corretto dal 1059/2013 (allegato C Requisiti di Qualità)?

AQ1 –L’Ateneo stabilisce, dichiara ed effettivamente persegue adeguate politiche volte a realizzare la propria visione della qualità della formazione (se non è presente viene revocato l’Accreditamento alla Sede)…

AQ6 – Valutazione della Ricerca nell’ambito del sistema di Assicurazione della Qualità. L’ateneo stabilisce, dichiara ed effettivamente persegue adeguate politiche volte a realizzare la propria visione della qualità della ricerca

Le frasi sono altamente infelici, incomprensibili, non possono esistere proprie visioni di alcun tipo, soprattutto della qualità che l’ANVUR non sa definire in modo adeguato, forse non sa che cosa sia: occorre, invece, un impegno serio per rispondere alle esigenze degli studenti e del pubblico interesse in un settore così importante come l’istruzione superiore.

Forse farebbe meglio l’ANVUR, invece di perdersi dietro requisiti di visioni della qualità, a studiare e capire quali sono le esigenze primarie degli studenti e delle altre parti interessate, soprattutto famiglie e mondo del lavoro quando possibile, e come queste esigenze sono soddisfatte dalle Università italiane. Un approccio semplice e pragmatico, senza tanti voli mirabolanti che ignorano la realtà: i pensatori da salotto, è meglio che rimangano nei salotti, non rovinando anche quel po’ (o tanto) di buono che è presente ancora nelle Università italiane.

Da rimarcare in special modo la visione della qualità della ricerca: ovviamente vengono in mente i famosi indici bibliometrici disastrosi, che la stessa ANVUR sostiene che non possono avere alcun significato di qualità (ma che li ha tirati fuori a fare, allora?). Commissioni ASN, tuttavia, hanno messo soglie di sbarramento sulle famose mediane bibliometriche, di valore solo quantitativo… concorsi ASN al limite della follia, se non oltre.

Le procedure di valutazione ANVUR, poi, sembrano prescindere totalmente dalle norme ENQA-ESG e da tutte le buone pratiche messe in campo dalle Agenzie già presenti in Europa e già membri ENQA (non affiliate come l’ANVUR). Piace richiamare tra queste:

  • la QAA del Regno Unito
  • e soprattutto l’AVEPRO (L’Agenzia della Santa Sede per la Valutazione e la Promozione della Qualità delle Università e Facoltà Ecclesiastiche), da cui laicamente l’ANVUR dovrebbe trarre ispirazione per le sue procedure ed attività.

L’Assicurazione della Qualità non si fa con norme improvvisate, poco chiare, non meditate, non trasparenti e oggetto di decretazione MIUR (come la 1059/2013, che cambia in meno di un anno la 47/2013), ma con una partecipazione dal basso ed una condivisione democratica: anche come messa a punto delle stesse normative, con un dibattito franco ed aperto con tutte le parti interessate.

Ma perché non ci affidiamo all’AVEPRO invece che all’ANVUR? Ci sarebbe un netto miglioramento della valutazione ed anche un bel risparmio economico… Ma l’ANVUR è un’Agenzia per il miglioramento del sistema universitario o un’Agenzia solo di chiusura di CdS e Sedi Universitarie?

Se lo scopo è il secondo, l’ANVUR è superflua, una Commissione di Dismissione delle Sedi e dei CdS è più efficiente, più economica ed anche più diretta, senza le tante sovra-strutture che l’ANVUR sta creando, per esempio con una normativa spesso singolare, pignola, minuziosa e totalizzante ma sostanzialmente controproducente per ogni Assicurazione della Qualità: si discetta di qualità (terra incognita) che si realizza in singole visioni tante quanti gli Atenei, tra il magico ed il sovrannaturale, e di mediane bibliometriche che sono un monumento imperituro all’insipienza.

P.S.:

CHIEDIAMO AI NOSTRI LETTORI, IN POSSESSO DI RAPPORTI DI VALUTAZIONE ANVUR, SUI CORSI DI NUOVA ATTIVAZIONE, DI INVIARLI A ROARS O A biondi@unitus.it. LE UNIVERSITA’ COINVOLTE O IL NOME DEL CDS POSSONO ESSERE STRALCIATI (MA NON LA CLASSE DI LAUREA O LAUREA MAGISTRALE), SE NECESSARIO E POSSIBILE. UN COMMENTO SULLO STESSO RAPPORTO E’ ASSAI APPREZZATO.

Send to Kindle

1 commento

  1. Ma perché qualcuno di Roars (o vicino a Roars, o sostenitore di Roars, o almeno assiduo lettore di Roars) non riesce mai a entrare in queste oscure commissioni di valutatori?
    Non c’è modo di provarci, almeno una volta?
    Mi sentirei così rassicurata.

    Comunque sì, decisamente sì. Il primo, grande passo sarebbe capire COME vengono scelti i valutatori.
    Vorrei quantomeno che venisse dichiarata la loro qualifica e allegato il loro curriculum, mentre compaiono sempre solo poco eloquenti liste di nomi (che poi tocca andare su google per capire chi caspita sono: possibile?).

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.