Io speriamo che mi selezionano – Parte II

Il post a puntate “Io speriamo che mi selezionano” prosegue con altri cinque temi svolti dai professori universitari che sono stati selezionati da un apposito comitato per far parte della rosa da cui il Ministro dell’Università e della ricerca Stefania Giannini ha appena scelto i prossimi membri del consiglio direttivo di ANVUR. In questo secondo post, avrete modo di leggere un estratto delle linee programmatiche di Neuromante, del Conte Mascetti, del Domatore, di Re-animator e del Migliorista Sentimentale. Sono questi i nom de plume che abbiamo temporaneamente attribuito ai selezionati, in attesa del gran finale che vedrà finalmente svelata l’identità di tutti gli autori.

Link alla Prima Parte di “Io speriamo che mi selezionano”, 14 temi di candidati anvuriani 

I testi sono tratti verbatim dai documenti dei selezionati. La Redazione ROARS ha introdotto commenti esplicativi tra parentesi quadre in blu […], e sottolineato alcuni passaggi particolarmente involuti dal punto di vista sintattico o grammaticale, oltreché spesso, concettuale. I temi saranno 14, perché il quindicesimo pare alla Redazione di Roars ben fatto e del tutto condivisibile.

Selezionato n. 6 – Susanna Terracini [CV, elaborato] direttivo ANVUR
La sinapsi autovalutativa ed i volontari della valutazione – Neuromante

Sono fortemente convinta che, per il suo funzionamento, il sistema universitario italiano abbia assoluta necessità di processi valutazione [sic] che coinvolgano tutti gli elementi della sia [sic] missione. La valutazione è un momento centrale della vita universitaria e, a mio avviso, deve coinvolgere la comunità accademica nella sua componente più attiva dal punto di vista scientifico e non soltanto nei suoi aspetti tecnici , ma anche strategici, politici e gestionali [come? con quali strumenti e procedure?]. Infatti [non sequitur], solo attraverso un corretto funzionamento del sistema Università si avvera quella sinapsi [sic] fra ricerca accademica e società civile che rappresenta il la [sic] linfa ed il fine ultimo sia della ricerca che della formazione superiore.

Occorre essere coscienti dei limiti strutturali [?] e dell’altissimo rischio di conflitti di interessi insiti nell’eccesso auto-valutativo [chissà quale è la soglia oltre la quale l’auto-valutazione diviene eccessiva] in carenza di solidi dati [cosa significa?] e criteri di riferimento [chi stabilisce i criteri nei processi di auto-valutazione?].

L’elaborazione e la diffusione dei criteri e ,parametri generali [sic], articolati per aree, settori, funzioni, è forse uno degli aspetti più rilevanti della valutazione nazionale. Si tratta di un successo fondamentale della VQR 2004-10 (a cui, a mio avviso non è stato dato sufficiente rilievo) [captatio benevolentiae], e dovrà costituire un nodo importantissimo per la valutazione dei corsi di studio [come si fa a valutare i corsi di studio sulla base dei risultati della VQR?],

Valutazione approfondita su base volontaria [i volontari della valutazione]. Un ragionevole compromesso potrebbe fare un maggior uso della volontarietà nell’adesione alla valutazione ad ogni livello; per esempio i singoli ricercatori potrebbero sottoporsi volontariamente periodicamente [chi stabilisce la periodicità? il volontario?] alla VQR, le strutture venendo poi valutate in base alla percentuale di soggetti valutati [il direttore di dipartimento come farà a convincere i membri del dipartimento a diventare volontari della valutazione? ed il rettore come farà a convincere i direttori …] e all’esito della loro valutazione [come si valuta?].

Se la congiuntura attuale [la crisi economica? la stagione?] non permetta [sic] l’auspicata valutazione diretta [?] , completa, sistematica e autonoma [?] della ricerca dei dipartimenti (per esempio tramite una revisione da pari [sic]), laddove possibile si dovrà necessariamente fare riferimento fattori [sic] di contesto (graduatorie di riviste, indicatori citazionali, ecc..) [sic]

Selezionato n. 7 – Luigina Mortari [CV, elaborato]
Alla ricerca della datità non predefinibile – Conte Mascetti

In questa prospettiva la presente proposta si sviluppa lungo due direzioni analitico-propositive: a) Definire un orizzonte di prospettive di azione; b) Identificare precise linee di intervento alla luce dell’orizzonte delineato.

Considerate le lacune delle banche date citazionali, un ente che realizza un processo di valutazione esteso e approfondito come l’ANVUR non può non costituire al suo interno una comunità riflessiva [sic] che sviluppi prospettive critiche e allo stesso tempo innovative di valutazione [ANVUR ha già dato prova di innovare la valutazione…],

Mettere in atto un sistema di valutazione sulle politiche valutative [cioè ANVUR decide come valutare la sua valutazione …] richiede di decidere quali disegni di ricerca attivare […decidendo quali disegni di ricerca attivare?].

Proprio perché la proposta che qui deve essere formulata ha come destinatario un ente che si occupa di valutazione, al momento attuale, dopo cioè un tempo di azioni messe in atto [sic], è necessaria una valutazione sui processi attivati [valutare la valutazione]. Un ente di valutazione smentirebbe il suo stesso profilo se non attivasse valutazione sul suo stesso operato [cioè autovalutazione della valutazione].

Per quanto riguarda la situazione italiana sarebbe importante individuare correlazioni fra certi dati e certi fattori [!], evitando ovviamente di stabilire relazioni causale-lineari [sic!] che ormai sono considerate non attendibili [?]. Cercare correlazioni significa mettere in relazione certi dati di esito con dati di contesto [sulla nozione di correlazione si rimanda a https://it.wikipedia.org/wiki/Correlazione_(statistica)].

Se non si crea una cultura condivisa sulla valutazione qualsiasi iniziativa non potrà concorrere a favorire cambiamenti migliorativi del sistema della ricerca e dell’alta formazione perché, mancando un’adesione maturata da progetti di collaborazione, non sarà in grado [sic] di produrre una cultura diffusa di valutazione [se non si crea una cultura condivisa della valutazione non si produce una cultura diffusa della valutazione].

Ogni comunità disciplinare ha sia il diritto sia il dovere di definire i canoni che meglio consentono di valutare la qualità della propria produttività [la qualità della produttività! anche qui sulla nozione di produttività si rimanda a https://it.wikipedia.org/wiki/Produttivit%C3%A0]

I metodi rendicontativi mirano ad acquisire una conoscenza la più accurata possibile di un fenomeno [?];i metodi partecipativi la ricerca della conoscenza più dettagliata possibile di un fenomeno si colloca all’interno di un obiettivo trasformativo del contesto oggetto di valutazione.

Se, ad esempio, si costruisce un processo co-partecipato di analisi della produttività [vedi sopra] dei gruppi di ricerca e si arriva a stabilire quale relazione esiste tra sistemi di organizzazione della ricerca e l’uso delle risorse, i soggetti del contesto oggetto di valutazione dispongono della datità utile per avviare processi di miglioramento.

Ma come emerge dalle ricerche più avanzate, che coniugano metodi quantitativi e metodi qualitativi [quali?], sulla base di un’epistemologia evolutiva-emergenziale [!] attenta alle complessità della fenomenicità didattica [!], esiste una datità non predefinibile e che, in quanto tale, richiede la messa a punto di metodologie adeguatamente articolate.

Quanti più organismi sono investiti di azioni valutative tanto più tempo è richiesto ai ricercatori [?].

Un accumulo di lavoro di analisi, documentazione, revisione può portare a una entropia del lavoro dei vari organismi [?]. È tempo quindi [?] di attivare una ricerca critica sulle procedure di ricerca della didattica [?].

Teaching portofolio [sic] è un’altra fonte di sati [sic] per la valutazione della didattica

Selezionato n. 8 – Mario Diani [CV, elaborato]
Vincere la feroce resistenza corporativa – Il Domatore

… il triennio come preside della Facoltà di Sociologia dell’Università di Trento, mi ha inoltre reso consapevole della forza delle resistenze potenziali [reali o potenziali?] a qualsiasi ipotesi di valutazione. Impressioni confermate di recente dalle reazioni, a volte francamente inconsulte [captatio benevolentiae n. 1], agli esiti dei processi di valutazione, che si trattasse di VQR o di ASN.

Occorre inoltre riconoscere che la qualità della didattica non dipende esclusivamente dalle nozioni apprese ma anche dallo sviluppo comprovato delle capacità di pensiero critico, ragionamento analitico e capacità di risoluzione dei problemi. Sotto questi aspetti, modelli quali il Collegiate Learning Assessment (CLA) [captatio benevolentiae n. 2: è il modello usato da ANVUR per i test TECO] (nota 1) meritano un’attenzione particolare. (Nta 1: Stephen Klein et al., “The Collegiate Learning Assessment: Facts and Fantasies,” Evaluation Review 31 (2007) [sic]: 415–39.

Mi pare che la feroce resistenza all’uso di strumenti bibliometrici in alcuni settori non dipenda soltanto da ragionamenti empiricamente fondati – che pure sono validi- ma anche da tradizionalismo e resistenza corporativa [captatio benevolentiae 3]. Al tempo stesso, un’applicazione rigida ed esclusiva degli strumenti bibliometrici impoverisce e distorce la stessa valutazione nelle discipline “bibliometriche.” Ciò che occorre è una corretta integrazione degli strumenti bibliometrici in un processo di valutazione più complesso.

E’ curioso – ma in realtà non troppo – che nelle discussioni recenti le voci critiche si siano concentrate sui limiti dei metodi bibliometrici (nota 3) (Nota 2: Baccini, A. Valutare la ricerca scientifica, Bologna, Il Mulino, 2010) [captatio benevolentiae 4] ignorando non solo le difficoltà pratiche ma anche le carenze e le distorsioni associate ai meccanismi di peer review, pur noti da tempo [a dire il vero, il libro di Baccini non le ignora: il paragrafo 6 del capitolo 2 si intitola: “Sull’affidabilità della revisione dei pari” e discute per molte pagine proprio del tema].

Il recente esperimento condotto dalla CRUI e dall’ANVUR utilizzando il metodo dei “dipartimenti virtuali”, per quanto non scevro di problemi, rappresenta sotto questo profilo un inizio potenzialmente interessante [captatio benevolentiae 5].

Per quanto riguarda il secondo aspetto dell’idea di università, occorre riconoscere che, nelle attuali condizioni scientifiche [sic], in tutti i settori, è inevitabile dare per scontato che la ricerca o è internazionale o non è [L’edizione in italiano di un opera di un autore italiano non è ricerca. Un articolo in italiano sulla procedura penale italiana non è ricerca.]

Si tratta piuttosto, e qui la valutazione può svolgere un ruolo fondamentale nell’orientare i comportamenti, di guidare l’intero sistema universitario italiano verso una piena integrazione ed inclusione nelle reti di ricerca internazionali. [pedagogia anvuriana già nota. I migliori decisono gli obiettivi per tutti. https://www.roars.it/la-rivoluzione-dallalto-nelluniversita-italiana/] 

Un elemento importante per favorire l’internazionalizzazione della ricerca italiana è naturalmente [naturalmente?] l’accreditamento delle riviste scientifiche [malgrado quello che si legge nella San Francisco Declaration on Research Assessment – DORA, e nella discussione internazionale su modalità di comunicazione della ricerca]. Qui occorre operare in almeno due direzioni. In primo luogo, occorre che i criteri necessari per l’inclusione in fascia A non siano meramente dichiarati dalle redazioni ma siano fatti oggetto di controlli, quantomeno a campione [già immaginiamo gli ispettori anvuriani a controllare gli archivi delle riviste per vedere se davvero si fa peer review; a Parigi nella sede delle Annales ...]. In secondo luogo, l’inclusione nelle banche dati internazionali non può essere considerata da sola come indicatore esclusivo di qualità. E’ una condizione necessaria ma non sufficiente. [saranno i migliori, cioè i selezionati dal direttivo a giudicare…].

Selezionato n. 9 – Giorgio Sesti [CV, elaborato]
Prendiamo ispirazione da un’agenzia soppressa – Re-animator

L’assetto organizzativo del Consiglio direttivo dell’ANVUR potrebbe prendere ispirazione dall’Agenzia francese AERES (Agence d’èvaluation de la recherche et de l’enseignement supèrieur), istituita dal 2007, che è dotata di tre dipartiment. [Ispirarsi ad un agenzia ormai soppressa (dal 2013) …]. 

Ciascun gruppo di lavoro dovrebbe disporre di un ampio pannello [sic] di esperti di valutazione della ricerca e della didattica costituito da docenti/ricercatori di Università ed enti pubblici di ricerca e da personalità qualificate provenienti dalla ricerca privata, nominati dal Consiglio direttivo dell’ANVUR sulla base di appositi bandi di selezione che supportano [sic] il lavoro di valutazione dell’Agenzia .

E’ anche auspicabile che i risultati dell’esercizio basato sulla peer review per le Aree umanistico-giuridiche siano abbinati a un’analisi bibliometrica puntuale condotta sulle banche dati internazionali a livello di aree disciplinari, in modo da poter confrontare i risultati interni della valutazione con un controllo bibliometrico esterno [quali sarebbero le banche dati che indicizzano i lavori di area umanistico-giuridica?] A tal fine è indispensabile che il MIUR si fornisca di una propria base di dati (TR o Scopus) e che sia manutenuta costantemente rispetto alla disambiguazione dei nomi, alle affiliazioni e al legame con l’anagrafe [vd. sopra. Le banche dati internazionali non indicizzano capitoli e monografie e neppure parte delle riviste in italiano]. Queste azioni consentirebbero di realizzare due tipi di valutazione: 1) indagini bibliometriche a cadenza biennale relative alla produttività del sistema della ricerca e impatto della produzione scientifica italiana [Non nelle aree HSS in cui all’estero esistono gli stessi problemi che in Italia] ; 2) un esercizio di valutazione della qualità della ricerca quadriennale su un numero limitato di prodotti selezionati dalle Istituzioni di ricerca Sarebbe importante nei prossimi esercizi di valutazione di considerare questo fattore valorizzando così i ricercatori e le Strutture che hanno un ruolo guida nell’elaborazione del progetto e nello svolgimento della ricerca e che è tipicamente riconosciuto dalla posizione di primo o ultimo autore.[solo per alcune aree e oramai anche lì con cautela]

Abilitazione scientifica nazionale [il progetto di riforma dell’ASN è compito del direttivo ANVUR?]

Oltretutto, si stanno verificando distorsioni opportunistiche dato che aspiranti candidati possono trovare più conveniente pubblicare molti lavori su riviste d’impatto scientifico (impact factor) basso rispetto alla più difficile pubblicazione sulle riviste di più elevato profilo scientifico [IF basso non indica basso profilo scientifico perché dipende dalle modalità di citazione adottate dalle diverse aree disciplinari].

Si potrebbe sostituire l’indicatore a) (numero di articoli su riviste) con il numero di articoli pubblicati nei dieci/quindici anni consecutivi precedenti la data di pubblicazione del bando il cui impact factor sia nel top quartile della Subject Category delle banche di dati ISI Web of Science e Scopus [la prima mediana per i settori bibliometrici riguardava già il numero di articoli su riviste contenute nelle principali banche dati internazionali e pubblicati nei dieci anni consecutivi precedenti la data di pubblicazione del decreto] Questo indicatore che proponiamo ha una serie di vantaggi: i) è facilmente calcolabile per i candidati, CINECA e i Commissari; [una volta che si sia in possesso di una banca dati disambiguata, non certo partendo dagli abbonamenti a Wos e Scopus]. iiii) costituisce un incentivo per i ricercatori a pubblicare non solo quantitativamente ma anche qualitativamente [il top quartile della subject category equivale a qualità elevata dei lavori pubblicati? Lontani ancora una volta mille miglia dalla discussione internazionale sul tema: DORA, Leiden Manifesto etc.]

In generale, i parametri che potrebbero essere utilizzati ai fini della valutazione della produzione scientifica individuale, senza distinzioni riguardanti la specificità disciplinare, dovrebbero includere: a) L’entità complessiva della produzione scientifica e la sua distribuzione temporale; [come si fa a considerare l’entità della produzione scientifica senza considerare la specificità disciplinare? qual è il target di riferimento? forse che il selezionato ha scoperto l’holy grail della scientometria?]  b) L’impatto di singoli prodotti, nonché l’impatto medio e cumulativo [?? ]  del complesso della produzione, sulla comunità scientifica utilizzando indici bibliometrici [con tutta probabilità qui il selezionato sta pensando alla somma degli IF. Che, lo ricordiamo, in scientometria è considerato una patacca colossale]. c) La rilevanza nazionale e internazionale (media e cumulativa) [??] della collocazione editoriale della produzione scientifica [qui invece non riusciamo a immaginare…]. d) Il contributo del candidato all’ideazione e/o conduzione delle ricerche e al conseguimento dei risultati, anche sulla base di criteri riconosciuti nella comunità scientifica internazionale di riferimento (primo autore, ultimo autore o autore corrispondente) [la posizione dell’autore vale solo per alcune aree e anche in quelle ormai con grande cautela]

Selezionato n. 10 – Paolo Rossi [CV, elaborato]
Ragione e sentimento – Migliorista sentimentale

Tra le linee d’intervento che ci pare meritino di essere potenziate si colloca anche il tema della comunicazione pubblica dei dati raccolti e delle analisi effettuate dall’Agenzia. In tal senso ci pare molto positiva, e certamente da valorizzare al massimo, l’esperienza del Rapporto 2013 sullo stato del sistema universitario e della ricerca, che ha fornito un quadro ampio, calibrato e autorevole della situazione [captatio benevolentiae n.1] , che può diventare patrimonio comune dell’opinione pubblica più consapevole.

Più in generale ci sembra che la natura stessa dei compiti affidati all’Agenzia e la dimensione quantitativa dell’ambito che costituisce l’oggetto delle valutazioni dovrebbero spingere verso un approccio di tipo data mining, onde sfruttare appieno le potenzialità offerte dalle nuove metodologie di indagine orientate a estrarre la massima quantità di informazione anche dai dati non strutturati (big data) oggi largamente accessibili in rete [qual è il soggetto oggi in Italia che sarebbe in grado di condurre queste analisi di data mining con l’affidabilità richieste a valutazioni istituzionali?]
Sia per quanto riguarda la valutazione dell’impatto economico-sociale della didattica erogata, sia per quanto riguarda l’impatto dei risultati della ricerca sulle comunità scientifiche di riferimento, probabilmente le tecniche d’indagine che vanno sotto il nome generico di sentiment analysis [non sarebbe forse il caso, prima di pensare alla sentiment analysis, di concentrarsi su qualità, attendibilità e pubblicità dei dati attualmente a disposizione?] potrebbero fornire un utile complemento ai risultati di indagini e analisi svolte con metodologie più convenzionali, e forse in prospettiva costituire un vero e proprio approccio alternativo.

L’esperienza della VQR, pur straordinariamente importante e innovativa [captatio benevolentiae n.2], è stata segnata da contestazioni e polemiche in parte giustificate da alcuni limiti di metodo non tanto nella raccolta e nella valutazione dei prodotti, che si sono svolte nel modo più soddisfacente [captatio benevolentiae n.3] anche tenendo conto delle dimensioni dell’operazione, quanto nella fase di analisi, non sempre ottimizzata rispetto ad alcuni principi statistici che avrebbero imposto da un lato accurate procedure di normalizzazione dei valori numerici, e dall’altro l’eliminazione di alcuni fattori non direttamente riconducibili alla qualità della ricerca [?].

Siamo consapevoli della grande responsabilità che graverà su quanti si assumeranno il compito di dirigere l’ANVUR nei prossimi anni [captatio benevolentiae n.4], anche per il fatto che la qualità del lavoro dell’Agenzia sarà a sua volta inevitabilmente valutata, e non soltanto sul piano tecnico relativo all’accuratezza e all’ampiezza dei risultati, ma anche per la capacità che l’Agenzia stessa avrà dimostrato di adeguarsi alle esigenze [sic] indicate in premessa, creando in tal modo un ampio consenso intorno alla propria funzione, e di conseguenza facendo crescere quella cultura positiva della valutazione che è cruciale per far sviluppare il sistema dell’università e della ricerca in una direzione sempre più adeguata alle sue missioni di alta formazione, ricerca e trasferimento tecnologico e culturale la cui piena realizzazione è essenziale per l’innovazione e lo sviluppo economico e sociale del Paese.