La VQR delle università richiedeva tre “prodotti” per soggetto valutato. Gli atenei hanno fornito quasi il 95% dei prodotti richiesti. Pochi o tanti? Secondo Sergio Benedetto (Coordinatore della VQR), il dato “testimonia un’attività buona dei docenti e ricercatori”.
__________
Si sta avvicinando la data (30 giugno 2013) in cui verranno resi noti i risultati dell’esercizio di valutazione della qualità della ricerca, la cosiddetta VQR 2004-2010. In attesa di avere i dati completi, vale la pena di riprendere in mano le statistiche preliminari che L’ANVUR aveva reso note in un documento del 5 luglio 2012, intitolato Statistiche sui prodotti conferiti e commenti preliminari a firma di Sergio Benedetto e Alessio Ancaiani. Il documento mostra alcune statistiche e commenti preliminari sui prodotti conferiti nelle varie aree nell’ambito della VQR 2004-2010. Il dato più rilevante è il numero di prodotti della ricerca conferiti a fronte del numero di prodotti attesi, sia in termini globali che disaggregati in funzione delle diverse aree scientifiche. Gli autori del documento osservano che:
La percentuale media sulle aree di prodotti mancanti è del 5,3%, un dato che testimonia un’attività buona dei docenti e ricercatori e un’attenzione delle strutture nel soddisfare i requisiti del bando … con percentuali di prodotti mancanti che vanno da un minimo del 2,6% ad un massimo del 10,2%.
Il dato complessivo mostra che il totale dei prodotti conferiti è pari al 94,7% dei prodotti attesi. Un risultato che conferma i dubbi espressi da ROARS nei confronti delle valutazioni pessimiste di alcuni che stimavano superiore al 25% la percentuale di professori inattivi.
È anche interessante esaminare quali differenze esistano tra le diverse aree. Per semplicità, facciamo riferimento ai dati disaggregati secondo l’area di appartenenza del valutato (nel documento sono disponibili anche i dati disaggregati secondo l’area di conferimento del prodotto, dato che alcuni soggetti hanno presentato prodotti relativi ad aree diverse da quella di appartenenza). In particolare, la percentuale massima di prodotti mancanti (10,2%) si osserva nell’Area 06, Scienze Mediche, seguita dall’Area 01, Scienze matematiche ed informatiche (9,1%) e dall’Area 12, Scienze giuridiche (7,2%)
Aree scientifiche
01 – Sc. matematiche ed informatiche
02 – Scienze fisiche
03 – Scienze chimiche
04 – Scienze della terra
05 – Scienze biologiche
06 – Scienze mediche
07 – Scienze agrarie e veterinarie:
08 – Ingegneria civile e Architettura
09 – Ing. industriale e dell’informaz.
10 – Sc. dell’antichità, filologico-letterarie e storico-artistiche
11 – Sc. storiche, filosofiche, pedagogiche e psicologiche
12 – Scienze giuridiche:
13 – Scienze economiche e statistiche
14 – Scienze politiche e sociali
La seguente figura evidenzia visivamente l’aderenza tra prodotti attesi (blu) e prodotti conferiti relativi all’area del valutato (rosso).
Il documento non fornisce la percentuale di soggetti totalmente inattivi, ovvero di coloro che non hanno conferito nemmeno un prodotto della ricerca. Se tutti i prodotti mancanti fossero imputabili a soggetti totalmente inattivi, la loro percentuale uguaglierebbe, almeno in prima approssimazione, la percentuale di prodotti mancanti (1) e sarebbe pari al 5,3%. Tuttavia, è ragionevole pensare che esistano soggetti “parzialmente inattivi” che hanno caricato solo 1 o 2 prodotti della ricerca invece dei 3 prodotti attesi. Per tale ragione, la percentuale di soggetti totalmente inattivi è inferiore al 5,3% mentre la somma di quelli totalmente e parzialmente inattivi è necessariamente maggiore del 5,3%. È ovviamente auspicabile che, contestualmente alla pubblicazione dei risultati della VQR, l’ANVUR rilasci statistiche più precise sulle percentuali di soggetti inattivi.
Un’altra questione aperta è sapere quanti dei prodotti risulteranno “non valutabli” ed andranno pertanto sottratti dal computo, alzando in tal modo la percentuale di prodotti mancanti ed anche quella dei soggetti inattivi. Ricordiamo la definizione di “prodotto non valutabile”:
la pubblicazione appartiene a tipologie escluse dal presente esercizio o presenta allegati e/o documentazione inadeguati per la valutazione o è stata pubblicata in anni precedenti o successivi al settennio di riferimento (peso -1).
A causa della pesante penalizzazione (un prodotto non valutabile ha un punteggio uguale e contrario a quello di un prodotto eccellente) gli atenei dovrebbero aver prestato attenzione alla tipologia e alla documentazione dei prodotti caricati. A maggior ragione, è lecito attendersi che i casi di plagio o frode (peso -2) siano limitati. Tuttavia, anche in questo caso, sarà bene attendere i dati ufficiali.
Prima di chiudere, torniamo però alla domanda del titolo: il 5,3% dei prodotti mancanti sono pochi o sono tanti? Se per Sergio Benedetto, coordinatore della VQR, il dato “testimonia un’attività buona dei docenti e ricercatori”, due altri membri del Consiglio Direttivo ANVUR, pur riconoscendo che “non sono molti”, ritengono che non avrebbero dovuto proprio esistere:
Il dato relativo alla valutazione della ricerca mostra che mancano il 5,3% dei prodotti attesi, il che vuol dire che cinque docenti su cento non hanno scritto neppure un articolo tra il 2004 e il 2010. Oppure ne hanno scritto solo uno, o due, e in tal caso la percentuale cresce. Non sono molti, per carità, ma non dovrebbero proprio esistere.
Giuseppe Novelli e Andrea Bonaccorsi, Il Messaggero 22-9-2012
Da un punto di vista scientifico, sarebbe interessante cercare una risposta effettuando un raffronto con le percentuali di inattività in altre nazioni. Purtroppo, non è agevole farlo con riferimento al RAE inglese perché in quel caso le strutture sottopongono alla valutazione solo un sottoinsieme di ricercatori, appositamente selezionato per ottimizzare i risultati della propria valutazione.
Link al documento ANVUR: Statistiche sui prodotti conferiti e commenti preliminari
(1) In questa valutazione preliminare, trascuriamo la disomogeneità tra soggetti valutati afferenti alle università e soggetti valutati afferenti agli enti pubblici di ricerca. Dai secondi era atteso il conferimento di sei prodotti di ricerca. Pertanto, le stime della percentuale complessiva dei soggetti inattivi dovrebbero tener conto delle diverse percentuali di inattività nelle università e negli enti di ricerca, un dato attualmente non disponibile.
Chiunque abbia visitato una certa percentuale di dipartimenti, soprattutto all’estero, sa che in un qualsiasi posto c’è sempre un certo numero di professori che non hanno prodotto alcuna pubblicazione negli ultimi anni (e all’estero non ne ho visti meno che in Italia). Si tratta spesso di persone che o sono vicine alla pensione (avendo poi prodotto in passato) e/o che per esempio controbilanciano con una maggiore attività didattica e/o organizzativa, essendosi dedicati appunto all'”altra faccia” (corsi di servizio massivi, ad esempio, direzione di dipartimento etc). Si tratta di un’aspetto particolarmente noto della vita di un dipartimento, al punto che, per esempio, in molte nazioni (states compresi) ci son dei profili di docenti dedicati esclusivamente alla didattica. E’ un fatto fisiologico, che per esempio trova raffronto nella percentuale del 9% di prodotti mancanti nelle Scienze Fisiche e Matematiche, che non vuol dire che in quei campi si “produce” di meno, ma che molta della produzione ci concentra nell’età giovanile (come noto). Da questo punto di vista, una percentuale complessiva non del 5%, ma dello 0% cento, come auspicato da qualcuno, sarebbe del tutto sorprendente. Dallo stesso punto di vista, una percentuale del 5% non pare essere un risultato cattivo. Sempre in altri paesi poi, esistono assetti che prevedono università con maggior enfasi sulla ricerca (in cui queste percentuali quasi si azzerano) e altre con maggiore enfasi sulla didattica (in cui le percentuali salgono di molto); da noi è tutto spalmato, ecco l’emergere del 5%, appunto. (Naturalmente, osservazione en passant, chi poi fa uso strumentale di quel 5% per denigrare la ricerca in Italia, spesso coincide con chi predica la superiorità indiscussa proprio di quei sistemi universitari in cui si realizza tale separazione).
Valutare un dipartimento come tale significa anche, soprattutto alla luce delle riforma Gelmini, valutare in toto le sue attività, di ricerca e didattica, cosa che la VQR ovviamente non fa, non invitando quindi a leggere quel 5% in maniera corretta. Strano, perché poi, sui giornali, quando si assiste alla solita gara di demagogia sull’università, si parla sempre e (colpevolmente) solo di didattica, facendo finta di pensare agli studenti, e poco di ricerca. D’altra parte però la VQR valuta la ricerca.
La cosa che però trovo veramente singolare, è che la VQR attuale chiede solo tre lavori per ogni membro di un dipartimento: sottostima quindi le persone più produttive dando specularmente peso maggiore alla parte meno produttiva. Una valutazione che sembra fatta per enfatizzare il peggio. Ma a noi italiani, si sa, piace fare così, a noi piace dire che facciamo sempre male. E infatti poi ci facciamo male.
La scelta di chiedere solo tre lavori imita il RAE inglese, il cui scopo è incentivare l’eccellenza ed evitare di incoraggiare l’inflazione di lavori
scientifici mediocri. Tuttavia, nel RAE non c’è traccia di “caccia al fannullone” perché le strutture decidono autonomamente chi sottoporre a valutazione. Se un docente fa solo didattica oppure è gravato di altri compiti (amministrativi o altro) non entra nella valutazione, senza che ciò comporti punteggi negativi. Chiaramente, nel RAE il numero di docenti valutati – insieme all’esito della valutazione – finirà per determinare la distribuzione dei fondi. I punteggi negativi per i prodotti mancanti, mostrano che nella VQR italiana la commistione tra scienza e ideologia è strutturale al punto da essere insita nelle stesse regole. Punteggi negativi che hanno mandato in confusione il coordinatore della VQR (un ingegnere) che in un messaggio ai GEV aveva proposto una formula per la ripartizione della quota premiale senza accorgersi che potevano darsi delle divisioni per zero con esiti del tutto paradossali:
______________________
https://www.roars.it/vqr-gli-errori-della-formula-ammazza-atenei-dellanvur/
______________________
Un mio collega matematico, dopo essere venuto al corrente delle potenziali divisioni per zero, ha subito individuato l’origine dell’errore (tentare di definire una “combinazione convessa” senza sincerarsi che non ci siano coefficienti negativi) e ha bonariamente irriso la mia laurea in ingegneria: “anche la combinazione convessa con coefficienti negativi mi è toccato vedere; senza offesa, ma solo un tuo collega ingegnere poteva arrivare a tanto”. Che dire? Mio padre, ingegnere anche lui, mi avrebbe dato una pacca sulla spalla dicendo: “lo vedi che non ci sono più gli ingegneri di una volta!”. Ma grazie alla valutazione torneremo agli antichi fasti, mettendo in un angolo colleghi improduttivi e incompetenti. E non dovrò più vergognarmi dei miei colleghi (forse).
Infatti, Giuseppe, la scelta di chiedere solo tre lavori è ottima, poiché come dici pone un limite alla sovraproduzione, che spesso si risolve nella ricerca incrementale se non nella riproduzione. Il problema che intendevo enfatizzare è che è sbagliato chiedere lo stesso numero di lavori a tutti. Il CIVR aveva secondo me fissato dei canoni di analisi molto migliori: ogni dipartimento presenti il meglio, con un limite fissato dal numero degli afferenti totale. Che spetti poi al singolo dipartimento trarre le dovute conclusioni.
Concordo in assoluto. Adesso i soliti superficiali della valutazione tireranno fuori che i matematici sono i più fannulloni di tutti. Vorrei solo far notare, ad esempio, che Andrew Wiles, quello che ha dimostrato il Teorema di Fermat, è stato cinque anni senza pubblicare lavori, e prima ne ha pubblicati pochissimi. Un dipartimento italiano sarebbe stato penalizzato dall’ANVUR, se avesse avuto Wiles tra le sue fila! Invece ho dei colleghi “umanisti” che riciclano lo stesso lavore tre o quattro volte (che, per carità, non c’è nulla di male, se si usa così). La quantità di lavori richiesta per “non essere puniti” deve essere rapportata al settore disciplinare.
(sottinteso: ammesso e non concesso che si debba per forza “punire” in questo modo…)