Cronache dall’Università del Pontevedro (I). Criteri per la valutazione dei candidati RU e PA per le chiamate di posti PA/PO (legge Gelminovic art. 24 c.6)

La reputazione è una inutile e assai falsa imposizione,

spesso guadagnata seza merito e persa senza colpa.

Shakespeare, Otello II:3

1. PREMESSA

In un precedente articolo avevamo richiamato l’Università del Pontevedro per problemi di democrazia statutaria sollevati dal Prof. Dalinovitsch. Questa volta si tratta delle procedure di chiamata di posti di PA e PO regolamentati con la solita diabolica complessità dalla legge di riforma universitaria Gelminovic, che andrebbe riformata, secondo il Professore, il prima possibile, dopo un quinquennio di interpretazioni autentiche, modifiche, innumerevoli decreti attuativi, applicazioni/disapplicazioni che l’hanno resa sempre più ingestibile dall’Università pontevedrina.

La legge in questione prevede varie possibilità di chiamata dei posti di PA e PO. L’art. 18 Chiamata dei professori al c.1, prevede uno specifico Regolamento di Ateneo per disciplinare tale chiamata nel rispetto di alcuni criteri, precisati alle diverse lettere riportate:

• b) ammissione al procedimento di studiosi in possesso dell’abilitazione per il settore concorsuale e per le funzioni oggetto del procedimento con la limitazione di incompatibilità per parentela o affinità, applicata dalla lettera c), anche al conferimento degli assegni di ricerca e a contratti di qualsiasi tipo
• …
• d) valutazione delle pubblicazioni scientifiche, del curriculum e dell’attività didattica degli studiosi di cui alla lettera b). Le università possono stabilire il numero massimo delle pubblicazioni in conformità a quanto prescritto dal decreto di cui all’articolo 16, comma 3, lettera b) (che scrive in ogni caso non meno di 12), e accertare, oltre alla qualificazione scientifica dell’aspirante, anche le competenze linguistiche necessarie…

L’art. 24 Ricercatori a tempo determinato distingue tra chiamate per PA di RTD al c.5 e chiamate per PA e PO di RU e PA al c.6:

• 5. Nell’ambito delle risorse disponibili per la programmazione, nel terzo anno di contratto di cui al comma 3, lettera b) (RTD di tipo b), l’università valuta il titolare del contratto stesso, che abbia conseguito l’abilitazione scientifica… In caso di esito positivo della valutazione, il titolare del contratto, alla scadenza dello stesso, è inquadrato nel ruolo dei professori associati. La valutazione si svolge in conformità agli standard qualitativi riconosciuti a livello internazionale individuati con apposito regolamento di Ateneo nell’ambito dei criteri fissati con decreto del Ministro… (stabiliti poi con il successivo DM 4/08/2011 n. 344)
• 6. Nell’ambito delle risorse disponibili per la programmazione, fermo restando quanto previsto dall’articolo 18, comma 2, dalla data di entrata in vigore della presente legge e fino al 31 dicembre del sesto anno successivo, la procedura di cui al comma 5 può essere utilizzata per la chiamata nel ruolo di professore di prima e seconda fascia di professori di seconda fascia e ricercatori a tempo indeterminato in servizio nell’università medesima, che abbiano conseguito l’abilitazione scientifica…

Nel caso specifico del c.6 art.24 si precisa che…la procedura di cui al comma 5 può essere utilizzata per la chiamata… La procedura dovrebbe riguardare, ovviamente, anche lo svolgimento della valutazione, come scritto al c.5, anche se il c.6 riguarda, invece di RTD, RU e PA.

Il Regolamento per le chiamate dei Professori di I e II fascia (RC-PA/PO) emanato dall’Università del Pontevedro distingue, però, dettagliatamente per lo svolgimento delle valutazioni tra c.5 e c.6.

Per il c.5 (art.24) il precedente RC-PA/PO all’art. 9 scrive come nella legge: la valutazione si svolge in conformità con gli standard qualitativi riconosciuti a livello internazionale, individuati con regolamento di ateneo (si autocita il RC-PA/PO come se fosse un alias…), secondo i criteri fissati con decreto del ministro. Stranamente tale art. 9 del RC-PA/PO non cita affatto il DM 4/08/2011 n. 344 pur essendo successivo di quasi un anno.

Per il c.6 (sempre art.24) il RC-PA/PO art. 10 c.2. scrive: Nella delibera adottata ai sensi del precedente comma 1, il Senato Accademico definisce i criteri ai quali i dipartimenti devono attenersi nella individuazione dei candidati da sottoporre a valutazione, accordando un particolare rilievo agli esiti della valutazione condotta dall’Ateneo sulla produttività scientifica e l’attività didattica dei candidati medesimi. Sono altresì valutati eventuali qualificati incarichi presenti nel curriculum conferiti dagli Organi di Governo dell’Ateneo e/o del Dipartimento.

2. DELIBERA DEL SA SUI CRITERI DI VALUTAZIONE AI SENSI DEL COMMA 6 ART. 24

Su proposta del MR, il Senato Accademico (SA) dell’Università del Pontevedro nel 2013 delibera i criteri per la valutazione dei candidati RU/PA a posti di PA/PO. Viene approvata una Tabella di criteri (uguale nella sostanza alla Tabella A riproposta nel 2015 per i soli Ricercatori, vedi qui di seguito), che trova il consenso del SA con una leggera modifica sulla Tabella inizialmente proposta. Gli interventi dei Senatori sono quasi tutti di ringraziamento e di plauso alla proposta del MR: al di la del cerimoniale, insito in tali strutture e situazioni, si materializza un consenso quasi totale sull’insieme della proposta, con piccoli distinguo su aspetti marginali e, alla fin fine, ininfluenti. Nessuno dei Senatori, ed ovviamente il MR, si pone il problema: ma come si calcola il tutto? E una volta calcolati i micro-indicatori di tabella, come si calcola il macro-indicatore finale per il singolo candidato?

Del resto tale Tabella non viene rispettata e, nell’urgenza, ogni dipartimento si muove alla meglio mettendo a bando nel 2013/2014 prima la chiamata di PA mediante procedura selettiva di cui all’art.18, c.1 e poi secondo la procedura valutativa di cui all’art. 24 c.6: i posti per PA sono finanziati dal piano straordinario associati previsto dal Ministero.

Nel giugno 2015 si ritorna sulla questione dei bandi per le chiamate di PA e PO con ulteriore delibera di SA su proposta del MR. Vengono approvate due tabelle per l’individuazione dei RU e dei PA da sottoporre a valutazione secondo art. 24 c.6 (legge Gelminovic).

*Per quanto riguarda i parametri legati alla didattica, per i ricercatori che hanno preso servizio nell’ultimo quinquennio il calcolo si effettua con decorrenza dalla data della presa di servizio

*Per quanto riguarda i parametri legati alla didattica, per i professori che hanno preso servizio nell’ultimo triennio il calcolo si effettua con decorrenza dalla data della presa di servizio.

Si aggiunge come spiegazione delle tabelle:

• Il parametro legato alla didattica della tabella A) e B) relativo alla valutazione del docente da parte degli studenti è pesato effettuando una preventiva suddivisione degli insegnamenti per gruppi, in base al numero di studenti (1-10; 11-25; 26-50; oltre 50) che hanno effettuato la valutazione, e una successiva standardizzazione dei dati finali.
• Per il parametro della ricerca dell’area bibliometrica è istituita una commissione istruttoria interna al Senato per definire la corretta procedura e metodologia di calcolo.
• Nel caso in cui nel dipartimento siano presenti candidati appartenenti all’area umanistico-sociale e a quella tecnico-scientifica, il Consiglio di Dipartimento utilizza i predetti criteri per la valutazione dei candidati di ciascuna area, mediante separate graduatorie, individuando poi il/i candidato/i in base alle esigenze della didattica e della ricerca.

La Commissione Istruttoria del SA per il parametro della ricerca dell’area bibliometrica si mette subito al lavoro, stante l’oscurità dei criteri stabiliti, e nel luglio 2015 fornisce i dovuti chiarimenti operativi sulla corretta applicazione della metodologia dei Quartili: chiarimenti non scevri da ulteriori complicazioni e oscurità (vedi di seguito).

3. ANALISI CRITICA DELLA TABELLE A E B

Un’attenta analisi critica delle assunzioni presenti nelle Tabelle è necessaria, prima ancora di capire come poi elaborare i vari micro-indicatori per arrivare al macro-indicatore finale del singolo candidato.

Il peso diverso che viene attribuito ai Ricercatori e PA per la DIDATTICA e per la RICERCA nelle Tabelle A e B sembra abbastanza cervellotico. Per i Ricercatori in Tabella A la DIDATTICA pesa per un 45% (più o meno 5%), per i PA in Tabella B solo per un 30%, in corrispondenza in Tabella A la RICERCA pesa per i ricercatori per un 45% (più o meno 5%), per i PA in Tabella B per ben un 60%. Tali pesi sono appropriati? Un Ricercatore non dovrebbe fare prevalentemente Ricerca ed un Professore non dovrebbe fare più Didattica? Sembra, dai parametri assunti, un mondo alla rovescia: i ricercatori vengono valutati con pesi circa uguali per didattica e ricerca (al massimo con una differenza del 10%), mentre i PA poco per la didattica e di più per la ricerca (30% contro il 60%, pari al doppio).

Tutto ciò rimane assai incomprensibile… come la limitazione delle valutazioni ai soli ultimi tre anni per PA e cinque anni per RU… Perché? Una valutazione così limitata negli anni soprattutto per PA e RU ha scarso senso. Nel caso delle scienze dure gli indicatori disponibili non sono sufficientemente stabilizzati, nel caso delle scienze umane la finestra temporale risulta troppo breve data la discontinuità della produzione scientifica in queste aree: spesso a periodi di apparente inattività seguono periodi di grande attività.

Ancora di più, nel Regolamento pontevedrino per l’attribuzione delle risorse di cui all’articolo 29, c.19, sempre della Legge Gelminovic, per quanto riguarda i professori, il peso di ciascun criterio è pari al 45% per la didattica, al 45% per la ricerca e al 10% per gli incarichi istituzionali. Per quanto riguarda i ricercatori, il peso di ciascun criterio è pari al 30% per la didattica, al 60% per la ricerca e al 10% per gli incarichi. L’opposto di quanto previsto nelle Tabelle A e B.

Perché queste politiche confusionali dell’Ateneo pontevedrino? Che ci sia un refuso nel verbale del SA relativo alle Tabelle A e B?

Inoltre il DM 4/08/2011 n. 344, già richiamato, di attuazione dell’art. 24 c.5 della Gelminovic, stabilisce i criteri per la disciplina, da parte degli Atenei, della valutazione dei ricercatori a tempo determinato, in possesso dell’abilitazione scientifica nazionale, ai fini della chiamata nel ruolo di professore associato. Tale decreto sembrerebbe applicarsi anche al c.6 dello stesso art. 24. In particolare gli articoli 3 e 4 di tale decreto (344/2011) sembrano molto più esaustivi e chiari delle Tabelle A e B precedenti.

Passando a considerare i singoli micro-indicatori, si possono avanzare le seguenti osservazioni

A.1.1 CFU COMPLESSIVAMENTE IMPARTITI DAL CANDIDATO (media ultimo quinquennio Accademico)

I CFU impartiti dai candidati sono considerati tutti uguali, di pari peso, ma sembra una forzatura. L’impegno didattico per impartire un insegnamento (6 CFU in genere) è notevolmente diverso se relativo ad una coorte di oltre 100 studenti, rispetto a quello richiesto per coorti di meno di 10 studenti: come esami, ricevimento degli studenti, compiti da esonero da correggere… Alcuni insegnamenti possono essere obbligatori (di corso o di curriculum), altri invece alternativi tra più opzioni (eventuali profili presenti), con diversa numerosità di studenti. I CFU impartiti andrebbero pesati o in funzione degli esami sostenuti nello stesso quinquennio per quell’insegnamento o con il numero teorico di studenti iscritti a quell’insegnamento o in altra maniera similare.

B.1.1 NUMERO DI CFU EROGATI SUPERIORI A QUELLI PREVISTI DALL’OBBLIGO DIDATTICO(12 CFU)  (media ultimo triennio accademico)

CFU erogati superiori all’obbligo didattico? Ma se sono supplenze a pagamento questi CFU devono essere ancor più considerati? Come si controlla l’effettivo svolgimento di questi insegnamenti (possono essere solo nominali sulla carta, ma non effettivamente erogati)? Come si tiene conto della numerosità degli studenti che sono obbligati a questi insegnamenti? Come si pesano insegnamenti obbligatori di corso, ad esempio, rispetto a quelli di curriculum o di profilo?

A.1.2 VALUTAZIONE DEL DOCENTE DA PARTE DEGLI STUDENTI (media nell’ultimo quinquennio, domande su chiarezza espositiva e soddisfazione)

B.1.2 VALUTAZIONE DEL DOCENTE DA PARTE DEGLI STUDENTI (media nell’ultimo triennio, domande su chiarezza espositiva e soddisfazione)

Questo è il più approssimativo dei criteri: sembra che non si abbia idea di quelli che sono i questionari prima MIUR, poi ANVUR, obbligatori sulla didattica. Sono previste una serie innumerevole di domande sulla didattica e non solo due, per gli ultimi AA:

15       Le modalità di esame sono state definite in modo chiaro?

16       Gli orari di svolgimento dell’attività didattica sono rispettati?

17       Il personale docente è effettivamente reperibile per chiarimenti e spiegazioni

18       Le lezioni sono aderenti al programma descritto nella presentazione dell’insegnamento?

19       La quantità di argomenti trattati nelle lezioni è dimensionata correttamente?

20       Le conoscenze preliminari da me possedute sono risultate sufficienti per la comprensione degli argomenti trattati?

21       Il docente stimola/motiva l’interesse verso la disciplina da lui insegnata?

22       Il docente espone gli argomenti in modo chiaro?

23       Il docente risponde esaurientemente alle richieste di chiarimento?

24       Il docente manifesta apertura al confronto di opinioni?

25       Le lezioni vengono di norma svolte dal docente titolare?

26       La frequenza alle lezioni è accompagnata da una regolare attività di studio?

27       Il carico di studio richiesto da questo insegnamento è proporzionato ai crediti assegnati?

28       Il materiale didattico (indicato o fornito) è adeguato per lo studio della materia?

29       Le attività didattiche integrative (esercitazioni, laboratori, seminari) sono utili ai fini dell’apprendimento?

30       Le aule in cui si svolgono le lezioni sono adeguate? (si vede, si sente, si trova posto)

31       I locali e le attrezzature per le attività didattiche integrative sono adeguati

32       Sono interessato agli argomenti di questo corso? (indipendentemente da come è stato svolto)

33       Sono complessivamente soddisfatto di come è stato svolto questo insegnamento

La didattica non è solo chiarezza di esposizione in aula o soddisfazione sullo svolgimento dell’insegnamento: ma anche materiali didattici forniti, disponibilità del docente in aula, puntualità, chiara definizione delle modalità di esame, fino alla presenza effettiva del docente titolare in aula… Così come sono scritti, i micro-indicatori A.2.1 e B.2.1 potrebbero, addirittura, comportare che non viene valutato il docente titolare (di norma assente), ma il suo sostituto non titolare (di norma presente)…

Inoltre, le risposte ai questionari studenteschi sono tradizionalmente: Decisamente No, Più No che Si, Più Si che No, Decisamente Si, che possono essere elaborate in vario modo, ad esempio: percentuale complessiva dei SI rispetto al totale delle risposte od assegnare, metodo più tradizionale, un valore numerico alle risposte. All’Università del Pontevedro si adotta: 1, 2, 3 e 4 nell’ordine per le varie risposte che è una scala dei voti in cui non esiste zero (e pari come scala a 2,5-10 e media 6,25) e per questo incrementa tutte le medie. La scala dei voti dovrebbe essere correttamente: 0, 1, 2, 3 (scala 0-10 e media 5). L’errore, tuttavia, è sistematico per tutti i questionari e non si ripercuote nelle eventuali classifiche calcolate.

Viene anche scritto nei commenti alle Tabelle A e B:

Il parametro legato alla didattica della tabella A) e B) relativo alla valutazione del docente da parte degli studenti è pesato effettuando una preventiva suddivisione degli insegnamenti per gruppi, in base al numero di studenti (1-10; 11-25; 26-50; oltre 50) che hanno effettuato la valutazione, e una successiva standardizzazione dei dati finali.

Come deve avvenire tale standardizzazione? Peso 1 per numero di studenti oltre 50; peso 0,9 per numero 26-50; peso 0,7 per numero 11-25; peso 0,5 per numero 1-10? O come? Con quale altro metodo o con quali altri valori dei pesi?

A.1.3 TESI SEGUITE (media ultimo quinquennio)

B.1.3 TESI SEGUITE (media ultimo triennio) punteggio differenziato per tipologie di tesi secondo criteri fissati dai dipartimenti – Tesi Lauree Triennali, Tesi Lauree Magistrali, Tesi Lauree Dottorato

Non si capisce perché il punteggio differenziato per tipologia di tesi per PA, ma non per i Ricercatori. Se è un refuso è meglio non infierire… Conviene solo commentare che con le Tesi di Laurea Triennale si complica, di molto, la percorrenza degli studenti che solo in piccolissimo numero riescono a laurearsi nei tre anni previsti… Il DM 270/2004 scrive solo di Prova Finale per i corsi di laurea triennale e magistrale.

A.2.1 METODO DEI QUARTILI¹ (comparazione delle percentuali dei differenti quartili ultimo quinquennio)

B.2.1 METODO DEI QUARTILI¹ (comparazione delle percentuali dei differenti quartili ultimo triennio)

La locuzione sopra per il micro-indicatore è assai oscura, oltre che bizzarra, tanto che si fa ricorso alla Commissione apposita del SA pontevedrino, già indicata, per cercare di fare un po’ di luce:

• Vengono considerate tulle le pubblicazioni dell’ ultimo triennio, “pesate” sulla base del contributo dell’Autore, come segue:
  • Si considerano solo le pubblicazioni che hanno un quartile. (NdT: a rigore non sono le pubblicazioni che hanno un quartile, ma le riviste in cui sono pubblicate…)
  • La pubblicazione ha valore pieno (100%) se il candidato è primo o ultimo autore o corresponding author.
  • La pubblicazione ha valore parziale se il candidato è uno dei coautori non nelle condizioni precedenti: la pubblicazione viene valutata all’80% se il candidato è secondo autore; al 70% se è terzo autore.
  • Se il candidato non è in nessuna delle condizioni precedenti ed il numero complessivo degli autori è 4>n°>8 viene valutata al 60%; per n°>8 al 50%.
• II METODO DEI QUARTILI viene applicato a tutte le pubblicazioni dell’ultimo triennio “pesate” come sopra, con il seguente valore relativo: Q1 55%; Q2 30%; Q3 10%; Q4 5%
  • Provenienza del quartile di riferimento: Web of Science.
  • Si considera il ranking relativo alla rivista dell’anno in cui si effettua la valutazione.

Già l’apertura è infelice con “Vengono considerate tulle le pubblicazioni dell’ ultimo triennio…” quando il triennio è considerato per la Tabella B, mentre si scrive di quinquennio per la Tabella A. Inoltre non è corretto considerare per la valutazione di singole pubblicazioni la qualità della relativa rivista (quartile), è un metodo erroneo già a lungo dibattuto in letteratura (Baccini¹, 2013: S. Francisco declaration): è come valutare la qualità di un contenitore per giudicare la qualità del contenuto… Le pubblicazioni vanno considerate con altri indici bibliometrici diversi da quelli di valutazione delle singole riviste.

Sembra una sciabolata (estremamente utile per la verità per aggredire il problema) quella del peso da attribuire al singolo autore di un lavoro a più nomi. Ma se gli stessi autori dichiarano il peso dei contributi di ciascuno nel lavoro, questa dichiarazione deve essere presa in considerazione o no? La posizione del primo o ultimo autore non ha un carattere omogeneo (normato) in letteratura per stabilire la preminenza di un autore rispetto agli altri ed il corresponding author non è detto che sia un autore preminente, inoltre, se la lista degli autori è in ordine alfabetico, deve essere pesata sempre la preminenza del primo e dell’ultimo autore? Ma una pubblicazione con più autori, sommando i diversi contributi, può valere in complesso più di uno? Per i criteri della Commissione SA una pubblicazione vale 1 punto, se a 1 nome; 2,0 per 2 nomi, se si applica il criterio: primo ed ultimo autore; 2,8 a tre nomi (o 3 se si applica anche il criterio del corresponding author coincidente con il secondo autore)… e tende ad infinito per autori tendenti all’infinito…

La cosa migliore sarebbe che siano le stesse riviste a chiedere sempre il contributo di ogni singolo autore della lista, i criteri seguiti e a stampare il tutto in chiaro, ammesso e non concesso che ci sia un accordo generale sul metodo da impiegare. Sciabolata per sciabolata, in assenza di dichiarazioni del contributo di ciascun autore nella lista: peso 1/(numero autori) per nomi degli autori in ordine alfabetico; peso 0,6 al primo nome se non in ordine alfabetico e ai restanti peso 0,4/(numero degli autori -1), senza tante complicazioni diaboliche. Il terreno rimane, tuttavia, assai scivoloso, con punti di vista, ben argomentabili, che possono essere diametralmente opposti… Forse un punto di equilibrio andrebbe trovato tra la proposta della Commissione SA e la proposta provocatoria avanzata più sopra. Si segnala un metodo basato sul concetto di media armonica, particolarmente elegante ed utile in De Bellis¹ 3.2.D) Rank-dependent counting, ammesso che non siano presenti guest o ghost authorship.

Da sottolineare che nel DM 344/2011 si parla espressamente all’art.4 c.3 lettera d) per la valutazione delle pubblicazioni di determinazione analitica, anche sulla base di criteri riconosciuti nella comunità scientifica internazionale di riferimento, dell’apporto individuale del ricercatore nel caso di partecipazione del medesimo a lavori in collaborazione. Come ben sanno i commissari di concorso per posti di professore in questi ultimi decenni, questa tradizionale specifica, presente anche nei bandi di concorso passati, veniva soddisfatta nei verbali di lavoro della Commissione con una frasetta apposita, più o meno standard, con riferimento alla continuità di ricerca del candidato negli specifici campi di ricerca coltivati.

Il peso dei quartili Q1 pari al 55%; Q2 al 30%; Q3 al 10%; Q4 al 5%, poi, è diverso rispetto ad un’altra pesatura presente nel Regolamento pontevedrino per l’attribuzione delle risorse di cui all’articolo 29, c. 19 della Legge Gelminovic. In tale Regolamento pontevedrino il peso attribuito ai quartili risulta: punteggio 3 punti per ogni pubblicazione nel 1° quartile; 2 punti per ogni pubblicazione nel 2° quartile, 1 punto per ogni pubblicazione nel 3° quartile, che corrispondono al 50%, 33%, 17% e 0% rispettivamente.

Inoltre le due righe finali del documento della Commissione sembrano marziane. Ad esempio per Web of Science (WoS) nel 2014, la rivista Biosystems Engineering presenta in Category Name, Q2 per AGRICULTURAL ENGINEERING e Q1 per AGRICULTURE, MULTIDISCIPLINARY. Come si deve procedere in questo caso? Inoltre i quartili della rivista perché vanno riferiti all’anno di valutazione, invece che all’anno di stampa del lavoro? Infine, perché ignorare SCImago per i quartili, che presenta una copertura più ampia di riviste e di Category con una più facile e maggiore individuazione della collocazione dei lavori?

Il problema fondamentale, tuttavia, rimane che i quartili si riferiscono alle riviste, non alle singole pubblicazioni: si confonde il contenitore con il contenuto. Ed è altamente illogico pesare questo micro-indicatore con un 70% nell’ambito del criterio relativo alla Ricerca.

A.2.2 CITAZIONI (standardizzazione subject category)

B.2.2 CITAZIONI (standardizzazione subject category)

Rimane misterioso come individuare le citazioni: WoS, SCOPUS, Google-Scholar? Tali banche dati possono fornire un numero di citazioni molto diverso a parità di articolo, con campo di variazione assai elevato. Vanno utilizzate tutte e tre e poi va calcolata la media aritmetica o una medi pesata, con pesi da stabilire? Valgono come per i quartili tutte le pubblicazioni per l’ultimo quinquennio/triennio? Le citazioni vanno pesate in funzione del numero degli autori come per i quartili o no? Probabilmente si sottostima il lavoro necessario per la “standardizzazione subject category“: con quale metodo, se necessario? E soprattutto chi lo fa e chi certifica ciò che è stato fatto?

A.2.3 CAPACITÀ DI ATTRAZIONE FONDI E/O COORDINAMENTO DI PROGETTI DI RICERCA

B.2.3 CAPACITÀ DI ATTRAZIONE FONDI E/O COORDINAMENTO DI PROGETTI DI RICERCA

In effetti qui ci sono due micro-indicatori in uno, se vale la congiunzione “e“, con valore del 10% in totale:

1. capacità di attrazione fondi che dovrebbe significare “soldi” di ricerca acquisiti, per un 5%?
2. coordinamento di progetti di ricerca, come numero di progetti coordinati, per l’altro 5%?

Se non si fanno queste o altre specifiche, non si sa come mettere insieme gli euro dei fondi con il numero dei progetti coordinati… a meno che non valga la disgiunzione “o“… Ma per un candidato si può scegliere la congiunzione (e) e per un altro si può scegliere la disgiunzione (o)?

               AREA NON BIBLIOMETRICA

A.3.1 PEER REVIEW DELLE MIGLIORI 3 PUBBLICAZIONI PROPOSTE DAL CANDIDATO CON COMMISSIONE NOMINATA DAL DIRETTORE DEL DIPARTIMENTO (previa delibera del consiglio)

B.3.1 PEER REVIEW DELLE MIGLIORI 3 PUBBLICAZIONI PROPOSTE DAL CANDIDATO CON COMMISSIONE NOMINATA DAL DIRETTORE DEL DIPARTIMENTO (previa delibera del consiglio)

Meglio non entrare nei problemi che possono presentarsi in una commissione di valutazione di candidati (dal giurista allo storico, al sociologo…) di numerosi settori concorsuali (SC) non bibliometrici di un grande dipartimento. Con quali criteri questa commissione lavora per una classifica finale tra candidati con diversi SC? Solo, come riferimento, si possono meditare i criteri forniti dal DM 344/2011 per la valutazione dell’attività della ricerca scientifica del candidato, ed in particolare delle sue pubblicazioni scientifiche.

A.4.1 QUALIFICATI INCARICHI CONFERITI E SVOLTI NELL’INTERESSE DEL DIPARTIMENTO E DELL’ATENEO

B.4.1 QUALIFICATI INCARICHI CONFERITI E SVOLTI NELL’INTERESSE DEL DIPARTIMENTO E DELL’ATENEO

Ma la durata dell’incarico nel quinquennio/triennio non conta? Forse si dovrebbe considerare il singolo incarico svolto per gli anni e frazioni di anno di copertura.

4. ELABORAZIONE DEI MICRO-INDICATORI PER OTTENERE IL MACRO-INDICATORE FINALE

Rimane misterioso, una volta calcolati i vari micro-indicatori per i diversi candidati in graduatoria, come normalizzarli per poi calcolare, secondo i diversi pesi della tabella, il macro-indicatore caratteristico del singolo candidato. Ad esempio se si hanno sulle righe i vari candidati (n di numero), il micro-indicatore A in colonna presenta diversi valori a_i (con i da 1 ad n), se il massimo di A è a_max, e il minimo è a_min è possibile normalizzare:

1. rispetto ad a_max, cioè a_i/a_max con valori normalizzati sempre diversi da zero (se qualsiasi a_i è diverso da zero), con massimo 1
2. con la formula (a_i-a_min)/(a_max-a_min) con valori normalizzati compresi tra zero ed 1.

Il primo metodo cristallizza in una certa misura la variabilità di A, mentre il secondo metodo aumenta la variabilità di A. I due metodi danno delle graduatorie diverse soprattutto se nei diversi micro-indicatori, i valori si presentano non molto diversi l’uno dall’altro, che il secondo metodo divarica. Il primo metodo è stato utilizzato in precedenti graduatorie per la valutazione dei posti a concorso fin dai tempi delle Facoltà, il secondo sempre escluso. Ma come calcolare nel caso specifico in assenza di indicazioni il macro-indicatore per le Tabelle A e B: i dipartimenti sono liberi di adottare per i micro-indicatori il metodo di normalizzazione che vogliono?

5. CONSIDERAZIONI CONCLUSIVE

Il Prof. Danilovitsch è sempre più perplesso per le capacità gestionali dei vertici dell’Ateneo pontevedrino. Le Tabelle A e B presentano molti problemi di consistenza e di interpretazione e sembra strano che il MR dell’Università del Pontevedro con tutto il suo staff non abbia fornito chiarezza assoluta sui singoli criteri come bontà delle scelte e dei metodi di calcolo. Le tabelle presentano delle assunzioni discutibili e, nella pratica, non sono calcolabili affatto o meglio a calcolo aperto per le molte ipotesi da introdurre ad hoc. E’ stato chiesto ripetutamente da alcuni, di operare una simulazione delle tabelle in un caso reale, ma finora tale richiesta non è stata accolta.

Come scrive Copernico in un’opera minore (Lettera contro Werner sull’ottava sfera del 1524 sul problema, in linguaggio moderno, della precessione degli equinozi): So che una cosa è maltrattare qualcuno ed aggredirlo, un’altra correggerlo e rimetterlo nella strada giusta quando se ne è allontanato … Magari la mia critica potrà anche dare un contributo non insignificante al formarsi di una migliore comprensione dell’argomento… Così le considerazioni svolte possono aiutare il MR e l’Amministrazione pontevedrina a migliorare le valutazioni dei candidati a posti a concorso, superando l’atteggiamento dogmatico, tolemaico, che nega a priori qualsiasi contributo ai tolemaici/copernicani che popolano l’Ateneo: usi obbedir tacendo e tacendo morir… non è certo il motto dell’Ateneo pontevedrino, o un motto particolarmente utile per l’avanzamento delle scienze e della stessa democrazia interna.

Il Prof. Danilovitsch per il momento è sempre più avvilito, dopo i problemi di democrazia statutaria (vedi precedente articolo) ora ha interiorizzato anche i problemi delle graduatorie per le chiamate di PA e PO: che fare? Solo sperare in un’Università perfetta… che forse è più nei sogni che nella realtà… ma qualche volta perché non sognare?

N.B.: Ogni riferimento a persone esistenti e/o a fatti realmente accaduti è da ritenersi puramente casuale.

_______________________________________________________

¹Bibliografia assai sommaria e personale sugli argomenti trattati (Tutti gli URL citati sono stati consultati il 20/8/2015):

• Baccini A. (2010): Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici, Bologna, Il Mulino (disponibile ora solo come ebook)
• Baccini A. (2012): VQR-La Bibliometria fai-da-te dell’ANVUR (1/2). Misurare nani e giganti. ROARS 24/1/2012
• Baccini A. (2013): Dora. Contro la bibliometria-fai-da-te. ANVUR sempre più sola. ROARS 24/5/2013
• De Bellis N. (2014): Introduzione alla bibliometria: dalla teoria alla pratica, Roma, AIB (disponibile anche come ebook)
• De Nicolao G.(2012): VQR-La Bibliometria fai-da-te dell’ANVUR (2/2). La classifica di Nonna Papera ovvero Perché non si possono usare le medie dei ranks per classificare le riviste. ROARS 24/1/2012
• Faggiolani C. (2015): La Bibliometria, Roma, Carocci
• Swiss Academies of Arts and Sciences (2013): Authorship in scientific publications, Analysis and recommendations. Scientific Integrity Committee of the Swiss Academies of Arts and Sciences, Berna 2013
• Tim A., Wager E. (2003): How to handle authorship disputes: a guide for new researchers. The COPE Report 2003 (sull’etica della paternità degli articoli scientifici)
• Tscharntke T, Hochberg ME, Rand TA, Resh VH, Krauss J. (2007): Author sequence and credit for contributions in multiauthored publications. PLOS Biology. 2007;5;e18:13–4 (con discussione di alcuni metodi di ripartizione della paternità di un articolo scientifico tra più autori. Come esempio di complessità delle ripartizioni proposte in letteratura si può consultare oltre a De Bellis (2014) anche: Ash M.A. (2010): Generalized Linear Weights for Sharing Credits Among Multiple Authors. arXiv:1012.5477v1 [cs.DL] 25 Dec 2010)
• Wikipedia: Academic authorship (una pagina di wikipedia assai utile per un inquadramento generale del problema della paternità degli articoli scientifici)
• Wilsdon, J., et al. (2015): The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. DOI: 10.13140/RG.2.1.4929.1363
• Wouters, P. et al. (2015): The Metric Tide: Literature Review (Supplementary Report I to the Independent Review of the Role of Metrics in Research Assessment and Management). DOI: 10.13140/RG.2.1.5066.3520 (con un approfondito confronto tra WEB of SCIENCE, SCOPUS e Google Scholar a partire dalla letteratura disponibile)