Pubblichiamo l’intervista concessa a ROARS da Valerio Onida, Presidente Emerito della Corte Costituzionale, già Professore di Diritto Costituzionale presso l’Università Statale di Milano. Onida presiede l’Associazione Italiana dei Costituzionalisti, che ha presentato ricorso avverso l’allegato B del DM “criteri e parametri”.

Professor Onida, di recente c’è stato un certo rumore circa il ricorso presentato dall’Associazione da lei presieduta sulle cosiddette classifiche di riviste. Qualcuno ha perfino sostenuto che si tratti di una “reazione baronale” contro una valutazione intesa a sanare i mali dell’accademia. La vostra, si dice, è una difesa dello status quo. Come risponde?

Rispondo invitando i critici a entrare nel merito della questione che noi abbiamo posto col nostro ricorso. Che non  è affatto volto a contestare la necessità di attivare serie procedure di selezione dei docenti a livello nazionale, basate su valutazioni essenzialmente qualitative: ma contestare l’uso, per la selezione, di un criterio “quantitativo” (il numero di articoli pubblicati nell’ultimo decennio in riviste collocate nella classe A) applicato “retroattivamente. Infatti la classificazione delle riviste avverrebbe ora, ma su di essa si baserebbe la valutazione degli scritti pubblicati nello scorso decennio.

Ora, tutti sanno che nelle nostre discipline (area 12) finora chi ha pubblicato non ha badato tanto al “contenitore” (in quale rivista pubblicare) quanto al contenuto dello scritto. Adesso gli si dice: se hai pubblicato in riviste diverse da quelle collocate (ora) in classe A, i tuoi scritti valgono di meno. Tutti sanno, inoltre, che fino a pochissimo tempo fa le riviste non attuavano affatto criteri di selezione degli scritti da pubblicare basati sulla peer  review come oggi si va imponendo, cioè sull’esame a “doppio cieco” da parte di referees . Oggi le cose stanno cambiando, ma non ha senso classificare le riviste in base a elementi di oggi, e però attribuire a tale classificazione valore anche per “pesare” le pubblicazioni di ieri.

Quali principi dello Stato di diritto ritiene siano violati dal DM “Criteri e parametri”?

Quello che noi abbiamo impugnato è l’allegato B del regolamento 7 giugno 2012 n. 76, dove si stabiliscono i criteri per calcolare e valorizzare le famose “mediane”. Quello che secondo noi è violato è l’elementare principio dell’affidamento legittimo nei confronti delle norme che costituiscono il quadro nel cui ambito il cittadino agisce. La legge non può liberamente disporre in modo retroattivo (ora per allora): è un principio generale dell’ordinamento (“La legge non dispone che per l’avvenire: essa non ha effetto retroattivo”: art. 11 delle disposizioni preliminari al codice civile). Lo può fare, in determinate circostanze, in nome di determinati interessi generali  e con rigorosi limiti, senza violare il principio di affidamento, che appunto è un caposaldo dello Stato di diritto. Stato di diritto vuol dire che l’attività delle autorità pubbliche si fonda e si conforma alle norme, e quindi i i cittadini si aspettano legittimamente che le loro azioni od omissioni siano valutate in base alle norme che erano in vigore nel momento in cui sono state poste in essere, non che si cambino le carte in tavola a posteriori.

Cosa non funziona nel meccanismo di classificazione delle riviste per come è stato concepito?

La classificazione vorrebbe certificare il livello e l’impatto scientifico delle diverse riviste. Per avere un  valore, essa dovrebbe basarsi su elementi oggettivi, ed essere attuata da parte di soggetti che esprimono la comunità scientifica di riferimento (l’ANVUR invece è un’agenzia ministeriale i cui responsabili sono scelti dall’autorità politica, con procedure e criteri che non sembrano ispirati al massimo di trasparenza). E, naturalmente, non dovrebbe avere effetti retroattivi.

Cosa pensa dell’irruzione dell’audit culture nel sistema universitario italiano?

Se “audit culture” vuol dire affermazione piena di un sistema nel quale la selezione avviene sulla base di un controllo qualitativo serio della produzione scientifica, espresso dalla comunità scientifica di riferimento, secondo criteri da essa condivisi,  e non da parte di gruppi di potere comunque costituiti , ben venga. La battaglia deve essere per affermare davvero questi criteri nei processi di valutazione e selezione.

In qual modo porre dunque rimedio ai “mali” dell’università italiana? E’ pur sempre vero che ci sono stati numerosi casi che hanno creato scandalo nell’opinione pubblica.

Più che ai “casi” emersi a livello dell’opinione pubblica generale, occorre guardare al modo in cui mediamente hanno funzionato i meccanismi  di selezione. Questi sono cambiati spesso (forse troppo spesso) nel tempo. Dai tempi in cui io ho cominciato la mia carriera accademica (i primi anni 60)ho visto conservato e poi soppresso il sistema delle “libera docenza” (valutazione qualitativa affidata a livello nazionale alla comunità dei docenti, a numero aperto, e non prodromica ad una assunzione); conservato e poi soppresso il sistema delle “terne” nazionali (concorsi nazionali  per un posto, con nomina, da parte di commissioni elette dai professori della materia, di tre idonei, che invariabilmente venivano poi chiamati dalle varie Facoltà); sperimentato e poi abolito un sistema di concorso nazionale per un numero dato di posti corrispondente alle richieste di bando delle Facoltà; introdotto da ultimo un sistema di singoli concorsi “locali” con un solo vincitore (e in un primo tempo con altri due o un altro idoneo) con commissioni in parte designate dalla Facoltà che bandiva il concorso (il commissario “interno”), in parte formate sulla base di elezioni nazionali; sperimentati sistemi di formazione delle commssioni basati su un mix di elezione e sorteggio. Tutti i sistemi di cooptazione hanno i loro vantaggi e inconvenienti . Decisiva è la capacità delle comunità scientifiche di riferimento di operare selezioni su basi sufficientemente condivise di merito reale dei candidati. Ciò era più facile, in certa misura, e almeno in via di principio, quando il numero dei docenti era più ristretto; è più difficile con i numeri odierni.  Tuttavia credo che la comunità scientifica non possa abdicare a questo compito. L’alternativa è rimettersi a meccanismi “di mercato” in cui le scelte sono effettuate da soggetti diversi dalla comunità scientifica, nella convinzione (o nell’illusione) che così si selezionino i  “migliori”. Ho l’impressione che almeno nella valutazione iniziale dei giovani che intraprendono la carriera di professore nessuno possa sostituire validamente il giudizio della comunità scientifica di riferimento, formulato su base nazionale o addirittura internazinale.

Pensa che sia possibile concepire una diversa e più efficace architettura del sistema della valutazione della ricerca nel nostro Paese? E se sì, cosa propone?

Non penso che nelle discipline umanistiche possano facilmente accogliersi sistemi di valutazione quantitativi o numerici, del tipo numero di citazioni. In un lavoro di scienze “esatte” la citazione ha normalmente, credo, lo scopo di dare conto di un certo risultato (per esempio di una ricerca sperimentale) da parte di chi vi si basa per andare oltre. Nelle discipline giuridiche (ad esempio) la citazione può essere semplice ornamento, può essere adesiva o critica (“cfr. contra…..”) , e si possono citare solo gli autori che si vogliono citare (e magari se stessi). Di massima il numero e la completezza delle citazioni sono un indice di merito dello scritto che effettua le citazioni medesime (perché dimostra che l’autore conosce la dottrina preesistente) e non un indice di merito degli scritti citati. Immaginiamo che cosa succederebbe se il numero di citazioni di uno scritto valesse per il suo autore un punteggio di merito. Si dovrebbe lavorare perché nelle comunità scientifiche – fra l’altro, e positivamente, sempre più internazionalizzate anche nelle nostre discipline: in quelle delle scienze “dure” lo sono già da tempo – si affermino, si affinino e si consolidino sempre più criteri condivisi di valutazione.

 

Print Friendly, PDF & Email

31 Commenti

  1. Ma, se <>, perche’ non si puo’ esprimere a posteriori un giudizio sui contenitori? Se un contenitore ha ospitato buoni contenuti sara’ buono, altrimenti sara’ cattivo. Non possiamo forse dire che la scuola di Vienna e’ stata importante per la storia della musica? O bisognava stabilirlo a fine ottocento che a Vienna avrebbero “pubblicato” i compositori piu’ importanti di inizio novecento?
    Altra frase molto approssimativa: <>
    Peer review e double blindness sono due cose diverse e non necessariamente vanno insieme. Sul passaggio da riviste senza peer review a riviste con peer review basterebbe andare indietro di quasi un secolo e guardare all’esperienza dei fisici. Il caso di Einstein e’ illuminante: http://physicstoday.org/journals/doc/PHTOAD-ft/vol_58/iss_9/43_1.shtml?bypassSSO=1
    Nessuno si sognerebbe di dire, credo, che gli Annalen der Physic di inizio novecento erano di classe B, solo perche’ non avevano peer review.
    Comunque, ai giorni nostri, secondo la European Science Foundation (European Reference Index for the Humanities) una rivista deve “fulfil normal international academic standards of quality, i.e. it must have a quality control policy that governs the selection of articles. In principle, this should be achieved through peer review, but it is also accepted that some high-quality journals have other systems of ensuring quality control” e deve avere “an active international editorial board, timeliness of turnaround, openness to new authors, professional bibliographic information, etc “. Forse a ESF sono fuori dal mondo, o forse il mondo e’ fuori.

  2. Nel mio commento di poco fa, le parentesi angolari si sono mangiate i seguenti due frammenti di Onida:

    1. finora chi ha pubblicato non ha badato tanto al “contenitore” (in quale rivista pubblicare) quanto al contenuto dello scritto

    2. Tutti sanno, inoltre, che fino a pochissimo tempo fa le riviste non attuavano affatto criteri di selezione degli scritti da pubblicare basati sulla peer review come oggi si va imponendo, cioè sull’esame a “doppio cieco” da parte di referees .

    Me ne scuso.

  3. concordo con Roc. Esistono oggettivamente riviste che hanno credito e qualità di contenuti da sempre. Onida nel suo settore anche prima delle classificazioni di fascia A credo era in grado da solo di discernere tra riviste buone e cattive, come tutti. La classificazione è solo un primo tentativo di ufficializzare riviste che oggettivamente sono accreditate da sempre, semmai sottaciutamente, nei vari settori. La verità è che le riviste si stanno sempre più distaccando dal controllo accademico. La classificazione mette la parola fine ad ogni possibilità per le baronie di riprendere in mano la situazione.

    • Forse non è chiaro il problema posto da Onida: anche assumendo ingenuamente che esista un criterio “oggettivo” di definire le riviste di fascia A, i colleghi che hanno scelto le loro destinazioni in questi anni lo hanno fatto senza sapere che quella fascia sarebbe stata decisiva. Chi ha pubblicato con gran fatica su riviste appena al di sotto della famigerata A, ha fatto le sue scelte al buio. E ora è ridicolo dire che genericamente “tutti erano in grado di discernere”. Ma discernere cosa? stiamo scherzando?

      Qui il problema non è quello di porre un argine ai fannulloni. E’ ovvio, comodo e strumentale metterla in questi termini. Qui IL VERO PROBLEMA sta nel fatto che i metodi che si annunciano discrimineranno in modo arbirario tra ricercatori che hanno duramente lavorato e hanno pubblicato su riviste di assoluto rispetto. Lo stesso Giovanni Federico, nella sua candida e ottusa violenza, riconosce che si metteranno in conto profonde “ingiustizie”.

      Se è così, ben venga l’annuncio di ricorso di Onida. Poi vedremo se l’ANVUR e il ministro Profumo rappresentano davvero l’interesse pubblico oppure solo un coacervo di cricche private.

    • “Forse non è chiaro il problema posto da Onida: anche assumendo ingenuamente che esista un criterio “oggettivo” di definire le riviste di fascia A, i colleghi che hanno scelto le loro destinazioni in questi anni lo hanno fatto senza sapere che quella fascia sarebbe stata decisiva.”

      Naturalmente descrivevo un processo virtuoso ma non perfetto. Una rivista considerata nell’ambiente ottima non può essere mesa in fascia D, si cadrebbe nel ridicolo altrimenti. Può accadere che (come accaduto nella mia area 08 nel mio settore non bibliometrico) che ottime riviste fossero posizionate (credo dalla conferenza dei presidi e riportate nei GEV) in fascia B. Ma il Gruppo di lavoro riviste e libri dobrà per forza di cose correggere e migliorare la lista, essendo i membri nominati studiosi di primissimo piano. Non c’è alternativa a questa strada.

    • Se la violazione sta nella retroattività della norma (si cambiano le carte in tavola a posteriori) mi chiedo a questo punto se tale violazione non si sia verificata per tutti i settori e non solo quelli non-bibliometrici.

  4. L’affermazione di Onida secondo cui la legge non può disporre in modo retroattivo mi sembra ineccepibile in termini generali e correttamente applicata al caso specifico, non solo per i giuristi ma anche per l’area 13, per esempio.

    Chi decide le riviste di fascia A di SECSP01? Se uno fatica tremendamente per pubblicare su JPKE e poi scopre che quella fatica vale quanto quella di chi si è comprato un ISSN, è una farsa.

    A questo punto domando ai redattori di ROARS: se Onida ha ragione, qui c’è davvero la possibilità che salti tutto? entro quali termini saremo in grado di capire? il ritardo nell’uscita delle mediane è legato a questo annuncio di ricorso dei costituzionalisti? e comunque, converrà in ogni caso partecipare e poi fare ricorso? Grazie.

  5. Personalmente sono del tutto contrario all’uso di liste di riviste, in particolare per la valutazione individuale. Sono contrario in generale per motivi teorici che ho cercato di argomentare in un testo che apparirà prossimamente sulla Rassegna Italiana di Valutazione e sono contrario rispetto al modo in cui si è proceduto in Italia. Qui c’è un mio testo nel quale, verso la fine cerco di argomentare il perché: http://www.irpa.eu/focus-2/focus/9276/apples-and-oranges-spunti-per-una-discussione-sulla-valutazione-della-ricerca-nelle-scienze-umane-e-sociali/
    La questione riviste buone e cattive: è vero, tutti sappiamo quali sono le buone e quali le cattive. Ma il discrimine fra A e B specie nelle aree delle HSS è assai labile e rischia di essere del tutto soggettivo. Inoltre, in diverse aree sono stati commessi errori marchiani. A titolo di esempio nel mio settore, gli “esperti revisori” (esperti?) hanno confuso la rivista Polis, studi interdisciplinari nel mondo antico (che è una rivista interdisciplinare ben nota anche all’estero, con un comitato scientifico internazionale) con la rivista Polis di sociologia, escludendola come non pertinente (anche su questo credo stia partendo un ricorso). Ora, se questo è il modo per scardinare le baronie, mi pare che stiamo partendo con il piede sbagliato. Peraltro Marco Santoro ha argomentato bene come le classifiche abbiano riprodotto rapporti di potere fra gruppi.
    In ogni caso, quanto alla domanda di MaxG, il ritardo nelle mediane è dovuto al fatto che certe aree ancora non hanno fornito le loro liste. C’è tempo per la loro uscita fino al 26. Sul ricorso dell’AIC mi pare che si discuta la richiesta di sospensiva il 5 settembre. Sarà poi da vedere se e quanti altri ricorsi vi saranno, non sono ottimista sulla “tenuta” del sistema.

  6. Io credo che il ricorso di Onida verrà accolto in quando fondato in jus. Gli effetti di tale accoglimento sono da valutarsi attentamente coinvolgendo tutti (ma solo) gli atti che poggiano giuridicamente su tale presupposto (e conseguentemente per i settori non bibl. [per gli altri non sono preparato] la scelta dei commissari e le mediane per i candidati – solo e dico solo- se alla fine questo criterio sarà in effetti utilizzato quale soglia di accesso – cosa che ad oggi non è chiara).
    Devo dire che mi sorprende non poco leggere certi commenti secondo cui uno studioso nel mio settore (area 12) avrebbe potuto prevedere se la rivista era di classe A o meno. Io quando ho letto le classificazioni provvisorie dell’Anvur sono rimasto molto sopreso. Riviste di livello internazionale non erano neppure menzionate, mentre altre, assolutamente settoriali e meno note erano in A.
    Si tenga conto inoltre il giudicante può anche il giudicato, facendo parte o essendo “vicino” a determinate riviste.
    Ecco, che il lavoro di molti di noi sia valutato su questo criterio, estrinseco alla qualità, mi lascia deluso e amareggiato, ma per qualcuno dovevo aspettarmelo.
    Aggiungo solo che se avessi avuto la sfera di cristallo l’avrei usata per prevedere i numeri del super enalotto, non essendoci molta differenza tra le probabilità dell’uno o dell’altro…. (naturalmente quest’ultima affermazione è volutamente provocatoria e non fondata su criteri statistici).

  7. “Riviste di livello internazionale non erano neppure menzionate, mentre altre, assolutamente settoriali e meno note erano in A”: il commento di Irnerio è esatto. Più in generale è il sistema dei rankings che – a mio avviso – è sbagliato. Trovo che abdicare ai principi sulla base dei quali l’accademia ha funzionato per secoli non sia possibile né opportuno.
    A questo proposito segnalo questo paper di Willmott, lettura piuttosto divertente:
    http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1753627

  8. Ripeto quanto detto in un commento ad un precedente post. Il ricorso non è sul merito ma sulla legittimità della norma.

    Il ricorso si riferisce solo ai settori NON bibliometrici, ed infatti richiama il principio del “legittimo affidamento”; la retroattività è un aspetto accessorio del principio.
    I costituzionalisti (ed altri settori non bibliometrici) facevano affidamento, nel pubblicare, sulla qualità dell’articolo (o altro) e soprattutto non potevano immaginare e tantomeno aspettarsi una valutazione basata su una classifica di riviste.
    Se invece consideriamo i settori bibliometrici, il discorso è molto diverso: 10 anni fa gli indicatori bibliometrici (ad esempio Impact Factor) erano già molto diffusi e le riviste erano in competizione per ottenere valori elevati degli indici, quindi allora era già prassi consolidata selezionare le riviste in base ad indici citazionali e osservare l’h-index (ad esempio) dei ricercatori, quindi un ricercatore già allora poteva aspettarsi una valutazione basata su tali indici, ovvero non potava fare affidamento su una pura qualità intrinseca del lavoro pubblicato senza alcuna considerazione del livello della rivista e delle citazioni.

    Sui settori bibliometrici, valgono tutte le considerazioni di merito apparse su questo sito negli ultimi mesi.

    • Lo stesso Onida dice che “[La legge] Lo può fare [di disporre in modo retroattivo], in determinate circostanze, in nome di determinati interessi generali”.
      Io comprai casa “facendo affidamento” sul fatto che su di essa non avrei pagato tasse, ma poi mi hanno messo l’IMU. Non so se basterà un ricorso a rendermi giustizia…

      Non sarei così sicuro del fatto che la questione riguardi solo i settori non bibliometrici. I ranking delle riviste cambiano di anno in anno. Riviste di grande prestigio e impatto come PLoS One dieci anni fa non esistevano. E non esisteva nemmeno Scopus, uno dei due database usati da ANVUR. Nessuno scienziato poteva fare affidamento su queste cose, dieci anni fa. Se c’è vizio di retroattività, c’è per tutti.

    • Il ragionamento va fatto al contrario, per assurdo: dieci anni fa un ricercatore sano di mente avrebbe sostenuto che il proprio lavoro era di alto profilo anche non ricevendo alcuna citazione? Oppure avrebbe pubblicato uno splendido articolo su una delle tante riviste scarse facendo affidamento sul fatto che quello che conta è l’articolo?

      Se la risposta è si (come Onida afferma esserlo nel suo settore) allora la norma viola il legittimo affidamento.

      Sull’evoluzione degli indicatori, concordo perfettamente, in 10 anni in questo mondo fatto a scale c’è chi scende e c’è chi sale.

      Sull’h-index, non mi ero accorto dell’anacronismo… :)

    • Anche per i settori “bibliometrici” la classifica delle riviste può non essere ovvia. Ad esempio ai fini della VQR la rivista Proceedings of the American Mathematical Society è stata giudicata di classe A per un autore del settore “Geometria” e di classe B per un autore del settore “Analisi Matematica”.

    • Appartengo ad un “settore bibliometrico”. Nel mio settore dieci anni fa nessuno parlava di h-index o simili. Si sapeva che c’erano delle riviste di riferimento, per qualità e diffusione, largamente riconosciute dalla comunità scientifica (ed attualmente ricomprese nella famigerata lista GEV). Si sapeva che per fare carriera bisognava pubblicare su di esse.

      Ho pubblicato su di essere alcuni alcuni articoli sottoponendomi ad una peer-review estremamente severa. Adesso, dopo dieci anni, qualcuno si sveglia e mi dice che questi lavori non valgono niente perché, trattando argomenti di nicchia, hanno poche citazioni!

      Trovo questo metodo errato dal punto di vista della ricerca ma non mi dilungo su questo punto ampiamente dibattuto. Trovo questo metodo anche profondamente ingiusto nonché irrispettoso della mia persona e del mio lavoro: me lo devi dire all’inizio della carriera su cosa intendi valutarmi e non dieci anni dopo giustificandoti che me lo dovevo immaginare.

  9. La retroattività è pericolosa, ma “in determinate circostanze, in nome di determinati interessi generali” si può fare, anzi si deve fare!
    Se oggi venisse stabilito che per essere ammessi in una facoltà a numero chiuso bisogna avere preso almeno 80/100 alla maturità (parametro quantitativo), ci sarebbe da scandalizzarsi? Tutti quelli che avranno meno di 80 si lamenterebbero e tutti quelli che supereranno l’asticella sarebbero contenti di veder premiati i loro sforzi. Naturalmente ci saranno delle ingiustizie (istituti seri vs istituti che regalano i voti), ma se si vuole trovare il sistema perfetto siamo fritti.
    Ancora, se si stabilisse che chi vuole studiare fisica all’università deve aver avuto la media dell’otto in matematica e/o fisica alle superiori, ci sarebbe da scandalizzarsi?
    Io dico di no. Voi che dite?

    • Scusa la sincerità, ma il tuo esempio è totalmente fuorviante, nei settori non bibliometrici. Per quanto si è potuto vedere finora (magari tutto cambierà), nell’area 12, riviste internazionali di indubbio prestigio non sono state classificate (nè in A nè in altro); riviste di enorme prestigio sono in A solo per certi raggruppamenti, ma non per altri; riviste minori ma “amiche” del giudicante sono in A, riviste molto più prestigiose, ma di altre “scuole”, ovviamente in B…. Se devo seguire il tuo esempio allora ti dico: solo chi ha fatto il liceo classico potrà andare all’università, oppure solo chi ha frequentanto un liceo di città e non di provincia.

    • Il mio esempio non è una proposta. è solo un esempio per dire che i criteri comunque stabiliti non faranno mai contenti tutti. Come la vedo io sul reclutamento puoi vederlo nel mio post delle 13 e 05.
      La valutazione ex-post da parte di “agenzie di valutazione terze” è l’unico sistema: università non capaci di attrare docenti e studenti e di autovalutarsi e migliorarsi devono essere pesantemente penalizzate. tutti gli altri sistemi saranno più o meno decenti e più o meno tutti criticabili allo stesso modo.

  11. Il problema è cosa vuol dire decente. Una rapida ricerca dei sinonimi da risultati che spaziano da “conveniente” a “cristiano” (vedi sotto).
    L’unico metodo sarebbe: libertà per gli atenei di reclutare chi vuole, ma a condizione che ci sia una seria valutazione ex-post con serie conseguenze sui finanziamenti pubblici per chi non ha “prestazioni dignitose”. I parmetri delle “prestazioni dignitose” dovrebbero essere stabiliti da “agenzie terze”, ma veramente terze…. ma non si avrà mai il coraggio di fare una cosa del genere … ed è comprensibile in un paese dove il proverbio più in voga è “fidarsi è bene, non fidarsi è meglio!” Nessuno si fida più dell’operato degli universitari sul tema del reclutamento.

    Decente – Sinonimo http://www.ilsinonimo.com/D/decente/
    Decente. Il significato della parola decente: conveniente, decoroso, dignitoso, presentabile, castigato.
    http://www.homolaicus.com/linguaggi/sinonimi/hypertext/0368.htm
    Sinonimi: castigato, composto, congruo, decente, accettabile, degno, dignitoso, discreto, lecito, morale, presentabile, proprio, pudico, pulito, cristiano
    http://www.dizionario-online.net/sinonimi/decente.html
    (agg.) conveniente, decoroso, dignitoso, presentabile (agg.) castigato, costumato, morigerato, pudico, verecondo (agg.) accettabile, adeguato, discreto ..

  12. I concorsi (farsa) degli enti pubblici sono disseminati di asticelle messe ex-post. Gli ultimi concorsi di ricercatore TD e TI possedevano dei requisiti (illegittimi) addirittura sul limite dell’età del candidato. Ma qui nessuno ha gridato allo scandalo.
    Si dice nel blog che il ricorso di Onida sia riferito ai settori non bibliometrici. Non vedo traccia di questo nell’intervista ad Onida. Tuttavia, Se è rivolto a far saltare i settori non bibliometrici e costringere l’Anvur a unificare tutti i settori sotto una severa valutazione bibliometrica allora sì che a mio parere è giusto il principio. Inoltre (non sono un esperto) ma a me sembra incostituzionale che vi siano settori non bibliometrici. Chi appartiene ad un settore non bibliometrico è soggetto a maggiore discrezionalità della commissione.
    tuttavia stiamo discutendo su una questione chè è nulla su quella che si prospetterà come una chiamata diretta affatto meritocratica una volta ottenuta l’abilitazione. Sappiamo tutti cosa succede oggi nei concorsi di enti pubblici: uno partecipa a tappeto in tutti i comuni d’Italia ad un concorso per un posto di vigile urbano. Anche se arriva secondo o terzo in graduatoria prima o poi troverà qualche amico politico che lo sistema di fatto per chiamata diretta in altro comune attingendo dalla graduatoria del comune dove ha partecipato al concorso. Le relazioni forti ancora una volta decideranno la futura classe accademica. Cambierà poco rispetto al passato se non aumenteranno di molto l’asticella delle mediane. Se come ho letto su Roars, nei settori non bibliometrici sarà escluso solo il 20% dei commissari (in alcuni settori gli improduttivi sono molto di più) e se i candidati che non superano almeno una delle due/tre mediane non verranno esclusi automaticamente, mi aspetto una valanga di abilitazioni proprio da questi settori.

    • JM: “Se è rivolto a far saltare i settori non bibliometrici e costringere l’Anvur a unificare tutti i settori sotto una severa valutazione bibliometrica allora sì che a mio parere è giusto il principio.”

      L’ipotesi di unificazione non ha fondamento. Sia nella VQR che nella definizione dei parametri per le abilitazioni, lo stesso ANVUR ha riconosciuto (correttamente alla luce della scienza bibliometrica) l’impossibilità di utilizzare la valutazione bibliometrica per i cosiddetti settori “non bibliometrici”.

      JM: “a me sembra incostituzionale che vi siano settori non bibliometrici. Chi appartiene ad un settore non bibliometrico è soggetto a maggiore discrezionalità della commissione.”

      Non mi è chiaro quale articolo della costituzione sia violato.

      JM: “Se come ho letto su Roars, nei settori non bibliometrici sarà escluso solo il 20% dei commissari (in alcuni settori gli improduttivi sono molto di più)”

      Riguardo agli improduttivi, i dati più recenti sono quelli della VQR:

      “La percentuale media sulle aree di prodotti mancanti è del 5,3%, un dato che testimonia un’attività buona dei docenti e ricercatori e un’attenzione delle strutture nel soddisfare i requisiti del bando … con percentuali di prodotti mancanti che vanno da un minimo del 2,6% ad un massimo del 10,2%.”
      Sergio Benedetto [coordinatore VQR] e Alessio Ancaiani “Statistiche sui prodotti conferiti e commenti preliminari ”
      http://www.anvur.org/?q=it/content/statistiche-e-commenti-preliminari-sui-prodotti

    • @Giuseppe.

      Come ho detto non sono un esperto, ma credo sia violato il principio di eguaglianza. E’ sconcertante che nella stessa area ci siano settori bibliometrici e altri non bibliometrici. Le aree rappresentano o no situazioni omogenee? Altrimenti perchè esistono? Le situazioni omogenee sono le aree, i macrosettori o i settori? E se sono i settori, le cellule minime, perchè anche il macrosettore 11/E tutto intero è soggetto a valutazioni non bibliometriche? Se io avessi saputo all’inizio che il mio settore nell’area 08 sarebbe stato non bibliometrico avrei puntato su un altro bibliometrico. Perchè, se sono un dottore di ricerca in psicologia o design, devo essere trattato diversamente dalla stragrande maggioranza del resto di settori e macrosettori? I settori non bibliometrici sono soggetti a maggiore discrezionalità della commissione e se uno ha la sfortuna di trovarsi ad essere giudicato da una commissione a bassa produttività (visto che si prevede sarà escluso in snb solo il 20% dei commissari), la stessa non si farà di certo in quattro per stabilire criteri stringenti e oggettivi ma penserà in modo classico, per cordate.
      Sulle percentuali di improduttività nel mio settore non ho dati. Tuttavia a naso, e osservando quanto emerge da Publish or Perish, mi pare si superi di gran lunga il 15-20% di improduttivi.

    • Le aree CUN, oltre ad essere assai vaste ed eterogenee, risalgono a tempi in cui la bibliometria non aveva il ruolo attuale. Per quanto riguarda l’omogeneità, la stessa ANVUR contempla la possibilità che ci siano eterogeneità bibliometriche persino all’interno dei SSD (insiemi omogenei di docenti afferenti al SSD con differenze oggettive nelle consuetudini di pubblicazione). D’altronde, nella scienza bibliometrica è noto che non ha senso confrontare i parametri bibliometrici se non per insiemi omogenei di ricercatori (rimanendo però l’identificazione automatica di tali insiemi un problema di risoluzione tutt’altro che banale). In alcuni campi di ricerca, inoltre, non è possibile usare strumenti bibliometrici perché la letteratura non è ben coperta dai database bibliometrici. È ciò che accade in buona parte delle HSS (Human and Social Sciences). Ad alcuni è sembrato che Google Scholar (GS) potesse ovviare a questo problema, ma è solo un’illusione come documentato da diversa letteratura scientifica (GS non dichiara quali siano le pubblicazioni indicizzate e il sistema di ricerca testuale che prescinde dai metadati crea problemi di difficile risoluzione, soprattutto per la disambiguazione degli autori). Per maggiori spiegazioni riguardo a GS rimanderei a due ottimi articoli apparsi su Roars:

      A. Baccini, Primo Capitolo e il suo h-index
      https://www.roars.it/?p=7402

      A. Banfi, Scholar Search: all’inferno andata e ritorno
      https://www.roars.it/?p=7679

      In particolare, il secondo articolo tratta proprio della drammatica sovrastima degli inattivi nelle HSS conseguente all’utilizzo di Google Scholar (che è il database sulle cui interrogazioni si basa PoP).

    • Bisognerebbe sforzarsi per creare criteri bibliometrici uniformi per tutti gli SSD. E’ ingiusto che ci siano settori sottratti alla valutazione bibliometrica, temo che diventi un lasciapassare per le consorterie antimeritocratiche per continuare a gestire le abilitazioni come prima. E’ vero che PoP ha dei limiti, perchè non individua tutte le pubblicazioni prodotte da un candidato e fa pesare anche le autocitazioni o accresce l’h-index di chi si cita strumentalmente a vicenda. Ma è pur vero che l’h-index è possibile ricavarselo anche da soli, se si è a conoscenza di tutti i libri o riviste dotate di isbn o issn che hanno citato l’autore. Se si dimostrasse ad una commissione che l’autore X ha ricevuto y citazioni dagli autori Z, non sarebbe uno strumento di misurazione attendibile?

    • Io non sono contrario all’uso della bibliometria. L’ho usata per valutare e continuerò ad usarla. Ma proprio chi la conosce scientificamente e ne fa un uso corretto sa che non ci sono le condizioni per un utilizzo automatico a causa di una serie di problemi cha spaziano da quelli concettuali a quelli tecnici.

      Una concezione adeguata della complessità del pensiero scientifico deve riconoscere che è illusorio pensare che si possa racchiudere in un singolo numero il “valore” (sulla cui natura si dovrebbe aprire una discussione non banale) di un lavoro scientifico o di un autore. In alcune situazioni (concorsi, abilitazioni) bisogna fare delle scelte nette, ma gli strumenti puramente numerici (per quanto informativi ed utili) finirebbero per produrre più danni che benefici. I danni vanno misurati non solo in funzione degli errori nelle decisioni immediate (pur potenzialmente gravi) ma anche nelle distorsione dei comportamenti futuri.

      Nel momento in cui il vero ostacolo diventa il superamento di una soglia bibliometrica (piuttosto che una valutazione articolata di maturità scientifica), si innescano una serie di comportamenti opportunistici che cambiano il senso stesso della missione del ricercatore orientandone persino la scelta dei temi di ricerca (quelli bibliometricamente più fruttuosi).

      Per assurdo, sotto le regole dell’ANVUR sarebbe una follia scostarsi dall’ortodossia tolemaica (dove è più facile pubblicare ed essere citati) ed esplorare l’ipotesi copernicana (quattro gatti visti male dalle autorità le cui pubblicazioni non sono nemmeno in classe A). Inutile andare contro corrente: le citazioni “post-mortem” non servono a fare carriera. Da sempre le nuove idee fanno fatica ad imporsi e non è il caso di favorire il conformismo costruendo nuove gabbie.

      Poi c’è anche chi impara fin troppo bene a giocare “the numbers game”. Non tanto le autocitazioni, facilmente isolabili, ma le citazioni incrociate e la crescita di network scientifici autoreferenziali (persino internazionali) ma abili nel produrre papers e citazioni. Qualche caso clamoroso ha già avuto l’onore, se così si può dire, delle cronache (I numeri tossici che minacciano la scienza, http://www.roars.it/?p=339), ma come osservato da D.N. Arnold, bisognerebbe essere più preoccupati dei casi che passano inosservati:

      “The cases I have recounted are appalling, but clear-cut. Perhaps even more dangerous are the less obvious cases: publishers who do not do away with peer review, but who adjust it according to nonscientific factors; journals that may not engage in wide-scale and systematic self-citation, but that apply subtle pressures on authors and editors to adjust citations in favor of the journal, rather than based on scholarly grounds; authors who may not steal text verbatim, but who lift ideas without giving proper credit.”
      (D.N. Arnold, “Integrity under attack”, http://www.siam.org/news/news.php?id=1663)

      Se poi scendiamo nel caso concreto, mi sembra del tutto sensato che un ricercatore di un settore non bibliometrico possa segnalare quante citazioni ha ricevuto e anche da chi. Infatti, esaminare le citazioni ricevute da un ricercatore, mappandone la provenienza, fornisce informazioni utili sull’impatto della sua ricerca, da mettere sul piatto della bilancia insieme a tutte le altre informazioni. In alcuni casi, la mappa delle citazioni potrebbe rivelare solo un abile “collezionista”, in altri potrebbe testimoniare a favore della capacità di incidere in modo efficace e duraturo sugli sviluppi della ricerca in un dato settore. Ma, allo stato dell’arte, questa analisi complessiva non può essere delegata a un contatore o a una macchina.

    • Il fatto che alcune aree siano sottratte ai criteri bibliometrici non viola il principio di eguaglianza. Infatti, il principio di eguaglianza, nel quale trova espressione l’aurea regola della “ragionevolezza”, non comporta che “a ognuno debba essere dato lo stesso, ma che a ognuno debba essere dato il suo” (S. Agostino, e da lì è disceso in tutti i diritti del mondo). Trattare in modo uguale situazioni differenti significa appunto “violare il principio di eguaglianza” sancito dall’art.3 Cost. L’eguaglianza impone di tenere conto delle differenze.

  14. Misurare COSA?

    C’è stata una pletora di interventi che dà per scontato che ci sia da “misurare” qualcosa tramite la conta delle citazioni.
    Sfortunatamente, le citazioni dicono ben poco.
    Per un lavoro, l’essere citato non è condizione necessaria per essere valido: come osserva amaramente il collega Dini qui sopra, basta essersi occupati di argomenti “di nicchia”, cioè non aver seguito le mode accademiche, per essere fuori. E, si badi bene, con articoli che hanno superato una peer review alquanto severa, dunque lavori scientifici seri.
    Non è neanche condizione sufficiente. Articoli inconsistenti possono essere citati, e molto, solo perché tempestivi, cioè parlano, a vanvera, di un tema di moda. Io stesso ne facevo cenno a proposito di alcuni piacevoli riscontri bibliometrici, relativi ad articoli che a suo tempo non mi sono sognato di mettere nella short list per il concorso ad associato (vedi mai che li leggessero!).

    Non parliamo poi della questioncella del numero di coautori, di cui l’ANVUR si è ricordata di dimenticarsi. Chi si è sforzato di lavorare per pubblicare a nome singolo -cosa di cui andare incondizionatamente orgogliosi- ha scoperto all’improvviso di aver sbagliato tutto. Meglio stare in un gruppo potente, dove si può firmare (la scelta del termine non è casuale) un numero di articoli enormemente superiore nell’unità di tempo.
    Non mi sembra una cosa seria.

  15. La storia delle graduatorie implicite, anche se non formalizzate, mi fa ribollire il sangue. La sostengono in tanti, alcuni anche con una potenza di fuoco non piccola (penso al Sole 24 ore, che nel suo inserto culturale a tratti diventa house organ dell’Anvur). In realtà, è una tesi che nasconde una profonda ignoranza di come funziona(va)no i meccanismi di pubblicazioni nei settori non bibliometrici, perlomeno quelli che conosco.
    Per chiarire, vi racconto la mia esperienza. Sono “incardinato” dal 2006 in Filosofia del diritto (SSD Ius-20), ma ho a lungo studiato, e ancora studio, temi che toccano la filosofia politica (SPS-=1) e la filosofia morale (MFIL-03, credo). Quando ho iniziato a pubblicare e sino a pochi mesi fa, né io né chi supervisionava scientificamente il mio lavoro ci siamo preoccupati di quale fosse la fascia “informale” di appartenenza della rivista cui sottoponevo un mio scritto. Ci siamo casomai preoccupati di quale fosse l’uditorio adeguato per il mio scritto; trattando di temi che, come ho scritto sopra, spaziavano su tre diversi settori disciplinari (peraltro affini e con qualche sovrapposizione, vedi la bioetica), il problema era individuare il pubblico giusto, soprattutto nei primi tempi, quando dovevo ancora far conoscere il mio lavoro (si pubblica per essere letti, dopotutto, no?).
    Oggi, vedendo le graduatorie che si stanno approntando nei vari settori disciplinari, posso constatare che in alcuni casi mi è andata bene e in altri male, ma questo appunto in maniera del tutto casuale. E’ chiaro che, se avessi saputo dall’inizio che a distanza di anni sarei stato valutato sulla base delle riviste su cui pubblicavo, avrei fatto scelte diverse, cercando di immaginare (e già questo…) l’importanza della rivista, anche a costo di rinunciare all’obiettivo di farmi leggere. Ma all’epoca non lo sapevo, e comunque a me pare che la circolazione delle idee (quindi la scelta della rivista adatta) debba essere un obiettivo che chi pubblica non può trascurare. Se no, davvero il meccanismo delle pubblicazioni diventa puramente autoreferenziale (si scrive per essere letti dai referee ecc.).
    Sulle graduatorie implicite occorre fare una ulteriore puntualizzazione. Non c’erano fino a pochi mesi fa vere e proprie graduatorie, ma un indistinto novero di riviste considerate scientifiche, dove valeva comunque la pena pubblicare: quale scegliere dipendeva da un po’ di considerazioni, comprese quelle che ho spiegato sopra. Se guardo al mio settore attuale, alcune di queste sono in fascia A, altre in fascia B, altre ancora in fascia C; non è mio compito né voglio contestare nel merito la suddivisione che è stata fatta, ma è certamente falso (ripeto,falso) che già allora si puntava a pubblicare in quelle che oggi sono considerate le riviste top.
    In definitiva: aver pubblicato su una rivista di fascia A piuttosto che su una rivista di fascia B, nel mio caso e nel caso di molti altri colleghi, è stato del tutto causale. Per il futuro, mi adeguerò alle regole: posso non condividerle, ma non potrò dire di non conoscerle né avrò titolo a lamentarmi se agisco in un modo che mi svantaggia. Che però si valuti gli studiosi per il passato secondo queste regole (inesistenti formalmente e anche nella prassi) è un’ingiustizia profonda.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.