Riceviamo e pubblichiamo da un lettore queste riflessioni sui parametri ANVUR.

 

I parametri oggettivi calcolati dall’ANVUR taglieranno fuori una fetta non trascurabile di candidati dalle valutazioni. Lasciamo da parte le considerazioni sulla loro equità (io ritengo che non siano equi, semmai ne riparleremo) e vediamo invece la loro applicabilità. Essendo criteri oggettivi, dovrebbero essere misurabili oggettivamente. Purtroppo, guardando i miei parametri, mi sono accorto che non è così. Siccome a questo punto il desiderio di tutti è che le cose possano procedere senza essere bloccate o fortemente rallentate dai ricorsi, mi permetto di segnalare all’ANVUR (che nella sua mail neanche risponde) alcune problematiche che porterebbero a oggettivi ed inoppugnabili errori di calcolo con ovvie conseguenze. Siccome spero che i responsabili leggano queste pagine di ROARS, mando a voi le mie considerazioni sperando che possano, magari con il contributo di altri, diventare un utile punto di partenza per migliorare il procedimento.

1)    Un punto assolutamente ingiusto è la determinazione dell’età accademica dal primo lavoro. Chi ha avuto il nome come premio in un lavoro da studente (tipicamente in un piccolo giornale) si trova ad avere l’età accademica che comincia anni prima della laurea. Come si possa immaginare che un simile concetto possa stare in piedi di fronte ad un ricorso è davvero difficile da capire. L’ANVUR dovrebbe fissare l’età accademica dal primo lavoro, ma in ogni caso quanto meno non farla iniziare prima dell’anno successivo a quello della laurea (o anche due anni dopo, considerando che si parte dal primo gennaio). Ma se si lascia la possibilità che chi si è laureato nel novembre 1990 possa avere la propria carriera magari nel gennaio del 1988 vuole dire che si vuole suicidare il concorso, perché questo avrà un notevole impatto nel computo delle citazioni e sicuramente qualcuno si troverà penalizzato e ricorrerà (io stesso che sarei ben sopra la mediana calcolando il mio primo vero lavoro, a causa di un lavoro da studente che peraltro non ha ricevuto citazioni la supero invece di poco).

2)    I database di Scopus ed ISI hanno diversi problemi. Io, per esempio, ho rilevato che un mio lavoro viene considerato come due lavori identici e separati da Scopus, con le citazioni divise tra i due lavori. Questo ovviamente può avere una notevole influenza nel determinare l’H index. Ho chiesto a Scopus di correggere l’errore quando me ne sono accorto, ma non l’hanno ancora fatto. L’ANVUR dovrebbe consentire ai candidati di segnalare questi errori oggettivi per evitare ovvi ricorsi dall’esito scontato.

3)    L’ANVUR dice che computerà il numero delle citazioni prendendo il dato più favorevole tra ISI e Scopus. Ma con questo procedimento non fornirà il numero corretto delle citazioni di un lavoro. Ho controllato un mio lavoro del 1993 che viene a tutt’oggi ancora citato. ISI fornisce un numero maggiore di citazioni negli anni più lontani, mentre Scopus ne fornisce di più negli anni recenti. Nel caso del mio lavoro ISI assegna 153 citazioni, mentre Scopus ne assegna 122. Andando a spulciare le citazioni una per una, e considerando che alcune citazioni presenti su Scopus non sono presenti su ISI, il numero vero di citazioni non è 153 (il valore di ISI), ma 171, con una differenza non trascurabile quando spalmata su diversi lavori. Anche in questo caso l’errore è oggettivo ed inoppugnabile, e non reggerebbe ad un ricorso. Spero che il software di ANVUR sappia calcolare correttamente le citazioni, se non lo fa bisognerebbe farglielo fare o chiedere ai candidati di farlo singolarmente.

4)    ISI e Scopus non sono aggiornati. Sto notando che nel mio caso di alcuni lavori usciti ad inizio agosto non erano state ancora computate le citazioni agli inizi di settembre. Un mio lavoro che è stato pubblicato il 7 agosto scorso a tutt’oggi (13 settembre) è citato in Scopus (non in ISI) ma ho notato che le sue citazioni non sono state ancora contate. Naturalmente anche in questo caso l’errore è oggettivo e può avere un impatto notevolissimo nel calcolo dell’H-c index, visto che lavori recenti citano lavori recenti ed  una sola citazione di un lavoro del 2012 fa aumentare l’H-c di una pubblicazione di quattro punti. Secondo me bisognerebbe calcolare il “semaforo” ad una certa distanza dalla chiusura delle domande (due mesi?) lasciando ai candidati la possibilità di ritirarsi spontaneamente senza “penalità” successive.

Sperando che possiate trovare queste considerazioni utili, vi invio i miei più sentiti ringraziamenti per il vostro sito, che trovo davvero prezioso e ben fatto.

Cordialmente

F.S.

Send to Kindle

264 Commenti

  1. caro Eugenio, se fossi in lei più che parlare di episodi di malcostume negli altri Paesi mi chiederei cosa fanno gli altri Paesi per avere sistemi accademici di eccellenza. Quanti ricercatori stranieri lavorano nelle Università Italiane??? Quanti docenti? Quanti Italiani lavorano in Francia e quanti Francesi in Italia? Come definirebbe Gramsci questa tendenza?

    • “Quanti ricercatori stranieri lavorano nelle Università Italiane??? Quanti docenti? Quanti Italiani lavorano in Francia e quanti Francesi in Italia?”

      Tra le nazioni OCSE europee l’Italia è penultima in quanto a spesa per l’università. Ed è agli ultimi posti anche come numero di ricercatori universitari. Bastano questi grafici per capire perchè gli italiani vanno in Francia e i francesi non vengono in Italia.



      “mi chiederei cosa fanno gli altri Paesi per avere sistemi accademici di eccellenza”

      Il seguente grafico mostra che gli accademici italiani sono più produttivi di quelli francesi, tedeschi e giapponesi sia per numero di articoli che per impatto (misurato dalle citazioni).


  2. nei concorsi locali con 3 o 2 idoneità….è successo proprio questo si è preferito il candidato che costava meno….
    lo stesso accadrà, temo, con queste abilitazioni..
    per salvare capra e cavoli le si darnno a tutti e poi si rimanerà tutto a livellolocale…
    Per questo il mondo accademico prodittivosi sta battendo contro questa ignominia di decreto….

    • Paolo…hai ragione, è questa la triste verità! Ecco perchè definisco tutto questo “la guerra tra poveri”!!!

    • Strana discussione. Ma all’estero i professori sono reclutati per corrispondenza? Non mi sembra. Uno schifo di colloquio con chi non conosci lo vorresti comunque fare, magari per sapere come ci sa stare davanti ad un gruppo di studenti. Se si vogliono abolire le selezioni locali si deve anche inserire nella valutazione per l’abilitazione una parte riguardante la didattica.

  3. purtroppo ciò che sta accadendo era previsto da 15 anni. Si sapeva che tra il 2010 e il 2013 sarebbe andato in quiescenza il 40% del corpo accademico, ovvero tutti coloro che erano entrati in ruolo con i giudizi di idoneità 1980. Ora, visto che non c’e’ una lira bucata, i lungimiranti consulenti dei vari governi hanno imposto la paralisi delle assunzioni (se non con il contagocce).
    Questa storia delle abilitazioni è una cortina fumogena che ci fa a ragione arrabbiare per i motivi che i redattori di ROARS hanno così chiaramente sintetizzato negli ultimi articoli. Come a me sembra chiaro che il polverone alzato da chi si sente automaticamente abilitato poichè è sopra le mediane (e quindi sospetta che gli altri si incazzino perchè sono sotto) verrà utilizzato a fini mediatici per contrapporre agli sfaccendati docenti che non pubblicano, gli esperti del predatory publishing che, con una nutrita schiera di coautori e la compiacenza di due database commerciali che si autosostengono solo grazie alla fasulla chimera della bibliometria.

    E poi smettiamola di guardare all’estero come il bengodi. Siamo un paese “superproduttivo” in rapporto alle pulci che il governo ci ha dato negli ultimi dieci anni. In cui i finanziamenti nazionali sono una barzelletta. Per non parlare degli appoggi che ci vengono dati dalle nostre amministrazioni per la stesura di progetti in sede comunitaria.

    In UK, nel mio settore, per diventare full professor devi portare contratti per almeno 10MEuro durante la tenure altrimenti non ti considerano neppure per metterti il nome sulla porta. Altro che h_c ed altre amenità. Nel mitico Fraunhofer Institute tedesco, devi dimostrare di essere (da ricercatore) in grado di attrarre fondo per almeno la metà del tuo stipendio, altrimenti byebye. Confrontiamoci su questi parametri e non sulle pazzielle di Scopus (che di suo si perde almeno il 50-60% delle citazioni per i meno fortunati) o sui ritardi di ISI che ci mette un anno ad indicizzare un lavoro. maperfavore

    • Complimenti per la sintesi.
      Solo due domande, a proposito del tuo ultimo paragrafo:
      1) reputi positiva la caccia al soldo cui sono costretti i colleghi stranieri?
      2) la citi in ogni caso per mostrare la ben diversa facilità di accesso a finanziamenti nelle realtà estere?

      PS La numerazione non è per polemica.. ho finito oggi pomeriggio di rispondere a dei revisori di cui uno cavilloso!

    • 1) no, non la reputo positiva cosi’ come non reputo pusitiva la caccia alla pubblicazione
      2) no la citavo per confrontare una realtà in cui sai a priori quali sono gli obiettivi da percorrere…

      brutta razza i revisori :D

    • Se la caccia alla pubblicazione non va bene, la caccia ai fondi non va bene… Quale sarebbe la soluzione? A me sembra che siate allergici a qualsiasi tipo di criterio e l’unica cosa che va bene è la totale discrezionalità delle commissioni.
      V.

    • “[..] allergici a qualsiasi tipo di criterio”
      Ah, la risposta standard dei Chicago Boys nostrani: quasi mi mancava.
      Dovresti interrogarti su una definizione di ricerca che, nelle tue parole, si estrinseca al meglio nella produzione industriale di articoli e nel fundraising.
      In ambo i casi, a prescindere.
      a prescindere dalla qualità o anche dal contenuto effettivo del k-mo articolo (mi raccomando, a n! nomi, tanto conta uguale) e dallo stesso tema di ricerca (il che porta da lustri interi SSD a seguire come branchi di sardine mode tecnico-scientifiche manifestamente gonfiate oltre ogni credibilità ma tanto ben finanziate).
      Il punto d’arrivo dei numeretti stile ANVUR è il trionfo di questo approccio: la concentrazione del dato SSD in pochi macrogruppi, che gestiscono veri e propri “citation rings” ad autocertificare la propria qualità e quindi il diritto all’accesso esclusivo ai fondi quali che essi siano.

      Però con indicatori da paura, sia ben chiaro!

    • concordo appieno…è la nuova selezione naturale imposta dall’ANVUR…segui la moda e sarai abilitato.

    • Vladimir, per fondi e pubblicazioni vinco a mani basse. E comunque non mi piacciono come metro di valutazione. In generale mi piacerebbe essere valutato a posteriori e non con un set di regole (se pur corrette, e queste NON LO SONO) stabilito all’improvviso.

      Un buon professore (forse io non lo sono) dovrebbe preoccuparsi di far crescere culturalmente i suoi studenti. Guidare i suoi collaboratori nella crescita scientifica ed infine dare lustro (e soldi) all’istituzione cui appartiene nei consessi nazionali (mi piacciono poco) e internazionali. Su queste cose si dovrebbe esser valutati al termine di una tenure. Su criteri stabiliti PRIMA. E non da un associazione fantoccio come l’ANVUR il cui unico scopo è di spostare il baricentro del potere dall’accademia alla politica. Come nei migliori regimi totalitari del secolo passato.

    • Da Stefano L: ….”Dovresti interrogarti su una definizione di ricerca che, nelle tue parole, si estrinseca al meglio nella produzione industriale di articoli e nel fundraising”.

      Bhe la ricerca dovrebbe consistere nella costruzione, ideazione, stesura e divulgazione di un’idea progettuale. Spesso si viene cononosciti in ambito internazionale grazie alla pubblicazione di articoli (spesso centrati di un determinato tema), partecipazione a conferenze, seminari, ets. La riceca se non viene divulgata non ha senso farla. E la divulgazione non puo’ che non avvenire tramite pubblicazioni scientifiche. Come dire….i ferri del mestiere.

      Se poi si parla di buon professore e si dimentica tutto questo, bene pensiamo ad una separazione delle carriere.

      Si parla di una valutazione post, ma per otterla bisogna entrare nel sistema. Quali sono le regole di entrata? Lasciare tutto in mano alla discrezionalità dei commissari? Mi chiedo come sia possibile mettersi nelle mani di una commissione che, potendo agire con discrezionalità, potrebbe giudicare le produzioni scientifiche in accordo con una visione della ricerca. Come dire: tutte le riviste sono uguali, l’IF non ha senso (ma stranamente per pubblicare un articolo su una rivista con IF il ricercatore impiega 1 e mezzo se tutto va bene), e cosi via.

    • Mi tocca sempre la parte del rompiscatole: l’IF è uno dei criteri bibliometrici più screditati. C’è una bibliografia chilometrica in materia e documentazione a tonnellate sulle manipolazioni dell’IF. Qualcuno ha inventato l’H proprio per questo.

    • @Antonio Banfi. A me sempre la parte della petulante.

      IF puo’ essere anche uno dei criteri bibliometrici più screditati. Ma preferirei questo alla discrezionalità della commissione.

    • “IF puo’ essere anche uno dei criteri bibliometrici più screditati. Ma preferirei questo alla discrezionalità della commissione.”

      Riguardo alla manipolazione degli indicatori bibliometrici consiglio la lettura del seguente articolo:

      “I numeri tossici che minacciano la scienza”
      https://www.roars.it/online/?p=339

    • Anche se favorisse soggetti che benificiano di IF manipolati dalla direzione della rivista?
      Non è difficile farlo, molte riviste lo fanno. Basta chiedere ai contributors di citare sempre 5 o 6 papers pubblicati in passato dalla stessa rivista.
      Meglio la discrezionalità o comportamenti sleali mascherati da oggettività?

    • Mi dispiace…ma per me non esiste cosa peggiore della discrezionalità. Si scelga un paramentro oggettivo…qualsiasi (o magari un mix di quelli disponibili) e si inizi a lavorare su quello.

      Credo che se siamo arrivati a questo punto è perchè qualcosa sulla “discrezionalità delle commissioni” non è andata come doveva. Pertanto, non è più possibile immaginare un sistema nelle mani del giudizio soggettivo di un gruppo di persone.

      Per me, se la discussione non parte da qui…non c’è discussione.

    • Io non credo che sia possibile sostituire la discrezionalità della commissione con parametri oggettivi, perché ohimè in questo modo si sostituisce alla discrezionalità della commissione quella di chi definisce i parametri. Come sta accadendo per VQR e abilitazioni.

      Allora credo l’unica soluzione accettabile sia vincolare la discrezionalità della commissione, ma non con filtri e controfiltri automatici arbitrari scelti da una agenzia plenipoteziaria di nomina politica. La cosa che scrivo da un po’ e che andrebbe articolata meglio è:
      1. si mettano filtri di produzione scientifica per i commissari; soglie fisse anche relativamnete molto elevate;
      2. insieme alla lista dei candidati al concorso/abilitazione si rendano pubblici in tabelle comparative batterie di indicatori bibliometrici (che so io: pubblicazioni, citazioni ricevute, if delle riviste, h index …);
      La commissioni scelgono. E la comunità accademica controlla. Le commissioni sono responsabilizzate e la comunità accademica tutta controlla. SE non ripartiamo da qua, da una rifondazione etica della comunità scientifica italiana (come scrivevao qualche commento fa Mario Ricciando e Francesco Guala) non ci sono parametri oggettivi che reggano.
      Ed allora il “declino” ce lo meriteremo davvero.

    • Capisco. Tuttavia è un po’ come invocare le leggi speciali in situazioni d’emergenza.
      La “discrezionalità” dei reclutatori nelle università straniere è per certi versi molto ampia, tanto da considerare parametri estremamente sottili come la capacità di teamworking e così via. Io continuo a pensare che la soluzione non passi per l’iperregolazione ma per la trasparenza.
      Dobbiamo mettere le persone in condizione di vergognarsi, temo che non sia possibile imbrigliare la realtà in una ragnatela di regole rigide senza creare comunque danni, per esempio favorendo chi sa come ci si avvantaggia fraudolentemente dei criteri “oggettivi”. Per certi versi questa è una novità in Italia, ma basterà poco perché tutti si conformino.

    • Concordo con quanto scritto sopra da Antonio e Alberto. Non capisco perché chi vorrebbe cambiare il sistema Italiano per farlo assomigliare a qualche altro estero non segue fino in fondo questa strada, ma, nel caso migliore, si limiti a considerare dei particolari aspetti e nel caso peggiore fa riferimento a dei sistemi che sul pianeta Terra non esistono ma che sono delle caricature dei sistemi esistenti.

    • in tutto il mondo la ricerca è valutata dai pari. Non da enti sovrannaturali e per di più di nomina politica. E poi, si sta parlando dell’abilitazione a PA/PO, non del reclutamento di un dirigente di ricerca CNR. Quindi, mi dispiace, ma la capacità didattica deve essere un criterio fondamentale per l’abilitazione.

      Se non si è mai dettato un corso in vita ma si hanno mille pubblicazioni e mille mila citazioni, mi spiace ma è meglio tentare la via di un ente di ricerca. E non parlatemi di separazione delle carriere…

    • Ciao Andrea, in tutto il mondo dove? In Spagna, per esempio, non mi sembra che il tutto sia lasciato alla discrezionalità. Da quando il sistema è stata cambiato, la Spagna ha raggiunto eccellenti risultati in termini di produttività scientifica. Negli Stati Uniti? In Norvegia e Belgio? Non credo che in questi paesi sia mai stato escluso un candidato con un numero elevato di pubbliazioni di rilievo (credo che ognuno di noi conosca le riviste più prestigiose dei propri settori disciplinari). E in questi Paesi i ricercatori e i professori hanno una chiara idea sul peso qualitativo delle riviste appartenenti al proprio settore disciplinare.

      Il punto due di Alberto potrebbe essere plausibile. Ma poi un dubbio mi assale: i commissari scelgono e il mondo accademico controlla. In base a cosa scelgono i commissari e in relazione a cosa il mondo accademico controlla?

      Quando si concorre a un progetto Europeo i numerini vengono esplicitamente richiesti. Vi chiedete come mai sono richiesti?

    • Sì certo in America c’è una agenzia organizzata esattamente con l’Anvur. Ora però mi sfugge il nome. Però anzi quando lo trovi scrivici un altro commento che così lo mettiamo nel bookmark.

    • In America non esiste un’agenzia come l’Anvur perchè ci sono delle regole oggettive largamente condivise. Se non pubblichi almeno tre articoli all’anno durante un tenure….il tuo contratto non viene rinnovato e la posizione da Associate Professor te lo sogni. Per potrer diventare un Associate Professor devi dimostrare di poter pubblicare nelle riviste piu’ prestigiose….che al di la dell’IF e di latri indici, tutti conoscono abbastanza bene.

      Non è un caso che molti Italiani che non hanno mai trovato spazio in Italia lavorando negli States. Mi chiedo quanti Prof. Americano lavorano in Italia.

      Se si vuole fare della demagogia…va bene. Ma negare l’evidenza mi sembra del tutto inopportuno. L’ANVUR è la reazione per un sistema che non è riuscito ad autoregolarsi. Vuoi negare anche questo? Vuoi dire che il sistema accademico itliano funziona benissimo? Che la meritocrazia è sempre garantita dalla discrezionalità delle commissioni?

    • “Non è un caso che molti Italiani che non hanno mai trovato spazio in Italia lavorando negli States. Mi chiedo quanti Prof. Americano lavorano in Italia. ”

      Meglio rinfrescare un po’ di dati, anche a costo di essere ripetitivo. Tra le nazioni OCSE l’Italia è agli ultimi posti in quanto a spesa per l’università. Ed è agli ultimi posti anche come numero di ricercatori universitari. Bastano questi grafici per capire perchè gli italiani vanno all’estero e gli stranieri non vengono in Italia.



      “L’ANVUR è la reazione per un sistema che non è riuscito ad autoregolarsi. Vuoi negare anche questo? Vuoi dire che il sistema accademico itliano funziona benissimo? Che la meritocrazia è sempre garantita dalla discrezionalità delle commissioni?”

      Mi sembra che si stia agitando l’argomento emergenziale: l’eccezionalità della situazione italiana giustificherebbe il ricorso a pozioni magiche che altrove nessuno usa che vengono persino giudicate pericolose. Infatti, per quanto riguarda la valutazione, le altre nazioni rifuggono dagli stregoni bibliometrici e preferiscono gli approcci scientifici. La cosa buffa è che chi giustifica le pozioni bibliometriche agitando l’argomento emergenziale, viene smentito proprio dalle statistiche bibliometriche. A livello aggregato (che permette un uso sensato della bibliometrica) non risulta alcuna eccezionalità negativa dell’Italia, anzi. Il seguente grafico mostra che gli accademici italiani sono più produttivi di quelli francesi, tedeschi e giapponesi sia per numero di articoli che per impatto (misurato dalle citazioni). Se i risultati sono questi, sostenere che il reclutamento sia stato sistematicamente anti-meritocratico cozza contro le dure cifre. La situazione è più articolata di come la vogliono far apparire coloro che, estremizzando i problemi, propugnano soluzioni estreme, ma prive di basi scientifiche e riscontri internazionali.


    • A ok in America non c’è l’Anvur, noi invece qui abbiamo la sveglia al collo ed dunque è necessario implementare un’agenzia di stampo sovitico per farci diventare come l’America. Più che ingenuo direi comico.

    • E’ la NEREA. Anyway, vedo che giustamente Vincenzina è passata a citare soglie statiche. Un certo numero di articoli su riviste prestigiose, che tutti conoscono *al di là dell’IF*. E’ una base su cui si può ragionare, un po’ come i criteri CUN (che nella versione 2011 sono null’altro che le schede prodotte dalle consulte e ovviamente necessiterebbero di profonda revisione).

    • Bene….cosa propone di fare? Ha delle proposte alternative che non rischiedono il ricorso alla discrezionalità dei commissari. Non dico diventare come gli States, ma proviamo ad avvicinarsi al sistema Spagnolo.

      Io non dico che l’ANVUR è verità pura. Ma se deve essere presa in condierazione un’alternativa…bhè preferire che questa avesse dei principi oggettivo a tutela di tutti i partecipanti. Tutti devono sapere cosa vale cosa….altrimenti diventa un gioco pericolo.

    • Mah di proposte mi sembra che ne abbiamo già fatte tante, anche se ovviamente tra il dire e il fare c’è di mezzo il mare. Comunque la proposta numero uno è: studiare quello che succede all’estero, nei paesi a noi vicini da un punto di vista di organizzazione di sistema ed adattare le varie soluzioni che sono state implemenentate al caso italiano. Esempio: nella commissione di fisica teorica del CNRS francese su 18 scienziati 7 sono italiani. Non c’è bisogno di scoprire l’acuqa calda, ma c’è bisogno di non inventarsi cose che non stanno né in cielo né in terra.

    • Non mi appassiono quando gli interventi perdono il carattere di commento ma diventano simili a recriminazioni.

      I numerini che servono per i progetti europei poi mi fanno veramente ridere. Cara Vincenzina, per avere un finanziamento europeo, i grandi “magnati” della ricerca comunitaria (fortunatamente anche la ns Confindustria e Confagricoltura) hanno uffici specifici a bruxelles utilizzati solo per fare lobbying nei Direttorati che contano. Per non parlare poi dei vari mammasantissima tipo IMEC, Fraunhofer i quali si siedono ai tavoli degli FP solo per vincere. Tanto in europa è facile, basta un killer referee ed il gioco è fatto.

      Io credo che le presone che animano ROARS siano spinte dal desiderio di avere un sistema di reclutamento virtuoso in cui ciascuno si assuma le proprie vere responsabilità (io per esempio sono inviperito perchè da associato non posso far parte delle commissioni di reclutamento dei ricercatori). Molti di noi sono abbondantemente sopra le mediane (anzi alcuni sono già PO, quindi che gliene frega no?) e avrebbero potuto far finta di niente ma sono qui ad impegnare il proprio tempo (quello che si sottrae alla famiglia e alle attività extra lavorative) per fare “controinformazione” (ormai Repubblica è veramente la voce del governo).

      In ultimo, nel prestigioso Technion di Haifa (the Nobel Prize University per quanti ne hanno presi) se pubblichi un solo lavoro con colleghi “di ruolo” durante la tenure il posto te lo sogni perchè vieni considerato “non autonomo”. Gli unici coautori sono dottorandi e studenti. Altro che le nostre “liste della salute” da 100 nomi che gonfiano pubblicazioni e citazioni.

      Ecco perchè in Italia pensare di proporre un sistema “a tanto al chilo” per le abilitazioni è semplicemente aberrante.

      Infine concordo con te. Pubblicare le proprie ricerche serve e come (e infatti nessuno se ne sottrae). Ma mettersi a fare un foglio EXCEL per mirare le prossime 10 autocitazioni in maniera da drogare il parametro bibliometrico di turno e superare le abilitazioni, francamente, lo trovo assai squallido ma mi aspetto che diventi la pratica corrente nei nostri Dipartimenti.

    • Il lavoro di Ichino e Perotti & Co. è pieno di affermazioni ingiustificate da un punto di vista tecnico, di normalizzazioni ad hoc completamente sballate, proponente una visione ideologica ed abberrante dell’università, tra i primi articoli della campagna sistematica di denigrazione dell’università condotta sui principali media di questo paese nell’ultimo decennio ed alla base della retorica che ha accompagnato l’approvazione della riforma Gelmini.

      Ne abbiamo scritto in tutte la salse; in brevissimo:

      http://www.ilfattoquotidiano.it/2011/03/26/ci-fidiamo-dei-bocconiani/100211/

      http://www.ilfattoquotidiano.it/2011/05/01/chi-denigra-la-ricerca-italiana/108295/

      https://www.roars.it/online/?p=7092

      https://www.roars.it/online/?p=8305

  4. dato che questa è giustamente una lista didiscussione non moderata (cioè non esiste un moderatore), cerchiamo (e lo dico in primo luogo a me) di darci noi un codice di comportamento…
    evitiamo:
    le espressioni a vanvera (yes men),
    le intimazioni alla boia di giuda non parli lei che è un ordinario e che non può capire i nostri problemi…si taccia lei che è troppo giovane per comprendere….
    Stiamo sui problemi invece che sono tanti e che riguardano tutti in modo indiscriminato
    Il modo migliore per eluderli quei problemi è buttare tutto in caciara
    la guerra tra poveri l’hanno fatta sempre scoppiare i ricchi

    • Loro continuano ad assumere anche se a tempo determinato. Per l’incarico di alto esperto giuridico a supporto delle attività istituzionali dell’ANVUR – graduatoria finale ci sono due nomi, il primo è di un legale dell’avvocatura generale dello stato, distretto di Trieste.

  5. per stare ai problemi, io ho un paio di dubbi da sottoporvi:

    1) viste le dichiarazioni dell’ANVUR e le mozioni parlamentari, voi pensate ancora che superare le mediane sarà un vincolo imprescindibile per essere abilitati ?

    2) le mediane dei candidati chi le calcola ? l’ANVUR o le commissioni ?

  6. @Vincenzina Caputo. Mi sfugge il senso della sua meraviglia riguardo al fatto che nel suo SSD le mediane siano basse e “Nonostante ciò” circa il 50% non supera i valori!!! Forse ho mal compreso, perché se no è bene ricordare che ciò è insito nel concetto di mediana! Mediane basse non suggeriscono una scarsa produttività generale, ma semmai che non sono rappresentative della produzione dei ricercatori di quel SSD. Di fatto è l’unica disciplina economica che ricade tra i settori bibliometrici e questo porta a pensare che, probabilmente, si valuteranno gli economisti agrari con criteri poco rappresentativi.

    • Conosco la produzione scientifica di quel 50% e le dico anche che se una persona nella sua carriere di 10-20 anni non è stato in grado di pubblicare nemmeno 3 articoli internazionali…bhè personalmente credo che debba cambiare mestiere. La ricerca non si puo’ far diventare un “affare privato”. La ricerca è un bene pubblico…pertanto và divulgata al pubblico.

    • “La ricerca è un bene pubblico…pertanto và divulgata al pubblico”

      su questo non ci piove: va divulgata

  7. Scusate, per tornare sul thread, una domanda pratica:
    1) io supero due mediane contando i “secondari documents” di Scopus (che sono citazioni).
    2) La Legge dice che bisogna considerare le citazioni Scopus o ISI (dove ne ho di piu’).
    3) Ergo i commissari, per rispettare la Legge, DEVONO considerare anche quelli che Scopus (per motivi del cavolo di cui a me non puo’ fregare di meno) chiama “secondary documents”, senno’ fo’ ricorso.
    Fila?

    • Anche io avevo delle citazioni che stavano nei “secondary documents” di Scopus. Tecnicamente non rientrano nelle sue citazioni perchè coloro i quali verificano e aggiornano Scopus non hanno abbastanza dettagli che permettano di attribuirle il lavoro (per esempio errori nella citazione del suo nome o cognome). Le consiglio di dialogare con i tecnici di Scopus, hanno un servizio on-line piuttosto efficiente.

    • “hanno un servizio on-line piuttosto efficiente”

      Spero sia uno scherzo. Il database è pieno di falle e la risposta standard dei tecnici scopus è

      -You should receive a reply to your request/comment within 5 working days.

      poi però ci vogliono tre settimane. A questo punto però:

      -Please note that corrections are processed on a periodic basis in batches by our production department and it may take three (3) weeks before they are visible on Scopus.com

      Ma questo in teoria, infatti ora (com’era prevedibile):

      -Important Notice: At this time we are experiencing an unusually high volume of requests pertaining to citation issues. Therefore, our response time may be longer than normal. Your patience is greatly appreciated in this matter. We apologize for the delay and any inconvenience this may cause.

      Tutto ciò è semplicemente grottesco.

      PS tralascio la questioncella dell’assenza totale in Scopus di diverse importanti conferenze di Area 09.

    • ragazzi, Scopus è una barzelletta.
      A me “liscia” il 40% delle citazioni, alcune recuperate nei secondari documents altre mancanti del tutto. E non dimenticate che l’incrocio viene fatto tra loginmiur e i database con una percentuale del 30-40% per quanti riguarda le conferenze (a detta ANVUR).

      Un ultima questione, sempre inessenziale poiché le mediane finiranno al macero. Io ho i miei lavori molto citati nei database brevettuali internazionali. Penso che siano citazioni al meno degne come quelle di una pubblicazione, forse di più poichè un brevetto passa una review assai più rigida. Perchè all’ANVUR non me le contano? I database brevettuali sono interrogabili gratuitamente a differenza di Scopus ed Elsevier. Mi sa che un ricorsino anche su questo punto non sarebbe male….

      Chi è sotto le mediane può comunque sperare di avere come omonimo un genetista….

    • “Scopus è una barzelletta”
      Concordo, ma non riesco ad apprezzarla: a me prede oltre il 60% delle citazioni!
      Evidentemente il lavoro sulle citazione da/di conferenze è stato fatto malissimo, e spesso per niente (il che spiega proliferazione dei secondary documents).

    • Ho espresso un parere basandomi sulla mia esperienza personale. Uso Scopus da prima dello “scandalo mediane” e ho sempre avuto a che fare con un sistema efficiente addirittura con un servizio “live” on line. Magari questo periodo di super richieste ha compromesso il livello qualitativo del servizio.
      Riguardo le lacune sul database, vorrei, se mi consentite dire la mia.
      Il sistema non riesce a discernere, per esempio,tra Annamaria e Anna Maria (che spesso vengono abbreviati in A. AM. o Anna M. e via dicendo) questo non dipende dall’inefficienza del database ma da errori commessi dagli autori che citano il lavoro e che magari non conoscendola direttamente, signor Stefano L., commettono errori madornali che compromettono la corretta citazione.

      Riguardo l’omissione nella propria lista di lavori, chiamandomi Rossi Anna Maria, cercherei anche tra Rossi A. Rossi AM e Rossi M sicuro di riconoscere i miei lavori tra tanti (anche se qualcuno non riesce…chissà perchè). Riconosciuto il proprio lavoro come attribuito ad altri si invia una segnalazione e passate (a mia personale esperienza) 3 settimane la correzione è fatta.

      Questa operazione l’ho fatta io (che non mi chiamo Annamaria) e molti colleghi anche meno “furbi” di me.

    • Forse le iniziative dell’ANVUR hanno davvero inciso sul funzionamento del servizio clienti di SCOPUS: io ho chiesto l’inserimento di due lavori mancanti a marzo (pro VQR) e ancora attendo (dopo vari solleciti).

    • Non credo tu abbia colto il problema.

      In effetti sono due problemi distinti:
      1) Scopus contiene sia l’articolo Ai (mio) che gli articoli (Ai1, Ai2..Ain) che lo citano, ma non rileva le citazioni.
      2) Scopus non contiene per nulla l’articolo Bi (mio), ma include una buona fetta di (Bi1, Bi2..Bin) che lo citano.

      Il problema 1) è in teoria risolubile, anche se assolutamente non nel modo efficiente e rapido che lei descrive. Infatti pur inviando a Scopus una dettagliatissima lista dei riferimenti mancanti sono riuscito (in due mesi e mezzo) a farmene recuperare solo la metà. Tra l’altro la questione dei nomi degli autori non è affatto complicata come di tu. Basta cercare nome articolo e sede di pubblicazione per eliminare le ambiguità (*).

      Il problema 2) non è in alcun modo risolubile. allo stato attuale almeno un paio di prestigiose conferenze permanenti del mio SSD, con tanto di peer review anonima, sono completamente assenti. Il che, sfortunatamente, taglia fuori una sostanziosa quota di citazioni e un bel pezzo della mia attività.

      (*) E’ comprensibile il tuo affetto per Elsevier, ma non credo proprio che abbiano bisogno di appassionati difensori “pro bono”. Vengono pagati profumatamente per per il loro pseudo-servizio bibliometrico.

  8. Ormai tutto il mondo accademico ha compreso che le mediane sono: a) illegittime, perchè non è legittimo mettere uno sbarramento solo su criteri bibliometrici prima ancora di valutare altri criteri ben più importanti, quali la qualità della produzione scientifica del candidato; b) irrazionalmente definite, perchè basate su misurazioni non oggettive (età accademica, numero di citazioni presenti su database di aziende private, ampiamente inattendibili). A questo punto si sta chiedendo da tutte le parti che le commissioni utilizzino gli indicatori quantitativi non più come filtro, ma come semplice “ausilio” alla valutazione complessiva. Mi sembra in effetti l’unica strada percorribile per salvare le abilitazioni, altrimenti tutti i candidati esclusi per non avere passato le mediane farebbero ricorso. Ma occorrerebbe a mio avviso un intervento ufficiale a livello regolamentale del Ministero che desse alla situazione una parvenza (almeno quella) di regolarità. E resta la domanda finale: a che serve l’ANVUR, e come etichettare lo spreco di denaro pubblico finalizzato al suo mantenimento?

    • Serve anche a fare in modo che le abilitazioni siano travolte da una valanga di ricorsi. A proposito e poi chi paga? La responsabilità non è personale, visto lo spreco di risorse?

  9. @Sam: “…valutare altri criteri ben più importanti, quali la qualità della produzione scientifica del candidato”.

    La qualità della produzione scientifica chi la decide? Sbaglio o in realtà la qualità spesso dipende dal tipo di rivista in cui un articolo è stato collocato?

    Perchè non si propone un sito in cui vengono collocati, per ciascuna area disciplinare, i CV di tutti i candidati? Per capire di cosa e di chi stiamo parlando. Chi è escluso e per quale orribile causa. Se il mondo accademico deve essere in grado di controllare, un buon inizio sarebbe rendere pubblici i notri CV…cosa facciamo…dove…perchè.

    I ricorsi potrebbero essere fatti anche da coloro che le mediane le superano. Perchè difficilmente capirebbero come mai una persona con meno produzione scientifica si trova al di sopra di certe graduatorie in quanto per scelta discrezionale di una commissione.

    Da quanto leggo mi pare che la magggioranza di voi preferisce che tutto rimanga così come è sempre stato.

    • “La qualità della produzione scientifica chi la decide? Sbaglio o in realtà la qualità spesso dipende dal tipo di rivista in cui un articolo è stato collocato?”

      mi dispiace ma ti sbagli profondamente. la corrispondenza tra qualità della rivista (come si misura?) e qualità dei contenuti è tutta da dimostrare. Ecco perchè negli altri paesi quando si fanno valutazioni della ricerca i paper se li leggono dal primo all’ultimo indipendentemente dal contenitore.

    • “Sbaglio o in realtà la qualità spesso dipende dal tipo di rivista in cui un articolo è stato collocato?”

      ====================
      Il direttore del REF britannico in un’audizione alla Camera dei Comuni esprime soddisfazione per l’abandono delle classifiche delle riviste da parte degli australiani:

      David Sweeney: … we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all. […] I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way we do things in this country

      http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/uc856-iv/uc85601.htm

      Traduzione: “ve l’avevo detto che giudicare il contenuto in base al contenitore non funziona”

      ====================
      Dalle FAQ dek REF2014 (la VQR britannica):

      “How will journal impact factors, rankings or lists, or the perceived standing of publishers be used to inform the assessment of research outputs?
      No sub-panel will make any use of journal impact factors, rankings, lists or the perceived standing of publishers in assessing the quality of research outputs. An underpinning principle of the REF is that all types of research and all forms of research outputs across all disciplines shall be assessed on a fair and equal basis.”

      http://www.ref.ac.uk/faq/researchoutputsref2/

    • “I ricorsi potrebbero essere fatti anche da coloro che le mediane le superano. Perchè difficilmente capirebbero come mai una persona con meno produzione scientifica si trova al di sopra di certe graduatorie in quanto per scelta discrezionale di una commissione.”

      Questa sarebbe la conseguenza delle “mediane indicative”, costringerebbero le commissioni ad abilitare tutti coloro sopra mediane se decidessero di abilitare uno sotto.

    • A parte che si dovrebbe capiure cosa vuole dire “con meno produzione scientifica”. Può capitare che un ricercatore anziano abbia un sacco di pubblicazioni e poi viene fregato dal rapporto fra le citazioni totali e l’età accademica. Non mi azzarderei a dire che questo ricercatore ha una minore produzione scientifica. Anzi forse ha a disposizione 12 pubblicazioni da sottoporre alla valutazione mentre quello sopra mediane no (usufruisce di un’amplificazione dei parametri da bassa età accademica).

    • a parte che la produzione potrebbe essere minore in quantità ma assai migliore. Un po’ come confrontare una damigiana di Tavernello con un bicchiere di Brunello.

    • Certamente, io discutevo solo di un particolare.
      Naturalmente non si può imbrogliare mettendo il Tavernello nella bottiglia del Brunello come ci dice Francesco Sylos Labini.

    • “La qualità della produzione scientifica chi la decide? Sbaglio o in realtà la qualità spesso dipende dal tipo di rivista in cui un articolo è stato collocato?”

      c’è un motivo statistico molto preciso che spiega perché l’IF d una rivista non ha nulla a che vedere con la qualità di un articolo, ed è spiegato qui

      https://www.roars.it/online/?p=1127

    • Quello che è mostrato nel link sopra è che la distribuzione delle citazioni è a coda lunga e dunque la media non è una quantità ben definita, e l’impact factor è una media. Questa è una proprietà statistica che invalida l’IF come una caratteristica sensata della distribuzione (tra l’altro questa è una caratteristica arcinota del IF). Nella scienza si fa così altrove si chiacchera a vanvera.

    • Questa presa di posizione mi sembra rigida al punto da tale da essere pretestuosa. Sicuramente non esiste una correlazione piena e la statistica lo mette in evidenza. In ogni caso, utilizzando un ragionevole grado di approssimazione, le riviste che ospitano lavori di più alta qualità e interesse hanno mediamente impact factor più alto. Il punto è che questi indicatori, per quanto imperfetti, sono sempre meglio delle commissioni di PO ordinari. Ora, per favore non replicate che io li ritengo ingiustamente dei farabutti, come fatto in precedenza, perché voi stessi basate le vostre argomentazioni sul fatto che i nostri accademici:
      1) si sono messi d’accordo per falsificare i dati cineca ed influenzare le mediane
      2) si citano a vicenda in funzione di logiche di convenienza e non scientifiche
      3) si stanno affrettando a pubblicare monografie di scarsissima qualità entrò il 20 novembre
      4) stanno ripubblicando i capitoli di libri esistenti come articoli separati per superare le mediane
      5) chi più ne ha più ne metta

      Io concludo dicendo che se si applicasse lo stesso rigore statistico alla valutazione di efficacia dei farmaci, oggi ne avremmo in circolazione l’80% in meno.

      Un saluto,
      V.

    • “In ogni caso, utilizzando un ragionevole grado di approssimazione, le riviste che ospitano lavori di più alta qualità e interesse hanno mediamente impact factor più alto.”

      La differenza tra la scienza e la superstizione è che la prima è basata su un’analisi dei dati e una discussione quantitativa mentre la seconda su voci basate su altre voci. Nella figura


      è mostrato chiaramente il problema: la media (linea tratteggiata) non è rappresentativa di nulla in una distribuzione a coda lunga (con coda a legge di potenza) come quella delle citazioni. La discussione scientifica si esaurisce a questo punto, la superstizione no.

    • Si continua a rispondere col sarcasmo quando non si hanno elementi. La figura che citi non falsifica la mia ipotesi. Servirebbe uno studio che paragonasse la peer review onesta di un lavoro con le citazioni e l’impact factor della rivista su cui è pubblicato, ovviamente in cieco,. Non so se sia stato fatto o no. Mi riprometto di cercarlo domani.
      V.

    • La figura mostra che non c’è alcuna correlazione tra l’IF di una rivista ed il numero di citazioni ricevuto da un’articolo su quella rivista. Che questo sia il caso è noto in letteratura da anni, probabilmente uno dei primi aspetti studiati in bibliometria. Non saperlo non è una colpa, ostinarsi a ignorarlo sì.

    • “In ogni caso, utilizzando un ragionevole grado di approssimazione, le riviste che ospitano lavori di più alta qualità e interesse hanno mediamente impact factor più alto.”

      L’impact factor è da tempo ritenuto inadeguato per valutare gli articoli:

      Per O Seglen, “Why the impact factor of journals should not be used for evaluating research”
      BMJ 1997; 314 doi: 10.1136/bmj.314.7079.497 (Published 15 February 1997).

      A questo si aggiungano le possibili manipolazione dell’IF (“Top ten in journal impact factor manipulation”, http://www.springerlink.com/content/j6524480v8g00884/) con alcuni casi veramente clamorosi come quello descritto di seguito.

      “Numeri malvagi” (http://www.ams.org/notices/201103/rtx110300434p.pdf) è il singolare titolo di un articolo di D. N. Arnold e K. K. Fowler, apparso lo scorso marzo nelle Notices of the American Mathematical Society. L’articolo di Arnold e Fowler compie un salto di qualità. Non si limita a enunciare pericoli potenziali, ma svela i trucchi che consentono di scalare le vette dell’Olimpo bibliometrico attraverso il caso di Ji-Huan He, professore dell’Università di Donghua (Shanghai, Cina) e poi di Soochow (Suzhou, Cina) ed ex-direttore del comitato editoriale dell’International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS, ora con un nuovo comitato editoriale). Nel 2010, l’h-index di Ji-Huan He ha raggiunto un ragguardevole 39, superiore al valore mediano per i premi Nobel per la fisica, stimato intorno a 35. Inoltre, negli anni 2006-2009 la rivista da lui diretta ha ottenuto il miglior impact factor della categoria Matematica Applicata.


      Concentrandosi sul 2008, Arnold e Fowler hanno rintracciato la provenienza delle citazioni che hanno contribuito all’altissimo impact factor della rivista, scoprendo che più del 70% proveniva da pubblicazioni scientifiche soggette alla supervisione editoriale dello stesso Ji-Huan He o di altri membri del comitato editoriale di IJNSNS. Complessivamente, stimano che l’impact factor della rivista (pari a 8.91 nel 2008) fosse sovrastimato di un fattore sette.

    • “1) si sono messi d’accordo per falsificare i dati cineca ed influenzare le mediane
      2) si citano a vicenda in funzione di logiche di convenienza e non scientifiche
      3) si stanno affrettando a pubblicare monografie di scarsissima qualità entrò il 20 novembre
      4) stanno ripubblicando i capitoli di libri esistenti come articoli separati per superare le mediane”

      Un elenco che illustra perfettamente l’inadeguatezza delle regole messe a punto dall’ANVUR.È ben noto che il pericolo di regole automatiche è la loro elusione e, se proprio le si vuole usare, bisogna anticipare i possibili comportamenti opportunistici.

      Raccogliere i dati si base volontaria è talmente fragile che la stessa ANVUR ha sentito il dovere di giustificarsi addossandone la colpa al ministro che aveva messo fretta e non aveva risposto alla richiesta di istituire una vera anagrafe nazionale della ricerca (https://www.roars.it/online/?p=12265).

      L’opportunismo citazionale non è solo italiano ma è un fenomeno ben noto a livello internazionale (vedi i casi denunciati da Arnold e Fowler in “Nefarious Numbers”). È sicuramente una delle ragioni che sconsigliano l’adozione di regole automatiche basate sulle citazioni (legge di Goodhart allo stato puro).

      Per le monografie vale lo stesso discorso: quale agenzia di valutazione definirebbe un criterio che conta in modo indistinto le monografie e, per di più, lascia tempo fino al 20 novembre per produrle?

      Idem per i libri “spacchettati” in capitoli.

      Criteri assurdi evocano comportamenti assurdi, soprattutto quando il criterio è automatico. Uno dei problemi delle regole automatiche è che tendono a distruggere il senso etico. Anche questo è un fenomeno studiato a livello scientifico.A tale proposito, consiglio vivamente la lettura del seguente articolo:

      U Gneezy, A Rustichini, “A fine is a price”, J. Legal Stud., 2000
      http://www.master-ape.ens.fr/wdocument/master/cours/ecth13/Gneezy%20Rustichini%202000%20(field%20experim%20on%20deterrence).pdf

    • non è vero che una rivista ad alto IF contiene SOLO ottimi lavori come non è vero che ottimi lavori non possano trovare spazio su riviste a IF minore. Quindi l’IF non può essere utilizzato come metrica della qualità di un lavoro (senza parlare del doping che le riviste fanno su questo parametro). Nelle procedure di valutazione, a qualsiasi livello, i lavori vanno letti!

    • “I lavori vanno letti!”

      In linea teorica sono ovviamente d’accordo. La teoria non serve a nulla però se non accompagnata da modalità pratiche: letti da chi? Dagli stessi che si sono organizzati per falsare il database cineca? Preferisco l’approssimazione del numero di citazioni o del l’impact factor della rivista. Purtroppo oggi non ho tempo di cercarlo. Mi rifiuto di credere però che nessuno abbia paragonato in cieco la peer review di un campione di articoli ed il numero di citazioni ricevute. Possibile non esista uno studio di questo genere?
      V.

    • “Preferisco l’approssimazione del numero di citazioni o del l’impact factor della rivista. Purtroppo oggi non ho tempo di cercarlo. Mi rifiuto di credere però che nessuno abbia paragonato in cieco la peer review di un campione di articoli ed il numero di citazioni ricevute. Possibile non esista uno studio di questo genere?”

      In UK hanno fatto uno studio pilota per verificare se la peer review potesse essere surrogata da misure bibliometriche. Questo il responso:

      “Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF”
      http://www.hefce.ac.uk/pubs/hefce/2009/09_39/

      Non più tardi di luglio 2012, sono uscite alcune FAQ per il REF2014 (UK):

      “How will journal impact factors, rankings or lists, or the perceived standing of publishers be used to inform the assessment of research outputs?

      No sub-panel will make any use of journal impact factors, rankings, lists or the perceived standing of publishers in assessing the quality of research outputs. An underpinning principle of the REF is that all types of research and all forms of research outputs across all disciplines shall be assessed on a fair and equal basis.”
      http://www.ref.ac.uk/faq/researchoutputsref2/

    • chi ha falsato il db CINECA? E se lo hanno fatto, qual’è la colpa? Il database cineca NON è obbligatorio, è fatto male e gestito peggio. E per di più i tempi sono stati strettissimi. Noi a Napoli accediamo tramite un sito U-GOV che, per inserire un lavoro ci mette dai 15 ai 20 minuti….e ti assicuro che lo sforzo per “popolare” il sito è stato enorme.

      PS La costituzione italiana non accetta meccanismi surrogati di valutazione per la partecipazione ai concorsi pubblici. Le commissioni sono sovrane come il diritto ad un equa valutazione da parte di tutti.

    • Schön scandal (From Wikipedia)

      The Schön scandal concerns German physicist Jan Hendrik Schön (born 1970 in Verden) who briefly rose to prominence after a series of apparent breakthroughs with semiconductors that were later discovered to be fraudulent. Before he was exposed, Schön had received the Otto-Klung-Weberbank Prize for Physics and the Braunschweig Prize in 2001 as well as the Outstanding Young Investigator Award of the Materials Research Society in 2002, which was later rescinded.

      Withdrawn journal papers

      On March 5, 2003, Nature withdrew seven papers written by Schön:[23]

      J. H. Schön, M. Dorget, F. C. Beuran, X. Z. Zu, E. Arushanov, C. Deville Cavellin, M. Laguës (2001). “Superconductivity in CaCuO2 as a result of field-effect doping”. Nature 414 (6862): 434–6. Bibcode 2001Natur.414..434S. doi:10.1038/35106539. PMID 11719801. (Retracted)
      J. H. Schön, Ch. Kloc, T. Siegrist, M. Steigerwald, C. Svensson, B. Batlogg (2001). “Superconductivity in single crystals of the fullerene C70.”. Nature 413 (6858): 831–3. doi:10.1038/35101577. PMID 11677603. (Retracted)
      J. H. Schön, H. Meng, Z. Bao (2001). “Self-assembled monolayer organic field-effect transistors.”. Nature 413 (6857): 713–6. Bibcode 2001Natur.413..713S. doi:10.1038/35099520. PMID 11607026. (Retracted)
      J. H. Schön, A. Dodabalapur, Z. Bao, Ch. Kloc, O. Schenker, B. Batlogg (2001). “Gate-induced superconductivity in a solution-processed organic polymer film.”. Nature 410 (6825): 189–92. Bibcode 2001Natur.410..189S. doi:10.1038/35065565. PMID 11242074. (Retracted)
      J. H. Schön, Ch. Kloc, B. Batlogg (2000). “Superconductivity at 52 K in hole-doped C60.”. Nature 408 (6812): 549–52. doi:10.1038/35046008. PMID 11117735. (Retracted)
      J. H. Schön, Ch. Kloc, B. Batlogg (2000). “Superconductivity in molecular crystals induced by charge injection.”. Nature 406 (6797): 702–4. Bibcode 2000Natur.406..702S. doi:10.1038/35021011. PMID 10963589. (Retracted)
      J. H. Schön, Ch. Kloc, E. Bucher, B. Batlogg (2000). “Efficient organic photovoltaic diodes based on doped pentacene.”. Nature 403 (6768): 408–10. Bibcode 2000Natur.403..408S. doi:10.1038/35000172. PMID 10667788. (Retracted)

      On October 31, 2002, Science withdrew eight papers written by Schön:[14]

      J. H. Schön, S. Berg, Ch. Kloc, B. Batlogg (2000). “Ambipolar Pentacene Field-Effect Transistors and Inverters”. Science 287 (5455): 1022–3. Bibcode 2000Sci…287.1022S. doi:10.1126/science.287.5455.1022. PMID 10669410. (Retracted)
      J. H. Schön, Ch. Kloc, R. C. Haddon, B. Batlogg (2000). “A Superconducting Field-Effect Switch”. Science 288 (5466): 656–8. doi:10.1126/science.288.5466.656. PMID 10784445. (Retracted)
      J. H. Schön, Ch. Kloc, B. Batlogg (2000). “Fractional Quantum Hall Effect in Organic Molecular Semiconductors”. Science 288 (5475): 2338–40. doi:10.1126/science.288.5475.2338. PMID 17769842. (Retracted)
      J. H. Schön, H. Meng, Z. Bao (2000). “An Organic Solid State Injection Laser”. Science 289 (5479): 599–601. Bibcode 2000Sci…289..599S. doi:10.1126/science.289.5479.599. PMID 10915617. (Retracted)
      J. H. Schön, Ch. Kloc, B. Batlogg (2000). “A Light-Emitting Field-Effect Transistor”. Science 290 (5493): 963–6. Bibcode 2000Sci…290..963S. doi:10.1126/science.290.5493.963. PMID 11062124. (Retracted)
      J. H. Schön, Ch. Kloc, H. Y. Hwang, B. Batlogg (2001). “Josephson Junctions with Tunable Weak Links”. Science 292 (5515): 252–4. doi:10.1126/science.1058812. PMID 11303093. (Retracted)
      J. H. Schön, A. Dodabalapur, Ch. Kloc, B. Batlogg (2001). “High-Temperature Superconductivity in Lattice-Expanded C60”. Science 293 (5539): 2432–4. Bibcode 2001Sci…293.2432S. doi:10.1126/science.1064773. PMID 11533443. (Retracted)
      J. H. Schön, Ch. Kloc, A. Dodabalapur, B. Batlogg (2001). “Field-Effect Modulation of the Conductance of Single Molecules”. Science 294 (5549): 2138–40. doi:10.1126/science.1066171. PMID 11701891. (Retracted)

      On December 20, 2002, Physical Review withdrew six papers written by Schön:[15][16]

      J. H. Schön, Ch. Kloc, B. Batlogg (2001). “Hole transport in pentacene single crystals”. Physical Review B 63: 245201. Bibcode 2001PhRvB..63x5201S. doi:10.1103/PhysRevB.63.245201. (Retracted)
      J. H. Schön, Ch. Kloc, R. Laudise, B. Batlogg (1998). “Electrical properties of single crystals of rigid rodlike conjugated molecules”. Physical Review B 58: 12952. Bibcode 1998PhRvB..5812952S. doi:10.1103/PhysRevB.58.12952. (Retracted)
      J. H. Schön, Ch. Kloc, B. Batlogg (2000). “Mobile iodine dopants in organic semiconductors”. Physical Review B 61: 10803. Bibcode 2000PhRvB..6110803S. doi:10.1103/PhysRevB.61.10803. (Retracted)
      J. H. Schön, Ch. Kloc, D. Fichou, B. Batlogg (2001). “Conjugation length dependence of the charge transport in oligothiophene single crystals”. Physical Review B 64: 035209. Bibcode 2001PhRvB..64c5209S. doi:10.1103/PhysRevB.64.035209. (Retracted)
      J. H. Schön, Ch. Kloc, B. Batlogg (2001). “Low-temperature transport in high-mobility polycrystalline pentacene field-effect transistors”. Physical Review B 63: 125304. Bibcode 2001PhRvB..63l5304S. doi:10.1103/PhysRevB.63.125304. (Retracted)
      J. H. Schön, Ch. Kloc, B. Batlogg (2001). “Universal Crossover from Band to Hopping Conduction in Molecular Organic Semiconductors”. Physical Review Letters 86 (17): 3843–6. Bibcode 2001PhRvL..86.3843S. doi:10.1103/PhysRevLett.86.3843. PMID 11329338. (Retracted)

      On February 24, 2003, Applied Physics Letters withdrew four papers written by Schön:[17][18][19][20]

      J. H. Schön, Z. Bao (2002). “Nanoscale organic transistors based on self-assembled monolayers”. Applied Physics Letters 80 (5): 847. Bibcode 2002ApPhL..80..847S. doi:10.1063/1.1445804. (Retracted)
      J. H. Schön, C. Kloc (2001). “Fast organic electronic circuits based on ambipolar pentacene field-effect transistors”. Applied Physics Letters 79 (24): 4043. Bibcode 2001ApPhL..79.4043S. doi:10.1063/1.1426684. (Retracted)
      J. H. Schön (2001). “Plastic Josephson junctions”. Applied Physics Letters 79 (4): 2208. Bibcode 2001ApPhL..79.2208S. doi:10.1063/1.1408277. (Retracted)
      J. H. Schön, C. Kloc, B. Batlogg (2000). “Perylene: A promising organic field-effect transistor material”. Applied Physics Letters 77 (23): 3776. Bibcode 2000ApPhL..77.3776S. doi:10.1063/1.1329634. (Retracted)

      On May 2, 2003, Science withdrew another paper written by Schön:[21]

      J. H. Schön, M. Dorget, F. C. Beuran, X. Z. Xu, E. Arushanov, M. Laguës, C. Deville Cavellin (2001). “Field-Induced Superconductivity in a Spin-Ladder Cuprate”. Science 293 (5539): 2430. Bibcode 2001Sci…293.2430S. doi:10.1126/science.1064204. (Retracted)

      On March 20, 2003, Advanced Materials withdrew two papers written by Schön:[22]

      J.H. Schön, H. Meng, Z. Bao (2002). “Self-Assembled Monolayer Transistors”. Advanced Materials 14 (4): 323–326. doi:10.1002/1521-4095(20020219)14:4<323::AID-ADMA323>3.0.CO;2-5. (Retracted)
      J. H. Schön, C. Kloc, J. Wildeman, G. Hadziinoannou (2001). “Gate-Induced Superconductivity in Oligophenylenevinylene Single Crystals”. Advanced Materials 13 (16): 1273–1274. doi:10.1002/1521-4095(200108)13:16<1273::AID-ADMA1273>3.0.CO;2-P. (Retracted)

    • Non conoscevo il caso. Molto interessante. Pensate davvero che una commissione di un concorso in Italia avrebbe scoperto il problema attraverso la lettura dei suoi lavori pubblicati su Nature?
      V.

    • invece pensi che una commissione che lo avesse abilitato sulla base degli IF avrebbe fatto un lavoro migliore? Dai, stai difendendo l’indifendibile!

    • Ovviamente no. È un esempio che non cambia granché nella discussione ma non sono stato io a farlo.
      Francamente passare per lo strenuo difensore del l’impact factor mi sembra un po’ assurdo. Sono stato il primo in altri commenti a scrivere che secondo me l’impact factor esprime la qualità del lavoro del l’editor della rivista e non dei ricercatori.
      Il punto però è un altro: pur essendo d’accordo che la peer review in linea di principio è il modo di valutazione migliore c’è un enorme problema etico in Italia che mi fa dubitare di qualsiasi tipo di peer review (tra l’altro nel caso specifico sarebbe pure impossibile farla anonima). Se non sbaglio era proprio lei qualche commento sopra ad aspettarsi che i file di Excel per mirare le citazioni reciproche si sarebbero diffusi nei dipartimenti universitari italiani. Mi spiega perché si fiderebbe ad affidare una peer review relativa al reclutamento alle stesse persone che popolano i dipartimenti di cui sopra?
      Contare i lavori pubblicati su riviste con impact factor, almeno per i bibliometrici, assicura che i lavori sono andati già incontro ad una peer review anonima prima di essere pubblicati.
      Un saluto,
      V.

    • Bella questa. Chissà i co-autori…erano complici o vittime?
      D’altronde la storia della scienza è piena di frodi. Millikan, ad esempio, truccò parte dei dati sperimentali sul rapporto carica/massa. Lo si scoprì solo dopo la sua morte ma nel frattempo era stato insignito del premio Nobel.

      Comunque credo che, come norma, bisognerebbe affidarsi al buon senso, senza, cioè, fare cieco affidamento sull’IF e senza per questo considerarlo spazzatura. Così come le citazioni, etc…. Questi dovrebbero essere solo una piccola parte degli elementi di valutazione perch’ per poter giudicare, i lavori vanno letti e il candidato va INTERROGATO sulla propria attività scientifica. Le selezioni in USA per le open positions funzionano così.
      Ed è proprio per questo che il DM76 e l’impostazione ANVUR è delirante. Come è stato già notato, invece che avvicinarci agli standard migliori, ce ne allontana inesorabilmente. Io non so come sia potuto succedere che colleghi universitari, spesso anche quotati, inseriti nei GEV abbiano preso un abbaglio così clamoroso (così come il Ministro).

    • @Vincenzina Caputo: La qualità della produzione scientifica si valuta leggendo gli articoli. I criteri bibliometrici possono essere soltanto integrativi, per aiutare a farsi un’idea dell’impatto che un articolo ha avuto sulla comunità scientifica. Ma l’impatto non può fungere da filtro. Un articolo di ottima rilevanza può cominciare ad avere un impatto significativo solo dopo molti anni. E gli indicatori che misurano l’impatto devono essere scelti accuratamente. Le autocitazioni, ad esempio, non devono contare nulla. Se un articolo è stato citato cento volte dal suo autore, il suo impatto è zero. Invece, con i parametri scelti dall’ANVUR, il suo impatto è cento. In ogni caso, occorre che ci sia qualcuno che legga gli articoli e valuti la loro qualità. E’ così che si è sempre valutata la ricerca, in tutto il mondo. Si chiama peer review. Gli indicatori bibliometrici, quando sono stati usati, hanno fallito, come dimostrano ampiamente le dichiarazioni di tutte le istituzioni scientifiche internazionali. Qui su ROARS mi pare di capire che la maggioranza delle persone vorrebbero vedere un sistema più razionale ed equo di valutazione della ricerca rispetto al passato, e stanno sottolineando che quello proposto dall’ANVUR non lo è. Non lo è perchè se nel passato la commissione valutava tutto il CV e le pubblicazioni del candidato, con questo nuovo sistema i candidati, anche quelli potenzialmente bravi, si vedono estromessi unicamente sulla base del filtro bibliometrico, e il CV e le pubblicazioni vengono lette solo per i candidati che hanno superato il filtro. Un candidato bravissimo che ha scritto ottimi articoli ma che magari non si è mai autocitato può non passare le mediane per un pelo, mentre uno meno bravo e che si è sempre autocitato magari le passa. Questo è peggio che nel passato. Nel passato il problema erano le commissioni locali, e la loro possibile mancanza di imparzialità. Occorreva risolvere quel problema, e trovare un meccanismo migliore per selezionare la commissione. Invece è stato introdotto un meccanismo di selezione della commissione puramente quantitativo (mediane) senza tenere in nessun conto la qualità della produzione scientifica dei candidati. Quindi si è peggiorato anche da questo punto di vista rispetto al passato, perchè i candidati potranno venire giudicati da commissari con bassa qualità scientifica. Il teorema che “migliori indici bibliometrici significano superiore qualità scientifica” è una barzelletta. Potrei trovare una decina di esempi nel mio settore di PO e PA che hanno scritto lavori ottimi e che non passano, magari di poco, le loro mediane, e di PO e PA che hanno scritto valanghe di carta straccia e le passano alla grande. Saranno questi ultimi a giudicare i candidati. E a giudicare proprio quei candidati che hanno passato il “primo turno” solo sulla base dei valori bibliometrici, mentre a molti candidati bravi il secondo turno sarà precluso. Tenendo infine conto che il DM assegna completa discrezionalità ai giudizi delle commissioni (motivando, possono abilitare chi vogliono), ne consegue che il nuovo sistema non introduce nessun miglioramento rispetto al passato, ma solo peggioramenti. Ovviamente molti di quelli che passsano le mediane esultano per questo sistema, e lo difendono. Io passo tutte e tre le mediane, ma non esulto affatto. Perchè è chiaro e trasparente come l’acqua che questo sistema crollerà su sè stesso sotto la valanga dei ricorsi, e tutto rimarrà bloccato per anni. E non mi pare di avere nulla per cui esultare.

    • Non sono in disaccordo completo con quello che scrivi, però vorrei sapere a che settore ti riferisci. Nel mio francamente di PO e PA ottimi che non passano le mediane non ne vedo. Succede purtroppo il contrario perché le norme di authorship sono ignorate dai più e costantemente violate. La mia impressione è che, almeno nel mio settore, se le norme venissero rispettate gli indicatori darebbero un’immagine piuttosto accurata del valore del candidato. Vorrei anche aggiungere che quelli che non superano “di poco” le mediane, in un paese normale in cui le regole non cambiassero continuamente, potrebbero superare tale limite per la tornata successiva.
      Hai perfettamente ragione sul fatto che non si affronta il problema delle commissioni locali.
      V.

    • Il discorso che faccio vale per tutti i settori dell’Ingegneria dell’Informazione, dove i valori delle mediane sono piuttosto alti a causa soprattutto del numero notevole di autocitazioni. Ovviamente, se prendiamo settori in cui le mediane sono bassissime, i candidati bravi le passano automaticamente. Ma nella maggior parte dei settori delle scienze dure non è così. Nei settori di Ingegneria, la seconda mediana arriva ad avere valori di qualche centinaio, ed anche l’hc-index è compreso tra 10 e 20. E’ chiaro che in questi settori le autocitazioni fanno la parte del padrone. Chi si è molto autocitato in passato (pratica da deprecare) ora viene avvantaggiato. Ma che senso possono avere le autocitazioni, in termini di merito? Esse sono direttamente collegate al numero di articoli pubblicati complessivamente. Ad esempio, si consideri il caso di due candidati che hanno pubblicato entrambi in tutta la loro carriera 20 articoli negli ultimi 10 anni. Si supponga che il candidato A si sia “autocitato” in media 2 volte per ogni articolo (ragionevole), mentre il candidato B si sia autocitato 6 volte per ogni articolo. Il candidato B avrà un valore della seconda mediana 3 volte superiore a quello del candidato A, e l’unico suo merito sarebbe stato quello di essersi autocitato! E’ così che vogliamo individuare i candidati bravi? Da numeri che dipendono solo e soltanto dalla “furbizia”? E se il candidato A capisce il meccanismo e non avendo superato l’abilitazione quest’anno decide di “imbottire” tutti i suoi prossimi articoli di autocitazioni, pensi che questo comportamento apporti benefici all’università italiana? Pubblicare tanto, anche spazzatura, basta che contenga una valanga di autocitazioni? Non amo i giudizi drastici e le esagerazioni, ma in questo caso non ho difficoltà a sbilanciarmi. Questa procedura di abilitazione, se continuasse ad andare avanti, segnerebbe la fine definitiva di un sistema universitario già disastrato.

    • Ok. D’accordissimo sul l’eliminazione automatica di ogni tipo di autocitazione. È piuttosto semplice da fare. Il problema che poni però, seppur valido, non è sufficiente per buttare a mare l’intera procedura.
      V.

    • @Sam, Valdimir

      Includere le autocitazioni nella valutazione è indubbiamente errato, e concordo con i in linea di principio con vostri post.
      ANVUR però in questo caso specifico ha poche colpe.

      C’è un problema pratico nell’eliminazione delle autocitazioni:

      Per Scopus c’è una funzione dedicata, che permette di eliminare le autocitazioni per ogni singola pubblicazione. Per ISI, questa funzione non è ancora disponibile.
      Come DOVREBBE essere calcolato l’H-index con il sistema ANVUR? (Uso il condizionale perché fino ad oggi qualsiasi richiesta di trasparenza e accesso ai dati primari è stata disattesa..) Il candidato commissario/PA/PO inserisce la lista delle sue pubblicazioni con il DOI. Un programma al momento della presentazione della domanda (attenzione: non della chiusura del bando) interroga i database Scopus-ISI sul numero di citazioni per quella specifica pubblicazione e seleziona il più alto tra i due. Su questa base costruisce l’indice citazionale e l’indice H-c. In pratica, per come è progettata la procedura al momento, non c’è un sistema automatico per l’eliminazione di TUTTE le autocitazioni, a meno di basarsi su dichiarazioni dei candidati. Se si eliminassero le autocitazioni solo su Scopus, questo porterebbe ad un errore metodologico non sistematico, perché sfavorirebbe in modo ineguale i candidati che hanno più citazioni su Scopus. L’impiego Scopus in modo esclusivo sarebbe corretto dal punto di vista metodologico, ma errato da punto di vista scientifico perché in molti settori la copertura Scopus non è completa.

      Sicuramente, le commissioni potrebbero tenere conto delle autocitazioni valutandole nel merito e non in modo automatico, come si dovrebbe procedere in una qualsiasi valutazione bibliometrica.

      Un’ultima osservazione: in un sistema ove vigono alti standard etico scientifici, le autocitazioni non sono un problema Se invento un nuovo algoritmo, una nuova reazione chimica, una nuova metodologia di analisi e utilizzo il frutto delle mie ricerche precedenti sarebbe persino scorretto non autocitarmi. La presenza di tante autocitazioni come fenomeno patologico è colpa dei referee che non svolgono il lavoro di peer review al meglio. Quasi tutte le riviste chiedono di valutare se le citazioni sono “bilanciate e corrette”. Un referee serio dovrebbe correggere storture derivanti da autocitazioni solo opportunistiche. A me personalmente è capitato che un referee abbia contestato una mia autocitazione, (messa in perfetta buona fede, per carità) e aveva le sue ragioni. L’articolo è venuto meglio eliminando quella sezione.
      Chi lavora con rigore metodologico, non si autocita in modo eticamente discutibile.

    • La “procedura” così com’è per me va buttata a mare. Questa almeno è la mia modesta opinione, se non vogliamo trasformare l’università italiana in una produzione industriale di carta straccia. L’unica procedura a mio avviso ragionevole è quella di un’abilitazione nazionale, con commissioni sorteggiate per SSD da una lista di candidati selezionati in base al criterio del peer-review, che tenga ANCHE conto di parametri bibliometrici semplici ed oggettivi, quali il numero complessivo di pubblicazioni negli ultimi dieci anni e l’h-index (non normalizzato,. e depurato dalle auto-citazioni), ma che non consideri tali parametri come un filtro. Allo stesso modo, il candidato dovrebbe essere valutato dalla propria commissione sulla base sempre del peer-review di una lista delle sue migliori pubblicazioni, mantre i suoi indicatori bibliometrici (numero totale di pubblicazioni e h-index senza autocitazioni e non normalizzato) dovrebbero soltanto costituire criteri integrativi per il giudizio finale. Sono invece assolutamente contrario alla valutazione del “prestigio” delle riviste su cui si è pubblicato, e quindi all’uso di indicatori come l’IF o di “liste di riviste”. Questi criteri sono assolutamente arbitari ed influenzati dal “potere costituito”. Sono anche completamente contrario a criteri che favoriscano i giovani rispetto agli anziani, o viceversa. Essere giovane non deve essere un requisito per l’abilitazione, e non deve essere un alibi per non avere prodotto abbastanza. Per diventare PA o PO si deve dimostrare di avere acuisito la necessaria maturità scientifica, e trovo ridicolo che si aiuti un giovane incrementando il valore delle sue citazioni attraverso un criterio assurdo come quello del contemporary h-index. Una citazione di un lavoro deve avere lo stesso valore sia se il lavoro è del 2012 che se il lavoro è del 2002. Con l’hc-index una citazione di un lavoro del 2012 vale 11 volte una citazione di un lavoro del 2002. La procedura che attualmente si sta utilizzando è lontana anni luce da quella che personalmente considero corretta, e secondo me va fermata immediatamente per non arrecare ulteriori danni a coloro che aspettano ormai da troppo tempo di vedere valutato seriamente il proprio lavoro scientifico. Ho il massimo rispetto per chi ha opinioni diverse dalla mia, ma non ho peli sulla lingua nell’esprimere la mia su una situazione che rischia di affossare definitivamente l’università italiana.

    • “I ricorsi potrebbero essere fatti anche da coloro che le mediane le superano. Perchè difficilmente capirebbero come mai una persona con meno produzione scientifica si trova al di sopra di certe graduatorie in quanto per scelta discrezionale di una commissione.”

      Ma di cosa stiamo parlando? Di quali graduatorie? Sembra che si continui a credere che l’abilitazione sia una valutazione comparativa! Sarebbe ora di mettersi in testa che non lo è e non lo deve essere, non stabilisce gerarchie, graduatorie o classifiche. Deve semplicemente decidere chi è in e chi è out, secondo il criterio generale della capacità di svolgere il compito assegnatogli (qui, si presume, insegnare e far ricerca).

      Io capisco la frustrazione di molti per come sono andati a volte i concorsi in passato, per la mancanza di trasparenza, gli accordi in sede privata, ecc. ma tutto ciò non giustifica un principio di wishful thinking per cui si attribuisce all’abilitazione nazionale il ruolo di Giustiziere della Notte degli abusi che furono. Prima che essere operativamente impossibile è concettualmente sbagliato e ridicolo.

      E se, per cambiare, provassimo a discutere del vero problema, ovvero di cosa si può fare per rendere le scelte di reclutamento locale qualitativamente probanti? Guardate che se questo problema non viene risolto tutto il resto è fuffa.

    • Pur partendo da basi diverse, sono quasi sempre d’accordo con le tue conclusioni. Io partirei da: è possibile in Italia “rendere le scelte di reclutamento qualitativamente probanti?”. Io ho molte poche speranze a questo proposito ma sarei molto contento di discutere su eventuali proposte.
      V.

    • A mio avviso il modo più solido per responsabilizzare le scelte di reclutamento, già adottato in molti paesi, è quello della valutazione ex post delle scelte dopo 3-4 anni.

      Se si è assunto un nullafacente la si paga in termini di fondi di ricerca (non è necessario che la cosa si ripercuota sul salario dei docenti, giacchè incidere sui fondi di ricerca è già sufficiente ad incentivare i membri del dipartimento a controllarsi a vicenda sul piano della produttività e ciò è non meno efficace di draconiane minacce al protafoglio).

      Al contrario se si è assunto qualcuno particolarmente valido (e ciò si mostra ai valutatori ex post) il medesimo dipartimento può avere un incremento premiale dei fondi di ricerca.

      Per far funzionare il sistema è necessario che si garantisca la terzietà della commissione che andrà a svolgere la valutazione ex post, e ciò lo si può ottenere in diversi modi (sorteggio puro dei membri nazionali e partecipazione di esperti esteri innanzitutto). Detto per inciso, se soldi pubblici vanno spesi per la valutazione, che vengano spesi per i giuiizi ex post e non per il mostruoso baraccone delle mediane: un cannone per sparare ai moscerini.

      Per inciso, tutto ciò è già in nuce nella legge 240, va solo precisato ed implementato in modo sensato. Se ciò accade dell’abilitazione si potrebbe anche fare a meno.

  10. Beh…. proprio nulla a che vedere non direi. D’accordo che la dispersione è ampia ma:
    a) bisognerebbe vedere come si comportano deviazione standard, valore medio, posizione del picco in un confronto tra le varie riviste; non so ma potrei immaginare che il picco per PRL sia spostato a destra rispetto al picco di una rivistina;
    b) pubblicare su riviste ad alto impact factor è più difficile in quanto le procedure di peer-review sono più serie e i Referee in genere sono più qualificati; pertanto i lavori che aspirano ad essere sottomessi a riviste con alto impact factor devono essere necessariamente fatti meglio;
    c) non è detto che un articolo con un numero maggiore di citazioni sia necessariamente migliore di un altro meno citato: la citazione, in se, può non voler dire nulla e a questo proposito potrei semplicemente ricordare il caso fusione fredda con l’articolo citatissimo di Fleischmann e Pons.
    Detto questo, sono d’accordo con Israel e molti altri commentatori quando sostengono che la valutazione di un determinato articolo la si può dare solo leggendolo.

  11. vincenzina caputo: “Da quanto leggo mi pare che la magggioranza di voi preferisce che tutto rimanga così come è sempre stato”.
    Chi fa parte o aspira a far parte di una comunità scientifica dovrebbe almeno evitare di trinciare giudizi sommari e indiscriminati sui suoi interlocutori. Questo almeno ci insegnavano i nostri Maestri. Si chiamava deontologia professionale.
    Qui c’è tanta gente che sta lavorando per migliorare questo sistema, con proposte costruttive, sottraendo tanto tempo al proprio lavoro e alla loro vita personale.
    non si è d’accordo con loro. Benissimo!, Almeno però li si rispetti.

  12. Vorrei sottolineare un altro elemento per cui l’uso dei soli indicatori bibliometrici, senza entrare nel merito dei singoli lavori, dell’apporto individuale e del CV dei cancidati, puo’ produrre gravi storture e ingiustizie.
    Nella mia area (Scienze Fisiche, bibliometrica) alcuni settori concorsuali sono molto disomogenei, e vi sono anche forti sovrapposizioni tra essi.
    Capita cosi’ che nello stesso settore coesistano tematiche molto differenti tra loro. Alcune dove lavorano molti ricercatori e si pubblica parecchio, con conseguente incremento anche delle citazioni e delle mediane, e altre tematiche in cui il numero medio di pubblicazioni e citazioni e’ minore, pur essendo queste di valore scientifico almeno pari alle prime. E’ evidente che chi lavora nel secondo tipo di tematica verra’ fortemente penalizzato.
    Allo stesso tempo, vi sono tematiche di ricerca che trovano legittima collocazione in due o piu’ settori concorsuali, che pero’ hanno valori delle mediane molto differenti (anche di un fattore tre). Si potrebbe cosi’ arrivare alla situazione paradossale di due candidati con le stesse pubblicazioni, ma che si trovano (legittimamente) in due diversi settori, con valori molto differenti delle mediane: uno supererebbe abbondantemente le mediane e l’altro no.

    • Sottoscrivo in pieno e in più aggiungo il fatto che, oltre alle critiche note e ben fondate sulle mediane e sulla bibliometria utilizzata, ritengo che ci sia un vizio esiziale nei parametri definiti nel DM 76 e cioè che essi non sono stati definiti sulla base del contributo individuale agli articolo come ESPLICITAMENTE indicato nella Legge Gelmini.

    • Precisamente.
      Chi si occupa con una certa intensità di tematiche “di nicchia” rispetto alla moda del momento è tagliato fuori irrimediabilmente.

    • O quanto meno è certo di qualificarsi come “pocofacente” nel mondo dei cultori del numeretto. Il che, come si vede, è assai pericoloso.

  13. Vorrei fare un esempio pratico delle conseguenze possibili (e probabili) nell’adottare la procedura delle mediane. Supponiamo di avere un candidato X per l’abilitazione a PA, che abbia pubblicato 50 riviste in dieci anni nel suo settore, la maggior parte delle quali di ottima qualità scientifica su journal di riconosciuto prestigio. Supponiamo che egli abbia sempre usato correttamente il meccanismo dell’autocitazione, abbia mediamente citato 1 suo lavoro per ogni articolo, e abbia così prodotto una cinquantina di autocitazioni. Siccome i suoi lavori sono buoni, essi hanno raccolto anche un buon numero di citazioni “vere”, supponiamo 3 per lavoro, quindi altre 150 citazioni. Totale 200 citazioni in 10 anni. Normalizzando, il suo “secondo indicatore” sarebbe pari a 20. Supponiamo che nel suo SSD i PA abbiano prodotto in media 30 riviste in 10 anni. La prima mediana dell’SSD assumerebbe probabilmente un valore 30, che il nostro candidato supererebbe di gran lunga (lui di pubblicazioni ne ha 50, e di ottima qualità). Ma i PA del suo SSD si sono molto autocitati, almeno 5 autocitazioni per lavoro, per un totale di 150 autocitazioni, a cui supponiamo si aggiungano 2 sole citazioni “vere” per lavoro, per un totale di 210 citazioni in media. Quindi supponiamo che la seconda mediana in questo SSD sia 21. Il ricercatore X non passa quindi la seconda mediana, e probabilmente non passa neppure la terza che è statisticamente legata alla seconda e privilegia le citazioni agli articoli più recenti. Queste citazioni “recenti” nel suo SSD sono in gran maggioranza autocitazioni, e ciò penalizza X che si è poco autocitato. Quindi X, che ha prodotto quasi il doppio delle pubblicazioni degli associati più bravi sel suo SSD, non passa le mediane e si vede negata la possibilità di avere valutata la qualità delle sue pubblicazioni, che tra l’altro sono citate mediamente 3 volte ognuna, contro le sole 2 volte degli associati del suo settore. Questi conticini che propongo sono immaginari, ma sono assolutamente rappresentativi di un paio di SSD che conosco bene in area Ingegneria. Cosa farà secondo voi il nostro candidato X per il futuro? Continuerà a produrre 5 buone riviste all’anno? No, perchè non gli servono, in quanto la prima mediana l’ha ampiamente superata. Invece probabilmente produrrà articoli di “veloce pubblicazione”, zeppe di autocitazioni ai suoi lavori, per passare la seconda mediana. E siccome tutti i candidati nelle sue stesse condizioni faranno esattamente quello che fa lui, nella seconda tornata le mediane le passeranno in molti e non faranno più da filtro. Tutti i candidati che passeranno la successiva tornata di abilitazioni alzeranno significativamente il valore delle mediane per la tornata ancora successiva, e provocheranno una caccia alla “citazione” da parte dei nuovi candidati, ancora più accentuata che nella prima tornata. Chi farà più ricerca seria in Italia? Chi scriverà articoli di qualità, visto che tutti saranno impegnati a “inseguire” le mediane? Mi scuso per la lunghezza del post.

    • ecco il foglio EXCEL a cui mi riferivo qualche post più in alto. Il sistema delle mediane è esiziale per la ricerca.

    • Anche in spagna usano una commissione sovrana…

      La evaluación se efectúa por los Comités de Evaluación de modo individualizado para cada solicitud, expresando por escrito, de modo sucinto y como contenido de dicha evaluación, el juicio técnico, y especificando el consiguiente carácter positivo o negativo de la evaluación y la figura contractual de profesorado para la que se realizan. En caso de que la evaluación sea negativa ésta debe ser motivada de forma que la orientación resulte útil y significativa para el solicitante.

    • Si certo non parla di mediana…ma:

      1) Anche in Spagna, è stata costituita un’agenzia che conferisce una sorta di abilitazione nazionale. Molti colleghi raccontano che rispetto al passato l’agenzia e le regole poste hanno garantito maggiore meritocrazia ed un incentivo che si è tradotto in maggiori pubblicazioni, vincita di progetti Europei, ect.

      2) I partecipanti conoscono prima del concorso il valore dei proprio titoli. Le regole vengono stabilite prima per garantire una sorta di trasparenza nelle procedure di valutazioe. Nessun aspetto è lasciato alla discrezionalità.

      3) Due punti su cui abbiamo discusso in questi giorni;
      A) En el campo de las Ciencias Sociales se valoran preferentemente las publicaciones científicas en revistas de prestigio incluidas en listados tales como Science Citation Index, Social Sciences Citation Index, Econlit, catálogo de Latindex u otros listados generalmente admitidos en este campo.

      B)Para la valoración de las publicaciones científicas se atiende, entre otros, a los siguientes factores: el índice de impacto, el lugar que ocupa la revista en el conjunto de las que corresponden a un mismo ámbito de conocimiento, el número de autores y la posición que ocupa entre ellos el solicitante.

      Perchè non proviamo a simulare una situazione del genere in italia. In questo modo potremmo renderci conto cosa accadrebbe sotto questo scenario. Se il numero degli esclusi (o le percentuali) rimarrebbe invariato.

      Ho chiesto ad alcuni colleghi di fornirmi dei dati relativi all’impatto che questa riforma ha prodotto sul sistema ricerca.

      Colleghi che lavorano in Belgio e in Olanda dicono che i requisiti non si discostano notevolmente da quelli spagnoli.

    • infatti, una commissione di pari che valuti in maniera trasparente la ricerca nel suo complesso, nella sua organicità. E poi la didattica. E poi i fondi. E alla fine decida sull’abilitazione. Non chiediamo che questo…

    • 1) Anche in Spagna, è stata costituita un’agenzia che conferisce una sorta di abilitazione nazionale. Molti colleghi raccontano che rispetto al passato l’agenzia e le regole poste hanno garantito maggiore meritocrazia ed un incentivo che si è tradotto in maggiori pubblicazioni, vincita di progetti Europei, ect.

      La Spagna, come l’Italia, non brilla per raccolta di fondi europei. Quanto a pubblicazioni e citazioni siamo meglio dei tedeschi. Anche io, nel mio piccolo, ho colleghi in Spagna che sono arrabbiati quanto noi per l’eccesso di ingerenza politica e la mancanza di fondi pubblici alle università.

      2) I partecipanti conoscono prima del concorso il valore dei proprio titoli. Le regole vengono stabilite prima per garantire una sorta di trasparenza nelle procedure di valutazioe. Nessun aspetto è lasciato alla discrezionalità.

      dove lo hai letto? Mi sembra che il giudizio diviso in punti (60/100 ricerca, 30 didattica, 10 altri titoli) dia amplissimo margine di discrezionalità alla commissione.

      3) Si dice che per valutare un lavoro si deve guardare ad una serie di parametri oggettivi ma ciò deve essere comunque in linea con il requisito principale, ovvero

      Se requiere que los solicitantes acrediten una actividad investigadora intensa, desarrollada de forma continuada en el tiempo y centrada en unas líneas de investigación que permitan establecer cuál es su campo de investigación.

      4) In Olanda, dove ho lavorato per due anni, ti garantisco che guardano principalmente alla capacità di fund-raising (e se non avessero gli studenti cinesi fra poco dovrebbero chiudere anche le TU più influenti)

      Detto questo se Profumo se ne uscisse con le regole spagnole penso ci sarebbe un boato di plauso planetario…

    • Anche in Francia c’è una sorta di abilitazione nazionale che si chiama Qualification e che è un cosa del tutto ragionevole neanche lontanamente paragonabile alla buffonata nostrana.

    • anche interessante:

      La evaluación se efectúa por los Comités de Evaluación de modo individualizado para cada solicitud, expresando por escrito, de modo sucinto y como contenido de dicha evaluación, el juicio técnico, y especificando el consiguiente carácter positivo o negativo de la evaluación y la figura contractual de profesorado para la que se realizan. En caso de que la evaluación sea negativa ésta debe ser motivada de forma que la orientación resulte útil y significativa para el solicitante.

    • certo. nelle FAQ (preguntas frequentes)

      11. ¿La evaluación positiva tiene plazo de caducidad?
      No. Esta evaluación no está sujeta a plazo de caducidad alguno y tendrá efecto en todas las universidades españolas.

    • Io mi riferivo alla valutazione negativa. C’è la possibilità di riproporsi gli anni successivi? Da noi per due anni no.

    • 6 mesi. sempre dalle FAQ

      12. Si la evaluación es negativa, ¿puedo volver a solicitarla?
      Sí. El interesado que haya obtenido una evaluación negativa podrá solicitar de nuevo dicha evaluación en el plazo de seis meses contados desde la notificación del informe negativo.

    • En caso de que la evaluación sea negativa ésta debe ser motivada de forma que la orientación resulte útil y significativa para el solicitante.
      El interesado que haya obtenido una evaluación negativa podrá solicitar de nuevo dicha evaluación en el plazo de seis meses contados desde la notificación del informe negativo.

      Più o meno la moral suasion dell’ANVUR.

  14. Al fine di meglio comprendere se l’attività dell’ANVUR è stata preparata o è stata improvvisata, Vi invio il carteggio tra me e la segreteria ANVUR.

    ————————– Messaggio originale ——————

    Oggetto: valutazione commissari
    Da: nicola.ferrara@unimol.it
    Data: Mer, Giugno 27, 2012 09:55
    A: abilitazione@anvur.org
    —————————————————————–
    Per quanto attiene la valutazione dei professori ordinari che aspirano alla funzione di commissari per la abilitazione scientifica nazionale, gli indicatori sono normalizzati per l’età accademica?
    Grazie
    Nicola Ferrara

    Questa è stata la risposta.

    Gentile Professor Ferrara,
    ci scusiamo se le rispondiamo con ritardo, ma in questi ultimi giorni di mail ne arrivano veramente moltissime.
    In ogni caso le mediane per i commissari sono le stesse per i candidati ordinari.
    Per qualsiasi altro chiarimento le lasciamo il riferimento di un referente per la procedura di abilitazione: 06/97726405.
    Cordiali saluti
    Segreteria Anvur

    Dopo qualche giorni, dopo aver ulteriormente posto per via telefonica i miei dubbi, è stata pubblicata questa FAQ chiarificatrice.
    L’H-index per le aree bibliometriche deve essere normalizzato sia per i commissari che per i candidati?
    No, solo per i candidati. Per gli aspiranti commissari gli indicatori non sono normalizzati.

  15. in Spagna per le abilitazioni ci si serve di una commissione di pari (che novità). I criteri mi sembrano sufficientemente (e giustamente) generali. Non vedo perchè si debba additare a questo sistema come ad una grande novità. Fanno quello che è giusto fare, valutano individualmente le persone (senza numerini). A proposito…l’abilitazione lì non scade…

    La evaluación se efectúa por los Comités de Evaluación de modo individualizado para cada solicitud, expresando por escrito, de modo sucinto y como contenido de dicha evaluación, el juicio técnico, y especificando el consiguiente carácter positivo o negativo de la evaluación y la figura contractual de profesorado para la que se realizan. En caso de que la evaluación sea negativa ésta debe ser motivada de forma que la orientación resulte útil y significativa para el solicitante.

    • Andrea, i numerini ci sono. Ogni titolo vale un certo numero. E questo si basa su una lista di riviste su cui la commissione deve fare riferimento. Se ho un titolo X che vale X1, la commissione non puo’ giudicarlo X2. In questo senso, il numerino esiste e la commissione non puo’ ignorarlo.

      Qualcuno di voi giorni fà ha proposto di controllare come funzionano le cose in Europa. Bhè perchè non proviamo a fare questa cosa seriamente.

    • dove lo hai letto? dove è la lista? Forse mi è sfuggita. C’e’ un link?

      chi può dire se un articolo su una rivista X vale più o meno di un articolo su una rivista Y senza leggerlo?

    • ….Per la valutazione delle pubblicazioni scientifiche si da valore ai seguenti fattori: indice di impatto, posto che occupa la rivista nell’insieme di quelle che corrispondono a uno stesso ambito, numero di autori e la posizione che occupa tra di loro il richiedente. Il mio collega dice che esite una tavola di riferimento aggiornata ogni anno. Ho chiesto copia.

      Al di là di questo, tu credi veramente che pubblicare in una rivista piuttosto che in un’altra non faccia differenza. Nel mio settore anche le pietre riconoscono che avere un articolo sull’American Economic Review, o l’Americal Journal of Agricultural Economics equivale quasi ad ottenere un posto da Associate Professor negli States o in UK.

      Ad ogni modo, qualcuno dovrà pur decidere cosa vale più di cosa…bisogna solo capire se lasciare questa decione ai numeri o alle persone.

    • Basta anche che la risposta non sia un nome e un cognome noto ai commissari…a discapito di un 42 sconosciuto e scomodo!!!

    • “Nel mio settore anche le pietre riconoscono che avere un articolo sull’American Economic Review, o l’Americal Journal of Agricultural Economics equivale quasi ad ottenere un posto da Associate Professor negli States o in UK. ”

      Un settore in cui basta un articolo per diventare associate non e’ messo un gran che bene. Come scrissero Pasinetti e colleghi “Al potere che viene così gratuitamente attribuito a direttori e referees di riviste di decidere della carriera dei ricercatori si accompagnano poi conseguenze potenzialmente assai gravi per lo sviluppo della disciplina” https://www.roars.it/online/wp-content/uploads/2011/06/LetApValutRic.pdf

    • “bisogna solo capire se lasciare questa deci[si]one ai numeri o alle persone”

      non sapevo che i numeri potessero prendere decisioni

    • Vorrei intervenire brevemente da “non bibliometrico”. Se i colleghi dei settori bibliometrici si trovano bene con le loro cabale numeriche, sono contento per loro. Personalmente sono felice di farmi valutare, ma non di inseguire numerologie che almeno per buona parte delle HSS sono pressoché impossibili da utilizzare.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.