Da subito: un provvedimento normativo o interpretativo sulla derogabilità.
Per il futuro: nuovi indicatori assoluti slegati dal calcolo delle mediane.

Riportiamo di seguito il testo integrale della mozione presentata dai deputati Eugenio Mazzarella, Mariastella Gelmini e Paola Binetti relativa al valore da assegnare al superamento delle mediane per il conseguimento dell’abilitazione scientifica nazionale e alle azioni da intraprendere per una futura revisione degli indicatori quantitativi da utilizzare nelle abilitazioni scientifiche nazionali.

==========================================

La Camera dei Deputati,

premesso che

– l’articolo 16 della legge 30 dicembre 2010, n. 240, ha istituito l’abilitazione scientifica nazionale, destinata ad attestare la qualificazione scientifica che costituisce requisito necessario per l’accesso alla prima e alla seconda fascia dei professori universitari, e ha stabilito che sia attribuita con motivato giudizio fondato sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche di ciascun candidato, previa sintetica descrizione del contributo individuale alle attività di ricerca e sviluppo svolte, espresso sulla base di criteri e parametri differenziati per area disciplinare definiti con decreto del Ministro dell’istruzione, dell’università e della ricerca;

– tale decreto, emanato il 7 giugno 2012 (n. 76) anche sulla base delle indicazioni dell’Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR), stabilisce tra l’altro che:

–        nell’allegato A, numero 3, lettera b), che, per i settori cosiddetti bibliometrici, “ottengono una valutazione positiva dell’importanza e dell’impatto della produzione scientifica complessiva i candidati all’abilitazione i cui indicatori sono superiori alla mediana in almeno due degli indicatori di cui alle lettere a), b) e c) del numero 2” del medesimo allegato;

–       nell’allegato B, numero 4, lettera b), che, per i settori cosiddetti “non bibliometrici”, “ottengono una valutazione positiva dell’importanza e dell’impatto della produzione scientifica complessiva i candidati all’abilitazione i cui indicatori sono superiori alla mediana in almeno uno degli indicatori di cui alle lettere a) e b) del numero 3” del medesimo allegato;

–       nell’articolo 6, commi 1-2-3-4, lettere b), che l’abilitazione può essere attribuita esclusivamente ai candidati i cui indicatori dell’impatto della produzione scientifica complessiva presentino i valori richiesti sulla base delle regole di utilizzo degli stessi di cui all’allegato A, numero 3, lettera b), e all’allegato B, numero 4, lettera b), cioè siano superiori alla mediana in almeno due (per i settori bibliometrici) e uno (per i settori non bibliometrici) degli indicatori previsti;

–       nell’articolo 3, comma 3, che la commissione può eventualmente utilizzare “ulteriori criteri e parametri più selettivi ai fini della valutazione delle pubblicazioni e dei titoli” purché questi siano “predeterminati dalla commissione con atto motivato pubblicato sul sito del Ministero e su quello dell’università sede della procedura di abilitazione”;

considerato che:

–       alla luce della normativa citata in premessa, non è chiaro quanto l’effettivo superamento del valore mediano degli indicatori sia vincolante per il conseguimento dell’abilitazione;

–       la normativa citata induce qualche dubbio anche sotto il profilo della parità di trattamento tra i candidati visto che introduce una netta differenziazione tra settori bibliometrici, sostanzialmente quelli scientifici e tecnologici, e settori non bibliometrici, sostanzialmente quelli umanistici ed economico-giuridico-sociali, in termini di numero e tipologia delle condizioni numeriche vincolanti;

–       gli interventi pubblici dei componenti del consiglio direttivo dell’ANVUR  non hanno chiarito la situazione e anzi hanno finito col diffondere ulteriori dubbi e col suscitare la predisposizione di comportamenti interpretativi difformi tra le varie aree disciplinari;

–       questa problematica ha attirato una grande attenzione del mondo universitario con decine di interventi sulla stampa o sul web, tenuto conto che l’incertezza interpretativa influenza la partecipazione o meno alle procedure in considerazione della sanzione prevista per chi partecipi e non consegua l’abilitazione;

–       gli indicatori bibliometrici, pur in linea di principio interessanti e non privi di riscontri internazionali, soprattutto in alcuni settori scientifici, presentano forti limiti di descrittività, e non mancano seri dubbi sulla tenuta algoritmica e giuridica del loro calcolo (anche a causa della perdurante incertezza sull’affidabilità della base di dati utilizzata e sui meccanismi di calcolo adottati) e dunque sulla significatività dei loro valori, tanto che in nessun Paese sono utilizzati in modo automatico e vincolante per reclutare o promuovere i docenti;

–       gli indicatori per i settori “non bibliometrici” sono assolutamente privi di riscontri internazionali e privilegiano, con due indicatori su tre, la valutazione meramente quantitativa della produzione scientifica, mentre il terzo indicatore, riferito alla pubblicazione di articoli su riviste “di classe A” è basato su una aleatoria ed affrettata classificazione delle riviste, peraltro resa nota, e neppure per tutte le Aree, dopo la data di scadenza del bando per gli aspiranti commissari e del termine ultimo per ritirare la domanda eventualmente già presentata;

–       in particolare, la decisione di ricorrere, per il calcolo di tali indicatori, alle mediane ricavate dalla produzione scientifica dei professori di ruolo nei precedenti dieci anni, anziché a rigorose soglie assolute, introduce nel sistema una forte aleatorietà di metodo e di merito, impedendo tra l’altro ai futuri candidati di conoscere con sufficiente anticipo i requisiti da superare per conseguire l’abilitazione, essendo tali requisiti imprevedibilmente mutevoli, anche in misura assai sostanziale;

–       la possibilità che tali meccanismi possano essere adottati in Italia ha portato alcuni tra i più validi intellettuali italiani di varie discipline scientifiche e umanistiche a segnalarne le conseguenze potenzialmente disastrose per il futuro dell’università, quali la possibile perdita dell’irriducibile e positiva complessità della mappa dei saperi nelle università, la possibile sparizione di intere nicchie disciplinari di grande prestigio internazionale e valore culturale se fanno capo a piccole comunità o si caratterizzano per approcci innovativi o interdisciplinari, l’incentivazione di comportamenti opportunistici slegati da una reale considerazione dei valori scientifici;

–       notevoli perplessità sono state ripetutamente espresse sia dal Consiglio Universitario Nazionale, organo democratico rappresentativo del sistema universitario, sia da molte società scientifiche;

–       in particolare il Consiglio Universitario Nazionale ha segnalato che, a bando già pubblicato, sono state fornite agli interessati informazioni parziali e instabili col rischio di compromettere la possibilità di sviluppare completi e corretti convincimenti circa le condizioni di partecipazione alle procedure di abilitazione e ha chiesto al Ministro di adottare ogni iniziativa utile all’esigenza di chiarezza e certezza dei criteri e dei parametri e di rendere pubblici, in base al principio di trasparenza come fondamento della democrazia amministrativa e a tutela del legittimo affidamento, dell’imparzialità e del buon andamento dell’amministrazione, tutti i dati e gli algoritmi utilizzati per il calcolo delle mediane nonché gli atti e i documenti relativi alla classificazione delle riviste scientifiche in classi di qualità;

–       un ricorso è stato presentato dall’Associazione Italiana dei Costituzionalisti e la decisione nel merito del TAR è fissata per il 23 gennaio 2013;

ritenuto che:

–       l’abilitazione scientifica nazionale prevista dalla legge 240/2010 costituisce un’innovazione importante nella prassi accademica italiana, prevedendo per la prima volta criteri e parametri nazionali per le diverse aree scientifiche, al fine di garantire che alle selezioni condotte dai singoli atenei possano comunque partecipare solo candidati in possesso di una qualificazione condivisa dalla comunità scientifica nazionale e internazionale;

–       una rapida e condivisa messa in opera delle procedure per il conseguimento dell’abilitazione scientifica nazionale, cardine del nuovo sistema di reclutamento e promozione introdotto dalla legge 240/2010, è un punto cruciale e urgente per il futuro dell’università italiana dopo molti anni di blocco;

–       gli altri criteri e parametri indicati nel decreto n. 76 costituiscono, nel perfetto rispetto di quanto previsto dalla legge 240, una nuova e profonda analisi dei numerosi e disparati fattori che contribuiscono a delineare la qualità scientifica di un docente universitario, il cui uso sarebbe molto importante per favorire scelte scientificamente ben fondate delle commissioni giudicatrici in termini di merito dei candidati e per diffondere sempre più una cultura della valutazione che eviti casi molto criticabili avvenuti in passato;

–       è importante che le commissioni giudicatrici siano informate e discutano i valori dei vari indicatori quantitativi di tipo bibliometrico e le loro mediane, ma senza essere obbligate ad utilizzarli in modo meccanico e dirimente, soprattutto nella prima applicazione della legge che si presta meglio a costituire una fase sperimentale delle nuove metodologie di valutazione, a scapito degli altri criteri e parametri, di natura qualitativa, che possono invece costituire un elemento di giudizio più selettivo e maggiormente allineato con la prassi accademica internazionale;

–       è interesse generale che, sin dalla prima tornata delle procedure di abilitazione, queste si svolgano con la massima chiarezza, inequivocità e generalità delle regole a garanzia dei principi generali della democrazia amministrativa e dei diritti degli interessati, evitando per quanto possibile ogni fonte di contenzioso giudiziario che finirebbe inevitabilmente con l’allontanare nel tempo il consolidamento del nuovo sistema di reclutamento e promozione della docenza universitaria e quindi una normale vita accademica che permetta a tutti di lavorare con prospettive certe, in particolare ai tanti giovani di valore che attualmente, per mancanza di queste prospettive, si trasferiscono in università straniere per poter continuare con maggiore tranquillità la loro attività di ricerca;

IMPEGNA IL GOVERNO

a chiarire definitivamente con un provvedimento normativo o interpretativo erga omnes che il superamento delle mediane degli indicatori bibliometrici è uno dei fattori di cui le commissioni giudicatrici delle procedure di abilitazione dovranno tener conto ma non è condizione necessaria, né peraltro sufficiente, per conseguire l’abilitazione, nonché a promuovere per la prossima tornata di abilitazione una profonda revisione degli indicatori quantitativi e bibliometrici slegati dal calcolo delle mediane e basati invece su rigorose soglie assolute note con largo anticipo.

 

 

MAZZARELLA   GELMINI   BINETTI

Print Friendly, PDF & Email

106 Commenti

  1. Dopo aver “considerato che” e “premesso che” tutti i limiti dello strumento (mediane) e del loro calcolo si propone comunque un loro utilizzo “: “…è uno dei fattori di cui le commissioni giudicatrici delle procedure di abilitazione dovranno tener conto”. Forse è una via di fuga per salvare l’attuale procedura di valutazione ma è comunque in aperta contraddizione con le premesse.

  3. Più che altro è una sconfessione di PROFUMO + una AUTOS_CONFESSIONE DELLA GELMINI, perchè è in capo il Ministro che sta la responsabilità del Decreto “criteri e parametri”: entrambi presero per buona quella indicazione che veniva dall’ANVUR (nella proposta da essa formulata) MA avrebbero potuto invece cucinarla in modo diverso nello scrivere il Decreto – non so se mi spiego…

  4. PS.l’inciso della parte finale dove s’impegna il ministro a emettere un provvedimento con il quale non si conderi più il superamento delle mediane come condizione necessaria, né peraltro sufficiente, per conseguire l’abilitazione è molto importante…
    FORSE IN QUEL SUFFICIENTE SUONA LA CAMPANA A MORTE PER ANVUR, GEV, E LISTA DELLE RIVISTE DI FASCIA A….

    • “FORSE IN QUEL SUFFICIENTE SUONA LA CAMPANA A MORTE PER ANVUR, GEV, E LISTA DELLE RIVISTE DI FASCIA A….”

      Perché mai? Si è sempre saputo che il superamento delle soglie bibliometriche non sarebbe stata condizione sufficiente per l’ottenimento dell’idoneità – in cosa starebbe la novità?

    • Vediamo. Secondo me aspetteranno di vedere come si comporta il governo, e non è affatto detto che la mozione venga accolta. Sospetto che tra i componenti del governo ci sia molta più affinità con la mentalità che ha prodotto questo pasticcio che disponibilità a sedersi e ragionare con calma sulle critiche.

    • Confido un minimo che anche gli appassionati di questo sistema si rendano conto delle enormi disparità di trattamento tra settori diversi, non solo tra settori bibliometrici e quelli non bibliometrici, ma anche all’interno dei settori stessi. Nell’ambito dell’ingegneria ad esempio questa disparità è evidente.

  7. Io sono francamente schifato. Una cosa era sostituire le mediane con i criteri CUN, cosa che condividevo. Utilizzare le mediane come criterio nè necessario, nè sufficiente significa che le commissioni potranno fare il bello e cattivo tempo, infischiandosene della bibliometria e utilizzando le solite ributtanti logiche di convenienza ed appartenenza per decidere chi abilitare. Insomma, un bel macigno sopra qualsiasi speranza di cambiamento. In Italia il “popolo dei mediocri” vince sempre.
    V.

    • Capisco e concordo in parte. Va però considerato che la responsabilità di questo risultato, sempre che vada così (non è detto), sta da una parte sola: quella dell’Anvur, che si è prodotta nell’invenzione di criteri tanto assurdi. Come già ho detto, io penso che un uso della bibliometria possa aver fatto, con cautela, per tagliare le code (chi ha dieci citazioni in vent’anni difficilmente sarà un luminare, e se lo fosse dovrebbe dimostrarlo con altri fatti oggettivi): la telenovela Anvur rischia invece di screditare per sempre tali strumenti.

      Ai puntuali commenti di Marc poco sotto aggiungerei inoltre il fatto che le grandezze per i candidati commissari (settori bibliometrici) non sono state normalizzate, favorendo così i vecchi baroni, senza una ragione che possa giustificare tale scelta a fronte di quella, opposta, effettuata per i candidati.

  9. Mozioni come queste sono il tipico modo di alcuni per dire “Noi l’avevamo detto”. Potrebbe tranquillamente risolversi con un nulla di fatto, ma intanto loro fanno bella figura. Io non vi darei molto credito, il decreto dice una cosa ben precisa e Profumo l’ha spiegato chiaramente. L’unico modo legale sarebbe annullare tutto, non si possono dare interpretazioni chiaramente forzate dicendo che le mediane non sono necessarie. Che non siano sufficienti invece è chiaro ed evidente.

    Il problema vero è che le mediane sono state calcolate male, con dati alterati, e andrebbero ricalcolate correttamente in questi mesi (per i commissari ormai è andata, ma per i candidati, il cui interesse è chiaramente prevalente, si potrebbe fare ancora). Altro problema quello dell’indice h_c che non è coerente con il decreto. Quello delle liste non bibliometriche è invece un problema di credibilità più che di sostanza.

    L’unica azione davvero legittima sarebbe ricalcolare ex-novo le mediane, sostituendo l’indice h_c con un indice di tipo h normalizzato.

    • “Mozioni come queste sono il tipico modo di alcuni per dire “Noi l’avevamo detto”. Potrebbe tranquillamente risolversi con un nulla di fatto, ma intanto loro fanno bella figura.”

      Concordo. Se il treno deraglia, Profumo si troverà con le spalle al muro. Senza la mozione, avrebbe scaricato la colpa sui ricorrenti, espressione di quell’università che non vuole farsi valutare, ignorando che farsi valutare è diverso da farsi valutare mediante criteri assurdi e senza rispetto delle regole. Da oggi, la strada di Profumo è più stretta. Non è solo ROARS ad averlo avvertito che le abilitazioni vanno allo schianto, ma anche le forze politiche di un arco che comprende PD-UDC-PDL. Se il treno si schianta, gli sarà meno facile invocare alibi. Inoltre, gli hanno anche detto che il sistema delle mediane non regge (il famoso problema dei criteri dinamici opposti a quelli statici).

  10. La mozione conclude invocando «rigorose soglie assolute note con largo anticipo». Verosimilmente queste soglie saranno costituite da un x numero di articoli, monografie e via classificando tutte le tipologie di produzione scientifica. Ma riuscite a immaginare cosa significa ciò? La produzione smisurata e frenetica di carta, non importa riempita di che. Dalla padella alla brace. Da questo tunnel infernale si esce solo in un modo: mediante valutazioni di merito di commissioni (o esperti) che si assumano pubblicamente tutte le responsabilità, che siano competenti sulle pubblicazioni di ogni singolo candidato (e non erga omnes, come accadrebbe anche nel caso della presente situazione) e quindi valutando successivamente le scelte effettuate dai dipartimenti nella assunzione degli idonei. E soprattutto ripensando la struttura e i poteri dell’Anvur, che attualmente accentra in sé compiti che dovrebbero essere ben distinti: accreditamento, valutazione della qualità delle ricerca, valutazione delle efficienza e della didattica (il cosiddetto AVA) e gestione dei concorsi.

  11. Io sono abbastanza dispiaciuto. E’ stato sollevato un gran polverone contro l’ANVUR sebbene abbia in molti casi operato con criteri meritocratici, migliorabili ma criteri oggettivi. Ci sono stati degli errori dentro aree specifiche mentre in altre aree è stato fatto un ottimo lavoro.
    Sembra che arriviamo da un sistema di reclutamento pressochè perfetto, ma tutti sappiamo che non è così.
    Il rischio è che tutta la valutazione ritorni essenzialmente soggettiva e giustificabile da parte delle commissioni. E’ questo il limite a cui andiamo incontro, lo stesso limite dei concorsi passati.

    • “E’ stato sollevato un gran polverone contro l’ANVUR sebbene abbia in molti casi operato con criteri meritocratici”

      Credo che mai e in nessun luogo ci sia stata un’agenzia di valutazione che abbia inanellato gli errori, le sviste, le incongruenze e le forzature regolamentari che l’ANVUR ha commesso in poco più di un anno vita. Al punto che viene ripudiata persino da chi (Gelmini) ne aveva nominato i membri e ne aveva fatto un centro di controllo dai poteri esagerati. Gli esiti sono persino tragicomici, come l’infortunio della lista delle riviste scientifiche insegna. Forse, il primo criterio meritocratico è essere all’altezza del compito assegnato.

    • Mi scusi Brancolini puo’ essere piu’ preciso: chi avrebbe sollevato il polverone? si riferisce a Roars e a qualche articolo in particolare? O a chi ? Ha una osservazione tecnica da fare?

    • E’ un “criterio oggettivo” anche il fatto che uno abbia, che so, i capelli rossi. Bisogna però vedere se il criterio è adeguato per selezionare i candidati a una cattedra.

    • Mi scusi ma non crede che il decreto del ministro avrebbe dovuto ALMENO recepire la legge?

      La legge recita:
      art 16.3. I regolamenti di cui al comma 2 prevedono: a) l’attribuzione dell’abilitazione con motivato giudizio fondato sulla valutazione analitica dei titoli e delle pubblicazioni scientifiche, PREVIA SINTETICA DESCRIZIONE DEL CONTRIBUTO INDIVIDUALE ALLE ATTIVITA’ DI RICERCA E SVILUPPO SVOLTE, ed espresso sulla base di criteri e parametri differenziati per funzioni e per area disciplinare, definiti con decreto del Ministro;

      Nei parametri del DM 76, al contrario, non c’è nessuna descrizione del contributo individuale.
      Allora chi è che solleva il polverone? Chi non recepisce la legge o chi vuole che la legge in vigore sia rispettata?
      Queste “dimenticanze” sembrano fatte apposta per implementare procedure di abilitazione irregolari e per favorire di nuovo coloro che hanno beneficiato nel corso degli anni delle vecchie modalità concorsuali in quanto, facendo parte di cordate e grossi gruppi, trovavano sempre un santo in paradiso a sostenerli.

  12. ma è passata? e comunque vi rendete conto che la Gelmini negli anni passati con le commissioni locali aveva fatto inserire criteri scientometrici ancora più vaghi e peggiori…ora vuole ripulirsi la fedina politica…tutta questa cosa dell’ANVUR ha avuto almeno il merito di scoperchiare il vaso di pandora della scientometria che è una pseudoscienza.

    • Dissento fortemente. Pseudoscientifico è il modo in cui l’ANVUR e tutti i cantori dei “criteri oggettivi” hanno utilizzata
      o la bibliometria per la vqr e per le abilitazioni.
      Se sfoglia Scientometrics, JASIST, JOI e altre riviste internazionali, vedrà un dibattito informato sugli strumenti, sui limiti e sul significato degli indicatori.

  13. Cari colleghi,
    torno a ribadire il punto di vista di chi cerca di fare ricerca essendo nel contempo impiegato nel mondo della scuola ormai da più di un lustro (fortunato, direte: certo, un posto fisso lo ho!). Avete visto le tabelle di valutazione dei titoli scientifici del concorso della scuola appena uscito? Dottorato e pubblicazioni valgono come una manciata di risposte esatte ai quiz! Anche questo è un problema che – creando un effetto a cascata – contribuisce a intasare la situazione universitaria. Il know-how scientifico nel mondo (attiguo) della scuola non è praticamente considerato…

    • Io mi domando anche perchè mai il dottorato non è minimamente considerato per l’ottenimento dell’abilitazione. Nei paesi civili è un requisito fondamentale, anche se sempre giustamente derogabile.
      V.

  14. certo, prendiamocela con la bibliometria e continuiamo ad invocare i giudizi valutativi degli ordinari attuali. Alzi la mano chi si fida a farsi valutare (senza paletti) da una commissione di ordinari (anche sorteggiata) del proprio SSD e pensa che ci sia la benchè minima possibilità che tale valutazione venga fatta in maniera onesta. Io scelgo la pseudoscienza dei criteri bibliometrici per tutta la vita.
    V.

    • “Io scelgo la pseudoscienza dei criteri bibliometrici per tutta la vita.”

      Credo quia absurdum (Tertulliano)

    • francamente questi commenti mi fanno perdere la stima che nutro per coloro che scrivono questo blog. Forse dovreste prendere una posizione chiara in quanto c’è una bella differenza tra opporsi alle mediane e non accettare la bibliometria in quanto tale, definendola una pseudoscienza. Come più volte ho scritto, sono il primo a pensare tutto il male possibile dell’Anvur e del fatto che si vogliano utilizzare valori mobili (per di più calcolati male) come le mediane. Mi pareva però di capire che ROARS fosse ad esempio favorevole ai criteri CUN. Non sono forse bibliometrici? Rigettare la bibliometria come pseudoscienza non è accettabile e rimette tutti nelle mani dei soliti baroni corrotti. Io grazie a Dio ne sono fuori, però che tristezza…
      V.

    • Ho già scritto sopra in risposta a Renato Foschi. Pseudoscientifico è l’uso che si è fatto della bibliometria nella vqr e nelle abilitazioni. Credo che sarebbe possibile ed auspicabile fare una ragionevole vqr bibliometrica pura (anche per le scienze umane e sociali!) in Italia. E credo che soglie bibliometriche (non citazionali) ben scritte siano auspicabili per i commissari. E, come ho scritto altre volte, credo che sarebbe auspicabile che in ogni concorso venisse trasmesso ai commissari e pubblicato oltre all’elenco dei candidati le loro statistiche bibliometriche (anche citazionali). Trasparenza e responsabilità di chi sceglie.
      Purtroppo qui tutti hanno creduto al potere salvifico di mediane opache e come ormai sappiamo molto instabili…

    • Caro Baccini

      ribadisco è pseudoscienza e tutto quello che lei cita è simile a tutta la letteratura frenologica e fisiognomica ottocentesca (che poi ha inevitabilmente portato al razzismo).

      La scientometrica fallisce nei suoi fini ultimi quelli di prevedere la bontà e l’impatto di una ricerca basando tutto su incidi che sono poi a loro volta riformalizzati, normalizzati e stiracchiati…come l’angolo facciale, la misura del tronco, il BMI ecc…roba che serviva per gli scienziati novecenteschi per prevedere la delinquenza o la personalità…attualmente sono io ad invitarla a ritenere che sia pseudoscienza…senmpre che non voglia passare alla storia come Lombroso. Lei sa quante riviste frenologiche esistevano?

      Un saluto a tutti gli scientometristi

      Renato Foschi

    • Ma la scientiometria non deve prevedere nulla ! e’ uno strumento tecnico che deve dare delle indicazioni che devono essere interpretate da chi sa di cosa si parla da un punto di vista scientifico.

    • @Francesco Sylos Labini se la scientometria fallisce nella previsione del “merito” non è una scienza e quindi non serve a nulla. Se invece si ritiene che preveda qualche cosa allora è, secondo me come la frenologia o l’antropologia criminale, una pseudoscienza…coloro che fanno della scientometria non hanno l’idea di essere dei descrittori ma degli scienziati…ma quante cattedre di “scientometria” esistono nel mondo?

    • Scusa se insisto, caro Francesco ma l’idea che la scientometria sia uno strumento tecnico è molto tua e personale; magari tutti la pensassero così…oggi c’è la tendenza a considerarla un modo algoritmico ed ingegneristico per valutare e prevedere e sul quale basare anche delle politiche. Questa concezione che come sappiano nel mondo è in declino…in Italia invece no e si dibatte ottimisticamente su questa roba che se non inutile e suscettibile di essere dannosa…come l’affaire mediane e molti casi simili nella storia della scienza dimostrano.

    • Renato: ma nessuno pensa che la scientimetria sia una scienza dura o esatta (o anzi l’altro giorno ho visto un’inquietante articolo su Nature dove si prevedeva l’Hindex). Non per questo e’ una cosa inutile ! E’ una disciplina, simile ad una scienza sociale che studia comportamenti di insiemi di individui senza avere la pretesa di fare previsioni nel senso di una scienza esatta. Fornisce elementi che servono per fare la diagnosi dello stato di un certo aggregato di individui e fornisce anche delle informazioni sulle capacita’ del singolo quando per singolo si considera uno scienziato sufficiente senior e quando, insieme alle performances bibliometriche si considerano anche altro tipi di indicatori. In tutto il mondo civilizzato a cui si fa riferimento (nella maggior parte a sporposito) si usa la bibliometria in questo senso. Il problema e’ l’abuso dell’informazione bibliometrica che deriva dal fatto che questa viene usata da persone che ignorano i problemi connessi alla bibliometria (i famosi dilettanti).

    • No. Non sono d’accordo (forse per la prima volta) con Renzo Rubele) lo è. Nelle classificazioni internazionali le robe scientometriche vanno dentro “Information and Library Sciences” o “Computer sciences”. in arXiv molti articoli scientometrici vanno dentro la categoria physics and society. Certo tutta la discussione sul valore delle citazioni è in gran parte derivante da argomenti sociologici, ma ormai i contemporanei si sono emancipati da quella tradizione. Che sia una scienza sociale e che quindi non debba chiamarsi scienza? può darsi…

    • Caro Francesco la scientometria non ha neppure la dignità di una scienza umana e sociale come la psicologia che è anni luce avanti sotto il profilo metodologico. L’idea che esista una distinzione fra settori bibliometrici e non bibliometrici…è la stessa idea della distinzione fenomenologica fra scienze dello spirito contrapposte alle scienze della natura e come vedi dall’affaire mediane queste contrapposizioni non reggono…ne avevamo già parlato molto tempo fa …questo dibattito comunque esula dall’attualità che purtroppo è di bassissimo cabotaggio.

    • Renato ma non devi confondore il pasticcio mostruoso fatto da anvur con una possibile analisi bibliometrica. Si puo’ sostenere che l’analisi non si puo’ fare per mancanza di dati/database affidabili e su questo non c’e’ dubbio. Ma in presenza di questi si fa e il risultato lo si interpreta solo se si e’ dei professionisti (del campo e non della valutazione). Il problema ora e’ che dopo questo pasticcio colossale fatto da nostri eroi la parola “valutazione” fara’ in Italia ridere anche i polli allo spiedo. Purtroppo.

    • Caro Renato,

      secondo me stai confondendo l’uso ideologico della bibliometria con quello ragionevole che se ne può fare come una delle fonti di informazioni per formulare giudizi. Tenendo conto delle dimensioni che il settore dell’istruzione pubblica ha raggiunto in tutti i paesi avanzati è difficile immaginare che chi governa possa rinunciare a una fonte di informazione di questo tipo. Per esempio, se vuoi difendere l’università pubblica da certe accuse generiche che ormai sono diventate senso comune in questo paese hai bisogno anche di dati quantitativi. Non puoi limitarti a dire: “signori, leggete che belle cose scriviamo”. Ovviamente devono essere affidabili e chi decide deve avere chiaro che limiti hanno in quanto indici di qualità.

    • Caro Francesco…sul futuro della scientometria non siamo d’accordo; tutta questa vicenda internazionale della creazione di indici bibliometrici mi ricorda la creazione di altri indici pseudoscientifici rivelatisi del tutto erronei e fallimentari nel corso del procedere delle conoscenze scientifiche…non è un caso che le banche dati di settore, quelle su cui si fa ricerca bibliografica (medline, PsycInfo, ecc…), non conteggino IF et similia ecc..si contano banalmente le citazioni di un dato prodotto. Tali banche dati inoltre contengano anche capitoli di libro e gli stessi libri …per il resto penso seriamente che la scientometria farà la stessa fine della fisiognomica o della medicina galenica, per me potrebbe continuare a chiamarsi bibliometria ed essere utilizzata per il suo scopo originario un ausilio dei bibliotecari ;-) per valutare grossolanamente se una cosa merita di esser valutata basta contare le citazioni (anche quelle di google) e confrontarle con la media delle citazioni di un determinato e ben circoscritto campo…questa banale pesatura non può definirsi “scientometria” che infatti è un territorio ricco di inutili indici e articoli come quello del famigerato Katsaros.

    • Comunque io sono meno ottimista di te sul fatto che la bibliometria farà la fine della fisiognomica.

    • mi correggo non mi soddisfa neanche il criterio delle citazioni di scholar confrontate con la media delle citazioni del proprio campo…possono esserci cose non citate ma eccellenti. E anche il criterio di Nicolao contare i prodotti senza le citazioni ha limiti…comunque sono le cose più banali da fare 1- contare i prodotti e la tipologia (non escludendo a priori nulla) e 2- confrontare il prodotto con le medie di citazione del settore di produzione…nel senso che se io sono uno storico devo confrontare il mio prodotto con le medie di citazione del mio settore storico…ma anche questo alla fine non sostituisce la peer review…come sostenuto dagli inglesi del REF 2014. Per essere giusti ed equi tutto va valutato in modo etico e aggiornato al massimo con l’uso di benchmark semplici come la numerosità dei prodotti e le citazioni totali confrontate con le medie di settore (ma tutto va alla fine letto e valutato).

    • “E anche il criterio di [De] Nicolao contare i prodotti senza le citazioni ha limiti”

      Certamente, ma lo scopo non sarebbe il ranking o la valutazione. Sarebbe solo uno screening per escludere chi è scientificamente inattivo. Un uso prudente e circoscritto, nel caso fosse ritenuto necessario un filtro quantitativo.

    • Per rispondere ad Alberto Baccini più sopra [26 settembre 2012 alle 17:20], vorrei dire che la mia “macro-classificazione” in “sociologia” di tutta la bibliometria e scientometria deriva dal banale fatto che non appena uno scienziato, o comunque uno studioso di qualsiasi disciplina (incluso Arts & Humanities), quando pubblica qualcosa sta compiendo un’azione che ha cessato di essere la ricerca, lo studio della propria disciplina, e perciò **tale azione** ricade già sotto lo studio delle “scienze sociali”, latu sensu… :-)

      Insomma fare ricerca scientifica, ed ottenere risultati scientifici è una cosa, ma pubblicare è **sempre** comunicazione della scienza, e quindi qualcosa di sociologico…
      Per questo, tra l’altro, sono contrario alla ripartizione fra “settori bibliometrici” e “settori non bibliometrici”: i settori si distinguono per l’oggetto della scienza o disciplina, ma ciò che avviene nel contesto della pubblicazione dei risultati, nella diffusione, nell’editoria, nella citazione dei lavori, ecc. è sempre qualcosa che li accomuna tutti all’interno di una ampia “Sociologia dell’impresa scientifica”…
      Non per niente i più arrabbiati di tutti nell’uso disinvolto della bibliometria sono i matematici…

    • Mi scuso: non volevo essere offensivo. Semplicemente, quando ho letto che si preferisce scegliere una “pseudoscienza”, mi è venuta in mente la famosa frase di Tertulliano.

      A parte gli scherzi, penso che proprio lo studio scientifico della bibliometria evidenzi la sua inadeguatezza nelle valutazioni individuali *automatiche*. Sono abituato a lavorare con i dati e sono convinto che anche quelli binliometrici portino informazioni. Il problema è l’interpretazione che se ne deve dare. In alcuni casi, un’analisi attenta potrebbe rivelare che le citazioni sono frutto di “cricche citazionali” e che rivelano più che altro il “talento sociale” del candidato. In altri casi, potrebbero rivelare che i suoi lavori hanno *sfondato* anche al di là dello specifico settore disciplinare influenzando settori vicini e meno vicini. Lungi da me buttare via i dati. Tuttavia, non sono così ingenuo da associare senza filtri un giudizio di valore al ricercatore in base ai soli dati bibliometrici.

      Se ci devono essere soglie bibliometriche, concordo con Baccini sul fatto che sia meglio evitare i dati citazionali, troppo instabili e soggetti ad errori per un possibile uso normativo. Da evitare anche criteri dinamici come le mediane. Meglio criteri statici relativi al numero di pubblicazioni appartenenti a categorie ben definite. Dato che sono consapevole che anche entro settori relativamente ristretti possono esistere rilevanti differenze statistiche tra diversi campi di indagine, temo che non si possa andare molto oltre degli opportuni indicatori di attività/inattività scientifica. Insomma, dovremmo limitarci ad escludere a priori chi non è scientificamente attivo.

      L’uso di queste soglie potrebbe incentivare comportamenti opportunistici (articoli o monografie di scarso valore solo per risultare scientificamente attivi) ma dato che non ci sarebbe un premio a strafare quantitativamente, sarebbero incentivi limitati. Per i commmssari, ci potrebbe essere un filtro sugli inattivi seguito da sorteggio oppure da votazione più sorteggio.

      Piuttosto, per evitare di inflazionare le abilitazioni (con il pericolo di scaricare tutta la pressione sulle procedure di reclutamento locale che invece si svolgerebbero con meno stress se le abilitazioni nazionali facessero una selezione sensata) sarei favorevole ad un numero chiuso, probabilmente su base demografica (garantire per ogni settore l’esistenza di un serbatoio di ideonei entro cui le sedi reclutano/promuovono).

      Non credo che mediane o altro possano sostituire il senso di responsabilità e la trasparenza. Chi giudica si prende le sue responsabilità di fronte alla sua comunità scientifica: Tutti i curricula e gli esiti del giudizio devono essere pubblici. È anche ora che nei diversi settori i colleghi imparino a confrontarsi apertamente: l’esistenza di un’opinione pubblica è un primo forte deterrente a comportamenti scorretti ed opachi. In una situazione in cui le abilitazioni si svolgessero con periodicità annuale e con commissioni che si avvicendano, una bocciatura può essere rimediata l’anno seguente. Dimenticavo: è fondamentale rimuovere la regola sui due anni di stop per chi non passa.

    • Non e’ questione di pseudoscienza ma aribitrarieta’ totale. Se discutessimo del RAE inglese potremmo anche intavolare una dotta (e tra l’altro necessaria) discussione sul problema della valutazione e dell’uso dei criteri bibliometrici, ma qui il livello e’ un tantino differente.

    • Francesco, secondo me un problema c’e’, ed e’ reale. Il rischio e’ che, in seguito alla caporetto dell’ANVUR, si vada verso un’abilitazione sostanzialmente senza filtro (sia sul fronte dei candidati che dei commissari).

      Questo quasi certamente significherebbe un grande numero di abilitati (a fronte di un piccolo numero di posti disponibili), e conseguente inflazione del valore dell’abilitazione.
      Si ripresenterebbero quindi tutti i difetti del passato, con un peggiorativo: le commissioni locali sarebbero ulteriormente deresponsabilizzate (dopotutto i candidati X e Y sono entrambi abilitati …)

    • Abbiamo gia’ discusso quale potrebbe essere una maniera di salvare le abilitazioni https://www.roars.it/?p=12750. Il mio commento si riferiva al fatto di scegliere una pseudoscienza a vita e questo non e’ il punto. I criteri bibliometrici danno una informazione che, usata in maniera opportuna, deve affiancare la valutazione di un candidato. E’ l’uso alla anvur che non si e’ mai visto da nessuna parte del globo. La caporetto dell’Anvur e’ importante prima di tutto perche’ sconfessa l’uso improprio della valutazione fai da te nonche’ il ruolo politico di questa agenzia, che ricordiamocelo sempre e’ stata nominata proprio dalla Gelmini, nel controllo dell’universita’.

      Per quanto riguarda il filtro io non credo che sostazialmente cambi un gran che perche’ la frazione tra assunti e abilitati rimarra’ comunque infima. Se gli abilitati saranno 20 o 40 mila e i posti pochi migliaia, cosa vuoi che cambi? Il problema dell’abilitazione da questo punto di vista e’ un falso problema.

    • “Abbiamo gia’ discusso quale potrebbe essere una maniera di salvare le abilitazioni https://www.roars.it/?p=12750.”

      Fin qui siamo totalmente d’accordo: la proposta di ROARS mi sembra di assoluto buon senso.
      Ma purtroppo chi ha il controllo della situazione non e’ ROARS ma il Ministro Profumo, il quale fa parte di un governo in balia dello stesso parlamento che ha approvato la riforma Gelmini: converrai che un po’ di apprensione e’ giustificata.

      “Per quanto riguarda il filtro io non credo che sostazialmente cambi un gran che perche’ la frazione tra assunti e abilitati rimarra’ comunque infima. Se gli abilitati saranno 20 o 40 mila e i posti pochi migliaia, cosa vuoi che cambi?”

      Su questo ho dei dubbi. Un concorso sostanzialmente “senza filtro” (come sarebbe quello che si avrebbe se l’uso delle mediane fosse discrezionale) vorrebbe dire che chiunque abbia un santo in paradiso otterrebbe l’abilitazione (cosa non scontata nel caso di applicazione rigida delle mediane). E chi ha un santo in paradiso riuscirebbe anche, magari in qualche anno, a concretizzare un avanzamento di carriera, saturando quelle “poche migliaia di posti” che e’ ragionevole aspettarsi mel medio-breve periodo.

      Ora, se questa prospettiva pare inquietante a me che sono strutturato, puoi ben immaginare che chi deve ancora entrare nel sistema trovera’ questo quadro terrificante.

    • “Alzi la mano chi si fida a farsi valutare (senza paletti) da una commissione di ordinari (anche sorteggiata) del proprio SSD e pensa che ci sia la benchè minima possibilità che tale valutazione venga fatta in maniera onesta.”

      Non riesco neanche a immaginare quale possa essere la banda di farabutti ala quale fai riferimento. Sono stato valutato due volte in 6 anni da una commissione eletta (procedura di altro ateneo) e da una commissione sorteggiata (procedura del mio ateneo, ma perfino il designato era di altro ateneo, il SSD ne era sprovvisto): ho la certezza assoluta che in entrambi i casi la valutazione sia stata assolutamente onesta e la stragrande maggioranza dei colleghi che conosco, nei vari SSD ICAR, la pensa nello stesso modo. Non è ragionevole pensare di generalizzare all’universo-tutto quello che ritieni di avere visto e/o vissuto. L’università italiana NON è lo sfascio che si vuole raccontare: ne ebbi esplicita conferma quando 20 anni fa iniziai il Master all’MIT e ne sono convinto ancora oggi. I cancri vanno estirpati, e con decisione: ma la metastasi non è diffusa a tutto il corpo, anzi ne riguarda solo una parte minore.

    • “Non riesco neanche a immaginare quale possa essere la banda di farabutti ala quale fai riferimento”

      dipenderà dalle aree. Ovviamente questo non posso saperlo. In area 6 dubito sia mai stato fatto un concorso che fosse veramente aperto ed in cui non si sapesse fin dall’inizio il nome del vincitore. In caso di dubbi, si trattava sempre di lotte di potere e mai di merito del candidato. Forse vaneggio, non so…
      V.

    • No, ma siete seri?

      Il meccanismo dei concorsi universitari era fatto in modo da poter decidere chi doveva vincere. Membro interno + due scelti tramite uno scambio di e-mail dal gruppo di riferimento del SSD. Fate finta di non saperlo?

      “ho la certezza assoluta che in entrambi i casi la valutazione sia stata assolutamente onesta e la stragrande maggioranza dei colleghi che conosco, nei vari SSD ICAR, la pensa nello stesso modo”. Mi volete dire che in ICAR siete stati tutti rapiti dagli alieni e ritornate solo ora? Avete provato a verificare la provenienza dei vincitori nei vari concorsi? Avete mai guardato la televisione e visto un programma che si chiama “Le Iene”?

      Dai… va bene criticare questo o quello dell’ANVUR e delle mediane. Facciamo finta che non ci siano palate di mediocri che faticano a raggiungere le mediane (basse, per tutto quello che si contesta su questo sito ai DB di riferimento) e comunque ritengono di meritare uno stipendio superiore. Facciamo pure finta che non esista alcuna correlazione tra la bravura dei ricercatori e gli indici scelti dall’ANVUR. Ma arrivare addirittura a sostenere che i concorsi di prima erano perfetti e onesti, no.

      NO.

      Il cancro è grosso e lo si vede bene. Riguarda la maggior parte dei concorsi che ci sono stati. In molti casi candidati migliori venivano dissuasi con una telefonata e con la promessa del posto al loro turno. Altri sapevano che comunque avrebbe vinto chi doveva vincere e non si presentavano neppure.

      E, guarda caso, anche nella sua esperienza fanno il concorso presso il suo Ateneo e vince lei. Ma va? Certamente era il migliore, ed è possibile. E nel concorso precedente ha vinto presso la sua università, o ha preso un’idoneità? E l’altro candidato che ha preso l’idoneità con lei da dove veniva?

      Ma anche al mio concorso è successo lo stesso. Ero certamente il migliore, quindi. Probabilmente d’Italia, perché nessun altro (con i numeri giusti) ha neppure provato a partecipare. Guardi, la tolgo dall’imbarazzo. Conosco ricercatori migliori di me e che stimo moltissimo. Però non hanno neppure pensato di partecipare al mio concorso. Chissà, forse erano bamboccioni che non volevano lasciare il nido della casa di mamma.

      Ah, se su WordPress si può fare, mi piacerebbe sapere quanti dei lettori hanno vinto concorsi banditi presso le loro Università. Magari esiste anche una statistica già pronta da consultare.

      Chiudo lo sfogo: con il metodo di prima chi voleva mettere un emerito incompetente lo faceva ed è stato fatto abbondantemente con figli e parenti. Con un sistema basato su una minimale bibliometria almeno i casi più eclatanti non si possono presentare. Anche con la versione piena di errori che abbiamo ottenuto dall’ANVUR. Le proposte di discrezionalità consentiranno di abilitare anche i casi indegni. Poi su ROARS ci si lamenterà che passano sempre figli e parenti.

    • Credo che qui ci sia il solito equivoco.

      Che più o meno nessun concorso in nessun settore si sia svolto nel modo in cui si supponeva dovesse svolgersi è vero. Nel senso che non c’è mai stata a mia conoscenza una sorta di situazione da velo di ignoranza o blind review per cui i candidati venivano valutati sulla sola prestazione contestuale (se per esame) o sulla sola esibizione dei titoli (se per titoli).

      Ma credo che chi contesta l’immagine di corruzione generalizzata nei concorsi abbia in mente qualcosa di diverso. Di fatto in Italia si è adottato un sistema a concorso pubblico ‘cieco’ (richiesto dalla Costituzione per le assunzioni nel settore pubblico), ma tale sistema è singolarmente inadatto per le valutazioni accademiche, che infatti non avvengono così in quasi nessun paese del mondo, dove si adotta una sorta di cooptazione responsabile (e trasparente).

      Da noi il risultato è stato quello di rendere segreta e non trasparente, travestendola da concorso ‘cieco’, una procedura che di fatto è sempre stata cooptativa (cioè mirava a scegliere certe persone più o meno ben note).

      Questo sistema ha (aveva?) moltissimi difetti. Deresponsabilizza i commissari, costringe le ragioni delle scelte a rimanere taciute, costringe ad agire in modo ‘paralegale’ persone che hanno a cuore le scelte migliori con persone che volgiono solo piazzare l’amico dell’amico.

      Che tuttavia una scelta tenda a svolgersi sulla base di una conoscenza dei candidati più ampia di quella fornita dalla sola prova concorsuale non è tanto strano ed è abbastanza diffuso anche in sistemi ben più funzionali del nostro. I tempi per la valutazione dei titoli, per quanto inviati con congruo anticipo, non sono di norma tali da consentire una valutazione circostanziata di numerosi candidati. Donde la pratica di inviare i propri lavori a persone qualificate del proprio settore a prescindere dall’incombenza di un concorso. Essere conosciuti (e anche raccomandati) prima della procedura concorsuale non è nulla di strano e può concorrere alla formazione del giudizio. Ciò accade quasi dappertutto, anche se nei sistemi anglosassoni (a lingua inglese) la vastità del loro mercato di academic jobs rende questa conoscenza preventiva meno influente.

      Chi sostiene che il sistema non è quella pila di spazzatura che altri dipingono non dice che il sistema concorsuale funzionava in modo trasparente, né tanto meno impeccabile, ma che in media le scelte effettuate erano motivate. Non sempre ottimali, talvolta ingiuste, raramente scandalose. Questo io mi sento di affermarlo per la mia area (11) e credo che molti lo possano sottoscrivere per la loro.

      Dopo di che, credo che il nostro sistema cooptativo finto concorsuale sia intrinsecamente prono all’abuso e non ne sento affatto la mancanza. Credo però che potrebbe essere sostituito da sistemi di valutazione in cui si avesse un poco di cura a mettere in condizioni i valutatori di esercitare il loro giudizio in responsabilità, trasparenza e senza possibilità di istituire do ut des.

    • Detto che in Italia di strada dobbiamo farne davvero molta, e che la via indicata dall’ANVUR non mi pare quella giusta, nel vecchio sistema una prima distinzione, non di poco conto, la farei: non è che basti constatare che un concorso è stato vinto da un candidato “interno” (è il mio caso, non vedo perché dovrei vergognarmene) per paragonare questa situazione ai concorsi vinti da “figli e parenti”. Mi sento di dire che i concorsi di cui ho notizia, al 90%, siano stati vinti da candidati meritevoli in assoluto, e più meritevoli dei loro contendenti. Certo, capita spesso che candidati potenzialmente ancora migliori non presentino la loro candidatura. Ma la cooptazione non esiste solo in Italia: c’è buona e cattiva cooptazione. Il vero scandalo, che avviene purtroppo, è quello dei concorsi vinti dai “figli di”, interni o esterni che siano.
      Ma davvero sei convinto che questo dipenda dal “sistema”? Perché in un paese vicino come la Francia l’abilitazione si prende tranquillamente presentando le tre (dico tre!) pubblicazioni migliori che si hanno, e poi le chiamate avvengono serenamente in concorsi locali (dove, ti assicuro, i bravi candidati interni non vengono certo sfavoriti), mentre da noi un sistema del genere causerebbe solo caos e ultranepotismo? Non sarà che il problema è culturale, e non di meccanismo adottato?

    • A me sembra che il fenomeno figli&parenti, per quanto sgradevole, sia alla fine un problema minore, peraltro esistente in tutto il mondo. Il vero problema é che un sistema concorsuale, violentato per trasformarlo in cooptativo, prende tutto il peggio di entrambi gli approcci. Abbiamo quindi un sistema in cui chi coopta può farlo in maniera totalmente deresponsabilizzata dal concorso. Sarebbe pure accettabile che l’interno “vinca” in un sistema in cui si sceglie come interno la persona che si ritiene migliore. Bisogna però pure prendere in considerazione che esistono persone che, non necessariamente per scelta, non sono interne da nessuna parte e vengono ingiustamente tagliate fuori. Si fa strada poi l’idea che essere interni rappresenti il criterio di merito principale, portando ad un sistema perverso che non incentiva in nessun modo la crescita e la produzione scientifica, ed in cui essere eventualmente scavalcato da un “esterno”, anche se molto più titolato, viene vissuta come una colossale ingiustizia. Poiché pare che (a parole) siamo tutti d’accordo sul fatto che un sistema caratterizzato da cooptazione + responsabilità sarebbe migliore, bisognerebbe porsi due domande: 1) perché il sistema non é mai stato riformato in questo senso? 2) cosa intendiamo per responsabilità e quali meccanismi di responsabilizzazione potrebbero veramente funzionare? I paesi in cui questo sistema funziona, sono caratterizzati da alti livelli di “precarietà” lavorativa accademica, a tutti i livelli. Chi parla di responsabilità é pronto a mettere in discussione la sua poltrona da ordinario/capo di dipartimento ecc.?
      V.

    • @vladimir72

      “I paesi in cui questo sistema funziona, sono caratterizzati da alti livelli di “precarietà” lavorativa accademica, a tutti i livelli.2

      Non è detto: io guardo sempre all’esempio – che conosco bene – del sistema francese. I professori e i maitres de conferences sono funzionari dello Stato: in quanto tali, inamovibili e con progressioni di carriera e stipendiali automatiche. Ma lì, una selezione basata su un dottorato molto impegnativo, anche nei settori umanistici; un’abilitazione basata su seria valutazione di pochi titoli – i migliori che si possiedono – e non su criteri quantitativi, e concorsi locali per titoli e colloquio funzionano benissimo, garantendo un livello medio buono: ovvero la cosa che una Università pubblica dovrebbe garantire. Qual è il segreto? Semplice: il senso del rispetto per le istituzioni che pervade quella cultura. Nessun docente favorirebbe consapevolmente un candidato che non vale nulla; nessuna comunità accademica accetterebbe questo. E tutto ciò, senza precarizzare, costringere alla lotta per la sopravvivenza all’ultimo spicciolo i dipartimenti, ecc. Da noi non funzionerebbe, sono il primo a dirlo.

    • Lasciando perdere la portata diffamatoria delle tue affermazioni così “sweeping”, vien da chiedersi in che mondo viva tu, piuttosto.
      Perché mentre a tuo dire tutti da queste parti fanno schifo, tu sei al di sopra di ogni sospetto, ovviamente con i tuoi maestri, sponsor, coautori e immagino amici. Si tratta già di un buon numero di persone: moltiplicando per il numero di moralizzatori e sedicenti accademici che ripetono la tua argomentazione (“è tutto uno schifo”), parrebbe che in realtà quelli (auto)esentati dal fare parte di questo schifo siano parecchi.

      Probabilmente la tua argomentazione difetta in qualche modo. Se le cose stessero come le descrivete te e gli altri detrattori a oltranza (tra cui svariati troll, va detto) saremmo tornati al neolitico, accademicamente parlando.
      Visto che nel neolitico non ci siamo affatto, come documentato ampiamente proprio da ROARS, la caricatura di università che descrivi non corrisponde alla realtà.
      Come segnalato correttamente da Andrea Zhok, il sistema è in pratica cooptativo (non potrebbe essere altrimenti perché il numero di esperti e di candidati è in realtà assai ridotto). Come in tutto il mondo, nel caso ideale si sceglie chi si reputa migliore. E lo si sa prima, in genere, perché la nostra produzione scientifica è, per definizione pubblica: in un SSD di 200 persone è impossibile non capire chi sia in pole per diventare PA o PO. Basta guardare gli articoli.

      PS Ho visto effettivamente dei concorsi con commissione sorteggiata. E c’è stato ben poco da eccepire, se vuoi saperlo.

      PPS Noterai che non difendo assolutamente particolari realtà, dove si è passato il segno al punto da arrivare all’intervento della magistratura ordinaria: solo che i verbali di inchiesta su un paio di concorsi di cardiologia o otorinolaringoiatria non descrivono tutta l’università italiana.

    • Non si capisce bene a chi ti riferisci. In ogni caso un sistema cooptativo che non lascia nessuna speranza a chi è esterno al sistema, non capisco come si possa ritenere accettabile.
      Prima parli di contenuti diffamatori e poi fai sgradevoli riferimenti a sponsor, maestri ed amici. Se ne avessi, mi “fiderei” molto di più di eventuali valutazioni. Non avendone, sono consapevole del fatto che non verrò mai valutato in maniera onesta, per cui perferisco indicatori bibliometrici non interpretabili.
      V.

    • Rispondevo al sedicente Ricercatore INGINF05.
      In ogni caso, non intendevo “alludere” a nessuno: mi limitavo a segnalare come, curiosamente, chi descrive la nostra università come un indistinto calderone puzzolente non tenga mai conto del fatto che egli stesso ne è il prodotto (*), così come i suddetti maestri, sponsor, coautori e amici.

      (*) Sempre posto che non si tratti di troll, ovviamente.

    • Forse dovresti rileggere il mio post. Ho espressamente detto che anche nel mio caso il concorso è stato una farsa. E lo dichiari anche tu: “Come segnalato correttamente da Andrea Zhok, il sistema è in pratica cooptativo (non potrebbe essere altrimenti perché il numero di esperti e di candidati è in realtà assai ridotto).” Quindi i concorsi sceglievano chi doveva essere scelto. Erano quindi “truccati”.

      I problemi non sono solo “su un paio di concorsi di cardiologia o otorinolaringoiatria”.

      E basta col dare del troll a chi non è d’accordo con la visione che qui si legge, o buttare lì un “la portata diffamatoria delle tue affermazioni”, o “sedicente”.

      Di tutti i concorsi di cui conosco i dettagli (direi a spanne 15), solo in un caso non ha vinto chi doveva vincere. Ed è stata una cosa inaudita, con commenti del tipo: “non sono neanche riusciti a far vincere il loro candidato”.

    • @vladimir72
      Non c’è alcun dubbio che spesso i concorsi universitari siano vinti da persone che avevano le maggiori chance di successo. Appena sono rese pubbliche le liste di chi ha fatto domanda, appare piuttosto chiaro chi ha le maggiori possibilità di successo. Probabilmente i non vincitori sono persone degne, ma la commissione una scelta la deve fare. Non parlo degli scandali, per quelli ci vuole la Procura della Repubblica e il coraggio di denunciarli, non usando l’anonimato.

      @ ricercatore inginf05
      Sono serio, non sono andato e tornato da marte, ma ho fatto ricerca e didattica in diverse università in due diversi continenti del mondo occidentale, in circa 25 anni di attività. Ho così maturato delle idee che espongo in maniera chiara e pacata. I furori ideologici non portano da nessuna parte.

      Non mi trovo in alcun imbarazzo: ho vinto il concorso di associato in un ateneo B, essendo ricercatore in un ateneo A, e sono stato chiamato in un ateneo C. Ho vinto poi il concorso di ordinario nell’ateneo C in cui prestavo servizio. Sono stato giudicato sia da commissioni votate sia da commissioni sorteggiate. Gli atti sono tutti pubblici, con pochi click di google li trova chiunque. Parlo di cose che conosco, non di cose che suppongo.

      In generale
      I post di Zhok ed fp mi trovano d’accordo e spiegano meglio di quanto io sia capace i concetti che intendevo esprimere. Vorrei solo aggiungere due considerazioni.
      1. Hanno idea i miei interlocutori di come si arriva ad un concorso? Provo a fare un esempio: si cerca di lavorare bene dividendo il tempo tra didattica, ricerca e infiniti compiti amministrativi, si sviluppa l’importanza del SSD nell’ambito del corso di laurea, ad esempio offrendo (nel mio caso) fino a 42 CFU l’anno di lezioni (avete idea di quant’è, in ore settimanali? ovviamente a retribuzione ferma),si ottengono score significativi nei questionari anonimi che fanno gli studenti, si cerca e si ottiene, con il lavoro, visibilità e apprezzamento per il proprio SSD in ateneo e si ottiene, forse, alla fine, una delibera di senato e consiglio di amministrazione. In una giornata di lavoro, alla ricerca resta forse un 10% del tempo. Eppure, si fa questo lavoro essenzialmente per la passione di studiare: 20 anni fa, la settimana dopo il commencement al MIT,avevo già un’offerta di lavoro con uno stipendio doppio di quello che ho oggi. I “numeretti” dell’ANVUR, come qualificano queste attività?
      2. Ma a parte la didattica e la gestione, i “numeretti” dell’anvur sono effettivamente capaci di qualificare la ricerca? Faccio un esempio: leggo da Scopus che il presidente dell’anvur ha 165 lavori su rivista citati, 4725 citazioni e un h-index di 36. Prendo il lavoro più citato: ha 298 citazioni e 86 autori. Mi viene in mente di paragonarlo al mio lavoro più citato: 32 citazioni e 3 autori (oltre a 3 anni di sperimentazione in laboratorio per scriverlo). Propongo all’anvur un nuovo indicatore, la citazione/autore: allora Fantoni ha 298/86 = 3,47 citazioni/autore, io 32/3 = 10,7 cit/aut. Potrei sostenere come paradosso, di essere uno scienziato 3 volte “migliore” di Fantoni: ma la verità è opposta, oggettivamente lui è uno scienziato, io un semplice studioso della mia materia.

      In conclusione, se pensate che il reclutamento universitario possa basarsi su un arbitrario data-mining basato su criteri esoterici, allora è meglio che vi convinciate di essere su marte, perché su questo pianeta non esistono sistemi universitari che reclutano in questo modo.

    • Sottolineo che i suoi indicatori sono decisamente superiori alla mediana del suo settore. Prova che almeno una parte del lavoro fatto viene messo in luce da questi indicatori.

      Gli indicatori ANVUR sono carenti. Come indicato da altri, sarebbe stato opportuno (e qui non ho la ricetta definitiva) tenere conto del numero di autori, eliminare le autocitazioni, utilizzare un database pubblico, partire in anticipo (1 anno almeno?) in modo da consentire a chi verificasse carenze di segnalarle, forse (ma questo andrebbe stabilito per il futuro, dato che molti hanno l’abitudine dell’ordine alfabetico) tenere conto della posizione dei nomi.

      Giustamente non è possibile confrontare settori diversi, per tanti motivi correttamente ricordati anche su ROARS.

      L’obiettivo delle mediane era quello di dare un minimo per evitare “figli”, “parenti” e “amanti”, dato che troppo spesso era successo che questi passassero davanti a candidati che hanno fatto molto di più di quello che lei elencava. Poi nella valutazione possiamo considerare tutto il resto, ma un minimo INDEROGABILE mi sembra fondamentale.

    • Il problema strutturale dell’universita’ italiana non e’ certo il fatto che i figlii o le amanti vincano i concorsi, questa visione distorta e sbagliata della realta’, ma sicuramente molto diffusa, e’ alla base di politiche scellerate (come Anvur ne e’ la riprova). Sicuramente in alcune discipline ci sono degli abusi, e questo avviene dove il lavoro accademico e’ molto contiguo a quello professionale (medicina, economia, giurisprudenza, ecc). In altri campi il problema e’ casomai la “filiazione accademica” e comunque degli standard minimi qualitativi sono in genere agevolemente superati.

    • @ricercatore inginf05
      “L’obiettivo delle mediane era quello di dare un minimo per evitare …”
      Pienamente d’accordo. Ma credo che tutti ci stiamo convincendo che o si è capaci di definire indicatori verosimili (ad esempio con i criteri del suo post) o ci si affida alla rappresentanza democratica dei docenti universitari (il CUN). E’ l’improvvisazione e la superficialità che risultano proprio intollerabili.

      @francesco sylos labini
      “Sicuramente in alcune discipline ci sono degli abusi, e questo avviene dove il lavoro accademico e’ molto contiguo a quello professionale”
      Attenzione, vi prego, a generalizzare. Io faccio di tutto per coinvolgere i dottorandi e i ricercatori che lavorano con me a vivere i probemi del mondo produttivo. La mia disciplina è fortemente applicativa: senza padroneggiare, appunto, la sua applicazione, si rischia di insegnare vere e proprie castronerie nelle aule dell’università. Non per questo, però, mi sento di appartenere a un settore caratterizzato da abusi, non è così.
      Sogno di vivere in un Paese normale, dove agli abusi ci pensa il soggetto deputato, ossia la Procura della Repubblica.

    • Assolutamente non e’ mia intenzione generalizzare, ho solo rilevato che i casi piu’ noti all’opinione pubblica e sollevati dalla pubblicistica (ad esempio il libro di Roberto Perotti) e dalla stampa hanno riguardato in particolare medicina ed economia.

    • Beh, la regola aurea per la determinazione tendenziale degli abusi è vedere quanti soldi / potere gravitano attorno ad un settore.

      Tanto più soldi e/o potere si possono distribuire, tanto maggiore è la probabilità che forzature che violino la priorità dei valori scientifici possano verificarsi.
      Per questo medicina ha un’incidenza tendenzialmente maggiore della media, mentre filologia risulta tendenzialmente defilata. Con ciò ovviamente non si possono legittimare generalizzazioni di alcun tipo; si tratta solo di una ‘regola del sospetto’.

    • Semmai un’oggettiva valutazione del gruppo di ricerca, non del singolo candidato. L’oggettività va finalizzata correttamente.

    • Piuttosto direi “quadrato rotondo”. A parte gli scherzi, i criteri, se stabiliscono test la cui soddisfazione può essere controllata senza ombra di dubbio perché soddisfano una descrizione definita (qualcosa tipo sono ammessi tutti coloro che hanno più di cinque articoli) stabiliscono un tipo di oggettività. Come un semaforo rosso, non lo puoi interpretare, o è rosso oppure no. La questione che molti di noi pongono con forza da qualche mese è se questo tipo di criteri “oggettivi” possano sostituire il giudizio dei pari. Molti reagiscono a questa critica dicendo che dei pari non si fidano, che sono tutti mascalzoni. Ma sarà vero? Proprio tutti? Le domande non sono oziose perché, se non lo fossero tutti, si può sperare che quelli che lo sono siano recuperabili o neutralizzabili. Ma se lo fossero tutti non ci sarebbe alcun rimedio, nemmeno le mediane, visto che stare sopra una mediana non ha nulla a che fare con l’essere una persona corretta. O mi sbaglio?

  16. Secondo me è il pasticcio dei pasticci. Dopo aver “considerato” (dunque tenuto conto di) tutte le contraddizioni, imprecisioni, calcoli sbagliati, fatti e rifatti, data base inaffidabile e incompleto ecc., e dopo aver ritenuto che “sin dalla prima tornata delle procedure di abilitazione, queste si svolgano con la massima chiarezza, inequivocità e generalità delle regole a garanzia dei principi generali della democrazia amministrativa e dei diritti degli interessati ecc.”, non considerano affatto che dalle premesse che descrivono il guazzabuglio completo anche umano non possono venir fuori procedure chiare e corrette i cui risultati non si prestino a contenziosi giudiziari. Né come un provvedimento del governo possa porre rimedio a questa contraddizione, né perché le commissioni DEBBANO tener conto delle mediane (insieme con gli altri criteri) se esse sono inaffidabili.
    Infine, se la costituzione delle commissioni è viziata dagli stessi errori e pasticci, in che misura le commissioni e il loro operato saranno legittimi (come è stato già detto)?

    Perché per il presente le mediane devono valere e per il futuro non più? per salvare in qualche modo questa tornata? Cosa potranno mai essere le soglie assolute note con largo anticipo? Quanto “largo” ? Cosa vuol dire assoluto: 3 articoli, 3 monografie, 4 non so che; 4 articoli, 2 monografie, 4x in dieci anni? Guai se diversamente?

    Chiedo scusa se ripeto cose già dette da altri.

    • Si esprimono sempre un po’ così. Immagino che le soglie assolute vogliano dire requisiti cumulativi e non normalizzati. Una raccolta a punti. E’ un chiaro riferimento ai requisiti CUN. Quello che non riesco a capire è questo: dove erano l’anno scorso tutti (Gelmini inclusa) quando l’ANVUR è uscita con queste idee?

      Altra questione non meno importante: se cambiano le regole sull’abilitazione, perchè un non abilitato con il regolamento attuale dovrebbe stare fuori altre due anni?

    • Si, si proprio quella. C’è da un bel pò.
      Aprendo il pdf, le “document properties” lo fanno nascere il primo agosto scorso.

  20. Cari preoccupati ed in lutto per il declino della scientometria sarebbe bastato che si dessero dei pesi a “tutti” i tipi di produttività usando banche dati di settore e creando un sistema scalato sulla realtà italiana. Su questi pesi differnziati per settore si facevano banali calcoli statistici. Questo ben inteso solo per scremare alla grossolana…poi occorrono criteri con cui leggere e fare peer review per individuare “eventuali” eccellenze… invece l’ANVUR è l’ufficio complicazione cose semplici. Pensavano che la scientometria fosse una scienza con banche dati affidabili…invece si sono accorti che è puro business pseudoscientifico.

    • Caro Foschi, (rispondo qui a diversi suoi commenti; poi taccio perché non voglio alimentare discussioni forse un po’ off topic qua)
      mi sembra che faccia una grande confusione. Epistemologica (per dire spiegazione e previsione sono la stessa cosa? si può prevedere senza spiegare? non capisco bene il punto). E di fatto: 1. sono dati bibliometrici tutti quelli ricavati da informazioni bibliografiche o citazionali. quindi anche le soglie di produzione di un suo precedente commento sono dati bibliometrici; studiati dagli scientometrici. 2. è l’ANVUR ad aver sancito che il mondo scientifico si divide in bibliometrico e non bibliometrico. Se si prende un buon manuale internazionale di scientometria troverà pacatamente scritto che ci sono settori in cui i dati bibliometrici disponibili al momento sono ragionevolmnete applicabili, e altri settori, in genere quasi tutte le SSH, a cui non sono applicabili. Francamente nell’ampia letteratura internazionale, mi sembra che non ci siano molti lombrosiani. E, quelli che ci sono, di norma non pubblicano su riviste scientometriche. Mi piace sottolineare che l’indice h l’ha inventato un fisico, e l’ha pubblicato su PNAS (nn su scientometrics né su JOI); e che l’inquietante articolo sulla previsione dell’h-index è uscito su Nature, non su una rivista di settore, e non è stato scritto da scientometrici.
      Credo che sia profondamente errato giudicare lo status di discipline diverse da quelle per cui si ha competenza diretta in modo sommario come lei ha fatto in alcuni commenti.

    • Caro Baccini penso di avere una certa competenza sia con l’epistemologia, sia con la storia della scienza che con la stocastica. Ho una certa esperienza le assicuro e già da molti anni ne discuto …da prima che Hirsch inventasse il suo indice. I Lombrosiani non sapevano di esser lombrosiani fin quando gli storici della scienza non hanno usato con loro questa etichetta che purtroppo per noi italiani è dispregiativa (ma il buon Lombroso un po’ se lo è meritato)…il rischio degli scientometrici (o -metrisit) è simile a quello dei lombrosiani in futuro saranno chiamati garfildiani ;-) io non investirei mai il mio tempo a far ricerca bibliometrica e mi chiederei …perché il REF2014 rifiuta qualsiasi indice bibliometrico?

    • Per conoscenza dei difensori della scientometria…I

      n Gran Bretagna sta per partire il Research Excellence Framework 2014 (la valutazione periodica delle università in base alla quale si attribuiscono i fondi) e nelle FAQ si legge in modo incontrovertibile:

      How will journal impact factors, rankings or lists, or the perceived standing of publishers be used to inform the assessment of research outputs?

      No sub-panel will make any use of journal impact factors, rankings, lists or the perceived standing of publishers in assessing the quality of research outputs. An underpinning principle of the REF is that all types of research and all forms of research outputs across all disciplines shall be assessed on a fair and equal basis.

    • Wow, questa sì che è nuova! Caro Foschi, chi se l’aspettava! Nessuno della redazione di Roars avrebbe pensato ad un tale colpo di teatro! Il passo che lei cita non sarà stato riportato neanche una trentina di volte in queste pagine…

    • evidentemente è necessario ripetere perché molti non ne sono a conoscenza, come molti fino alla questione delle mediane non sapevano cosa fosse Scopus o l’ISI o come si calcolasse l’Hindex o l’IF…gli scienziati di solito si occupano di altro… ma ci sono anche altre cose interessanti di cui qui non si è dibattuto su ROARS tipo l’Eigenfactor…Caro Zhok che mi dice dell’eigenfactor …http://www.eigenfactor.org/

    • nel sito dell’eigenfactor c’è pure un bel cervello frenologico…come insegnano Daston e Galison l’obiettività scientifica si costruisce con immagini e grafici…Daston, Lorraine & Galison, Peter. (2007). Objectivity. New York: MIT Press.

    • Guardi caro Foschi, che nessuno qui sta sostenendo tesi di particolare fanatismo scientometrico, anzi. Forse, non avendo lei, come è legittimo, seguito le vicissitudini del presente dibattito ha avuto questa impressione, ma le garantisco che è un’impressione erronea, dettata da un correttivo ‘di fino’ rispetto a tesi generalmente alquanto scettiche rispetto ai prodigi delle valutazioni a base bibliometrica.

      Dopo di che, pur in un contesto generalmente scettico, credo sia buona prassi epistemica quella di provare ad intendere ragioni verso cui non si è naturalmente propensi. In quest’ottica esistono ragioni non banali a favore dell’adozione di procedure che evitino o limitino massimamente i margini di arbitrarietà nelle valutazioni, ed in questo senso sarebbe sciocco demonizzare investigazioni che permettono di arricchire la base su cui possiamo esercitare i giudizi. Che poi la sostituzione integrale del giudizio soggettivo qualitativo con un meccanismo bibliomterico sia un’illusione, questo è certo, ed è vero che è un’illusione che taluni intrattengono (ma raramente ciò accade tra persone che sono al corrente del dibattito sulla valutazione).

      Quanto al fatto che la procedura scientifica di obiettivazione proceda attraverso immagini e grafici, nel mio piccolo ne sono discretamente consapevole, ma temo che una tenzone accademica intorno al ruolo delle funzioni rappresentative nella storia della scienza non appassionerebbe gli altri utenti del blog…

    • Comunque il parallelismo tra scientometria e frenologia non sta in piedi.

      Non ho mai visto un articolo sulla valutazione a base bibliometrica che asserisse come certi tratti misurativi estrinseci (misure bibliometriche) fossero univocamente predittivi della qualità complessiva dei valutati. Se vogliamo giocare al parallelo con la frenologia (o persino con la successiva teoria delle razze) dovremmo dire piuttosto che numerose valutazioni metriche relative alle proporzioni dell’ossatura del cranio sono rimaste partimonio scientifico comune a fini classificatori. Ciò che è saltato è la pretesa di inferire virtù o vizi morali (ed in subordine intellettuali) attraverso misurazioni del cranio.

      Per proseguire nel parallelismo, alcuni dati esteriormente misurabili circa la produzione di un soggetto possono essere utili nella misura in cui rappresentano una base empirica da interpretare. E bisognerebbe riflettere sul fatto che interpretare non è un atto arbitrario, come molti paiono ritenere: un’interpretazione, per dirla in un linguaggio lontano dall’ermeneutica, assegna classi di probabilità a certi eventi (giudizi). Ed in presenza di dati è più facile scorgere se un’interpretazione stia avventurandosi in valutazioni improbabili o meno. QUesto, per voler dare un buffetto di consolazione a quelli dell’Anvur, è ciò che voleva essere colto dall’idea che la commissione poteva discostarsi dal vincolo delle mediane a patto di assumersi l’onere di una specifica motivazione.

      Resta ovviamente il dato di fondo che l’idea stessa del vincolo a superare le mediane è ingiustificabile, che i database erano inaffidabili, i calcoli approssimativi, i giudizi disattenti, le liste patetiche, ecc. ecc. Ma ormai a dare addosso all’Anvur mi sembra di sparare sulla croce rossa…

      Tra l’altro. Un certo uso circoscritto di criteri ‘bibliometrici’ sui generis possono essere utilizzati in modo simile a come si usano spesso i titoli (laurea, dottorato, ecc.). Se si richiedesse, di massima, che per ottenere l’abilitazione bisogna avere almeno X articoli in riviste internazionali ad ampia diffusione e/o una monografia di peso presso un editore di caratura scientifica, beh non ci vedrei niente di male, purché questi criteri siano esplicitati con congruo anticipo rispetto al loro utilizzo. Non si tratterebbe di qualcosa con una funzione molto diversa da ciò che nei paesi di lingua tedesca è lo Habilitationsschrift.

    • Caro Zhok se vai a vedere l’ultimo numero di Nature sull’ultimo fiammante algoritmo scientometrico se ne deduce che si vuole “univocamente predire la qualità complessiva dei valutati” e prevederne il successo e il merito….come facevano i frenologi o gli psicologi americani ad Ellis Island con i Benchmark degli WASP. Io rifletterei seriamente sul Research Excellence Framework 2014 per cui…
      No sub-panel will make any use of journal impact factors, rankings, lists or the perceived standing of publishers in assessing the quality of research outputs. An underpinning principle of the REF is that all types of research and all forms of research outputs across all disciplines shall be assessed on a fair and equal basis.

    • Caro Renato,

      credo che i tuoi esempi mostrino soltanto che una tecnica (che sotto certe condizioni può fornire dati utili ma parziali) può essere invece usata in modo distorto. Tutto qui. Se poi mi dici che persone – in buona o mala fede – possono approfittare di queste distorsioni per portare avanti campagne politiche perniciose siamo d’accordo. Ma questo non trasforma chi si occupa seriamente di bibliometria in un ciarlatano. Inoltre, per come vanno le cose, sono convinto che tutti faremmo bene a acquisire almeno una minima familiarità con queste tecniche, visto che – come ho detto in un commento precedente – è altamente probabile che continuino a essere usate e persino a essere utili per scopi meritevoli.

Commenti più recenti »

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.