Gli effetti del nuovo sistema di abilitazione nazionale (ASN) si stanno vedendo sempre più, via via che escono i risultati delle varie commissioni: oltre alle denunzie e ai cahiers de doléances quotidianamente presentati su tutti gli organi di stampa e su Roars, v’è chi vorrebbe anche accreditare l’idea che i nomi dei vincitori erano già scritti nelle stelle e che quindi in effetti l’ASN è il solito trucco per far passare i predestinati. V’è molto di vero e anche molto di falso in quest’ultima tesi, a seconda del lato da cui la si considera. Per un aspetto, diciamolo chiaramente e senza false ipocrisie, in un sistema normale che premia il merito scientifico, il fatto che si sappia in anticipo chi vincerà un certo concorso deve essere ritenuto la condizione normale e non può essere considerato affatto una patologia. Per un altro aspetto, invece, il fatto che si possa prevedere che un illustre sconosciuto possa risultare idoneo, rivela che effettivamente c’è qualcosa di marcio in Danimarca. Ma queste sono in effetti le due facce di una medesima medaglia.
Alla base della meraviglia per i due diversi esiti v’è infatti un errore di fondo, diffuso particolarmente sugli organismi di informazione di massa: ritenere il concorso per l’avanzamento scientifico alla stessa stregua di uno alle poste. In questo, infatti, tutti i candidati sono sullo stesso piano, in quanto posseggono solo un titolo di studio generico che è soltanto una condizione necessaria ma non sufficiente, sicché spetta alla commissione giudicatrice selezionare quelli che alle prove assegnate – nelle quali consiste tutto l’onere dell’accertamento – dimostrano i migliori risultati. È ovvio che in questo caso azzeccare i vincitori in anticipo, in assenza di qualsiasi altro indicatore, costituirebbe un segno evidente di concorso truccato.
Ma non è così all’università e nel sistema della ricerca, diversamente da quanto immaginano gli sprovveduti e gli estranei all’ambiente. In questo caso prima di arrivare ad una valutazione (come l’ASN), lo studioso ha pubblicato articoli e volumi, ha frequentato congressi, fa parte di società scientifiche, ha seguito studiosi e ha intessuto rapporti di amicizie e conoscenze che non sono solo “mafiose”, ma motivate da affinità disciplinari, da condivisione di scuole di pensiero, da comuni battaglie in nome di prospettive teoriche condivise. Insomma uno studioso degno del nome è conosciuto molto prima del momento in cui si sottopone a valutazione, specie in settori concorsuali molto specialistici e per le fasce più alte delle qualificazioni (come ad es. per associati e ordinari): di esso i colleghi parlano con maggiore o minore approvazione, hanno sviluppato una “communis opinio” e sanno bene se è meritevole o meno, se è un acchiappafarfalle oppure le sue ricerche sono ben fatte, documentate, originali. In tali condizioni la valutazione finale non è una sorta di terno al lotto, un concorso alle poste in cui tutti partono allo stesso livello, ma solo il momento finale in cui viene formalmente riconosciuto un consenso e una stima già socialmente consolidata nella comunità scientifica. Ecco allora che è del tutto possibile prevedere i vincitori di tale valutazione: anzi, se così non fosse, si dovrebbe sospettare che la commissione abbia adoperato criteri del tutto arbitrari, allontanandosi dalla consolidata stima (o disistima) che ciascuno dei candidati porta naturalmente con sé.
Tutto bene allora? Niente affatto, perché quando questo meccanismo di selezione progressiva, graduale e distribuita, che porta al consolidamento del prestigio di uno studioso, viene rattrappito e condensato in un sistema in cui una commissione nominata in modo accidentale (per sorteggio) si trova ad avere tutto il potere – di vita e di morte – nelle proprie mani; e quando si ha un concorso-monstre in cui solo cinque persone giudicano su macrosettori con centinaia di candidati, allora non possono che emergere le distorsioni e le patologie di un sistema malato, che vengono esaltate, amplificate, rese esplosive. Non bastano mediane, indici bibliometrici e raffinatezze del genere (peraltro mal concepiti e peggio implementati), perché s’è visto che se le commissioni vogliono, possono ignorarle del tutto, o tenerne conto quando loro conviene, in quanto nelle condizioni in cui s’è svolta l’ASN è pressoché impossibile resistere alle pressioni che provengono dall’esterno e che obbediscono alla logica del salire sulla carrozza del treno che passa: oggi la commissione mi è favorevole e quindi devo fare di tutto per farci entrare il brocco che mi aggrada (o l’amante o la figlia, ecc.); con la prossima commissione non si può dire. Non solo, ma diviene irresistibile, per le cordate che casualmente sono in maggioranza nelle commissioni, la tentazione di far passare “i propri” a discapito di quelli della scuola avversa e così via, con tutte le variazioni che l’italica mente è capace di immaginare.
E del resto, quale giudizio competente e nel merito possono dare solo cinque commissari, che il sorteggio ha possibilmente assemblato senza alcuna considerazione per la copertura disciplinare di macrosettori assai vasti (in settori molto comprensivi, possono esser mancati del tutto gli specialisti di ampi campi di ricerca)? La reputazione che si costruisce nei modi da noi sopra indicati, non viene certo attribuita da tutti i componenti di un settore assai vasto, ma solo dagli specialisti dell’argomento; per farla breve, lo studioso di Marsilio Ficino non conquista una buona (o cattiva) reputazione da parte dei più di 150 professori ordinari di Storia della filosofia, ma solo da parte dei quindici (dico numeri a caso) specialisti di filosofia del Rinascimento: e sono questi ultimi che ne devono giudicare la maturità scientifica. Una banale conditio sine qua non del tutto ignorata dall’attuale sistema di ASN. E non si obietti che i commissari potevano acquisire il parere pro veritate di un esperto esterno, in quanto mi paiono evidenti gli inconvenienti e gli arbìtri cui può dar luogo una simile procedura (basti solo pensare a quanto sia facile promuovere o bocciare scegliendo l’esperto giusto, come avevo già segnalato in un precedente articolo).
Ed ecco allora che i risultati a cui stiamo assistendo sono quelli da più parti denunziati: meritevoli bocciati (perché possibilmente non sono riusciti a incastrarsi in una delle combinazioni favorevoli) e brocchi vincitori (e questi sono possibilmente quelli che non sono prevedibili); straordinaria variazione dei giudizi e dei criteri a seconda dei candidati (in certi casi diventa indispensabile la pubblicazione “internazionale”, in altri casi viene del tutto ignorata la sua mancanza, all’uopo); giudizi sommari di tre righe e spesso incollati da un candidato all’altro con inevitabili ripetizioni; errori materiali a non finire; incongruenze, e così via in una sorta di galleria degli orrori. Tutto questo è il frutto di un meccanismo – come quello dell’ASN – che si è dimostrato essere il sintomo di una malattia della quale pretendeva essere la cura, fallendo così clamorosamente l’obiettivo: le mediane e gli indici bibliometrici, che avrebbero dovuto costituire la novità nella illusoria speranza di fissare argini all’arbitrio, sono state bellamente ignorate dalle commissioni, che non hanno esitato a idoneare chi non presentava alcuno dei requisiti o bocciare chi invece li possedeva tutti e tre. Ovvia conseguenza di quanto già contenuto nel decreto ministeriale, come ogni persona dotata di buon senso ha previsto, e non certo i talebani che hanno visto in questo nuovo sistema lo strumento per una resa dei conti o una rivincita rispetto a chi in passato aveva dominato certi settori concorsuali o che – persino in buona fede – si sono illusi delle sue virtù taumaturgiche.
Solo quando ci si sarà resi conto della necessità di superare la italica sindrome del Grande Concorso Unico Nazionale Per Tutte Le Discipline, mettendo in atto un meccanismo del tutto innovativo in cui la valutazione non sia il momentaneo arbitrio di una commissione che stila giudizi stereotipati di poche righe, ma la presa di responsabilità pubblica da parte di studiosi, scelti per competenza e non a caso, che producono un’ampia, motivata e argomentata decisione su ciò che si valuta, solo allora sarà forse possibile riavvicinare il consenso condiviso della comunità degli studiosi con il processo di avanzamento e riconoscimento dei meriti degli studiosi.
Ottimo articolo, quasi del tutto condivisibile. Ma coglie solo una parte del problema. La questione vera – o almeno quella principale – non e’ l’ASN in se’, sono (come segnalato da AlessiaC) i concorsi locali, in cui vincera’ quella quota di abilitati che ha alle spalle robuste protezioni. E quindi si ricadra’ nelle storture consuete… In altri termini, per i non raccomandati, o in ogni caso per la loro grande maggioranza, il conseguimento dell’abilitazione rimarra’ come avere una decorazione del tutto inutile ossia, per metterla cinicamente, e’ il solito specchietto per le allodole. Tra quattro anni faremo il bilancio di quegli abilitati che hanno nel frattempo ottenuto il posto e di quelli che dovranno rifare il concorso, nella vana speranza di entrare prima o poi.
Vero, se anche ASN fosse perfetta rimarrebbero i concorsi locali. Pero’, in primo luogo diventa piu’ difficile far passare gente non qualificata, che al limite sarebbe autolesivo nel caso ANVUR rimannga in piedi e porti a conseguenze.
Secondo, non ci sono operazioni uniche e miracolose… intanto osservo che ASN sembra aver sollevato ancora piu’ chiasso di quello che veniva alla luce con il sistema precedente: buon segno… le acque si sono finalmente scosse.
Bell’articolo, coglie il punto.
Se facciamo riferimento alla San Francisco Declaration on Research Assessment (http://am.ascb.org/dora/) , l’ ASN viola palesemente i punti 1,4 e 5.
Quel che ho visto sinora nella mia esperienza da ricercatore emigrato all’estero, e’ che 1) le posizioni vengono aperte in risposta non solo ad esigenze di copertura ma anche per rispondere a decisioni strategiche dell’universita (esempio, si vuole puntare di piu’ su una certa tematica nei prossimi 10 anni, allora si cercano esperti nel settore) , 2) gli indici bibliometrici non vengono assolutamente presi in considerazione. Si esaminano qualitativamente le pubblicazioni piu’ importanti, si fanno colloqui, si considerano tutti gli aspetti qualitativi di cui si parla nell’articolo.
In Germania ad esempio (dove lavoro e dove tra l’altro l’abilitazione e’ diventata facoltativa), prende la forma di un percorso di tutoraggio in cui il candidato viene affiancato da due o piu’ mentors che lo aiutano a sviluppare la propria strategia e piano di ricerca, il quale viene iterativamente discusso di fronte ad una commissione di esperti nel settore.
Ci stiamo facendo abbagliare dalla chimera delle valutazioni quantitative, e se non aboliamo questo sistema provocheremo ulteriori danni al sistema, perche’ rischiamo di promuovere chi e’ stato in grado di “ingegnerizzare” meglio il proprio H index…
Oltre che a continuare ad incentivare l’esodo all’estero di noi giovani ricercatori, stufi di tanta inefficienza e dilettantismo al Ministero.
Posizione curiosa per un giovane ricercatore all’estero. Non sara’ all’estero per mancanza di opportunita’ in Italia, altrimenti sarebbe conscio e risentito del fatto che parte della mancanza di opportunita’ e’ dovuta all’arbitrarieta’, non qualifiche, con cui si assegnano posizioni.
Sicche’ non le piacciono gli indici numerici ma crede nella valutazione di lavori valutati per la loro qualita’? Bene, intanto abbiamo appurato che uno un lavoro di valore lo deve scrivere, e’ gia’ qualcosa. Poi, visto che e’ all’estero, dove parecchi di noi hanno lavorato e insegnato per anni, sapra’ che c’e’ una differenza tra “noi” e per esempio USA, e’ che li le assunzioni clientelari, se avvengono, si pagano carissime. Qui siamo contro qualsiasi valutazione… se si svolge un lavoro di qualita’ deve poter essere verificato e conosciuto, e la valutazione deve essere ripetibile e documentabile. Le valutazioni qualitative sono possibili se poi si paga la scelta sbagliata… Contro le quantificazione, sempre migliorabili peraltro, ci sono solo discrezionalita’ e valutazioni soggettive… che indubbiamente ad alcuni fanno comodo.
Riguardo alla “differenza tra “noi” e per esempio USA”, ecco due autorevoli pronunciamenti provenienti proprio dagli USA che mettono in guardia dal ricorso a valutazioni bibliometriche automatiche nella valutazione dei ricercatori:
_______________________
1. La San Francisco Declaration on Research Assessment (è stata sottoscritta da più di 400 organizzazioni, comprese riviste come Science, Plos e PNAS, e più di 9.000 individui)
https://www.roars.it/dora/
_______________________
2. IEEE Board of Directors: Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”. La IEEE si autodefinisce “the world’s largest professional association dedicated to advancing technological innovation and excellence for the benefit of humanity“.
https://www.roars.it/anche-lieee-contro-luso-di-indici-bibliometrici-per-la-valutazione-individuale/
_______________________
Riguardo a cosa sia dovuta la mancanza di opportunità, va preso in considerazione il fatto che ormai non si recluta quasi più nessuno a causa di tagli e limitazioni al turn-over. A tale proposito si vedano i seguenti due grafici tratti dalla presentazione di Paolo Rossi al recente II Convegno Roars. Il primo fornisce l’andamento temporale del reclutamento e il secondo un confronto con la Francia.
Vero che non si assume piu’, vero anche che i criteri con cui sono state coperte le posizioni non sono del tutto trasparenti e lo dimostra la straordinaria varibilita’ dei valori a parita’ di qualifica. Adesso si argomentera’ “come si fa parlare di variabilita’ – variabilita’ secondo cosa”? Non ci sono pubblicazioni ma, per esempio, anche progetti e incarichi internazionali.
Sugli indici ci rincorriamo da un blog all’altro. Il punto non e’ l’indice integrato specifico – sempre assolutamente migliorabile – ma l’analisi quantitativa integrata, che in quanto tale e’ verificabile e riproducibile. Nessuno sostiene che si debba basare tutto su h-index, ma il punto e’ trasparenza e riroducibilita’. Chi si oppone all’attuale analisi basata su bibliometria e CV online dovrebbe proporre un’analisi alternativa altrettanto trasparente.
C’e’ poi il problema che qui discutono individui che lavorano sia in settori scientifici che umanistici, che richiedono – forse, non ho alcuna competenza nel settore umanistico – un approccio diverso.
Rimane che trasparenza e riproducibilita’ sono irrinunciabili per tutti e per dare speranza ai giovani che si qualificano, non a quelli che sperano di andare avanti su capitale relazionale…
Rispondendo al commento di Donatelli, i punti del mio ragionamento erano 1)Abbiamo preso una strada gia’ abbandonata da altri Paesi (vedasi commento successivo di De Nicolao) 2)manchiamo di una strategia nazionale per la ricerca (che ancora non vedo al Ministero).
Sono cosciente che l’uso degli indici bibliometrici e’ stato adottato per contrastare un difetto culturale del nostro Paese, ma da soli sono inadeguati, soprattutto se non bilanciati da valutazioni di esperti negli specifici domini, ovviamente documentabili e giustificabili.
Esempio banale: quando ero dottorando l’ossessione quantitativa della mia commissione giudicatrice influenzo’ in maniera negativa il mio modo di fare ricerca (concentrato sulla quantita’ delle pubblicazioni). E fui poi giudicato da una commissione inesperta nel mio campo, dunque totalmente inadeguata: ecco che si riproduce localmente quel che e’ successo con le abilitazioni a livello nazionale.
Sono altresi cosciente di essere troppo giovane per avere una visione profonda della questione, ma ho pensato che un contributo da un profilo inesperto ma “fresco” come il mio potesse arricchire il dibattito.
D’accordissimo con Donatelli sul tema della trasparenza, la quale per essere tale deve essere misurabile in qualche modo: altrimenti si ricade nell’arbitrio. Il punto e’ che anche quei pochi criteri che avrebbero dovuto essere fatti valere in modo ferreo sono stati disattesi dalle commissioni ASN, e con una disinvoltura stupefacente. Faccio un esempio, basato sul mio caso. Per un’ASN superavo tutte e tre le mediane ma sono stato bocciato (l’unico che si e’ opposto, e ha formulato giudizi positivissimi, e’ stato il commissario straniero, naturalmente inascoltato); per un’altra ASN (stessa fascia della precedente ma diversa classe di concorso) non superavo nessuna mediana e sono stato promosso (l’unico che si e’ opposto e’ stato il commissario straniero, anche lui inascoltato). E allora come vanno le cose? C’e’ poi, come vedete, il problema dei commissari stranieri, che per lo piu’ non hanno avuto nessuna reale funzione: come sono stati selezionati? Concordo sul fatto che l’ASN e’ un primo passo, ma appunto bisogna migliorarla e renderla piu’ rigorosa.
Credo che non si uscirà mai dalla discussione sulla bontà dei criteri numerici.
Tuttavia, concordo con chi sostiene che per quanto migliorabili siano comunque molto meglio di quello che c’era prima, per vari motivi:
1)se applicati, richiedono una quantità (e qualità) minima delle pubblicazioni, tagliando fuori molte persone
2)riducono l’arbitrarietà delle commissioni
3)permettono di avere un feedback del proprio lavoro
Il fatto che all’estero siano stati in parte abbandonati, non mi sembra molto interessante, visto che parliamo di situazioni totalmente diverse. In un paese del terzo mondo una macchina vecchia di 20 anni può essere una soluzione ottimale, ma chi si sognerebbe di comprarla da noi?Noi siamo appunto nella condizione del paese del terzo mondo (dal punto di vista dell’accesso alla carriera)
“Il fatto che all’estero siano stati in parte abbandonati, non mi sembra molto interessante, visto che parliamo di situazioni totalmente diverse. ”
____________________________________
Forse moebius1927 è un lettore recente. La sua tesi (“siamo totalmente diversi dall’estero”) è stata ripetuta molte volte nei commenti, al punto di essersi meritata il nome di “argomento emergenziale”: il degrado dell’università italiana è talmente grave da rendere plausibile, anzi necessaria, la sospensione delle regole e delle garanzie accademiche ritenute valide nel resto nel mondo civile per fare invece ricorso a leggi speciali nel contesto di uno “stato di eccezione”. In sostanza, si giustifica il ricorso alle pozioni magiche bibliometriche, ritenute nocive dalla comunità scientifica internazionale, con la scusa che per un moribondo tanto vale rivolgersi ai guaritori.
Nessuno dei sostenitori di questa lettura emergenziale è però riuscito a controbattere alle statistiche bibliometriche (oramai convalidate anche dall’ANVUR nel suo rapporto sullo stato dell’università e della ricerca) che mostrano che produzione e produttività dell’università italiana sono del tutto ragionevoli (se non persino buone), in particolar modo se si tiene conto delle risorse (calanti) impegnate dal paese. Ricopio di seguito una mia replica già usata in diverse occasioni (repetita iuvant):
====================
Molti usano l’argomento “emergenziale”: vista l’eccezionalità del caso italiano non possiamo permetterci metodi scientifici e validati ma si devono usare metodi speciali mai sperimentati altrove. Un po’ come se un paziente grave venisse sottratto ai medici e curato con le pozioni dei guaritori. Meglio la pozione che niente, si dirà. Ma per un malato non è meglio affidarsi ad un medico che prescriva farmaci scientificamente testati? Chi sarebbe così sprovveduto da ingurgitare, primo al mondo, degli intrugli miracolosi preparati da guaritori che se ne infischiano degli avvertimenti della scienza medica e farmacologica?
Senza voler negare i problemi dei concorsi italiani, se la visione del tutto catastrofica di alcuni fosse vera, non si spiegherebbe il fatto che nei settori bibliometrici, la produttività italiana è superiore a quella di Germania, Francia e Giappone, come illustrato sotto. Una ragione in più per adottare un approccio scientifico e non affidarsi alle pozioni miracolose.
mebius1927 potrà essere un lettore recente, ma le argomentazioni di risposta sono sempre le stesse, ma anche ad esse sono state date risposte.
Riproponiamole in sunto: 1) i metodi sono perfettibili; 2) l’approvazione che ASN ha raccolto, ovviamente tutt’altro generalizzata ma il campione qui in ROARS appare biased, è stata data dall’innegabile novità di aver creato un percorso più tracciabile che la discrezionalità assoluta; 3) Saranno utilizzati altri metodi purché non siano ritorno alla discrezionalità.
In altri termini, a questo punto sembra che si voglia ignorare, visto che è stato specificato mille volte, che non è la specificità del metodo usato a essere sostenuto, ma il miglioramento del metodo rispetto alla black box delle valutazioni. Sostenere che debba diminuire la discrezionalità è l’opacità del sistema non nega peraltro che il sistema Italia abbia prodotto; ma, paradossalmente “l’aver prodotto” non va bene per l’abilitazione attraverso gli indici bibliometrici, ma va bene per citare che in Italia siamo produttivi…
La sensazione è che il grande fastidio per valutazioni quantitative basate su elementi esterni al sistema, per quelli che non sono in chiaro difetto personale rispetto ai criteri, derivi dal fatto che tolga elementi di controllo alle “commissioni di settori disciplinari ristretti” che delle nomine hanno fatto bello e cattivo tempo… Non mi aspetto che chi ne è stato uno degli attori sia d’accordo, ma questa interpretazione è parte della realtà del mondo allargato della ricerca.
“è stato specificato mille volte, che non è la specificità del metodo usato a essere sostenuto, ma il miglioramento del metodo rispetto alla black box delle valutazioni.”
________________________
Per quale ragione non dovremmo tenere conto dello stato dell’arte internazionale? Ci sono farmaci che nessuno usa più perché é noto che non vale la pena di subirne gli effetti collaterali. Perchè usare pozioni che non hanno basi scientifiche e i cui effetti nocivi sono denunciati da fonti autorevoli? Credo che chi sostiene l’uso di metodologie fai-da-te prive di basi scientifiche dovrebbe prima dare una risposta convincente agli argomenti e alle dichiarazioni internazionali che riporto per l’ennesima volta.
==============================
1. Articles in scientific journals
____________________________
[1.1] D.L. Parnas, “Stop the Numbers Game – Counting papers slows the rate of scientific progress,” Communications of the ACM, Vol. 50, No. 11, 2007, pp. 19-21.
http://ce.sharif.edu/%7Eghodsi/PaP/stop_the_number_game.pdf
“The widespread practice of counting publications without reading and judging them is fundamentally flawed for a number of reasons: It encourages superficial research … overly large groups … repetition … small, insignificant studies … publication of half-baked ideas.
Evaluation by counting the number of published papers corrupts our scientists; they learn to “play the game by the rules.” Knowing that only the count matters, they use the following tactics: Publishing pacts. … Clique building … Anything goes … Bespoke research …Minimum publishable increment (MPI). ….Organizing workshops and conferences …
Those who want to see computer science progress and contribute to the society that pays for it must object to rating-by-counting schemes every time they see one being applied”
____________________________
[1.2] D.N. Arnold (past president of the Society for Industrial and Applied Mathematics), “Integrity under attack: The state of scholarly publishing”, SIAM News. Vol. 42, No. 10, December 2009, pp. 1-4.
http://www.siam.org/news/news.php?id=1663
“The next time you are in a situation where a publication count, or a citation number, or an impact factor is brought in as a measure of quality, raise an objection. Let people know how easily these can be, and are being, manipulated. We need to look at the papers themselves, the nature of the citations, and the quality of the journals.”
____________________________
[1.3] D.N. Arnold and K. K. Fowler, “Nefarious Numbers”, Notices of the American Mathematical Society, Vol. 58, No. 3, March 2011, pp. 434-437.
http://www.ams.org/notices/201103/rtx110300434p.pdf
“Despite numerous flaws, the impact factor has been widely used as a measure of quality for jour- nals and even for papers and authors. This creates an incentive to manipulate it. Moreover, it is possible to vastly increase impact factor without increasing journal quality at all. … The cumulative result of the design flaws and manipulation is that impact factor gives a very inaccurate view of journal quality. More generally, the citations that form the basis of the impact factor and various other bibliometrics are inherently untrustworthy.”
____________________________
[1.4] A. Molinié and G. Bodenhausen, “Bibliometrics as Weapons of Mass Citation”, Chimia 64 No. 1/2 (2010) 78–89
http://www1.chimie.ens.fr/Resonance/papers/2010/Molinie-Bodenhausen-Bibliometrics-Chimia-64-78-2010.pdf
“Just as the ‘value’ of financial products is assessed by irresponsible ranking agencies, the value of scientific research is as- sessed by ill-conceived parameters such as citation indices, h-factors, and worst of all, impact factors of journals… ‘Judging the ability of a scientist by his h- factor amounts to choosing wine according to the price of the bottle, Swiss cheese by measuring the size of its holes, and choco- late by its sugar content.’”
____________________________
[1.5] R.R. Ernst (Nobel prize in Chemistry), “The Follies of Citation Indices and Academic Ranking Lists A Brief Commentary to ‘Bibliometrics as Weapons of Mass Citation’,” Chimia, Vol. 64, No. 1/2, 2010, p. 90.
http://www.chab.ethz.ch/personen/emeritus/rernst/publications
“The present hype of bibliometry made it plainly obvious that judging the quality of science publications and science projects by bibliometric measures alone is inadequate, and reflects the inadequacy of science man- agement regimes staffed by non-scientific administrators or by pseudo-scientists who failed to develop their own personal judgment.”
==============================
2. Articles in newspapers
____________________________
[2.1] D.D. Guttenplan, Questionable Science behind Academic Rankings, New York Times, November 14, 2010
http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html?pagewanted=all
“.. the list [the 2010 Times Higher Education ranking of world universities] also ranked Alexandria [the Egyptian university] fourth in the world in a subcategory that weighed the impact of a university’s research — behind only Caltech, M.I.T. and Princeton, and ahead of both Harvard and Stanford. … Dr. Hazelkorn also questioned whether the widespread emphasis on bibliometrics — using figures for academic publications or how often faculty members are cited in scholarly journals as proxies for measuring the quality or influence of a university department — made any sense. “I understand that bibliometrics is attractive because it looks objective. But as Einstein used to say, ‘Not everything that can be counted counts, and not everything that counts can be counted.”
____________________________
[2.2] D. Colquhoun, “Publish-or-perish: Peer review and the corruption of science,” The Guardian, September 5, 2011
http://www.guardian.co.uk/science/2011/sep/05/publish-perish-peer-review-science?fb=optOut
“To have “written” 800 papers is regarded as something to boast about rather than being rather shameful. … The way to improve honesty is to remove official incentives to dishonesty.”
==============================
3. Institutional reports and statements
____________________________
[3.1] Joint Committee on Quantitative Assessment of Research, Citation Statistics – A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Robert Adler, John Ewing (Chair), Peter Taylor, released: 6 November 2008, corrected version: 6 December 08
http://www.iciam.org/QAR/CitationStatistics-FINAL.PDF
“Thus, while it is incorrect to say that the impact factor gives no information about individual papers in a journal, the information is surprisingly vague and can be dramatically misleading….Once one realizes that it makes no sense to substitute the impact factor for individual article citation counts, it follows that it makes no sense to use the impact factor to evaluate the authors of those articles, the programs in which they work, and (most certainly) the disciplines they represent.”
____________________________
[3.2] Higher Education Funding Council for England (HEFCE), Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework , released: September 2009.
http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
“Key points. 8. Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF. However there is considerable scope for citation information to be used to inform expert review. 9. The robustness of the bibliometrics varies across the fields of research covered by the pilot, lower levels of coverage decreasing the representativeness of the citation information. In areas where publication in journals is the main method of scholarly communication, bibliometrics are more representative of the research undertaken.“
____________________________
[3.3] House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
“David Sweeney [Director HEFCE]: With regard to our assessment of research previously through the Research Assessment Exercise and the Research Excellence Framework, we are very clear that we do not use our journal impact factors as a proxy measure for assessing quality. Our assessment panels are banned from so doing. That is not a contentious issue at all.
Sir Mark Walport: I would agree with that. Impact factors are a rather lazy surrogate. We all know that papers are published in the “very best” journals that are never cited by anyone ever again. Equally, papers are published in journals that are viewed as less prestigious, which have a very large impact. We would always argue that there is no substitute for reading the publication and finding out what it says, rather than either reading the title of the paper or the title of the journal.
Professor Rylance: I would like to endorse both of those comments. I was the chair of an RAE panel in 2008. There is no absolute correlation between quality and place of publication in both directions. That is you cannot infer for a high-prestige journal that it is going to be good but, even worse, you cannot infer from a low-prestige one that it is going to be weak. Capturing that strength in hidden places is absolutely crucial.
Q256 Stephen Mosley: … a concern that the Research Excellence Framework panels in the next assessment in 2014 might not operate in the same way. Can you reassure us that they will be looking at and reading each individual paper and will not just be relying on the impact?
David Sweeney: I can assure you that they will not be relying on the impact. The panels are meeting now to develop their detailed criteria, but it is an underpinning element in the exercise that journal impact factors will not be used. I think we were very interested to see that in Australia, where they conceived an exercise that was heavily dependent on journal rankings, after carrying out the first exercise, they decided that alternative ways of assessing quality, other than journal rankings, were desirable in what is a very major change for them, which leaves them far more aligned with the way.”
____________________________
[3.4] Kim Carr (Australian Minister for Innovation, Industry, Science and Research), Ministerial statement to the Senate Economics Legislation Committee – Improvements to Excellence in Research for Australia (ERA), May 30, 2011.
http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx
“There is clear and consistent evidence that the [journal] rankings were being deployed inappropriately within some quarters of the sector, in ways that could produce harmful outcomes, and based on a poor understanding of the actual role of the rankings. One common example was the setting of targets for publication in A and A* journals by institutional research managers.In light of these two factors – that ERA could work perfectly well without the rankings, and that their existence was focussing ill-informed, undesirable behaviour in the management of research – I have made the decision to remove the rankings, based on the ARC’s expert advice.”
____________________________
[3.5] Code of Practice – European Mathematical Society, p. 5
http://www.euro-math-soc.eu/system/files/COP-approved.pdf
“1. Whilst accepting that mathematical research is and should be evaluated by appropriate authorities, and especially by those that fund mathematical research, the Committee sees grave danger in the routine use of bibliometric and other related measures to assess the alleged quality of mathematical research and the performance of individuals or small groups of people.
2. It is irresponsible for institutions or committees assessing individuals for possible promo- tion or the award of a grant or distinction to base their decisions on automatic responses to bibliometric data.”
____________________________
[3.6] On the use of bibliometric indices during assessment – European Physical Society, p. 2
http://www.eps.org/news/94765/
“The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects. In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.”
____________________________
[3.7] Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”- Institut de France, Académie des Sciences, p. 5
http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
“Any bibliometric evaluation should be tightly associated to a close examination of a researcher’s work, in particular to evaluate its originality, an element that cannot be assessed through a bibliometric study.”
____________________________
[3.8] DORA (la San Francisco Declaration on Research Assessment – http://am.ascb.org/dora/) è stata sottoscritta da 407 organizzazioni (comprese riviste come Science, Plos e PNAS) e 9.492 individui, vedi anche https://www.roars.it/dora/.
“1. Avoid using journal metrics to judge individual papers or
individuals for hiring, promotion and funding decisions.
2. Judge the content of individual papers and take into
account other research outputs, such as data sets, software
and patents, as well as a researcher’s influence on policy
and practice.”
Di seguito alcune delle 407 organizzazioni che hanno sottocritto DORA:
– American Association for the Advancement of Science (AAAS)
– American Society for Cell Biology
– British Society for Cell Biology
– European Association of Science Editors
– European Mathematical Society
– European Optical Society
– European Society for Soil Conservation
– Federation of European Biochemical Societies
– Fondazione Telethon
– Higher Education Funding Council for England (HEFCE)
– Proceedings of The National Academy Of Sciences (PNAS)
– Public Library of Science (PLOS)
– The American Physiological Society
– The Journal of Cell Biology
– Institute Pasteur
– https://www.roars.it :-)
– CNRS – University Paris Diderot
– INGM, National Institute of Molecular Genetics; Milano, Italy
– Université de Paris VIII, France
– University of Florida
– The European Association for Cancer Research (EACR)
– Ben-Gurion University of the Negev
– Université de Louvain
“paradossalmente “l’aver prodotto” non va bene per l’abilitazione attraverso gli indici bibliometrici, ma va bene per citare che in Italia siamo produttivi…”
========================
Anche questo argomento è stato ribattuto molte volte. Mentre la letteratura scientifica e anche le raccomandazioni di importanti asociazioni scientifiche internazionali mettono in guardia dell’utilizzo della bibliometria per valutazioni individuali, la letteratura scientifica ritiene possibile farne un (cauto) uso su scala aggregata per quantitificare e caratterizzare la produzione scientifica di aggregati abbastanza vasti di ricercatori (nazioni e atenei, in particolare). Lo scrivo da più di due anni, come testimoniato dal seguente estratto di un mio commento del marzo 2012:
________________________
Non ripongo fiducia illimitata nella peer review. Tuttavia, come ha scritto bene Rubele, in UK il RAE/REF, dopo approfondito esame ha concluso che
“Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF” http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
Appare esserci un consenso sull’utilizzabilità degli indicatori bibliometrici solo per la valutazione su scala aggregata, non per valutare i singoli ricercatori e ancor meno i singoli prodotti. È l’ANVUR che sta battendo sentieri inediti, proponendo soluzioni che non hanno riscontro nella letteratura bibliometrica.
https://www.roars.it/vqr-la-classifica-di-pinocchio-dellanvur/comment-page-1/#comment-476
Torniamo a quella affermazione di mebius che è stata classificata come semplicistica, vale a dire mezzo vecchio per situazione diversa.
Non mi sogno di contestare le obiezioni ragionate sulla difficoltà di valutazioni individuali, ma abbiamo purtroppo visto situazioni che sono un eccesso che ci fa dubitare di essere nello stesso gruppo di chi argomenta.
In primis, ASN non assegna cattedre, ma cerca di stabilire il raggiungimento di requisiti minimi. MINIMI: se non si è mai pubblicato nulla valutato da pari, su cosa si baserà qualsiasi altro tipo di valutazione di un ricercatore di area scientifica? Certo da brevetti sfruttati – non solo registrati (comunque non applicabile in tutti i profili). Bellissima in questo quadro la citazione di principio secondo la quale il ricercatore si deve valutare “su quanto sia influente”, poi in pratica come si attua? Un ricercatore amico del ministro è un ottimo ricercatore?
Ripulire il metodo da possibili frodi (e anche dalle eccezioni che sono state invocate e attuate creando anomalie poi anche contestate a testimoniare la fallacità del metodo) è un obiettivo. Ma voi puntuali valutatori di metodologie per una efficacia e veritiera valutazione dei profili professionali per accedere a cattedre dove eravate quando c’era in atto la metodologia precedente? De Nicolao, non la prenda sul personale, e in ogni caso è noto che in un sistema discrezionale e opaco le opinioni controcorrente si pagano.
“Ma voi puntuali valutatori di metodologie per una efficacia e veritiera valutazione dei profili professionali per accedere a cattedre dove eravate quando c’era in atto la metodologia precedente?”
__________________
A firmare una lettera aperta per chiedere una gestione meno opaca dei concorsi del mio SSD. Mettendoci la faccia, allora come ora.
==================
“In primis, ASN non assegna cattedre, ma cerca di stabilire il raggiungimento di requisiti minimi. MINIMI …”
__________________
Una mediana calcolata sulla categoria superiore non è un requisito minimo. Tra l’altro è un criterio che scatena una corsa inflazionistica distorcendo i comportamenti dei giovani. Tutte cose scritte mille volte.
“La sensazione è che il grande fastidio per valutazioni quantitative basate su elementi esterni al sistema, per quelli che non sono in chiaro difetto personale rispetto ai criteri, derivi dal fatto che tolga elementi di controllo alle “commissioni di settori disciplinari ristretti” che delle nomine hanno fatto bello e cattivo tempo”
_______________________
Lo stesso argomento “dietrologico” può essere ribaltato su chi difende metodi scientificamente screditati ed i cui pericoli sono oramai oggetto di dichiarazioni pubbliche (DORA) sottoscritte da riviste di alto livello (PLOS, PNAS, Science) e agenzie di valutazione (HEFCE) oppure rilasciate da associazioni di enorme peso scientifico e tecnologico (IEEE).
Il punto non sono gli interessi di qualcuno, ma di capire quale sia lo stato dell’arte per poter fare scelte che vadano a favore dell’interesse generale. Come in tutti i campi, si tratta di documentarsi e di studiare. Credo che la lettura di Roars possa essere di grande aiuto, soprattutto in Italia dove il discorso sulla valutazione, molto spesso, non andava oltre gli slogan ed il sentito dire.
Infine, per quanto mi riguarda, non ho nessun fastidio per le valutazioni quantitative (lavorare con i dati è il mio mestiere), ma proprio perchè sono abituato ad analizzare i dati mi rendo conto dei limiti intrinseci delle valutazioni bibliometriche *automatiche* e – se devo essere sincero – stimo (scientificamente) di più chi sostiene questi metodi per secondi fini rispetto a coloro che ci credono fino in fondo. Infatti una persona abituata a fare ricerca (e quindi capace di analisi critica) dovrebbe essere in grado di cogliere i limiti e le distorsioni di questi approcci. Solo un ingenuo può pensare di usarli come una “scatola nera” o di dare loro un valore normativo. Solo un ingenuo oppure chi alla correttezza scientifica antepone altri obiettivi.
Chiedo scusa per l’aver approcciato in maniera “ingenua” l’argomento :)
Quello che intendevo però è leggermente diverso da quello che mi viene attribuito, ossia l’appoggio alla regolamentazione d’emergenza (che tuttavia non so quanto sarebbe criticabile). A mio avviso non siamo in uno stato patologico (e quindi non necessitiamo di medicine- in quel caso sarei il primo a dire che bisognerebbe usare quelle più recenti e valide), siamo in uno stato primitivo. Dobbiamo evolverci e spesso evolvere vuol dire ripercorrere le stesse fasi che altri hanno percorso, superandole. Regole più giuste, in una società accademica di maggior spessore (non conta solo quanto produci, ma anche quello che produci, quindi bisogna valutare la qualità dei lavori per abilitare qualcuno), allo stato attuale ci si ritorcerebbero contro, facilitando il ritorno alle assunzioni pilotate. Nell’esempio che facevo, la macchina datata ma semplice può essere la soluzione ottimale in paesi in cui non ci sono buone strade e/o meccanici preparati, mentre da noi è semplicemente un mezzo inquinante e scomodo.
Detto questo sono anche d’accordo che porre dei criteri minimi per l’abilitazione sia ben diverso da fare assunzioni basate sugli stessi indici. Il problema, casomai, è nel momento dell’assunzione vera e propria, che attualmente avviene senza alcun controllo, con bandi, quelli sì, veramente ad hoc. D’altronde in assenza di un feedback reale sull’ateneo della qualità delle persone assunte, non credo si possa fare molto di meglio.
Infine una nota sui grafici, tutto sommato lusinghieri, della nostra produttività scientifica: preferisco vederli come un indice delle nostre potenzialità più che della bontà del nostro reclutamento accademico.
“siamo in uno stato primitivo … Regole più giuste, in una società accademica di maggior spessore (non conta solo quanto produci, ma anche quello che produci, quindi bisogna valutare la qualità dei lavori per abilitare qualcuno), allo stato attuale ci si ritorcerebbero contro, facilitando il ritorno alle assunzioni pilotate. … Infine una nota sui grafici, tutto sommato lusinghieri, della nostra produttività scientifica: preferisco vederli come un indice delle nostre potenzialità più che della bontà del nostro reclutamento accademico.”
____________________
Questa è l’essenza dell’argomento emergenziale. Tuttavia, se fossimo veramente in uno stato primitivo, non si spiegherebbero i dati sulla produzione e sulla produttività. Se in un articolo scientifico i dati smentissero le mie ipotesi, non credo che riuscirei a farmelo pubblicare spiegando ai revisori che non importa perché perché preferisco vedere i dati solo come un indice delle potenzialità del sistema che sto studiando. E se anche qualche settore fosse in uno stato primitivo, non mi sembra una ragione per imporre soluzioni primitive a quei settori (e non sono pochi giudicare dai dati) che primitivi non sono.
Non sono d’accordo. Un conto è emergenziale, un conto è primitivo.
Il fatto che siamo primitivi nel reclutamento del personale pubblico (in generale) non vuol dire che, per altri motivi, non possiamo ottenere ottimi risultati nella ricerca. Il nostro problema non è tanto che mediamente produciamo poco, quanto che in passato sono stati resi titolari di cattedre e di posti da ricercatore persone che non producono quasi nulla. E’ ovviamente fisiologico che ci sia un 50% sotto la mediana, ma sarebbe interessante confrontare le distribuzioni delle pubblicazioni tra i docenti italiani e esteri.
“E’ ovviamente fisiologico che ci sia un 50% sotto la mediana, ma sarebbe interessante confrontare le distribuzioni delle pubblicazioni tra i docenti italiani e esteri.”
==================
Il bello di questo terzo ferragosto di Roars è che ormai gli argomenti dei commentatori si ripetono ed è possibile rispondere rapidamente ripescando nell’archivio delle precedenti repliche. Di seguito riporto una mia replica dello scorso novembre (https://www.roars.it/la-justa-medida-de-la-excelencia-cientifica/comment-page-1/#comment-17232).
__________________
Marco: “In realtà, il sistema universitario italiano si è fonda (peccato originale) da sempre sulla cooptazione clientelare e nepotista … la cui degenerazione negli ultimi trent’anni ha portato l’intero sistema al limite del collasso”
_________________
È interessante come il discorso sull’università italiana si basi su stereotipi che non fanno più i conti con la realtà, non troppo diversamente dal discorso pubblico sui gruppi etnici, sui Rom, sui clandestini e così via. Un discorso autoreferenziale che si autoalimenta e si autoconferma senza confrontarsi con i dati. Vediamo come si riflette questo collasso nella produttività (articoli e citazioni per unità di finanziamento):
I due grafici mostrano che nei “settori bibliometrici”, la produttività italiana è superiore a quella di Germania, Francia e Giappone. Sono tratti da uno studio del governo britannico e si basano su dati Scopus (http://www.bis.gov.uk/assets/biscore/science/docs/i/11-p123-international-comparative-performance-uk-research-base-2011.pdf). Possiamo fare anche una controverifica sui dati Thomson-Reuters (Web of Science) riportati dall’ANVUR nella terza parte del Rapporto Finale VQR (http://www.anvur.org/rapporto/files/VQR2004-2010_RapportoFinale_parteterza_ConfrontiInternazionali.pdf). I dati riportati dall’ANVUR mostrano una produttività italiana superiore a quella di USA, Germania, Francia e Giappone.
==================
Marco: “Il problema non è (soltanto) quello di apportare modifiche, pure necessarie, a questo sistema di valutazione ma domandarsi perché esistono, nel mio come in altri SSD, una gran quantità di ricercatori (circa la metà ovviamente) molto lontani dalle mediante”
__________________
Un aspetto interessante degli stereotipi è anche la loro capacità di porsi come chiave interpretativa della realtà. Daniele Checchi in un suo articolo sul Mulino portava a prova dell’allarmante improduttività dell’accademia italiana il fatto ci fosse una certa proporzione tra pochi docenti molto produttivi e molti docenti poco produttivi. Un’interpretazione smontata da Paola Galimberti che aveva ricordato che quella proporzione, lungi dall’essere un’anomalia italiana, è una caratteristica universale ben nota da tempo nella letteratura bibliometrica:
“[D. Checchi] si stupisce della distribuzione disuguale della produttività dei docenti. Pochi docenti molto produttivi e molti docenti poco produttivi, come se fosse una peculiarità del nostro sistema nazionale. Ma su questo principio, dimostrato per tutti gli altri sistemi nazionali, Lotka e Bradford hanno costruito i loro modelli e Garfield ha costruito la sua fortuna.” https://www.roars.it/i-medicinali-di-daniele-checchi-per-la-valutazione/
Nel caso dei ricercatori “molto lontani dalle mediane”, è lecito domandarsi se la distribuzione degli indicatori bibliometrici nel SSD di Marco (“come in altri SSD”) sia stata stimata accuratamente e poi confrontata con la distribuzione osservata nella comunità internazionale o in altre nazioni. È inutile dire che per definizione stessa di mediana *esattamente* il 50% dei ricercatori sta al di sotto della mediana. Che la quasi totalità di questi “submediani” siano “molto lontani” dalla mediana è affermazione sorprendente perché dà per scontata una forma della distribuzione abbastanza particolare.
I fautori dell’argomento emergenziale difendono le forme più sgangherate di valutazione bibliometrica con la scusa di un “intero sistema al limite del collasso”. Quando vengono messi di fronte alle statistiche bibliometriche internazionali (che su scala aggregata hanno quel minimo di validità scientifica che manca quando sono usate per valutare i singoli ricercatori) gli “emergenzialisti” scoprono che la produttività media di questo sistema italiano al limite del collasso è competitiva con quella di Francia, Germania, USA e Giappone. Gli irriducibili allora ipotizzano che l’Italia – unico paese al mondo – veda i suoi accademici dividersi in due tipologie estreme: i fancazzisti e i superdotati, razza superiore capace di prestazioni inarrivabili dai collleghi pur bravi di razze non italiote. Teoria singolare, ma che ha il pregio di giustificare la necessità di procedere alla giustizia bibliometrica sommaria per far pulizia della marmaglia fancazzista (il ricorso al “mobbing” e alla “zombizzazione” era stato auspicato da un esperto ANVUR, https://www.roars.it/anvur-mobbing-zombizzazioni-e-ingiustizie-purtroppo-si/). Ecco, i ricercatori (“circa la metà”) “molto sotto le mediane” mi ricordano questa visione manichea-orwelliana. In ogni nazione c’è (esattamente!) un 50% di submediani che sta sotto la mediana, ma i submediani italiani stanno più sotto degli altri.
Un giorno, ci renderemo conto che i Rom non rubano i bambini.
Quello che continua a stupirmi ancora, nonostante i diversi anni passati in diverse università, ma forse ora ancora di più, vista la scarsità di risorse, è questa acrimonia, questo odio di una parte di università “eccellente” verso un indefinito, ma sempre molto alto, numero di fancazzisti, nullafacenti, improduttivi.
A nulla servono statistiche, risultati pure di VQR (che non è certo autoprodotta), confronti col resto del mondo.
L’acrimonia è intatta.
Un’acrimonia che è arrivata alla celebrazione delle mediane, che scientificamente non stanno in piedi (ci si arriva anche senza un esame di statistica) pur di far fuori i fancazzisti, appunto, e i tanti “sotto le mediane, ma certamente molto sotto” (anche questa affermazione inaccettabile senza un esame specifico).
Un’acrimonia fastidiosa (e autosqualificante, i geni sono persone umili di solito) perché presuppone quasi l’esistenza di superuomini accademici al cospetto di omuncoli (non ci sono sfumature in questi discorsi, ma solo distinzioni nette), ma che alla fine è basata (anche) su considerazioni del tutto personali.
Infatti questi difensori della razza pura accademica, non considerano per nulla il fatto che il nostro lavoro non è neanche contrattualizzato e che quindi nessuno definisce standard di produttività in base a ore di lavoro uguali per tutti, retribuite in maniera consona.
Nonostante questo, succede che un superproduttivo che ad esempio decida di stare in ufficio la sera e di lavorare nei fine settimana, senza orari e per un compenso che corrisponde al minimo sindacale stabilito da un decreto polveroso, una mattina si alzi e stabilisca che il suo è il metro di giudizio per tutti. Anche per chi la sera o il fine settimana lo trascorre invece coi figli minorenni, che ha premura di crescere, o che anche decide che la vita è fatta di altro, visto che il suo compenso non gli riconosce alcun straordinario e non è adeguato a sostenere casomai il prezzo di servizi di assistenza.
Allora, se vogliamo normalizzare per bene gli indicatori, a parte cominciare a togliere autocitazioni, a dividere per numero di autori, a considerare valori almeno privi di deviazione standard e che siano realmente minimi, dovremmo farlo sulle ore effettive di lavoro, calcolate tenendo conto dei compensi reali per il lavoro svolto.
E’ un discorso di equità sociale, di diritti/doveri e di uguaglianza. Altrimenti richiediamo la contrattualizzazione, il cartellino da timbrare, le ferie uguali per tutti, gli straordinari pagati. A me sta bene.
Giuseppe, credo ci sia poco da aggiungere se il tenore delle tue obiezioni oscilla tra il “in un post di 3 anni fa ho scritto che..” e il dare del razzista a chi pone l’accento su persone che non pubblicano (basta guardare all’interno del proprio dipartimento per notare differenze macroscopiche), quasi che non lavorare sia una questione genetica.
Il tutto mettendo in bocca all’interlocutore parole e concetti non suoi.
Buona terza settimana di agosto
moebius1927: “Giuseppe, credo ci sia poco da aggiungere se il tenore delle tue obiezioni oscilla tra il “in un post di 3 anni fa ho scritto che..” e il dare del razzista a chi pone l’accento su persone che non pubblicano”
===========================
Se la lingua italiana ha ancora un senso, non vedo in che modo la seguente affermazione dia del razzista a moebius1927:
___________________________
“È interessante come il discorso sull’università italiana si basi su stereotipi che non fanno più i conti con la realtà, non troppo diversamente dal discorso pubblico sui gruppi etnici, sui Rom, sui clandestini e così via. Un discorso autoreferenziale che si autoalimenta e si autoconferma senza confrontarsi con i dati.”
___________________________
Piuttosto, la mia osservazione mette in evidenza il ricorso a stereotipi i cui meccanismi di riproduzione e diffusione non sono diversi da quelli ben noti riguardanti alcuni temi socialmente caldi. Dopo di che ho fornito i dati che mostrano come alcuni stereotipi universitari abbiano ben pochi riscontri.
Riguardo alla mia replica che avevo ripescato, cosa posso farci se alcuni commenti sono ricorrenti? La prossima volta prenderò in considerazione la possibilità di fare copia-e-incolla senza dirlo.
Lilla,
parli di acrimonia, ma non ne vedo motivo. Parli di gente che lavora la domenica, sottopagata, rinunciando alla propria famiglia (se ne ha una).
Mi sembra francamente fuori luogo. Qui si parla di persone che in 10 anni non sono riusciti a mettere in piedi un numero minimo di pubblicazioni (sull’entità di tale numero possiamo metterci d’accordo). Ti premetto che appartengo ad una delle categorie più sfigate tra quelle da te enunciate: assegnista di ricerca con figlia e passione per il tempo libero. Ma che c’è di male a chiedere che per avanzare nella propria professione vengano richiesti degli standard minimi? Non dico sacrificare la famiglia, ma produrre 1-2 pubblicazioni l’anno (in alcuni casi molto meno) è troppo?
Se fossi un presidente di una squadra di calcio, compreresti un giocatore che gioca per 70 minuti perché tiene famiglia?
Moebius, dire: “Qui si parla di persone che in 10 anni non sono riusciti a mettere in piedi un numero minimo di pubblicazioni (sull’entità di tale numero possiamo metterci d’accordo)”, non vuol dire nulla, proprio perché non mi stai dicendo che numero hai in mente e soprattutto perché. E quindi, casomai, quante sono queste persone.
Sulle mediane, ti rimando a questa lettura:
https://www.roars.it/errare-humanum-est-perseverare-autem-diabolicum-a-proposito-di-asn/
Fra le altre cose: le mediane non sono valori minimi e non sono di per sé una misura di qualità.
Non sono quindi il “meno peggio” per una comunità di studiosi.
Dire “ci sono dei nullafacenti” e identificarli con chi non pubblica nulla vuol dire parlare del 5% (vedi VQR).
Dire “il 50% sono improduttivi” o altre cose del genere significa spargere fango gratuito e di questo, francamente, tanti si sono stufati. Sulla produttività e quello che ho scritto sopra: l’organizzazione del lavoro è deregolata nel nostro caso e le scelte di alcuni (di stare in ufficio fino alle 8, o il sabato o di non fare ferie: ho più di un collega che pure si lamenta con me di questo!) sono scelte personali, come lo sono quelle di chi fa tutti i 90 regolari (e non 70) come meglio crede.
Lilla, non ti faccio dei numeri perché dipendono dal settore. Se vuoi ti posso fare l’esempio del mio settore, 09A1. Le mediane erano(a memoria) 10-3-3 e non mi sembrano valori clamorosi. Sarà un’opinione mia, ma un ricercatore del mio settore dovrebbe riuscire a metterli in piedi senza troppi problemi e senza lavorare notte e giorno, 365 giorni all’anno.
Non capisco poi perché dici che così si dichiarano improduttivi il 50% dei ricercatori.
E’ stata fatta una statistica sulle pubblicazioni dei professori e si è stabilito (scelta politica, nel senso buono del termine, a mio avviso) che la soglia minima per i nuovi ingrassi come P.A. fosse la media dei punteggi di coloro che lo erano già. Non vedo giudizi di sorta!
In molti campi lavorativi è già così: per entrare in determinati reparti dell’esercito bisogna superare dei test fisici con un certo punteggio/tempo. Dopo di che inizia la selezione vera e propria. Anche in quel caso ci si dovrebbe appellare ai figli per giustificare il non raggiungimento della soglia?
“la soglia minima per i nuovi ingrassi come P.A. fosse la media dei punteggi di coloro che lo erano già. Non vedo giudizi di sorta! … per entrare in determinati reparti dell’esercito bisogna superare dei test fisici con un certo punteggio/tempo. Dopo di che inizia la selezione vera e propria.”
==================
1. Correggo quello che presumo essere un refuso: la soglia è la mediana, che è diversa dalla media.
__________________
2. Il giudizio c’è ed è molto forte. Come spiega Vladimir, l’idea è che al di sotto della mediana non si è nemmeno ammessi alla selezione. Vuol dire che il 50% degli associati (e anche degli ordinari) già in servizio non raggiungerebbe il parametro minimo per essere ammesso alla selezione del suo stesso ruolo. Il Sole 24 Ore nel titolare “insufficienti le pubblicazioni per un professore ogni due” è stato ingenuo, ma allo stesso tempo ha colto il messaggio chiave: metà è da buttare.
__________________
3. L’impossibilità di usare in modo automatico i parametri bibliometrici per la valutazione automatica dei singoli ricercatori è un dato internazionalmente condiviso. Mettere una soglia dinamica coincidente con la mediana, vuol dire incentivare a dismisura i comportamenti opportunistici perché nessuno sa dove starà la prossima mediana e non resta che girare la manovella del ciclostile (così si sarebbe detto una volta). Riviste indicizzate, ma di bocca buona, ne esistono parecchie e possono esssere usate come “leva bibliometrica”. Ci pubblico “lavori fuffa” di poco valore, ma che uso per citare me stesso in modo da sistemare le citazioni per anno ed anche l’h-index. Da notare che, se ho un numero sufficiente di lavori presentabili, la commissione non vedrà mai il contenuto (magari del tutto discutibile) dei “lavori fuffa” perchè il loro pdf non verrà presentato. Servono solo a fare numero. Persino un bravo ricercatore che lavori su temi bibliometricamente poco prolifici potrebbe essere costretto a questi mezzucci per non correre il rischio di trovarsi sotto delle mediane inevitabilmente inflazionate dalla corsa al rialzo dei suoi colleghi. È pure evidente che chi non vuole fare sua questa rincorsa continua (e qui entra in gioco la questione dei carichi famigliari) corre dei grossi rischi, persino quando, conciliando lavoro e famiglia, riuscisse ad avere una produzione scientifica di qualità, ma non “bibliometricamente dopata”.
__________________
4. I dubbi sulla correttezza del calcolo delle mediane sono più che giustificati. In alcuni SSD, potrebbero essere relativamente attendibili (anche se in agosto 2012 sono state pubblicate 2 liste diverse con delle giustificazioni del tipo “non avevamo capito cosa intendeva il DM per mediana”, quando si sa che il DM è stato scritto sotto dettatura dell’ANVUR). In altri SSD potrebbero risentire pesantemente del mancato popolamento dei siti docente che avrebbe dovuto avvenire in poche settimane tra giugno e luglio 2012. In ogni caso, sappiamo con sicurezza che le mediane non sono le mediane, dato che l’ANVUR ha ammesso di aver escluso gli zeri dalla distribuzione (forse erano troppi a causa del mancato popolamento?). Infine, l’ANVUR non ha mai pubblicato le distribuzioni degli indicatori nonostante ciò fosse prescritto dal DM 76.
1) ovviamente sì
2) ripeto, mi sembra eccessivo parlare di giudizi, di gente da buttare etc etc.. Ci sono molte professioni che adesso richiedono qualifiche che un tempo non richiedevano. Non per questo le persone che rivestono quei ruoli adesso sono da buttare! Insomma la lettura del sole24ore mi sembra stupida e sensazionalistica più che ingenua.
3)Ogni sistema ha i suoi difetti e qualsiasi legge/regolamento fa sì che le persone tendano a massimizzare il proprio tornaconto, pur muovendosi nel lecito. Il sistema è migliorabile (escludendo le autocitazioni forse, migliorando i database delle riviste, dividere per il numero di autori..), ma a mio avviso migliore della totale arbitrarietà.
L’idea di prevenire i potenziali abusi resi possibili dalla discrezionalità mediante l’introduzione di regole automatiche (pur sapendo che comportano distorsioni sistematiche della valutazione e incentivano comportamenti opportunistici che distruggono l’etica della comunità scientifica) trova giustificazione solo nell’argomento emergenziale (l’Italia sarebbe un’eccezione a livello internazionale: conciata così male da giustificare medicine tossiche o pozioni magiche). Le statistiche internazionali mostrano che, nonostante tutti i problemi che può aver avuto il reclutamento, non siamo per nulla all’anno zero, anzi. La strada giusta è quella della trasparenza e della responsabilizzazione, mentre la bacchetta magica bibliometrica, oltre che deresponsabilizzarci, ci allontana dagli standard scientifici di alto livello e ci avvicina piuttosto alla Serbia (con tutto il rispetto per chi, come Pero Šipka, presidente del serbo “Centre for Evaluation in Education and Science”, lotta per denunciare il nonsense del loro sistema di valutazione: https://www.roars.it/bibliometrics-yes-please-we-are-serbian-and-italian/). Come ho già scritto, mi viene quasi da sperare che i sostenitori della bibliometria fai-da-te lo facciano per consapevole opportunismo. Sapere che dei colleghi credono che esistano numerini capaci di distingure la buona scienza (e i buoni scienziati) da quella cattiva mi farebbe preoccupare non poco sulle loro capacità di pensiero critico (un requisito imprescindibile per un ricercatore, a mio modesto parere). È pure vero che anche l’onestà intellettuale sarebbe una qualità non disprezzabile in un ricercatore, ma non si può avere tutto, a quanto pare.
Moebius: “In molti campi lavorativi è già così: per entrare in determinati reparti dell’esercito bisogna superare dei test fisici con un certo punteggio/tempo. Dopo di che inizia la selezione vera e propria. Anche in quel caso ci si dovrebbe appellare ai figli per giustificare il non raggiungimento della soglia?”
Non saprei, io ho fatto il servizio civile.
Se rileggi non mai ho scritto di “appellarmi alla famiglia”, ma di non promuovere l’agonismo bibliometrico. Giuseppe l’ha spiegato 10elode, anzi 30elode :-)
Ad esempio, se parlaimao di mediane, gli indicatori 1 e 2 possono aumentare molto con la “semplice” produttività (il 2 si gonfia con le autocitazioni) più che con l’impatto.
Però, vista l’aria che tira, in realtà per il futuro è consigliabile iniziare ad attrezzarsi ;-)
Secondo la mia modesta interpretazione, credo che la discrezionalità abbia in Italia una connotazione negativa perché di fatto chi fa scelte erronee (oppure guidate da interessi personali) non subisce poi effetti punitivi o perlomeno collaterali.
Nel momento in cui anche da noi si creeranno regole sistemiche (poche, chiare) per cui, detto banalmente, chi sbaglia (in cattiva o buona fede) danneggia se stesso o la propria università / dipartimento fino in casi gravi a mettere a repentaglio la propria carriera, allora la discrezionalità si trasforma in responsabilità, meritocrazia, persino partecipazione.
Questo é un parere modestissimo fondato per via esperienziale tra Italia, USA e Germania. Per considerazioni più robuste ed oggettive, non posso che rimandare anch’io alle fonti (ri)citate da Giuseppe De Nicolao.
Concordo in pieno. D’altronde quando si parla del principio del “chi sbaglia paga”, si sta parlando di un qualcosa che in Italia manca in toto, specie nel pubblico.
Inoltre considerando la scarsità dei finanziamenti, l’unica punizione davvero sentita sarebbe il licenziamento o una decurtazione dello stipendio…
Ma perché limitarsi? Il taglio di qualche falange ci darebbe una spinta tale da compensare abbondantemente il calo del 19% dal 2009 al 2013 (in termini reali) del Fondo di Finanziamento Ordinario. Se solo l’ANVUR pubblicasse i voti VQR individuali …
I punti di sospensione stavano proprio ad indicare l’impossibilità nel nostro paese di una soluzione di questo tipo. D’altronde quando invochiamo il principio sacrosanto che chi sbaglia deve pagare, dobbiamo anche prevedere cosa significhi pagare. Come la si può far pagare ad un dipendente pubblico, ed in particolare ad un professore universitario ordinario, italiano?
“Come la si può far pagare ad un dipendente pubblico, ed in particolare ad un professore universitario ordinario, italiano?”
_________________________
Molto severamente direi. Per il solo fatto di essere ordinario c’è un forte pregudizio di colpevolezza. Da un punto di vista giuridico, si può sceglere tra le seguenti opzioni:
_________________________
Ai professori di ruolo possono essere inflitte, secondo la gravità delle mancanze, le seguenti punizioni disciplinari:
1) la censura;
2) la sospensione dall’ufficio e dallo stipendio ad un anno;
3) la revocazione;
4) la destituzione senza perdita del diritto a pensione o ad assegni;
5) la destituzione con perdita del diritto a pensione o ad assegni.
_________________________
Se il compianto Paul Kersey ci potesse leggere, sarebbe felice di sapere che nel mio ateneo si è fatto recentemente ricorso alla seconda punizione. Da parte mia, se penso che Reagan è stato Presidente degli USA e la Gelmini ministro dell’Istruzione, mi domando sempre quanto migliore sarebbe stata l’accademia italiana se negli anni ’80 avessimo avuto Maurizio Merli come ministro dell’università. Altro che ope legis e lassismo …
Temo gli elenchi di sanzioni – pur esistenti per la pubblica amministrazione, per due motivi. Il primo è perché ad oggi manca un prerequisito, vale a dire stabilire quale sia la metodologia per stimare la produttività di un ricercatore, oggetto delle nostre interminabili discussioni. Il secondo è perché generano immediata levata di scudi trasversale, quindi anche di chi magari ha ben in mente i casi su cui applicarli, ma teme l’arbitrarietà dell’applicazione – ma questo ci riporta di nuovo al primo motivo!
Sistemi forse più applicabili e che facciano meno rumore (anche se meno sostanziali: con questi non si liberano posizioni occupate senza rispondere al ruolo per cui sono state assegnate) sono di tipo gestionale. Non permettiamo di selezionare ricercatori o decenti a chi ha dimostrato di non esserlo. Non permette di prendere decisioni di tipo strategico a chi ha amministrato bene prevalentemente solo i propri interessi. Ma temo che siamo ritornati al punto sopra: come si valuta il valore professionale? Nella ricerca non abbiamo situazioni chiare tipo il chirurgo con altissima mortalità tra pazienti, o l’impiegato che non è allo sportello nelle ore previste.
Un’ultima nota di commento specifico: se anche la Gelmini sia stata il peggior ministro dell’istruzione, non vorremo dire che il problema di cui parliamo sia così recente… L’immobilismo di un trentennio, con eccezioni geniali come convertire la facciata del sistema a triennali e magistrali, è il frutto della situazione attuale…
__________________________________
“Per il solo fatto di essere ordinario, direi che che c’è un forte pregiudizio di colpevolezza.”: Dietrologia…
A parte il fatto che sarei curioso di sapere come andrà a finire la questione nelle sedi legali (reintegro e risarcimento?), non credo che siano punizioni comminabili perché un professore abbia sponsorizzato chicchessia, anche perché con i concorsi è la commissione che decreta il vincitore del posto, non è l’ateneo a scegliere, né tantomeno un professore a proporlo.
Quando parliamo di scuola di un determinato professore, effettivamente stiamo parlando di qualcosa ai limiti della legalità, stante il sistema dei concorsi..
Ma se anche l’assunzione diventasse più simile ad una chiamata diretta, l’esporsi per una persona che si dimostrasse non valida, non potrebbe comportare nessuna delle pene sopra elencate, che sono palesemente rivolte a colpe gravi (come peraltro anche un ben più semplice licenziamento).
Quando parlavo di decurtazioni dello stipendio, intendevo uno stipendio legato alla produttività con dei bonus, cosa che in parte già esiste grazie alla possibilità di ricevere finanziamenti tramite conto terzi sfruttando i fondi di bandi vinti.
“Lo stato primitivo” non si riferisce al paese; infatti quale evidenza attesta che l’apprezzabile produttivita’ del paese mappi 1:1 sull’importanza dei ruoli nel sistema universitario? Ma se durante la nomina delle commissioni fu pieno di reazioni sdegnate da parte di pezzi da 90 che non qualificavano nel quartile necessario…
“Ma se durante la nomina delle commissioni fu pieno di reazioni sdegnate da parte di pezzi da 90 che non qualificavano nel quartile necessario…”
______________________
Troppo buono: non è solo un problema di quartile. La situazione è ben più grave. Come aveva giustamente stigmatizzato il Sole 24 Ore, addirittura un professore su due (tra gli ordinari!) ha “pubblicazioni insufficienti”, ovvero sotto la mediana. Bisognerebbe chiedere all’ANVUR di pubblicare le distribuzioni (come prescritto dal DM 47): probabilmente scopriremmo che nella fascia inferiore sono più bravi e non capita che per un associato su due gli indicatori bibliometrici stiano sotto la mediana degli associati. Infine, sono pronto a scommettere che in qualsiasi altra nazione la frazione di professori che sta sopra la mediana della sua categoria è decisamente superiore al 50%, mica come in Italia.
Per non prenderla come un provocazione gratuita e sciocca più che offensiva, le devo spiegare:
“Definizione e calcolo della mediana”
Se si procede al riordinamento delle unità in base ai valori crescenti del carattere da esse detenuto, in sostanza la mediana bipartisce la distribuzione in due sotto-distribuzioni: la prima a sinistra della mediana (costituita dalla metà delle unità la cui modalità è minore o uguale alla mediana) e la seconda a destra della mediana (costituita dalla metà delle unità la cui modalità è maggiore o uguale alla mediana). Tecnicamente si afferma che la mediana è il valore/modalità per il quale la frequenza relativa cumulata vale (o supera) 0,5, cioè il secondo quartile, ossia il 50° percentile”
Lo so, lo insegno ai miei studenti, ma forse la mia ironia non è fuori luogo, visto che il livello del discorso pubblico italiano sull’università è quello testimoniato dal ritaglio del Sole 24 Ore.
E ce lo deve anche spiegare?
Banfi, lei non legge con attenzione. Legga l’intervento di De Nicolao in risposta al mio precedente.
Antonio, per favore, leva il naso dal diritto bizantino (a cosa servirà mai al giorno d’oggi?) e leggi con un po’ attenzione, una volta ogni tanto. Nel caso, ti mando una bottiglia di acqua del Ticino ;-)
Sempre l’acqua del Ticino, o è la SylosLabinite che avanza?
Caro Giuseppe, ci sono ricrcatori che superano tutte e tre le mediane da ordinari. Tanto per dirne una, io (e non sono assolutamente la sola) superavo tutte e tre le mediane dei commissari oltre che quelle degli ordinari (SC 04/A4 Geofisica), ma se ne sono guardati bene di abilitarmi in prima fascia.
Se e’ per questo io supero le mediane da ordinario in praticamente tutti i SC della ASN.
Ma ho fatto domanda in un solo settore perche’ “conosco i miei polli”.