La palabra de moda en el sistema universitario español es excelencia. En un grupo de colegas, que tratan de saberlo todo sobre casi nada, detectar a los excelentes es fácil, gracias a sus ideas brillantes, profundas, sorprendentes, bellas, … Sin embargo, no hay ninguna medida bibliométrica (o cienciométrica) infalible que permita seleccionarles entre una multitud de candidatos a una plaza permanente de profesor y/o investigador. Los expertos en recursos humanos recomiendan la entrevista personal y la evaluación por pares, cuyo alto coste sólo se pueden permitir ciertas instituciones.
Lo peor es que, incluso si logramos incorporar a los excelentes, nadie garantiza que lo seguirán siendo en el futuro. No hay ninguna medida bibliométrica capaz de predecir el futuro con rigor. La alternativa es la evaluación periódica de los profesores, pero se podría perder a las “bellas durmientes” de la ciencia. El escocés Peter W. Higgs y el belga François Englert, los dos galardonados con el Premio Nobel de Física 2013, lograrán que sus universidades, la Universidad de Edimburgo y la Universidad Libre de Bruselas, asciendan algunos puestos en el ranking de Shanghái de las 500 mejores universidades del mundo. Este año ocupan el puesto 51 y un puesto entre 101 y 150, respectivamente, muy por delante de las mejores universidades españolas, que se encuentran entre los puestos 201 y 300.
![Figura 1. Publicaciones de “Higgs PW” en el ISI Web of Science de Thomson/Reuters entre 1951 y 2013 [imagen fechada el 10 octubre de 2013].](http://culturacientifica.com/wp-content/uploads/2013/10/Paco1.jpg)
Peter W. Higgs estudió Física en el King’s College (Universidad de Londres) y obtuvo su tesis doctoral en 1954. Tras pasar por varias plazas postdoctorales, logró una plaza de profesor en la Universidad de Edimburgo en octubre de 1960. Según el ISI Web of Science de Thomson/Reuters, Higgs atesoraba 15 artículos en revistas impactadas. No publicó ningún nuevo artículo hasta 1964, su annus mirabilis, en el que publicó dos artículos, sólo 5 páginas en total, que le encumbraron a los libros de historia de la física. Desde entonces sólo ha publicado 3 artículos más (en revistas impactadas del ISI Web of Science). En 1970 ascendió de categoría como profesor y la mantuvo hasta que se jubiló en 1996. Ahora es profesor emérito, Premio Nobel de Física y uno de los físicos más famosos de la actualidad. Por si te lo preguntas, su índice-h es de 10 y su artículo más citado tiene 1373 citas.
![Figura 2. Publicaciones de “Englert F” en el ISI Web of Science de Thomson/Reuters entre 1951 y 2013 [imagen fechada el 10 octubre de 2013].](http://culturacientifica.com/wp-content/uploads/2013/10/Paco2.jpg)
François Englert estudió Ingeniería en la Universidad Libre de Bruselas (Bélgica) y obtuvo su doctorado en Física en 1959. Su postdoctorado en EEUU le permitió conocer a Robert Brout (fallecido en 2011), su amigo y colega durante toda su vida; obtuvo una plaza de profesor en la Universidad Libre de Bruselas en 1961, donde trabajó con Brout hasta su jubilación en 1998. Su producción científica es mucho más convencional que la de Higgs y según el ISI Web of Science de Thomson/Reuters, ha publicado 99 artículos en revistas impactadas. Ahora también es profesor emérito y Premio Nobel de Física, pero es un físico mucho menos famoso que Higgs entre el público general.
Como me lo vas a preguntar, me adelanto: su índice-h es de 28, teniendo su artículo más citado 1108 citas (datos de 10 de octubre de 2013 en el ISI Web of Science). Englert ha trabajado durante toda su vida en rotura espontánea de la simetría, aplicando el mecanismo de Brout—Englert—Higgs y sus variantes a teorías de supergravedad y supercuerdas, así como estudiando sus consecuencias en los modelos cosmológicos.
Imagina que en 1961 tuvieras que decidir entre contratar a Higgs (escocés con 15 artículos impactados) o a Englert (belga con 6 artículos impactados), ¿a quién contratarías? En 1972, ni Higgs ni Englert eran físicos famosos (salvo en un círculo muy reducido de expertos en teorías cuánticas de campos). Imagina que tuvieras que contratar a Higgs, con 19 artículos impactados, o a Englert, con 27 artículos impactados, ¿a quién contratarías?
Entre los expertos, el nombre de Higgs se hizo famoso gracias a una conferencia plenaria de Benjamin W. Lee en la Conferencia Internacional de Física de Alta Energía celebrada en 1972 en el (ahora llamado) Fermilab, en Batavia, Illinois, EEUU. El artículo más importante durante la búsqueda temprana del bosón escalar predicho por el mecanismo de rotura espontánea de la simetría electrodébil, escrito por John Ellis, Mary K. Gaillard y Dimitri V. Nanopoulos en 1976, también asignó el nombre “bosón de Higgs” a dicha partícula.
Medir la excelencia requiere predecir el impacto futuro de las publicaciones. Se han propuesto muchos métodos pero todos presentan gran número de limitaciones prácticas y de poder predictivo. Usar un único índice bibliométrico no parece una buena decisión a priori, sin embargo, cuando Jorge E. Hirsch introdujo el índice-h en el año 2005 sugirió que podría ser un buen predictor 1. Sin embargo, estudios más recientes nos indican que la evolución del índice-h depende mucho del área de conocimiento y que su valor predictivo es muy discutible. Ello no quita que se hayan publicado artículos a favor 2 y que se hayan desarrollado aplicaciones informáticas y páginas web de predicción del índice-h futuro, como H-index Predictor. Pero la mayoría de los expertos dudan de la generalidad y credibilidad de estos resultados.
Parece más razonable combinar varios índices bibliométricos en una fórmula, como la desarrollada por el grupo de Albert-László Barabási (Universidad Northeastern en Boston, Massachusetts, EEUU) 34. La fórmula de Wang—Song—Barabási tiene tres parámetros libres que han de ser ajustados en función de la evolución del número de citas del artículo con el tiempo; en la figura 2 se ilustra la gran bondad del resultado cuando se utilizan los primeros cinco años, pero no hay que ser demasiado optimistas. El ajuste de estos parámetros es bueno sólo si el artículo ha tenido un buen número de citas durante dichos años, pero, si ese ha sido el caso, suele tener poco interés práctico predecir como evolucionará su número de citas en el futuro.
La fórmula de Wang—Song—Barabási utiliza tres parámetros, luego, por pura estadística, su poder predictivo es mayor que si se usara un sólo parámetro. Me gustaría recordar la frase de John von Neumann “con cuatro parámetros puedo ajustar [la forma de] un elefante y con cinco puedo lograr que mueva su trompa.” La realidad es que un modelo predictivo que use muchos parámetros deja de ser predictivo, pues estimar bien dichos parámetros con pocos datos se vuelve poco práctico.
Hace un par de semanas mantuve una agradable conversación con un amigo que proponía la creación de una universidad de excelencia en España, una universidad pensada para ocupar los primeros puestos de los rankings como el de Shangái. Una institución que sólo aceptaría a los mejores alumnos y que sólo contrataría a profesores de excelencia demostrada, incluso galardonados con el Premio Nobel o candidatos a obtenerlo pronto. Su propuesta me recordaba al Instituto para el Estudio Avanzado (IAS) de Princeton, EEUU, sólo dedicado a la investigación, pero él insistía en poner ejemplos de universidades como Harvard, Stanford, Oxford o MIT. Mi único argumento en contra de su propuesta, que me sigue pareciendo razonable, es cómo medir la excelencia. Su respuesta era obvia: “Todo el mundo sabe quiénes son los excelentes, basta preguntar a sus colegas.” Quizás sea así de fácil, o quizás no siempre. Lo cierto es que la excelencia se contagia y que muchos alumnos de galardonados con el Premio Nobel han logrado obtenerlo. Medir la excelencia científica con una fórmula matemática parece imposible, pero somos humanos y por fortuna tenemos una habilidad especial para descubrir la excelencia a nuestro alrededor. La utopía de mi amigo quizás algún día se haga realidad.
Esta anotación ha sido realizada por Francisco R Villatoro (@emulenews) y es una colaboración de Naukas con la Cátedra de Cultura Científica de la UPV/EHU.
Referencias
- Jorge E. Hirsch, “An index to quantify an individual’s scientific research output,” Proc. Nat. Acad. Sci. 46: 16569, 2005. DOI:10.1073/pnas.0507655102 ↩
- Daniel E. Acuña, Stefano Allesina, Konrad P. Kording, “Future impact: Predicting scientific success,” Nature 489: 201–202, 13 Sep 2012. DOI:10.1038/489201a (recomiendo leer también el editorial “Count on me,” Nature 489: 177, 13 Sep 2012. DOI:10.1038/489177a). ↩
- Wang D., Song C. & Barabasi A.L. (2013). Quantifying Long-Term Scientific Impact, Science, 342 (6154) 127-132. DOI: 10.1126/science.1237825 ↩
- Richard Van Noorden, “Formula predicts research papers’ future citations,” News, Nature, 03 Oct 2013. DOI:10.1038/nature.2013.13881 ↩
Mi sembra che quello che viene ri-proposto non sia un paradosso, ma semplicemente il risultato dell’applicazione di un criterio ordinario alla valutazione di un evento eccezionale. L’attribuzione di un premio Nobel o di una medaglia Fields non mi sembra che abbia molto a che fare con la valutazione di migliaia di soggetti, che dovrebbero essere distribuiti come una normale, mentre invece nel caso delle onoreficenze considerate si sta parlando al più di un estremo di una coda. Esiste un problema di discontinuità o di insensibilità alle piccole probabilità che è ben noto e che esige una trattazione analitico formale diversa. Questo non implica alcun giudizio di valore sugli indici, ma semplicemente una valutazione di coerenza.
Non sono d’accordo com Marcello. Sebbene sia innegabile che una seria e trasparente valutazione dell’attività scientifica debba essere un requisito fondamentale e irrinunciabile per il reclutamento di ricercatori e docenti, appare a dir poco rischioso affidarla esclusivamente a rigidi indicatori bibliometrici. Infatti, per quello che è l’utilizzato attuale nel nostro paese, tali indicatori non riflettono necessariamente la qualità, l’originalità e l’autonomia di un ricercatore. Su questo mi sembra che ci sia poco da discutere.
L’articolo in questione descrive l’ennesimo esempio pratico che ci mette in guardia rispetto alla bibliometria automatica. Infatti, a livello internazionale ormai da anni H-index e altri indicatori sono ritenuti non solo insufficienti, ma anche fuorvianti, perchè il loro uso può produrre risultati poco attendibili e addirittura favorire una meritocrazia alla rovescia.
Che poi qualcuno tragga vantaggio da questo sistema e voglia a tutti i costi difenderlo e mantenerlo, questo è
Marcello, Patrizio,
credo che sia abbastanza semplice fare una analisi stastica degli H-index dei premi Nobel, diciamo negli ultimi 10-20 anni per vedere come sono le famose mediane!
In questo modo sarebbe possibile capire se il caso di Higgs e’ una stranezza oppure no.
E vedremmo anche quanti premi Nobel sarebbero esclusi dalle idoneita’…
Non è affatto banale costruire una statistica sensata a partire da h-index perché le distribuzioni con cui si ha a che fare non sono normali.
Qua ci abbiamo provato: A. Baccini, L. Barabesi, M. Marcheselli. L. Pratelli, Statistical inference on the h-index with an application to top-scientist performance, Journal of Informetrics, http://www.sciencedirect.com/science/article/pii/S1751157712000600
Scaricabile libeamente qui:
http://arxiv.org/abs/1205.4418
Grazie Alberto,
articolo molto bello. Considerando, oltre all’h-index, anche il numero di articoli pubblicati (ricavandoli dalle tabelle I e II del tuo paper), mi sembra che la grande maggioranza dei premiati avrebbero passato due o tre mediane nei settori disciplinari di interesse (Ovviamente il concetto stesso di settore disciplinare forse non sarebbe compreso da nessuna di questi individui). Certamente difficile dirlo con certezza, perche’ non abbiamo i relativi indici durante la progressione delle rispettive carriere accademiche. Certo sembra anche che qualcuno rimarrebbe fuori…
Senza entrare in valutazioni statistiche mi pare che il problema andrebbe esaminato con maggiore serenità e distacco.
Credo nessuno si aspetti di valutare due studiosi (anche senza nobel) di oltre ottanta anni (Higgs 84 e Englert 81) con mediante ed indici. Innanzitutto, perché dovrebbero essere in pensione da un bel po’ di tempo (quindi fuori da ogni valutazione). In secondo luogo perché, proprio in virtù della loro età, appartengono ad un sistema, forse è più corretto dire ad un mondo, profondamente diverso da quello attuale.
In sostanza, buttiamo pure a mare indici, mediane ed il modo in cui sono state calcolate.
Dopo aver fatto due cose.
1. Proporre un serio sistema di valutazione alternativo.
2. Quantificare (e credo siano tantissimi) i ricercatori inattivi. Ovvero coloro che, con particolare riferimento ai settori scientifici, nel corso degli ultimi 10 anni non hanno alcuna pubblicazione su rivista e/o a convegni internazionali di rilievo.
Tra le righe di moltissimi articoli e di tante contestazioni ritrovo l’essenza del peccato originale del sistema universitario italiano, nascosta attraverso due falsi ideali.
L’idea, falsamente di sinistra, che sia sbagliata qualunque forma di valutazione e la consapevolezza di dover operare liberamente per perseguire i propri ideali di ricerca.
In realtà, il sistema universitario italiano si è fonda (peccato originale) da sempre sulla cooptazione clientelare e nepotista (un interessante esempio lo si trova in “La scomparsa di Majorana”, di Sciascia, 1976, con riferimento a quello che, peraltro, è stato forse uno dei migliori gruppi di ricerca della storia non solo italiana) la cui degenerazione negli ultimi trent’anni ha portato l’intero sistema al limite del collasso, senza più prestigio sociale ed alcuna capacità di autocorrezione e autogoverno, esposto a continui e mortificanti attacchi, materializzatisi nei drastici tagli finanziari e in normative (scritte, male, da baroni o, meglio, baronetti) castranti.
Tale generazione è stata prodotta proprio dalla assoluta mancanza di qualsiasi forma di responsabilizzazione e valutazione ex post non del numero di pubblicazioni (brutalmente dette prodotti, stile salumeria) ma della decenza delle scelte fatte.
Pur non pubblicizzando i miei personali indici e risultati (VQR, ecc) da ricercatore (considerato a 42 anni assurdamente giovane) ho lavorato per anni non pensando a VQR, ASN, valutazione locale ecc. ma soltanto per il gusto di mostrare e confrontare il mio lavoro con quello di altri ricercatori. È accaduto così che, in modo del tutto occasionale, pur appartenendo ad una piccola e meridionale università, i miei risultati siano stati ad oggi coerenti con le suddette valutazioni (miracolosamente?).
Credo, ad onor del vero, che con qualsiasi tipo di valutazione mi sarei trovato più o meno bene.
Il problema non è (soltanto) quello di apportare modifiche, pure necessarie, a questo sistema di valutazione ma domandarsi perché esistono, nel mio come in altri SSD, una gran quantità di ricercatori (circa la metà ovviamente) molto lontani dalle mediante e, spesso, molto lontani (anche fisicamente) dalle università e dai loro, minimi, doveri verso gli studenti (questi sconosciuti).
Ho imparato, tanti anni addietro, che comunque lo si voglia considerare uno zero (di attività o pubblicazioni ovviamente) rimane pur sempre zero. Per qualunque cosa lo voglia dividere.
Quindi eliminare o ribaltare il sistema di valutazione cosa vuol dire? Continuare a tutelare i valori prossimi a zero?
Infine, dopo tante riforme, trovo in tanti articoli contestazioni alla VQR, ASN, ripartizione dei PO, ma pochissime critiche serie agli stravolgimenti in materia di valutazione della qualità e della didattica. Stravolgimenti che hanno intasato le amministrazioni universitarie in modo spesso inutile e dannoso, anche per gli studenti.
Attendo, fiducioso, proposte di valutazione alternative.
Marco: “buttiamo pure a mare indici, mediane ed il modo in cui sono state calcolate.
Dopo aver fatto due cose.
1. Proporre un serio sistema di valutazione alternativo.
2. Quantificare (e credo siano tantissimi) i ricercatori inattivi. Ovvero coloro che, con particolare riferimento ai settori scientifici, nel corso degli ultimi 10 anni non hanno alcuna pubblicazione su rivista e/o a convegni internazionali di rilievo.”
==============================
1. Per quanto non sia indiscutibile (ed è infatti oggetto di critiche), il RAE/REF inglese è comunque sicuramente più serio della VQR italiana. Se critico il metodo Di Bella e mi viene chiesto di proporre un serio sistema di cura dei tumori, non posso che suggerire di procurarsi qualche testo di terapia oncologica e di documentarsi sulla letteratura scientifica pertinente. Lo stesso vale per la bibliometria fai-da-te dell’ANVUR: il sito del RAE inglese è ricco di materiale liberamente consultabile: http://www.rae.ac.uk/. Una lettura istruttiva può essere il manuale di Alberto Baccini: “Valutare la ricerca scientifica – Uso e abuso degli indicatori bibliometrici” Collana “Il Mulino/Ricerca” 2010. Ci sono intere riviste dedicate alla scientometria come Scientometrics e Journal of Informetrics. Chiedere un sistema di valutazione alternativo a chi denuncia un fai-da-te privo di basi scientifiche denota scarsa consapevolezza del fatto che lo studio della bibliometria ha da tempo superato la fase pionieristica. Non ha senso difendere chi fa i salassi con le sanguisughe chiedendo di proporre metodi alternativi per la cura dell’ipertensione: chi non vive sul pero sa che esistono già. Per capire che nel resto del mondo il medioevo bibliometrico è già tramontato basta leggere Roars ed alcuni dei link che abbiamo segnalato già tante volte:
____________________________
Joint Committee on Quantitative Assessment of Research, Citation Statistics – A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Robert Adler, John Ewing (Chair), Peter Taylor, released: 6 November 2008, corrected version: 6 December 08
http://www.iciam.org/QAR/CitationStatistics-FINAL.PDF
____________________________
Higher Education Funding Council for England (HEFCE), Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework , released: September 2009.
http://www.hefce.ac.uk/pubs/hefce/2009/09_39/
____________________________
House of Commons, Science and Technology Committee, Peer review in scientific publications, Eighth Report of Session 2010–12, released: 28 July 2011.
http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf
____________________________
Kim Carr (Australian Minister for Innovation, Industry, Science and Research), Ministerial statement to the Senate Economics Legislation Committee – Improvements to Excellence in Research for Australia (ERA), May 30, 2011.
http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx
____________________________
Code of Practice – European Mathematical Society, p. 5
http://www.euro-math-soc.eu/system/files/COP-approved.pdf
____________________________
On the use of bibliometric indices during assessment – European Physical Society, p. 2
http://www.eps.org/news/94765/
____________________________
Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs”- Institut de France, Académie des Sciences, p. 5
http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
____________________________
DORA (la San Francisco Declaration on Research Assessment – http://am.ascb.org/dora/) è stata sottoscritta da 407 organizzazioni (comprese riviste come Science, Plos e PNAS) e 9.492 individui, vedi anche https://www.roars.it/dora/.
____________________________
IEEE Board of Directors: Position Statement on “Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals”.
https://www.roars.it/wp-content/uploads/2013/11/IEEE-Bibliometric-Statement.pdf
============================
2. Per avere un’idea delle percentuali di ricercatori inattivi, basta esaminare la percentuale di prodotti mancanti nella VQR. Dato che alcuni valutati potrebbero aver presentato uno o due lavori, gli universitari completamente inattivi sono meno del 5,3% secondo un documento ANVUR del 5 luglio 2012 (vedi https://www.roars.it/vqr-i-prodotti-presentati-sfiorano-il-95-del-tetto-massimo-sono-pochi-o-sono-tanti/) oppure meno del 5,1% secondo il Rapporto finale VQR (Tabella 2.5, http://www.anvur.org/rapporto/files/VQR2004-2010_Tabelle_parteprima.pdf).
Marco: “In realtà, il sistema universitario italiano si è fonda (peccato originale) da sempre sulla cooptazione clientelare e nepotista … la cui degenerazione negli ultimi trent’anni ha portato l’intero sistema al limite del collasso”
_________________
È interessante come il discorso sull’università italiana si basi su stereotipi che non fanno più i conti con la realtà, non troppo diversamente dal discorso pubblico sui gruppi etnici, sui Rom, sui clandestini e così via. Un discorso autoreferenziale che si autoalimenta e si autoconferma senza confrontarsi con i dati. Vediamo come si riflette questo collasso nella produttività (articoli e citazioni per unità di finanziamento):
I due grafici mostrano che nei “settori bibliometrici”, la produttività italiana è superiore a quella di Germania, Francia e Giappone. Sono tratti da uno studio del governo britannico e si basano su dati Scopus (http://www.bis.gov.uk/assets/biscore/science/docs/i/11-p123-international-comparative-performance-uk-research-base-2011.pdf). Possiamo fare anche una controverifica sui dati Thomson-Reuters (Web of Science) riportati dall’ANVUR nella terza parte del Rapporto Finale VQR (http://www.anvur.org/rapporto/files/VQR2004-2010_RapportoFinale_parteterza_ConfrontiInternazionali.pdf). I dati riportati dall’ANVUR mostrano una produttività italiana superiore a quella di USA, Germania, Francia e Giappone.
==================
Marco: “Il problema non è (soltanto) quello di apportare modifiche, pure necessarie, a questo sistema di valutazione ma domandarsi perché esistono, nel mio come in altri SSD, una gran quantità di ricercatori (circa la metà ovviamente) molto lontani dalle mediante”
__________________
Un aspetto interessante degli stereotipi è anche la loro capacità di porsi come chiave interpretativa della realtà. Daniele Checchi in un suo articolo sul Mulino portava a prova dell’allarmante improduttività dell’accademia italiana il fatto ci fosse una certa proporzione tra pochi docenti molto produttivi e molti docenti poco produttivi. Un’interpretazione smontata da Paola Galimberti che aveva ricordato che quella proporzione, lungi dall’essere un’anomalia italiana, è una caratteristica universale ben nota da tempo nella letteratura bibliometrica:
“[D. Checchi] si stupisce della distribuzione disuguale della produttività dei docenti. Pochi docenti molto produttivi e molti docenti poco produttivi, come se fosse una peculiarità del nostro sistema nazionale. Ma su questo principio, dimostrato per tutti gli altri sistemi nazionali, Lotka e Bradford hanno costruito i loro modelli e Garfield ha costruito la sua fortuna.” https://www.roars.it/i-medicinali-di-daniele-checchi-per-la-valutazione/
Nel caso dei ricercatori “molto lontani dalle mediane”, è lecito domandarsi se la distribuzione degli indicatori bibliometrici nel SSD di Marco (“come in altri SSD”) sia stata stimata accuratamente e poi confrontata con la distribuzione osservata nella comunità internazionale o in altre nazioni. È inutile dire che per definizione stessa di mediana *esattamente* il 50% dei ricercatori sta al di sotto della mediana. Che la quasi totalità di questi “submediani” siano “molto lontani” dalla mediana è affermazione sorprendente perché dà per scontata una forma della distribuzione abbastanza particolare.
I fautori dell’argomento emergenziale difendono le forme più sgangherate di valutazione bibliometrica con la scusa di un “intero sistema al limite del collasso”. Quando vengono messi di fronte alle statistiche bibliometriche internazionali (che su scala aggregata hanno quel minimo di validità scientifica che manca quando sono usate per valutare i singoli ricercatori) gli “emergenzialisti” scoprono che la produttività media di questo sistema italiano al limite del collasso è competitiva con quella di Francia, Germania, USA e Giappone. Gli irriducibili allora ipotizzano che l’Italia – unico paese al mondo – veda i suoi accademici dividersi in due tipologie estreme: i fancazzisti e i superdotati, razza superiore capace di prestazioni inarrivabili dai collleghi pur bravi di razze non italiote. Teoria singolare, ma che ha il pregio di giustificare la necessità di procedere alla giustizia bibliometrica sommaria per far pulizia della marmaglia fancazzista (il ricorso al “mobbing” e alla “zombizzazione” era stato auspicato da un esperto ANVUR, https://www.roars.it/anvur-mobbing-zombizzazioni-e-ingiustizie-purtroppo-si/). Ecco, i ricercatori (“circa la metà”) “molto sotto le mediane” mi ricordano questa visione manichea-orwelliana. In ogni nazione c’è (esattamente!) un 50% di submediani che sta sotto la mediana, ma i submediani italiani stanno più sotto degli altri.
Un giorno, ci renderemo conto che i Rom non rubano i bambini.
Marco: “una gran quantità di ricercatori (circa la metà ovviamente) molto lontani dalle mediante”
—————————————-
Come si fa a dire cose simili senza avere mai visto la curva di distribuzione degli indicatori ANVUR? Le mediane sono ben lungi dall’essere dei punti critici di transizione. Queste curve proprio intorno alle mediane hanno la loro minore pendenza (almeno nel mio settore).
Mi sembra però che vada sempre peggio: chi non ha fatto niente continua a non farlo e se ne va in pensione e i giovani più bravi scappano perché gli si prospetta un lavoro precario soggetto a ricatti e dopo sei anni potrebbero non trovarsi con niente in mano.
C’è qualcosa di comprensibile nella “sensazione” di molti che scrivono sul blog come Marco, o fuori, che giustamente De Nicolao fa osservare non è confermata dai dati, anche quelli dell’ANVUR.
Penso però che bisognerebbe concentrarsi su questo aspetto (prendo l’area 13 come riferimento): secondo ANVUR i prodotti mancanti nell’area sono il 5,6, ma quanti sono i prodotti valutati zero? Un prodotto valutato a contributo limitato, che quindi ha ricevuto zero, è una qualsiasi cosa che abbia assegnato un codice ISBN. Difficilmene Marco considera un lavoro del genere fra le cose che giustificano la dizione “attività di ricerca” (e non penso sia il solo). Ebbene nell’area 13 il 49,27 dei prodotti è stata giudicata così.
Su un periodo di valutazione decisamente ampio, quasi la metà dei prodotti attesi non ha alcun vero valore di ricerca (da questo punto di vista l’area è la peggiore del lotto!)
Ovviamente occorrerebbe fare un confronto con i valori internazionali, e potrebbe venir fuori che anche qui siamo comparabili con altri paesi.
Però mi pare che bisogna approfondire la questione anche su questo piano.
PS: inutile dire che in area 13 c’è chi pensa che la stessa fascia A delle riviste, che sostanzialmente identifica per ANVUR un contributo eccellente (il 18,10 di quelli attesi secondo ANVUR), sia piena di journals privi di “reale” valore scientifico, e che nel gruppo degli economisti di “punta” c’è chi dice che il sistema formativo italiano è peggiore di quello della Turchia (senza accorgersi che il suo (ex-)leader politico millanta lauree e masters come uno scilipoti qualsiasi …). Quindi si può ben comprendere che De Nicolao non ne possa più di affermazioni buttate li a copocchia, e io condivido.
carlo: “Penso però che bisognerebbe concentrarsi su questo aspetto (prendo l’area 13 come riferimento): secondo ANVUR i prodotti mancanti nell’area sono il 5,6, ma quanti sono i prodotti valutati zero? Un prodotto valutato a contributo limitato, che quindi ha ricevuto zero, è una qualsiasi cosa che abbia assegnato un codice ISBN. Difficilmene Marco considera un lavoro del genere fra le cose che giustificano la dizione “attività di ricerca” (e non penso sia il solo). Ebbene nell’area 13 il 49,27 dei prodotti è stata giudicata così.”
==============
Concordo sull’affermazione che l’Area 13 sia degna di attenzione. Innanzi, tutto è l’area con punteggio medio decisamente più basso di tutte le altre.
Per le aree interamente bibliometriche (sto escludendo le aree 8 e 11 che sono divise in parte biblio e non biblio) sembra esserci una qualche correlazione tra il voto medio e la percentuale di “prodotti” sottoposti a peer review (il motivo per cui il punteggio dell’area 09 è dopato è stato spiegato in un articolo su Roars: https://www.roars.it/vqr-tutte-le-valutazioni-sono-uguali-ma-alcune-sono-piu-uguali-delle-altre/)
Nell’area 13, la peer review è stata percentualmente rilevante anche perché sono stati sottoposti molte monografie e contributi in volume che, nella maggior parte dei casi, sono stati valutati severamente.
Una curiosità: nell’area 13 si è verificata una presenza massiccia di promotori, candidati e sostenitori di un partito politico:
Per avere un’idea della visione un po’ “muscolare” della valutazione che circola in quell’ambiente politico, si può citare l’oramai famosa dichiarazione di intenti di Giovanni Federico.
Il basso punteggio dell’area 13 vuol forse dire che la “zombie-review” (o la meno cruenta mobbing-review) ha fatto “pulizia”?