«Questo metodo esiste. Si chiama il metodo paranoico-critico. Da più di trent’anni l’ho inventato e lo applico con successo, benché non sappia ancora in cosa consista. Grosso modo, si tratterebbe della sistemazione più rigorosa dei fenomeni e dei materiali più deliranti, con l’intenzione di rendere tangibilmente creative le mie idee più ossessivamente pericolose. Questo metodo funziona soltanto alla condizione di possedere un dolce motore d’origine divina, un nucleo vivo» 

 

Una sfida per i lettori

Ci è pervenuto il seguente documento, dai contenuti arcani, che non siamo ancora riusciti a decifrare nella sua interezza. Proponiamo ai nostri lettori una sfida. Quale delle seguenti affermazioni è vera?

  1. Il documento è il parto di una mente offuscata da una grave patologia psichiatrica. Il soggetto assembla spezzoni riemersi dall’inconscio producendo una sorta di “cadavere squisito“, a cui (a causa della dissociazione dalla realtà) attribuisce un importante significato normativo per la sua comunità di appartenenza.
  2. Il documento è una parodia di metodologie valutative fai-da-te. È stato costruito come divertissement da un collaboratore di Roars, ma è talmente inverosimile che non fa ridere nessuno.
  3. Il documento è un estratto di una delibera adottata dal Consiglio di Amministrazione di un’università italiana.

A voi la scelta.

In ogni caso, ci sono tre dettagli che rendono la terza ipotesi particolarmente inverosimile:

  • Come è noto l’ASN non produce graduatorie. Volendo ricavare diversi posizionamenti dei candidati abilitati in uno stesso SSD, occorrerebbe basarsi sui giudizi resi dalle commissioni. Operazione impossibile da compiersi in modo trasparente e oggettivo. Il documento propone invece la compilazione di una “graduatoria fai da te” degli abilitati, costruita su basi esclusivamente quantitative, ossia sulla base dei tre indicatori bibliometrici rilevati dal MIUR per ogni candidato all’ASN. Per le aree comunemente definite come non bibliometriche, ciò si traduce in buona sostanza in un mero conto dei prodotti censiti. Per le aree note come bibliometriche, entrano in gioco gli indici citazionali. Adottare criteri così ottusamente quantitativi significa incentivare l’adesione a  cartelli citazionali e il salami slicing intensivo.
  • Un elemento che gioca a favore della parodia di pastrocchi valutativi fai-da-te è il ricorso alle medie dei percentili nel calcolo di PT (pag. 2), un errore concettuale talmente grave e noto che nessun valutatore serio ci cascherebbe. Roars ne aveva discusso estesamente, richiamando la condanna senza appello emessa a suo tempo dallo statistico B. Thompson nel suo position paper:
    GRE [Graduate Record Examination] percentile ranks cannot be added or averaged: a position paper exploring the scaling characteristics of percentile ranks, and the ethical and legal culpabilities created by adding percentile ranks in making “High-Stakes” admission decisions).
    L’accusa di ignoranza lanciata da Thompson nei confronti di chi adottava questo metodo era stata talmente infamante da aver fatto sparire la media dei percentili dalle metodologie usate negli High-Stakes admission test statunitensi.
  • Infine, l’autore di questo Necronomicon della valutazione sembra ignorare  che i dati quantitativi sono poco robusti e non facilmente verificabili. In particolare, gli indicatori citazionali fluttuano in continuazione. Non a caso numerosi ricorsi che contestano gli indicatori individuali pendono presso il TAR Lazio.

Insomma, è difficile che sia la terza ipotesi ad essere vera …

Il cadavere squisito della valutazione fai-da-te (scarica il pdf)

Cadavere1

Cadavere2

Cadavere3

Cadavere4

Cadavere5

Cadavere6

Cadavere7

Cadavere8

Cadavere9

Cadavere10

Cadavere11

Cadavere12

Cadavere13

Cadavere14

Cadavere15

Cadavere16

Cadavere17

Cadavere18

Cadavere19

 

 

Send to Kindle

23 Commenti

  1. Dubito che questo documento sia passato attraverso almeno una double blind review. Mancano i riferimenti alla letteratura, la descrizione della metodologia e l’argomentazione delle ipotesi utilizzate. La chiarezza espositiva è estremamente carente. Quindi non può essere classificato come pubblicazione scientifica. Quindi non vale niente. Quindi è uno scherzo di Roars.

  2. Ma come non l’avete riconosciuto? Il documento è estrapolato dalle bozze, recentemente ritrovate, del famoso libro Il Castello di Kafka che, finalmente dopo anni, spiegano come il Castello avesse proceduto per selezionare l’agrimensore K!
    Sembra che la versione commentata di tali bozze sia stata anche presentata come pubblicazione da un astuto candidato alle ASN 2013 nei seguenti 5 settori concorsuali…Analisi numerica; Malattie dell’apparato visivo; Ingegneria economico gestionale; Misure; Esatetica e filosofia dei linguaggi.

  3. Io opto per la prima risposta, mettendo però certi sostantivi al plurale: menti offuscate ecc. È bellissima la chiusa: letto e approvato seduta stante. Il che corrisponde a verità. Infatti non è specificato: compreso. Però come in certi verbali parlamentari si sarebbe potuto mettere: (risate degli astanti). Va bene anche, in alternativa: risate dei lettori.

  4. L ateneo di Palermo, dopo che sono stati pubblicati gli elenchi degli abilitati, con una operazione di mechanism design, ha partorito queste regole che pesano a posteriori gl abilitati in modo da scegliere chi chiamare.
    Oltre agli errori gravi che sono stati introdotti nella valutazione quantitativa basata sulle mediane, sono state considerate solo le persone abilitate e non tutte le persone che avevamo fatto domanda (in modo da penaliszzare i settori che sono stati piu’ severi).
    Con le regole stabilte dall ateneo prima delle tornate, (come da legge le regole erano state stabilite nel 2002) le liste sarebbero state molto diverse.
    Ma le liste andavano cambiate e sono stati cambiati i meccanismi.
    Comunque non e’ uno scherzo.
    Sono le regole approvate dal senato e dal consiglio di amministrazionee che DEVONO essere usate dai dipartimenti (IMPOSTE DALL’ALTO)

  5. Troppo inverosimile per non essere vero: in effetti, l’Ateneo incriminato è facilmente individuabile.

    Il documento ha indubbiamente un alto valore educativo: offre un illuminante spaccato della nostra realtà contemporanea, ricordandoci, nel contempo, quale sia l’origine etimologica dell’espressione “dare i numeri”.

    • Come il Dipartimento dell’assemblage, del collage, del frottage, del grattage e del dripping?

    • Siamo da quelle parti. Arte moderna. Tra qualche decennio gli appunti autografi di questo “cadavere squisito” finiranno all’asta da Christie’s. Da Van Gogh in poi, la follia si quota bene.

    • Come?? Vorresti affidare tutto al caso?? Ma quando mai … in Italia si procede sempre con ordine e rigore …

  6. Con spirito surrealista, dadaista, decostruzionista, fa lo stesso, ogni ateneo sta adottando lo stile più consono alla sua tradizione e cultura organizzativa, qualcuno davvero intende passare alla storia (quella della follia). In ogni caso i pochi concorsi per interni o esterni (??!!) in fieri, tutti rigorosamente per strutturati per i motivi che sappiamo, promuoveranno alla fascia superiore o i più meritevoli, come sarebbe comunque accaduto in un concorso locale onesto e trasparente, o i più paraculati, che avrebbero comunque vinto il concorso a loro dedicato e che comunque sono stati abilitati (molto spesso paraculati e meritevoli, anche se non si dice, coincidono nelle nostre università, ma solo a volte). I non meritevoli, i non paraculati (meritevoli e non) non hanno preso l’abilitazione e/o non avrebbero vinto il concorso. Tutta questa macchina infernale, disegnata ovviamente da Marinetti, lascia fuori molti scontenti (anche meritevoli), tutti i non strutturati e soprattutto promuove le stesse identiche persone che sarebbero state promosse, nel bene e nel male, con le procedure preesistenti. Cioè al di la’ di qualunque critica e’ stata completamente inutile. Se un solo outsider vincerà un concorso nei prossimi mesi (anni) prometto che compilerò tutta la scheda SUA cantando allegramente e non parlerò male dell’anvur per almeno sei mesi.

  7. Ma gli estensori del predetto documento (ormai chiaramente identificati) cosa hanno da dire a loro discolpa? Sanno, anzitutto, che la loro creatura è stata esposta al pubblico ludibrio (pardon, “è stata fatta oggetto di una gogna mediatica”)?

  8. Nello spirito olimpico che dovrebbe animare tutti i partecipanti a questa competizione per l’algoritmo accademico piu’ demenziale, riconosco sportivamente che, pur avendo personalmente dedicato molto tempo ed energia nel tentativo di stabilire un record permanente in questo campo, non ho e non avro’ mai la capacita’ di giungere alle vette toccate dai colleghi ingegneri di Palermo. Credo che a questo punto restino in gara (e comunque con poche speranze) soltanto gli autori delle linee guida per l’accreditamento dei dottorati di ricerca.

  9. Dopo tale mirabolante prova di caos deterministico (mentale) in azione e tutti gli interessanti (e terrorizzanti) reportage sui guasti della biblometria di massa, da laureando in Fisica Teorica dagli interessi eterogenei (p.e. ho seguito Econofisica), fra il serio e il faceto mi sto chiedendo se possa avere un senso fare una tesi di laurea sugli aspetti modellizzabili di simili argomenti…
    (che so, simulare le distribuzioni degli indici bibliometrici con agenti totalmente casuali o “bari”)
    Che mi dite? Argomento troppo vasto o demenziale o che rischia di portare altra acqua al mulino di chi vuole quantizzare qualsiasi cosa? :p

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.