Il 31 gennaio 2014, l’ANVUR ha pubblicato i valori di un nuovo indicatore di Voto VQR, suggerito dalla Commissione Ricerca della CRUI. L’indicatore, applicabile a dipartimenti ed aree, è finalizzato alla valutazione interna agli atenei e dovrebbe garantire la comparabilità tra dipartimenti e aree di uno stesso ateneo. Ma su quali basi poggiano le nuove normalizzazioni? È davvero possibile comparare aree e SSD diversi? I colleghi Peppe e Gedeone ne discutono insieme e notano la violazione della proprietà statistica che dovrebbe garantire la comparabilità. Roars bandisce un premio per chi troverà per primo la causa dell’errore: un posto in prima fila al II Convegno di Roars e una locandina autografata da Peppe e Gedeone.

 

1. Attenti ai Freaks

Peppe stava armeggiando con un tubo di cartone. Aveva già aperto il tappo di plastica ad un’estremità e con cautela cercava di far scivolare fuori un cartoncino arrotolato, quando qualcuno bussò alla porta. Assorto com’era nel suo compito, tardò a dire «avanti!», cosicché non era ancora arrivato alla “i” che un «ciao Peppe» entrò atraverso lo spiraglio della porta spinta dal suo collega Gedeone. L’occhiata che gli lanciò Peppe era più che eloquente, ma Gedeone non la intese e si fermò  nel vano della porta, appoggiato allo stipite, con un fascicolo in mano:

– Cosa c’è in quel tubo? Il manifesto del prossimo congresso a Città del Capo?

– No, non è un congresso, è la locandina di un film del 1932 …

Peppe era da sempre un appassionato dei classici del cinema. Pabst, Lang, Griffith, Capra: potevi decifrare i suoi gusti dalle locandine e dalle foto di scena che decoravano le pareti del suo studio. Gedeone, pur immune all’ossessione cinefila del collega, disponeva di quel’infarinatura che serviva per reggere la conversazione con l’amico e apprezzarne le disquisizioni sui film e sulle memorabilia che ogni tanto acquistava su eBay.

Lulù di Pabst? – tirò ad indovinare Gedeone che conosceva la passione di Peppe per Louise Brooks.

– Guarda che Lulù è del ’29 – replicò asciutto Peppe, che aveva distolto lo sguardo ed era tornato al suo lavoro di lenta estrazione dal tubo.

Mentre Gedeone assisteva in silenzio, Peppe srotolò con cura la locandina stendendola sulla scrivania, che per l’occasione era insolitamente sgombra da pacchi di compiti e fotocopie di articoli.

Il film era “Freaks” di Tod Browning.

2. Diagnosi: “ANVUR positivo”

Gedeone dovette fare mente locale. Stando dietro le spalle di Peppe, si piegò leggermente in avanti per esaminare più attentamente il disegno. Occorsero solo pochi secondi per mettere a fuoco le creature deformi che occupavano la parte destra dell’illustrazione. Solo a quel punto si arrischiò a rompere il silenzio.

– Ah, il famoso “Freaks” di Browning. Una storia raccapricciante, se ben ricordo. I “freaks” vengono trattati come fenomeni da baraccone …

– … ma alla fine avranno la loro tremenda vendetta – proseguì Peppe che si era girato  –  Secondo te lo posso appendere qui in ufficio senza destare troppo raccapriccio negli studenti che vengono qui nell’orario di ricevimento?

– Vai tranquillo. Non è niente in confronto a certe magliette piene di teschi e zombies che indossano i nostri studenti – disse Gedeone che però non vedeva l’ora di passare al motivo della sua visita – Hai saputo del’ultima novità dell’ANVUR?

– Beh, mostruosità per mostuosità, preferisco i freaks di Browning alla bibliometria fai-da-te dell’ANVUR – commentò sarcastico Peppe.

– Sei sempre il solito. Lo sai che io la penso diversamente da te. Te l’ho detto anche ieri, alla fine del tuo seminario sulla scalibrazione dei voti VQR. Con tutta la fatica che abbiamo fatto per raccoglierli, non possiamo perdere l’occasione di utilizzare questi dati anche all’interno degli atenei. Lo ammetto, c’è qualche problema, ma con un po’ di tecnica lo si può superare. Ed è proprio di questo che ti voglio parlare.

– Sono tutto orecchie – replicò Peppe non senza un sorriso a metà tra lo scettico e l’ironico.

– La novità è che è scesa in campo anche la Commissione Ricerca della CRUI. Sono stati bravissimi! Detto in poche parole, hanno trovato la soluzione ai problemi che avevi sollevato nel tuo seminario. Tu avevi detto che i voti di area degli atenei ed anche dei dipartimenti sono tutti sballati perché ogni SSD usa un metro di giudizio diverso. Bene: hanno inventato dei nuovi indicatori che normalizzano i voti VQR compensando proprio gli effetti delle diverse scale di giudizio. È tutto spiegato in questo documento – disse,  agitando il fascicolo che teneva in mano – C’è questa idea geniale del “dipartimento virtuale associato”  che …

– Fammi vedere – lo interruppe Peppe, la cui attenzione si era improvvisamente riaccesa.

Mentre si faceva dare il fascicolo e cominciava a sfogliarlo, il collega continuava come un fiume in piena. Gedeone era sempre stato un entusiasta della valutazione e – orgogliosamente – amava definirsi un soggetto “ANVUR positivo”. Pur ammirando l’abilità tecnica del collega, non ne condivideva lo scetticismo nei confronti di tutto quello che faceva l’ANVUR. “Meglio una cattiva valutazione che nessuna valutazione” era solito dire. Qualche errore e qualche vittima erano un prezzo del tutti accettabile per diffondere una sana “cultura della valutazione” in un ceto accademico autoreferenziale, da sempre abituato a non rendere conto di niente a nessuno.

– Leggi qua: questo è il punto chiave per dare il voto ai dipartimenti – disse Gedeone additando un paragrafo che era stato evidenziato in giallo:

Il metodo che si propone si ispira a quello cui fanno ricorso le Università più prestigiose — tipicamente negli USA — quando chiedono informazioni su un nostro studente che ha fatto domanda per essere ammesso ad uno dei loro corsi: non ci chiedono il voto che gli abbiamo assegnato in un nostro insegnamento, ma piuttosto in quale percentile (top %) della distribuzione dei nostri studenti esso si colloca. Se dichiariamo, dopo aver confrontato il voto che abbiamo assegnato allo studente con la distribuzione completa dei voti dell’insegnamento, che egli si colloca nel top 5%, vuol dire che la probabilità di trovare uno studente migliore di quello (ovviamente secondo il nostro metro di giudizio) è bassa, pari appunto solo al 5%.

– Ma no! Non funziona – lo interruppe Peppe – per farlo, dovresti fare una classifica di tutti dipartimenti dello stesso tipo. Una “mission impossible” perché i dipartimenti sono incomparabili dato che sono diversi gli uni dagli altri per quel che riguarda la loro composizione. E anche gli SSD di un dipartimento fossero tutti interni ad un’area CUN, è ormai chiaro che le scale di giudizio della VQR cambiano da un SSD all’altro. Lo ha mostrato Roars e lo ha ammesso persino l’ANVUR nel suo documento sull’accreditamento dei dottorati, dove anticipa che userà una normalizzazione specifica per ogni SSD …

– … e qui ti sbagli!

disse Gedeone, soddisfatto di poter prendere Peppe in contropiede.

3. Gioco di specchi

Avevano frequentato l’università insieme, massimo dei voti e lode entrambi. Ma mentre Gedeone era un regolarista, meticoloso e diligente, Peppe era sempre stato il più brillante dei due, capace di risolvere in pochi passaggi astrusi temi d’esame attraverso strade che nemmeno il professore aveva previsto. Gedeone si fece restituire il fascicolo e andò a pagina 3 (il numero era stato messo a mano perché il documento originale non era numerato):

 è comodo introdurre, per ogni dipartimento dell’ateneo, un Dipartimento Virtuale o ”Dipartimento Specchio” ad esso Associato (DVA nel seguito): questo è un dipartimento ipotetico (ovvero inesistente ma perfettamente definibile in termini operativi) composto da una distribuzione di membri nei vari SSD identica a quella del nostro dipartimento reale (DR nel seguito).

Durante la mattinata, Gedeone aveva faticato non poco a decifrare queste righe, come pure il resto del documento, zeppo di formule cabalistiche davanti a cui persino i colleghi del Nucleo di Valutazione avevano alzato bandiera bianca. Più volte era stato sul punto di alzarsi e andare a chiedere lumi a Peppe, ma, orgoglioso com’era, aveva stretto i denti. Dopo tre ore di smadonnamenti che avevano allarmato il suo vicino di ufficio, adesso ostentava scioltezza mentre si accingeva a fare la lezioncina a Peppe:

– Vedi, Peppe, con una procedura di randomizzazione, potremmo calcolare tutti i voti che i membri del “Dipartimento Specchio” avrebbero potuto ottenere, estraendoli a caso dall’insieme delle valutazioni nazionali dei rispettivi SSD …

– … ma certo, il concetto è molto simile al “randomizazion test” che è ben spiegato nel classico libro di Box, come si chiamava? … ah eccolo qui: “Statistics for Experimenters: Design, Innovation, and Discovery” – tagliò corto Peppe additando un logoro volume della Wiley con la tipica banda rossa che stava sullo scaffare alla sua sinistra.

Gedeone, si sentiva umiliato, ma fece finta di nulla e proseguì:

– Anch’io ho pensato subito al randomization test – disse mentendo spudoratamente – Il bello, però, è che non c’è bisogno di svolgere estenuanti estrazioni casuali, ma che la distribuzione di riferimento del nostro “Dipartimento Specchio” (a Gedeone questa denominazione che echeggiava i famosi “neuroni specchio” sembrava molto più evocativa  del prosaico “Dipartimento Virtuale Associato”) può essere calcolata mediante una formula semplice semplice. Ed ecco che possiamo dare i voti a tutti i dipartimenti italiani. Vai sul sito dell’ANVUR e segui il link che c’è nelle News.

Peppe seguì il consiglio. In un attimo si era scaricato il file Excel ed aveva cominciato a scorrerlo. Di tanto in tanto, confrontava le intestazioni delle colonne con la terminologia usata nel fascicolo, distogliendo lo sguardo dal video per posarlo sul fascicolo appoggiato sopra il poster di Freaks che, a confronto, era diventato un po’ meno mostruoso.

Passarono pochi minuti durante i quali Gedeone decantava le lodi della Commissione Ricerca della CRUI. Le critiche di Roars – osservava Gedeone – anche quando erano giustificate, avevano sortito pochi effetti pratici. Il fatto che l’ANVUR avesse fatto sue queste nuove normalizzazioni “made in CRUI” dimostrava che bastava un minimo di spirito collaborativo per muoversi finalmente nella giusta direzione e che l’ANVUR era disponibile a dare ascolto alle critiche, ammesso che fossero costruttive.

Ah ecco! Non poteva che essere così! – Peppe, che fino ad un attimo prima era ricurvo sul video, si era appoggiato sullo schienale della sedia, mentre con una spinta dei piedi si era girato nella direzione di Gedeone.

Vedo con piacere che riconosci anche tu la correttezza e l’eleganza di questa soluzione – commentò Gedeone, che era raggiante – Niente più faide tra i dipartimenti per dividersi i posti del Piano Straordinario Associati. Ora che abbiamo una scala di giudizio omogenea in base alla quale possiamo dare un voto a tutti i dipartimenti …

– … omogenea un accidenti! – lo interruppe brutalmente Peppe mentre Gedeone, colto di  sorpresa, per poco non lasciava cadere a terra l’iPhone 5 nuovo di zecca.

– Caro Gedeone, qui ci sono almeno due problemi belli grossi, uno teorico e l’altro pratico, se così si può dire.

4. Il problema teorico

– Cominciamo dal problema più teorico Se ci pensi, il bonus maturità funzionava allo stesso modo e quando si sono viste le conseguenze, è stato precipitosamente abbandonato. Se ti manca una misurazione uniforme sulle diverse scuole, è illusorio pensare di venirne a capo assegnando il bonus solo al top 20% degli studenti in ogni commissione di maturità. Essere nel top 20% di un buon liceo ed essere nel top 20% di un’Istituto professionale sono due cose diverse. C’è il rischio – o addirittura la certezza – che venga negato il bonus a studenti più meritevoli di altri che lo riceverebbero solo perché circondati da un gran numero di  compagni con voti più bassi.

Lo stesso vale per la VQR. Per quale ragione i voti eccelenti dei membri di un settore scientifico in cui l’Italia primeggia anche a livello internazionale dovrebbero contare meno dei voti VQR, magari meno eccellenti, conseguiti in un “settore depresso”? Un dipartimento di ricercatori strepitosi potrebbe essere superato da un altro dipartimento i cui membri sono solo onesti “travet della ricerca”, ma i cui punteggi sono gonfiati perché sono i meno peggio del loro SSD a livello italiano.

– Ma dai! – interruppe Gedeone – Devi ammettere che, se la distribuzione del valore scientifico fosse la stessa in tutti i settori, la normalizzazione CRUI-ANVUR compenserebbe le disparità di giudizio dovute alla scalibrazione dei quadrati bibliometrici. Non credo che ci siano differenze così grandi tra un SSD e l’altro …

– … aspetta: sei proprio sicuro che non ci siano differenze? – riprese Peppe mentre si fiondava sulla tastiera e in men che non si dica apriva il file Excel delle tabelle VQR dell’Area 09, andando a colpo sicuro sulla Tabella 1.11. Peppe era un mago di Excel. Tre colpi di mouse e sullo schermo comparve il seguente grafico.

 

 

– Vedi questo grafico? Per ognuno dei 42 SSD di Ingegneria Industriale e dell’Informazione, mostra quale percentuale dei prodotti VQR sottoposti a valutazione bibliometrica compare nella lista del 5% di articoli che hanno ricevuto più citazioni nel database Web of Science della Thomson Reuters. Come puoi vedere, per due SSD la percentuale dei prodotti “ad alto impatto citazionale” sfiora il 20% e ce ne sono sette in cui la percentuale supera il 15%. Niente male, davvero. E tuttavia, ci sono anche cinque SSD in cui la percentuale di lavori ad alto impatto citazionale è inferiore al 5%. Insomma, ci sono fondate ragioni per ritenere che ci possa essere una sensibile differenza tra i valori in campo. Una situazione analoga a quella del bonus maturità.

– Ma i percentili sono usati anche dalle università USA più prestigiose … – tentò di obiettare Gedeone.

– Non ho dubbi che per gli studenti stranieri guardino i percentili, dato che non hanno alternative più solide. Per l’ammissione degli studenti statunitensi, però, si servono di test standardizzati, proprio per evitare le disparità di trattamento che sto cercando di spiegarti. Hai mai sentito parlare del SAT?

C’è poco da fare. Se le valutazioni sono state fatte su scale non omogenee, ricalibrarle senza poter contare su un riferimento esterno che funga da “metro di Sèvres” è impresa quanto mai ardua. Ci riesci solo se la popolazione misurata si mantiene omogenea quando ci si muove da un gruppo all’altro. Non è così per i maturati quando confronti quelli di una scuola con quelli di un’altra. Temo proprio che accada lo stesso quando confronti i ricercatori di un settore scientifico con quelli di un altro SSD.

5. Caccia all’errore: gara a premi per i lettori di Roars

Gedeone era sempre più mogio, ma trovò la forza per chiedere:

– E quale sarebbe il problema, per così dire, di natura pratica?

– Il problema è che c’è un errore nelle ipotesi statistiche usate per ricavare la normalizzazione – rispose al volo Peppe.

– Ma no! Ho perso un’intera mattinata a ricostruire passo passo tutte le formule. Ti assicuro che non ci sono errori. Stai bluffando! Vorresti farmi credere che in cinque minuti hai pescato un errore che io non ho visto in quattro ore?

– Caro Gedeone, che ci sia un errore te lo posso dimostrare in pochi minuti …

Peppe non se ne rendeva conto, ma era veramente detestabile quando assumeva quel tono a mezzo tra il saccente ed il paternalistico. Il povero Gedeone, però, era troppo affranto per rivendicare il suo diritto a non essere trattato come l’ultimo degli studentelli.

Peppe cominciò a lanciare MATLAB. Mentre, il programma si apriva, ne approfittò per selezionare nel file Excel  la colonna dei voti dei dipartimenti, quelli che nel documento di accompagnamento erano indicati con la lettera U e che nel foglio Excel stavano nella colonna “I”, sotto la dicitura:

voto standardizzato di Dipartimento

Con un rapido copia-e-incolla importò la colonna dei dati in MATLAB, scrisse un paio di righe di codice, ma si fermò prima di eseguirle.

– Caro Gedeone, vedi cosa c’è scritto a pagina 7 del documento tecnico?

Stai bene attento: questa proprietà è la chiave di volta della normalizzazione CRUI-ANVUR. Se questa proprietà non è verificata, la normalizzazione crolla come un castello di carte.

Facciamo una cosa molto semplice: verifichiamo se l’indicatore U è veramente una gaussiana standardizzata. Basta costruire l’istogramma dei voti normalizzati dei dipartimenti. La forma dovrebbe seguire da vicino la  curva a campana della gaussiana standardizzata.

Quando premerò il tasto invio, vedrai due grafici. In quello a sinistra ti mostro come dovrebbe essere fatto l’istogramma. Per ottenerlo ho generato dei dati artificiali distribuiti proprio come una gaussiana standard.

A destra, invece, ti mostro come viene l’istogramma se calcolo gli indicatori U applicando le formule CRUI-ANVUR ai dati della VQR. Se non ci sono errori, il grafico di destra e quello di sinistra dovrebbero essere del tutto simili.

Peppe sapeva essere molto teatrale. Per aumentare la suspense, aspettò una manciata di secondi in silenzio prima di premere il fatidico “invio”.

Senza nemmeno accorgersene, Gedeone aveva trattenuto il fiato. Finalmente, sullo schermo comparvero i due istogrammi.

– Caro Gedeone, come vedi, non siamo certo in presenza di una gaussiana standard. Le ipotesi su cui si basa la normalizzazione non sono soddisfatte dai dati reali.

– Ma come hai fatto a capirlo in pochi minuti? Non è possibile! Tu mi hai preso in giro. Hai passato la notte in bianco a studiare il documento e con me hai fatto finta di vederlo per la prima volta.

– Niente VQR ieri. Ho finito di rivedermi il DVD di C’era una volta in America che mi hai regalato a Natale e, come diceva De Niro, “sono andato a letto presto” – a Peppe piaceva da matti citare le frasi dei suoi attori preferiti – D’altronde, non c’era proprio bisogno di studiare a lungo il documento. È tutto più facile di quanto tu non creda. Quando estrai dei dati da una gaussiana standard, nel 95% dei casi ottieni valori compresi tra -1,96 e + 1,96. Inoltre, solo nel 99,73% dei casi i valori sono compresi tra -3 e +3. Mi è bastato dare una veloce occhiata alla colonna del file Excel per capire che c’era qualcosa che non andava. Troppi valori più piccoli di -2 e più grandi di +2 per trattarsi davvero di una gaussiana standard.

Mi è occorso qualche minuto in più per individuare l’origine dell’errore. La maggiore difficoltà era concentrarmi mentre tu continuavi a decantarmi le sorti magnifiche e progressive di queste nuove normalizzazioni fai-da-te …

– … scusa se ti ho disturbato interruppe stizzito Gedeone – ma quale sarebbe l’origine dell’errore, Peppe? … No, non dirmelo ci voglio arrivare da solo.

– Guarda, mi hai dato un’idea. Domani ho lezione e propongo questa “caccia all’errore” anche ai miei studenti. Tutti gli anni lancio una sfida. Al primo studente che la risolve concedo un bonus sul voto dell’esame. Ero un po’ a corto di idee. Chi l’avrebbe mai detto che anche la CRUI e l’ANVUR potessere tornare utili?

Ma lasciamo da parte questi grovigli scientometrici  e dedichiamoci a qualcosa di più artistico e meno inquietante. Conosci la scena finale di Freaks in cui le creature deformi strisciano nella pioggia per farla finita con i loro aguzzini?


CONCORSO: Al primo lettore di Roars che segnalerà la ragione per cui l’indicatore U non è una gaussiana standard verrà riservato un posto in prima fila al II Convegno di Roars che si terrà il prossimo 21 febbraio a Roma. Inoltre, riceverà in omaggio una locandina del convegno autografata da Peppe e Gedeone.

Suggerimento: leggere attentamente il documento tecnico.

Send to Kindle

72 Commenti

    • Il fatto che i voti VQR siano compresi tra -2 ed 1 non è la ragione principale del problema. C’è qualcosa di più grosso.

    • In quale file sono stati forniti? Nei file Excel relativi alla collaborazione CRUI-ANVUR, quando i soggetti valutati sono meno di quattro, la casella è vuota.

  1. Cari Gedeone e Peppe, premetto che con la statistica non ho una grande dimestichezza. Però riesco a capire che U (maiuscola), che essenzialmente è una combinazione lineare della u (minuscola), ne deve conservare le principali proprietà. Quindi, poiché Peppe ha mostrato che U non è gaussiana, non lo è neanche u: la media è nulla, ma la distribuzione è troppo “panciuta”. Deve essere l’effetto delle “penalizzazioni”, che non a caso nei nuovi indicatori “di moda” oggi (dottorato di ricerca), stanno per essere abbandonati.

    • Il punto è capire quale ipotesi del documento tecnico è sbagliata. Che la distribuzione di U osservata sui dipartimenti non deviazione standard unitaria è visibile dalla figura dell’articolo, ma è solo una conseguenza di un modello errato.

    • allora bisogna almeno aprirlo il documento tecnico!
      Per quanto il premio sia ambitissimo, speravo in una soluzione meno faticosa.

    • “allora bisogna almeno aprirlo il documento tecnico!”: direi proprio di sì. Prima, è bene mandare a letto i bambini, perché la lettura non è agevole.

  2. Provo a lanciare un’ipotesi: la criticità dovrebbe essere che all’interno dei vari SSD la distribuzione dei vari prodotti nelle classi A-B-C-D non è identica ma variabile, per cui maggiore è la variabilità, maggiore la deviazione dalla gaussiana…
    Questo aspetto poi dovrebbe essere magnificato nelle aree di ingegneria ove diversi settori hanno “quadrati magici” diversi…

    • La variabilità da classe a classe diversifica media e varianza dei punteggi di un SSD rispetto all’altro, ma è proprio questa eterogeneità che si vorrebbe compensare. I calcoli del documento sono giusti, ma c’è (almeno) un’ipotesi che non torna. Se le ipotesi di partenza fossero verificate nella realtà l’indicatore U sarebbe effettivamente una gaussiana standard.

  3. Il documento (parecchio oscuro, almeno per me) invoca una variante del teorema del limite centrale per garantire la normalità degli indicatori: immagino che sia dunque l’indipendenza ad essere problematica, ma non ho capito perché (in effetti non ho neppure ben capito a quali distribuzioni ci si riferisce).

  4. Spiegare è troppo: credo di intuire che siccome si tratta dei valori di tutte le “combinazioni” dipartimentali costruite (con la medesima composizione) a partire dai dati individuali effettivamente osservati a livello nazionale tali valori non possano essere davvero “indipendenti” …

    • Se lo fossero, staremmo assumendo che tutti i dipartimenti sono equivalenti e che le differenze osservate sono frutto di pura casualità. Paolo Bertoletti si aggiudica il premio.

    • Per poter sommare le varianze, come viene fatto nel documento, bisogna assumere l’incorrelazione degli addendi (voti dei docenti), una proprietà che andrebbe verificata. In presenza di correlazioni positive tra gli addendi, la varianza risulta maggiore e questo spiegherebbe la forma dell’istogramma che è più “panciuto” della gaussiana standard.
      Adesso abbiamo tre diversi voti VQR, tutti inaffidabili:
      1. Voti di luglio che risentono delle scalibrazioni da SSD a SSD;
      2. Voti normalizzati rispetto alla media di ogni SSD che dovrebbero servire per l’accreditamento dei dottorati e che sono stati stroncati (giustamente) dalla commissione ricerca della VQR;
      3. Voti normalizzati usando media e varianza di ogni SSD, proposti dalla Commissione Ricerca della CRUI come strumento di valutazione interna che però non funzionano nemmeno loro.
      Naturalmente, ciascuno di questi tre tipi di voti produce classifiche diverse ed anche diverse ripartizioni di FFO premiale. Difficile immaginare un caos più completo, un vero e proprio naufragio della VQR. La scalibrazione dei quadrati bibliometrici ed il mix valutativo bibliometria/peer-review hanno compromesso la comparabilità dei voti. Troppo tardi ci si è resi conto della situazione (ampiamente prevista da Roars) e adesso assistiamo ai generosi tentativi di trovare una formula magica che possa rimediare al pasticcio. Ma il flop del bonus maturità dovrebbe insegnare che, senza un riferimento esterno, si continua a girare a vuoto. Sarebbe ora che il Ministro staccasse la spina, prima che il danno inferto alla credibilità del sistema diventi eccessivo (e forse lo è già). Altrimenti, assisteremo a pozioni fai-da-te sempre più arzigogolate a grottesche, peggio dei Freaks di Browning che almeno sono personaggi degni di simpatia e compassione.

  5. A questo punto vorrei lanciare una provocazione: forse l’uso più efficace che si potrebbe prevedere per i dati VQR sarebbe la pubblicazione in chiaro dei nomi degli inattivi/parzialmente inattivi.

    Questo avrebbe due effetti: “moral suasion” verso chi forse non si è impegnato come gli altri docenti almeno riguardo all’attività di ricerca, e soprattutto permetterebbe ai dipartimenti di chiarire dove sono arrivate le reali penalizzazioni. Ad esempio, nell’area 03 il voto medio VQR era circa 0.8… è chiaro che chi ha preso una penalizzazione ha influito in modo sensibile sui risultati della sua struttura.

    Insomma, se si vuole cambiare qualcosa all’università forse sarebbe anche il caso di iniziare a prendere delle scelte un po’ impopolari e evitare difese corporative della categoria.

    • Personalmente non credo nella buona fede dei revisori. Mi piacerebbe sapere la distribuzione dei revisori per ateneo e per ssd.

    • Pubblicare i dati personali della VQR non è una scelta impopolare: è una scelta scorretta che va contro le regole del gioco che Anvur stessa si è date. Non si possono cambiare le regole in corsa punto e basta.

    • Caro Thor,
      Io riferivo solo a chi i prodotti non li ha proprio invati (prodotti mancanti). In questo caso i revisori non c’entrano nulla…

    • Caro Francesco,
      Non sto dicendo di pubblicare i dati VQR, ma solo pubblicare chi è stato inattivo.
      Personalmente, mi auguro che se non in questa nella prossima valutazione i dati siano pubblicati.
      La VQR serve a valutare le strutture (inizialmente i dipartimenti, adesso si parla anche dei dottorati). Come può una struttura migliorare se chi è stato inattivo per quanto riguarda la ricerca (nessuna valutazione) non riceve almeno un po’ di biasimo? A cosa servirebbe la VQR?

    • Provo a girare la questione: perché gli organi di governo degli atenei in questi anni non hanno controllato chi (e magari perché) è stato inattivo? C’era bisogno di un esercizio come la VQR per conoscere informazioni ricavabili a costi nulli dall’interrogazione delle anagrafi della ricerca di ateneo? Che senso ha pubblicare a livello nazionale il nome di un inattivo nel dipartimento X dell’università Y? Ne guadagna la ricerca italiana?
      Anziché pensare a improbabili liste di reprobi, non sarebbe stato più utile usare una meccanismo del tipo REF?
      Credo che possiamo stare abbastanza tranquilli. Alla prossima VQR i reprobi saranno scomparsi o almeno drasticamente ridimensionati: il mercato delle firme congiunte e le trattative connesse sono già aperti…

  6. Infatti, nel mio ateneo c’è un ricercatore inattivo da sempre (a dire il vero l’unico): contro di lui nessuno ha mai mosso un dito. Perché? Se nessuno applica i provvedimenti, a che serve fare le grida manzoniane?

  7. Gedeone era stato sveglio fino alle ore piccole seguendo ammirato tutte quelle dotte discussioni. Era ammirato della prontezza con cui Peppe DN discuteva e discettava, indirizzando con magistrale ars maieutica i suoi discepoli verso la Verità.
    Gedeone non era mai stato pronto e faceva sempre tanta fatica a capire le cose; ci ripensava, ci rimuginava a lungo. Senza dirlo a Peppe confrontava le sue idee con altri amici, chiedendo conforto e imparando anche da loro. Ma nessuno gli dava la sicurezza di Peppe. Gedeone, pignolo, rifaceva i conti e quando poteva provava addirittura a simulare esperimenti (un suo amico gli aveva insegnato un metodo; gli piaceva soprattutto il nome “Montecarlo”. Gli metteva allegria). Tornando alla nottata pressoché insonne, Gedeone, ancora una volta, era stato colto da un moto di ammirazione nei confronti di Peppe DN, travolto da quel torrente di intelligenza e arguzia che era esondato alle ore 1:44. Diavolo, che classe! Aver capito subito l’inghippo (addirittura alcune ore prima!). La correlazione fra i voti! Gli era scappata anche una parolaccia; dentro di sé, perché Gedeone è ben educato.
    Però… però al buon Gedeone c’era ancora qualcosa che non tornava. Aveva smadonnato, come diceva non tanto elegantemente Peppe (ma al Genio si perdona tutto), per capire quel documento noiosissimo, aveva rifatto i conti, gli tornavano (infondo non erano così difficili), aveva cercato di capire, credeva anche di esserci riuscito e ora scopriva che non aveva, nei fatti, capito un bel nulla. Purtroppo non era la prima volta che gli capitava e per questo si rivolgeva spesso ad altri più competenti di lui. Siccome Gedeone era un secchione testardo e pignolo aveva anche scritto alcune note durante una delle N letture del perverso documento. Ha passato altre ore a rileggersele, dopo la illuminazione delle 1:44. Le riscorreva e leggeva:

    “il DVA (dipartimento virtuale associato; che nome strano! prosaico? boh? Ma se lo ha detto Peppe deve essere vero) viene popolato da membri i cui voti sono estratti a caso fra tutti i voti nazionali assegnati dalla VQR ai singoli membri dei corrispondenti SSD; essendo estratti a caso, i singoli voti standardizzati dei membri del DVA sono indipendenti, qualunque sia stato il procedimento che li ha generati, perverso o equo, con o senza correlazioni. Ogni estrazione è indipendente dalla precedente. Il voto standardizzato di DVA così costruito è una variabile aleatoria somma di tante variabili aleatorie indipendenti. La distribuzione di tutti i Voti standardizzati possibili per il DVA è veramente facile da farsi.”

    Gedeone, non pago, aveva anche scritto a margine: ”provare a fare una simulazione Montecarlo – un brivido di allegria gli trascorse per la schiena— per verificare se è vero che mettendo assieme almeno una quarantina di voti standardizzati di singolo membro pescati su vari SSD anche assai diversi e ripetendo tante, tante volte la procedura per sondare il massimo numero possibile di combinazioni, vien fuori qualcosa di molto simile a una gaussiana”. “L’unica correlazione possibile di cui tenere conto – continua il nostro Gedeone – può essere questa: devi ad ogni giro non ributtare nell’urna il voto estratto, proprio come si fa con il mazzo di carte o il sacchetto della tombola. Cioè, annota ancora Gedeone, se ci mettiamo a fare il Montecarlo (altro sollucchero), ricordiamoci della dimensione finita delle votazioni nazionali registrate nel SSD e non facciamo come quei presuntuosi dei fisici che immaginano sempre che esista una distribuzione di dimensione infinita da cui pescare ad libitum”. Che finezza! pensava orgoglioso Gedeone: questa quasi-quasi la dico a Peppe DN; no, è meglio di no. Si rese conto di aver pensato una cosa ovvia. Sempre a margine del testo su cui tanto aveva lavorato, Gedeone aveva anche scritto: “occhio alle code delle distribuzioni del voto standardizzato di DVA che verranno fuori: non saranno mai esattamente gaussiane sia perché il numero di addendi è finito, sia perché le distribuzioni primarie sono anche molto asimmetriche; verificare l’entità degli effetti. Avranno fatto queste prove nel Gruppo CRUI? Se non le hanno fatte loro, quasi quasi le faccio io, con sommo piacere”. Poi, come chiosa, un po’ saputella, per la verità: “comunque essendo valor medio e varianza finita, almeno le condizioni necessarie per la validità del TLC sono soddisfatte” (da solo, ogni tanto Gedeone indulgeva a qualche sdottoramento; quanto era goffo quando voleva emulare Peppe!).
    Più avanti, nel documento, Gedeone aveva sottolineato la parte dove (mamma mia che uggia!) si diceva che il voto standardizzato del DR (il dipartimento reale, nel gergo di quel babbione del gruppo di ricerca CRUI) NON è una variabile aleatoria. Per ricordarlo ci avevano pure messo un asterisco. Gedeone, da buon secchione, aveva scritto, accanto alla sottolineatura un appunto: “quindi, per la distribuzione del voto standardizzato osservata sul campione dei dipartimenti nazionali, non dovremo aspettarci una distribuzione gaussiana; essa risentirà proprio del fatto, che per altro Peppe gli aveva fatto vedere, che esistono dipartimenti in cui proliferano membri di qualità molto, molto elevata e altri dove essa è molto, molto modesta (gli vennero in mente un po’ di atenei sparsi per l’Italia); magari si osservano, lo sappiamo tutti, anche correlazioni forti fra votazioni VQR e latitudine, dovute forse a differenti attenzioni nella fase di raccolta o a chissà a cos’altro.
    A Gedeone faceva ora una rabbia da morire aver scritto quell’appunto ed essere poi rimasto a bocca aperta quando Peppe gli aveva mostrato quel grafico di Matlab. Possibile che gli capitasse tante volte di scrivere qualche appunto e poi di dimenticarsene al momento in cui gli sarebbe servito? In verità, il più delle volte questa sua mancanza di prontezza lo aveva salvato da brutte figure e forse in maniera inconsapevole evitava sempre di esporsi troppo e troppo affrettatamente. Comunque Gedeone continuava a chiedersi: possibile che Peppe avesse confuso le proprietà del voto standardizzato del DR con quelle del DVA? Non ci poteva credere. Doveva essere lui, Gedeone, una volta di più, a non capire. Peppe con maestria aveva proprio mostrato che l’essere quella distribuzione non gaussiana costituiva la prova provata del marchiano errore del Gruppo CRUI. A lui, lui Gedeone, sembrava ovvio che non fosse gaussiana; anzi il tapino aveva proprio capito che la classificazione (il “segnale” diceva Gedeone) venisse proprio dal confronto fra il valore del voto standardizzato ottenuto dal DT (non una variabile aleatoria) e la distribuzione della vera variabile aleatoria, ovvero il voto standardizzato del DVA. Gli ricordava quello che Peppe gli aveva detto di aver pubblicato nel giornalino di classe in seconda elementare, “l’analisi della varianza” o qualcosa del genere. Gedeone fresco di quelle letture, ha cercato anche di dare una ragionevole stima della probabilità che l’infallibile Peppe DN abbia sbagliato due volte in un colpo solo. Ha rinunciato subito, anche perché ha cominciato a confondersi chiedendosi se il presunto (per carità) errore fosse uno solo, dovuto a due errori altamente correlati, o fossero due errori indipendenti. Non era, forse, molto più plausibile che non ci fossero errori nel ragionamento di Peppe?
    A questo punto Gedeone è prostrato e pensa che debba per forza chiedere un’altra volta lumi a Peppe, sperando che egli gli dia relazione e gli chiarisca i suoi dubbi. Ha solo paura di incorrere un’altra volta in una risposta sprezzante, di quelle fulminanti che tante volte lo hanno lasciato in una strano stato d’animo: un misto di ammirazione per Peppe, frustrazione per le proprie ingenuità e lentezze di ragionamento e soprattutto di rammarico per non riuscire mai a trovare un modo per confrontarsi pacatamente su problemi che a lui paiono meritevoli di una vera discussione, depurati da pericolose prevenzioni. Ma qui ho l’impressione che Gedeone la metta sul patetico. Pericoloso con Peppe…

    • Peppe: “Caro Gedeone, il modello probabilistico del DVA è un modello come tanti altri possibili. Nota che nel documento tecnico si fa ripetutamente riferimento al cosiddetto “p-value”(viene menzionato 16 volte). Citando Wikipedia:
      ________________________________
      “In statistica inferenziale il valore p (o p-value, in inglese) di un test di verifica d’ipotesi indica la probabilità di ottenere un risultato pari o più estremo di quello osservato, supposta vera l’ipotesi nulla (cioè l’ipotesi che si vuole verificare nel test).”
      http://it.wikipedia.org/wiki/Valore-p
      ________________________________
      Il p-value menzionato nel documento a che ipotesi si riferisce? Al modello probabilistico del Dipartimento Virtuale Associato. Ora, se si parla di p-value vuol dire che ci stiamo muovendo nell’ambito del test di verifica di ipotesi. Citando di nuovo Wikipedia:
      ________________________________
      “Per ipotesi è da intendersi un’affermazione che ha come oggetto accadimenti nel mondo reale, che si presta ad essere confermata o smentita dai dati osservati sperimentalmente.”
      http://it.wikipedia.org/wiki/Test_di_verifica_d%27ipotesi
      ________________________________
      La nostra ipotesi è confermata o smentita dai dati osservati? Se procediamo ad un test di verifica di ipotesi, il confronto tra gli istogrammi indica chiaramente che, alla luce delle osservazioni disponibili, il modello probabilistico del DVA verrebbe respinto e per di più con un p-value molto piccolo. Insomma, il modello del DVA è un modello, magari elegante, ma che è nettamente smentito dalle osservazioni raccolte nella VQR. Se mi dici che il documento non si muoveva sul terreno del test di verifica di ipotesi, non riesco a capire perché faccia continuamente riferimento al p-value che è una nozione che è definita proprio in quell’ambito.

      Naturalmente, esistono infiniti modelli alternativi al DVA che godono anch’essi della poco invidiabile proprietà di essere smentiti dai dati osservati (credo che sarei persino capace di trovarne qualcuno che venga smentito in modo meno netto). Ciascuno di questi modelli potrebbe essere preso come base per costruire una normalizzazione da sottoporre all’ANVUR in un gioco senza fine e senza costrutto. Cosa si dovrebbe fare, mi chiederai? Il primo passo sarebbe costruire un modello probabilistico che non venga smentito dai dati. Questo è quello che viene normalmente fatto nell’analisi degli studi clinici e nel controllo statistico di qualità (più correttamente denominato “Statistical Process Control”), per citare solo due campi dove ci si scontra con problemi simili e li si affronta con strumenti adeguati. Naturalmente, costruire una normalizzazione sulla base di un modello non smentito dai dati, pur risultando meno maldestro, lascerebbe intatta l’obiezione relativa all’impossibilità di comparare misure scalibrate senza disporre di alcun riferimento esterno”.

    • @Gedeone GP: la frase “la distribuzione di U è una gaussiana standardizzata”, presente nel documento, è corretta o è sbagliata? La risposta richiede molte meno battute di quelle utilizzate nel commento!

    • In effetti io non ho ancora capito se la distribuzione dei DVA è normale oppure no. Che non lo siano i DR sembra acclarato. Chissà se Peppe o Gedeone me lo spiegano…

    • Per come è definito il DVA, la distribuzione teorica dell’indicatore normalizzato è normale. Il problema è che questa proprietà non corrisponde a quello che si vede nei dati reali.

    • speriamo di uscire presto con un articolo che esamina l’effetto sulle classifiche

  8. Cari ruggenti gattini,
    da questo punto in poi faccio la persona seria (o almeno ci provo).
    Sono molto impegnato in questi giorni e allora rispondo solo ora alle comprensibili sollecitazioni, abbastanza di corsa facendo innanzitutto copia e incolla di un mail di un collega matematico, che mi ha scritto mezzora fa; dal mio punto di vista ha capito ogni cosa e spiega bene (non si tratta di un artificio retorico, credetemi):

    ” Caro Giacomo,
    ho letto l’articolo su Roars, e mi sembra proprio che de Nicolao stavolta abbia preso una cantonata.

    Ti dico come la vedo io, così’ mi dici se coincide con come la vedi tu.

    Il punto e’ il seguente: ad essere su una distribuzione gaussiana
    *non* sono i voti standardizzati dei singoli dipartimenti reali (come sembra
    assumere De Nicolao); su una distribuzione gaussiana si trovano i voti standardizzati
    dei dipartimenti virtuali associati a ciascun singolo dipartimento reale.

    Detto in altro modo: a ogni dipartimento reale si associa la famiglia
    di tutti i dipartimenti virtuali con la stessa composizione ma costruiti
    prendendo a caso i membri su tutti i soggetti valutati (rispettando
    il settore). La distribuzione dei voti standardizzati di questo insieme
    di dipartimenti virtuali e’ su una gaussiana, e quindi il voto
    standardizzato del dipartimento reale ci dice dove il dipartimento
    si colloca nella gaussiana (cioè com’e’ messo rispetto a tutti gli
    altri dipartimenti virtuali con la sua stessa composizione).

    A ogni dipartimento reale corrisponde una distribuzione diversa;
    quindi non c’e’ nessun motivo per cui la distribuzione dei dipartimenti
    reali debba essere una gaussiana… e il grafico rosso dell’articolo ROARS
    non smentisce nulla. Come pure non smentisce nulla l’avere tanti
    dipartimenti nelle code: lo sarebbe se la composizione dei dipartimenti
    *reali* fosse davvero casuale, ma non lo e’. Colleghi bravi tendono a
    chiamare colleghi bravi, e viceversa, per cui e’ giusto che la distribuzione
    dei dipartimenti reali sia più schiacciata.
    …..”

    Ho omesso le considerazioni sulla indipendenza perché spero che le considerazioni di Gedeone GP sulla casualità e indipendenza delle estrazioni siano sufficienti.
    Ovviamente gli ho detto, come Peppe, ma in italiano: TOMBOLA!

    Spero che le cose dette da un altro (comunque competente) aiutino a capire.
    Quanto al P_value, Peppe ha ragione quando dice che quel termine è da usare in un contesto di test statistici. Touché et merci. Al prossimo aggiornamento del documento, necessario per alcune precisazioni che altri colleghi mi hanno chiesto, sostituisco il simbolo, usando un più neutro P_sup.
    Non si dimentichi però che nel famigerato documento si dava una definizione chiara della grandezza e che di test mai si parlava. Equivoci quindi potevano essere evitati dalla sola lettura. Posso azzardere una ipotesi? Fuori dallo scherzo e senza che si pensi che mi stia arrogando la competenza per giudicare, è evidente che Peppe mastica assai di statistica e, avendo letto “P_value”, senza leggere in dettaglio ogni riga (tutta la mia comprensione), ha tratto la conclusione che se c’è P_value ci deve essere un modello probabilistico da mettere sotto test (e possibilmente impallinare). Visto che mancava, ha attribuito alla proposta un modello probabilistico (U*d sui dipartimenti nazionali gaussiana standardizzata) e ha applicato un suo test, balzando alle sue conclusioni: “KO”.
    Insisto sul porre attenzione agli *. Dove ci sono si parla delle grandezze ottenute dai voti reali VQR. Dove mancano si parla di DVA.
    Non c’è nessun modello probabilistico sotto. C’è solo la scelta di un indicatore ragionevole, crescente con i voti e standardizzato all’interno del SSD, cioè costruito in modo che sul campione del SSD nazionale dia media nulla e varianza unitaria; l’altra idea utile è quella di costruirne l’indicatore di dipartimento come media pesata dei voti standardizzati dei SSD del dipartimento, normalizzata in modo da avere anch’essa varianza unitaria (e media ovviamente nulla; questa viene ovviamente a gratis).
    Infine l’altro passo utile (fondamentale direi) è quello della costruzione a caso dei voti standardizzati U (niente asterisco) del DVA e la determinazione teorica della distribuzione che ne deriva. La generazone di tutte le combinazioni è fatta pescando dal sacchetto nazionale del SSD i voti dei membri del DVA; la distribuzione di U sul DVA è data, nel limite di N membri infinito, da una gaussiana standardizzata (TLC); nel finito (mai miserando perché N > 40 e tipicamente assai più) tutte le simulazioni fatte, non inaspettatamente, hanno confermato distribuzioni compatibili con gaussiane standardizzate (mi aspettavo che su questo punto, ovvero sul livello di compatibilità, l’unico a mio parere che meriterebbe curiosità da soddisfare, si addensassero giustamente le domande; non ci siamo arrivati). Quindi, per ogni dipartimento, noto il valore di U*d calcolato con le votazione reali VQR, posso proprio, sulla base della distribuzione gaussiana e standardizzata di Ud del DVA, determinare la probabilità di ottenere per quel dipartimento un voto a caso inferiore. Se questa probailità è 1 il nostro dip è perfetto; se è 0 fa pena perché qualunque popolazione a caso darebbe un voto migliore.
    Questo e il resto del ragionamento, mi pare molto ben detto dall’amico matematico ed è meglio non aggiungere altro.

    Detto questo, resta vero (da sempre lo sostengo: lo trovate nelle mie presentazioni alla CRUI del 9 gennaio e precedenti) che prima o poi il sistema deve disporre di un metro che ci dica come una certa disciplina si colloca a livello internazionale. Verissimo. Figuriamoci se un fisico non è d’accordo. Senza alcun razzismo culturale-accademico.

    Per chiudere e non parere di voler sottacere qualcosa: secondo me è stiracchaito il confronto con il caso maturità, che non è direttamente importabile nel caso VQR.
    Là si doveva valutare la capacità di inserimento in corsi di studio superiori e in questo senso è sostenibile che -statisticamente- il top 20% degli studenti di un professionale abbia una preparazione media inferiore al top 20% di un liceo. Statisticamente, insisto. Perché conosco non pochissimi miei colleghi (non sto parlando ni me) che, pur proveniendo da istituti professionali o tecnici, hanno fatto figuroni negli studi successivi scientifici e nell’accademia.
    Per l’esercizio VQR (pur nel limite della mancanza della collocazione internazionale già detto) una prospettiva legittima può essere questa: ogni SSD ha la sua ragion d’essere (nella didattica e nella ricerca) e la decisione che quel SSD sia rappresentato non è messa in discussione. L’Ateneo potrebbe quindi (anzi, dovrebbe) avere la legittima aspirazione di accogliere al suo interno docenti che si collochino nel topX% dei loro SSD. Non dobbiamo in questo caso fare alcun filtro per valutare la loro capacità di inserirsi in un livello superiore, come per il test di medicina. Gli Atenei hanno però non SSD, ma Dipartimenti ai quali erogare risorse perché i Dipartimenti hanno per legge la competenza di proporre bandi. Ecco quindi la necessità di tutto l’alambicco.
    Iam satis est.
    In attesa delle cannonate a bordo e babordo, poppa e prua, distintamente saluto tutti e per chi non l’avesse ancora capito mi disvelo.
    Vostro
    Giacomo Poggi

    • Giacomo Poggi: “Non c’è nessun modello probabilistico sotto. C’è solo la scelta di un indicatore ragionevole, crescente con i voti e standardizzato all’interno del SSD, cioè costruito in modo che sul campione del SSD nazionale dia media nulla e varianza unitaria; […] Quindi, per ogni dipartimento, noto il valore di U*d calcolato con le votazione reali VQR, posso proprio, sulla base della distribuzione gaussiana e standardizzata di Ud del DVA, determinare la probabilità di ottenere per quel dipartimento un voto a caso inferiore”
      ____________________
      Se fosse vero che “non c’è nessun modello probabilistico sotto”, risulterebbe difficile capire su che base si possa – poche righe dopo – affermare che è possibile “determinare la probabilità di ottenere per quel dipartimento un voto a caso inferiore”. Ora, come si giudica la ragionevolezza di un modello probabilistico? Lo si sottopone a test di verifica di ipotesi usando osservazioni reali. Se si usano i voti VQR si vede che il modello del dipartimento virtuale è respinto con un p-value inferiore a 0,00000001 (10 miliardesimi). In altre parole, se assumiamo valido il modello del dipartimento virtuale, la probabilità che si verifichino i risultati della VQR è inferiore a dieci miliardesimi. Difficile ritenere ragionevole una normalizzazione che poggia su un modello così in contrasto con la realtà. Inutile dire che fare ricerca sarebbe meno faticoso se le riviste peer-reviewed accettassero i modelli e gli indicatori che ne derivano solo perché l’autore li dichiara “ragionevoli”.
      =======================
      Giacomo Poggi: “Quanto al P_value, Peppe ha ragione quando dice che quel termine è da usare in un contesto di test statistici. Touché et merci. Al prossimo aggiornamento del documento, necessario per alcune precisazioni che altri colleghi mi hanno chiesto, sostituisco il simbolo, usando un più neutro P_sup.
      Non si dimentichi però che nel famigerato documento si dava una definizione chiara della grandezza e che di test mai si parlava. Equivoci quindi potevano essere evitati dalla sola lettura.”
      ________________________
      Prendo atto che “p-value” (usato 16 volte) non voleva dire “p-value”. Anche il desiderio di stare alla larga dai test di verifica di ipotesi è del tutto comprensibile, dal momento che, come già detto, il p-value risulterebbe inferiore a 10 miliardesimi.

  9. La precisazione di GP mi è incomprensibile: “non c’è alcun modello statistico” in pagine fitte di medie, varianze, probabilità cumulate, etc. Ma allora tanta fatica per nulla: lasciando perdere il TLC poteva calcolare il minimo e massimo voto corrispondente al DVA in base alla VQR e dare il “voto supremo” interpolando linearmente tra i due estremi e dividendo per il voto massimo. Questo e quel metodo hanno, più o meno, il medesimo fondamento scientifico.

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.