Analisi delle valutazioni

Questa analisi riguarda le valutazioni fatte sugli esempi e quelle fatte durante la fase di valutazione reciproca del lavoro di gruppo. Essa cerca di individuare le valutazioni migliori nell'insieme di tutte quelle fatte dal docente e dai partecipanti. Queste valutazioni "migliori" sono poi utilizzate nel calcolo delle votazioni finali.

L'analisi si realizza meglio se sono presenti valutazioni del docente. Queste possono essere utilizzate come riferimenti rispetto ai quali giudicare le valutazioni dei partecipanti. Non c'è bisogno che docente valuti ogni esempio e ogni lavoro, ma affinché l'analisi sia significativa è meglio avere un numero di valutazioni del docente maggiore della media del numero di valutazioni fatte dai partecipanti. E più sono le valutazioni del docente più affidabile può essere il risultato dell'analisi.

L'analisi può essere ripetuta più volte, ogni volta cambiando uno o più opzioni. L'analisi è controllata da tre opzioni che appaiono in testa alla pagina.

1. Il coefficiente delle valutazioni del docente definisce il peso da dare a tali valutazioni in confronto a quelle dei partecipanti nella fase di analisi degli errori. Se il docente vuole che la propria strategia di valutazione domini quella dei partecipanti, allora lui deve essere, tra tutti, quello con il più basso "Errore medio" nella "Tabella errori". Se il docente non risulta in testa a tale tabella, allora il suo coefficiente delle valutazioni è incrementato fino a che il suo errore medio è il minore di tutti. Di conseguenza le valutazioni del docente sono dominanti. I partecipanti che votano come docente si ritrovano nella parte alta della Tabella errori. Invece i partecipanti elencati nella parte bassa sono quelli che valutano in un modo differente da quello del docente e dei partecipanti elencati in testa. Più sono le valutazioni del docente, più è probabile che questa opzione non deve essere utilizzata per forzare lo stesso in testa alla tabella. Da notare che tale opzione non definisce un peso da dare alle valutazioni del docente quando vengono calcolati i voti finali. In tale calcolo le valutazioni del docente hanno lo stesso peso di quelle dei partecipanti. Così, per esempio, se il lavoro di un partecipante è valutato al 41% dal docente e al 45% e 55% da due partecipanti, il voto finale del lavoro è (41% + 45% + 55%) / 3 = 47%.
2. Il coefficiente della capacità di valutazione è usato nel calcolo dei voti finali. Una semplice formula è usata per calcolare la "capacità di valutazione" di un partecipante. E' il rapporto di "buone" valutazioni fatte rispetto al massimo numero di quelle che può fare. Così, per esempio, se il compito richiede che il partecipante faccia tre valutazioni del lavoro di esempio e 5 valutazioni degli altri lavori, e lo stesso effettua sette valutazioni di cui una è scartata dall'analisi (vedi sotto), allora la sua capacità di valutazione è (7 - 1)/8, cioè 75%. Il voto finale del compito è una combinazione pesata di questa capacità di valutazione e del voto migliore (se ha inviato più volte il lavoro) che lo stesso compito ha ricevuto. Il peso del voto di un lavoro è sempre 1. Così se si imposta questo coefficiente, per esempio, a 0,5, questo significa che la capacità di valutazione avrà per il voto finale un valore (peso) metà del valore del voto del compito.
3. La percentuale di valutazioni da eliminare determina il numero di valutazioni che devono essere escluse nel calcolo del voto finale. Questo numero può essere impostato in uno dei seguenti due modi.
   • Dato il modo in cui la Capacità di valutazione è calcolata, ogni partecipante, se valuta tutti i lavori che gli vengono assegnati, può raggiungere il massimo dei punti (per questo elemento), se non viene scartata alcuna sua valutazione. Se docente desidera avere un valore medio più ragionevole, impostando, per esempio, questa opzione al 30%, farà in modo che la media delle capacità di valutazione sia di circa il 70% (ammesso che tutti i partecipanti hanno valutato tutti i lavori loro assegnati).
   • Altrimenti il numero di valutazioni da scartare può essere impostato in modo da contenere in un valore ragionevole gli Errori medi (riportati nella quarta colonna della Tabella errori). Per esempio, si potrebbe desiderare che tutte le valutazioni dei partecipanti ricadano (in media) in un intervallo del 20%. Quindi l'analisi è ripetuta più volte aggiustando il numero di valutazioni da scartare fino a che i valori in questa colonna stiano entro un limite particolare.

Oltre alla Tabella errori l'Analisi elenca, nella Tabella voti, i giudizi di tutte le valutazioni e i voti finali dati ai partecipanti. Questa tabella deve essere verificata per controllare che i risultati siano ragionevoli. In particolare se sono scartate molte valutazioni alcuni lavori potrebbero rimanere non valutati e il voto finale del partecipante risulterebbe troppo basso. L'analisi riporta il numero dei lavori inviati all'inizio della pagina e subito prima della tabella dei voti. Questi due numeri dovrebbero essere uguali. Se risultano uno o più lavori non valutati e il docente non vuole diminuire il numero di valutazioni da scartare allora quei lavori dovrebbero essere valutati dal docente e l'analisi ripetuta. E' importante che tutti i lavori siano valutati almeno una volta nella fase finale dell'analisi, cioè quando sono calcolati i voti finali.

C'è un equilibrio tra il numero di valutazioni scartate e il voto generale finale. Più sono le valutazioni scartate più è probabile che il voto finale sia basso. Comunque, se le cattive valutazioni non vengono scartate, i partecipanti potrebbero lamentarsi della qualità delle valutazioni stesse che hanno determinato il voto del proprio lavoro. Ammesso che ci siano sufficienti valutazioni da parte del docente da dominare l'analisi senza troppe forzature, potrebbe sembrare ragionevole scartare tra il 15% e il 30% delle valutazioni.

Da notare che questa analisi può durare un po' di tempo in quanto prevede un processo iterativo. Bisogna aspettarsi tempi di risposta abbastanza lunghi.