matemaatikoille

> minimiarvot, maksimit, kvartiilit ja mediaanin

Ok!



Entä kun haluaisin laittaa potut paremmuusjärjestykseen?

Mun mielestä proseduuri kuulosti ihan hyvältä siihen asti, kunnes arvioihin mennään lisäämään vakio, koska silloin itse arvio muuttuu. Tee yhteenlasku suoraan skaalatuista arvioista, ja saat tuloksen A:n ja B:n mielipiteiden perusteella. Kun kerran molemmilla oli arviot painottuneet eri ääripäihin, tulee lopputulokseksi enimmäkseen keskilaatuista perunaa, mutta jos sama peruna on saanut molemmilta erityisen hyvän tai erityisen huonon arvosanan, erottuvat nämä joukosta.

Vierailija:

minun tehtäväni on arvioida pottujen laatu henkilöiden A ja B arvioiden perusteella. haluan antaa sekä henkilön A että henkilön B arvioinnille yhtä suuren painoarvon.

....klipklip...

Vaan henkilön A antamat arviot keskittyvät lähelle arvoa 1 (' perunat huonoja' ) ja henkilön B antamat arviot lähelle arvoa 0 (' perunat hyviä' ). Korjatakseni tätä olen kaikista henkilön A antamista arvioista vähentänyt tietyn vakioluvun, jonka jälkeen henkilön A antamien arvioiden keskiarvo on 0,5. Tällöin kuitenkaan ääriarvo 1 ei tule ollenkaan käytetyksi ja toisessa päässä mennään hieman nollan alapuolelle jossakin tapauksessa. Vastavaasti henkilön B arvioita olen korjannut lisäämällä henkilön B antamiin arvioihin tietyn vakioluvun, jonka jälkeen henkilön B antamien arvioiden keskiarvo on 0.5. Tällöin kuitenkin henkilö B ei ole antanut ollenkaan arvoa 0 ja toisessa päässä mennään hieman nollan yläpuolelle. Arvioin kuitenkin, että on tärkeämpää, että arviointi on keskiarvon ympärillä kohdallaan, vaikka ääripäissä tuleekin vääristymää.

Tämän jälkeen olen laskenut skaalatut henkilöiden A ja B antamat arviot yhteen ja voin asettaa perunat tuon perusteella paremmuusjärjestykseen.

missä menee pieleen? miten homma oikeasti tulisi tehdä?

Ihan ensiksi piirtäisin kuvion, jossa x-akselilla A:n arviot ja y-akselilla B:n arviot. Tästä näkyy, onko heidän arvionsa ollenkaan yhtenevät. Pitäisi siis tulla laskeva suora, jos asteikot menee noin. Jos kuviossa ei näy mitään mallia, on pottujen arvioiminen A:n ja B:n arvioiden perusteella aivan mielivaltaista!

Tuossa lukujen muokkauksessa on virheitä. Tai sitten olet tehnyt muunnoksia oikein, mutta olet käyttänyt selostuksessasi vääriä termejä.

A:n potuille muunokset siis näin:

3 -> 0

2 -> 1

1 -> 2

0 -> 3

Skaalaukset:

A:arvio/3

(B:n arvio-4)/6

Nyt molemmat ovat nollan ja yhden välillä. Sitten lasketaan yhteen. Yhteisarviot ovat nyt välillä nolla ja kaksi. Jos halutaan, voi vielä jakaa kahdella. Näistä luvuista potut voi järjestää.

Vierailija:

henkilöt A ja B ovat arvioineet pottujen laatua. henkilö A on käyttänyt asteikkoa 0-3 ja henkilö B asteikkoa 4-10. Henkilö A on antanut asteikkonsa suurimman arvon (3) erityisen heikkolaatuiselle perunalle. Henkilö B on tehnyt päinvastoin: B on antanut asteikkonsa pienimmän arvon (4) erityisen heikkolaatuiselle perunalle. lisäksi henkilö A on arvioinut, että arvosteltavat perunat ovat yleisesti heikkolaatuisia ja antanut runsaasti arvoja, jotka hänen asteikoillaan osoittavat heikkoa laatua (3). Henkilö B taas on arvioinut, että perunat ovat yleisesti hyvälaatuisia ja hänen arvioinnissaan on runsaasti arvoja, jotka hänen asteikollaan osoittavat hyvää laatua (10). Kumpikin on kuitenkin antanut myös asteikkonsa ääriarvot vähintään kerran.

minun tehtäväni on arvioida pottujen laatu henkilöiden A ja B arvioiden perusteella. haluan antaa sekä henkilön A että henkilön B arvioinnille yhtä suuren painoarvon.

olen aluksi kääntänyt henkilön B arviot käänteisluvukseen, jolloin nouseva arvo tarkoittaa heikompaa laatua. tämän jälkeen olen kummankin henkilön antamat arvot skaalannut asteikolle [0,1] jakamalla yksittäisen arvon kyseisen sarjan maksimiarvolla. Tällöin kummankin antamat arviot saavat arvoja välillä [0,1] ja nouseva arvo tarkoittaa huonompaa laatua. Vaan henkilön A antamat arviot keskittyvät lähelle arvoa 1 (' perunat huonoja' ) ja henkilön B antamat arviot lähelle arvoa 0 (' perunat hyviä' ). Korjatakseni tätä olen kaikista henkilön A antamista arvioista vähentänyt tietyn vakioluvun, jonka jälkeen henkilön A antamien arvioiden keskiarvo on 0,5. Tällöin kuitenkaan ääriarvo 1 ei tule ollenkaan käytetyksi ja toisessa päässä mennään hieman nollan alapuolelle jossakin tapauksessa. Vastavaasti henkilön B arvioita olen korjannut lisäämällä henkilön B antamiin arvioihin tietyn vakioluvun, jonka jälkeen henkilön B antamien arvioiden keskiarvo on 0.5. Tällöin kuitenkin henkilö B ei ole antanut ollenkaan arvoa 0 ja toisessa päässä mennään hieman nollan yläpuolelle. Arvioin kuitenkin, että on tärkeämpää, että arviointi on keskiarvon ympärillä kohdallaan, vaikka ääripäissä tuleekin vääristymää.

Tämän jälkeen olen laskenut skaalatut henkilöiden A ja B antamat arviot yhteen ja voin asettaa perunat tuon perusteella paremmuusjärjestykseen.

missä menee pieleen? miten homma oikeasti tulisi tehdä?

> Nyt molemmat ovat nollan ja yhden välillä.

mikäli ymmärsin oikein, tämä laskenta ei kuitenkaan huomioi sitä, että toinen arvioi alakanttiin ja toinen yläkanttiin. Tällöin yhteisarvostelussa painaa enemmän sen arvio, joka antaa lukuarvoina suurempia arvioita?



Vai?



Ap

Ois mielenkiintoista tietää, minkä takia ongelmaa pohdit?



Keskiarvo kyllä painottaa jonkin verran suuria lukuja, mutta yleensä eniten haittaa analyysille on yksittäisistä suurista arvoista. Jos halutaan vaan tietää perunoiden järjestys, tällä ei kuitenkaan ole mitään merkitystä.

työssä kohdattu probleema. matikka hakusessa kun kouluvuosista aikaa. potut on keksitty.



ennen kuin keskitin arvot siten, että keskiarvo on 0.5, niin ' paras' pottu oli saanut hyvän arvosanan siltä arvioijalta, joka arvioi yläkanttiin. kun laski kummankin arvioijan arvot yhteen, niin tuo pottu sai mielestäni kohtuuttoman hyvän arvion. eli olen samaa mieltä, että paremmuusjärjestys oli oikea. Mutta sen lisäksi kiinnostaisi vielä tietää, kuinka paljon parempi paras pottu on verrattuna vaikkapa toiseksi parhaaseen pottuun.



Mutta ehkä sitä ei voi luotettavasti laskea?



ap

ken osaa arvioida?



ap

tai sikataloudessa: Oletetaan ettei ole olemassa maksimia, kuinka paljon jälkeläisiä emakko voi saada tai porsas kasvaa. On vain 40 emakon lauma (= melko suuri otos) , jonka jälkeläismäärä ja jälkeläisten kasvunopeus on tiedossa.



A-luku ilmoittaa yksittäisen emakon kyvyn tuottaa paljon jälkeläistä (keskiarvo 0.7) ja B-luku kuvaa emakon porsimien possujen kasvunopeutta (keskiarvo 0.3).



haluttaisiin painottaa jälkeläismäärää ja jälkeläisten kasvunopeutta yhtä paljon.



voidaanko tällöin arvioita korjata lisäämällä ja vähentämällä luvulla 0.2?



ap

Eli esittäisin minimiarvot, maksimit, kvartiilit ja mediaanin. Piirtäisin vielä jonkun kuvionkin.

> ollenkaan arvoa 0 ja toisessa päässä mennään hieman nollan

> yläpuolelle.



pitäisi olla: ' mennään ykkösen yläpuolelle' .



ap

toisaalta luulisi, että tällainen on useinkin arkipäivässä vastaan tuleva tapaus?



ap

En siis tosiaankaan ole asiantuntija, mutta tämä on ihan virkistävää vaihtelua tämän palstan keskusteluihin, joten yritetäänpä pitää aihetta ylhäällä ja antaa jokin panos aiheeseenkin :)



Väittäisin näillä olemattomilla lähtötiedoilla, että tilastollisista menetelmistä löytyisi oikea tapa tämänkin ongelman ratkaisuun, jos arvioijia olisi ollut tilastollisesti merkittävä määrä. Kaksi arvioijaa on aika suppea otos, joten kovin luotettavaa arviota parhaan potun paremmuudesta tokaan verrattuna ei vain voi saada. Mun mielestäni paras tulos on se, kun tulokset lasketaan yhteen skaalauksen jälkeen eikä painoteta niitä mitenkään. Silloin tulos on rehellisesti noiden kahden arvioijan mieltymysten mukainen.



Ihan mielenkiinnosta: osaisiko joku kertoa, miten järkevimmin käsiteltäisiin tuloksia, jos arvioijia olisi vaikkapa kymmenen? Katsottaisiinko skaalauksen jälkeen kunkin pottulajin tuloksista keskiarvon lisäksi mediaani tai/ja hajonta, jottei yksittäinen, eri mieltä ollut arvioija vaikuta tuloksiin liiaksi? Vai onko parempi olettaa, että pottujen paremmuus on normaalijakautunutta (tai muu järkevä jakauma) ja sovittaa jokaisen arvioijan tulokset ensin tuohon jakaumaan ja sitten vasta laskea keskiarvo/mediaani?

> tulokset lasketaan yhteen skaalauksen jälkeen eikä painoteta niitä



Oletetaan, että skaalauksen jälkeen A:n antamien arvojen keskiarvo on 0.7 ja B:n arvioiden keskiarvo on 0.3. Kun lasken A:n ja B:n antamat arvot yhteen, painottuu lopputuloksessa A:n näkemys, koska se on lukuarvoltaan suurempi. Ihmisten antamissa arvioissa ei keskiarvo useinkaan ole asteikon puolivälissä. Koneen antamissa laadullisissa arvoissa keskiarvon sijainti riippuu koneen säädöistä.



Siksi pienentäisin A:n arvoja luvulla 0.2 ja kasvattaisin B:n arvoja luvulla 0.2. Keskiarvo kummallakin olisi 0.5. Jos pottujen laatu noudattaa normaalijakaumaa, on useimpien pottujen laatu lähellä keskiarvoa. Siksi useimpien pottujen arvioinnissa painaisi sekä A:n että B:n arvio yhtä paljon. Sen sijaan ääripäissä olisi vääristymää: B:n huonolle potulle antama arvo 1.2 (=ykkönen lisättynä arvolla 0.2) painaisi yhteenlaskennassa enemmän kuin A:n huonolle potulle antama arvo 0.8 (ykkönen vähennettynä arvolla 0.2). Sama toisin päin nollan lähellä.



Mielestäni on kuitenkin oikeampaa laskea oikein enemmistölle ja tehdä hieman vääryyttä vähemmistölle.



Mutta olisiko olemassa parempi tapa?



ap

liekö ääripään vääristymän selitys siinä, että on arvioijan oma moka, jos ei käytä koko asteikkoa. tai koneen vika, et on säädetty vaikkapa yläkanttiin, jolloin jos osuu joukkoon erityisen hyvä, ei riitä asteikkoa osoittamaan erityisen hyvää vaan saa saman arvon kuin hieman heikompikin. kone tapissa.





?





ap

Vierailija:

liekö ääripään vääristymän selitys siinä, että on arvioijan oma moka, jos ei käytä koko asteikkoa. tai koneen vika, et on säädetty vaikkapa yläkanttiin, jolloin jos osuu joukkoon erityisen hyvä, ei riitä asteikkoa osoittamaan erityisen hyvää vaan saa saman arvon kuin hieman heikompikin. kone tapissa.

ap

Arviot pyydettiin kahdelta ihmiseltä, ja jos kokonaisjärjestys pitää luoda vain näiden arvioiden perusteella, niin isojakin eroja syntyy. Parempi tulos ei tule muuttamalla arvioita vaan hankkimalla lisää arvioijia siten, että pääsee käyttämään muita tilastollisia menetelmiä kuin keskiarvo - esim. mediaania. Kahdesta luvusta sitä on paha valita ja kovin epäluotettava se on vielä kolmellakin arvolla.

Jos arvostelijoita on vain kaksi, niin parhaan tuloksen antaa keskiarvo - kunhan arvioijien arvostelukykyyn luotetaan. Jos toisen arvioijan mielestä potut olivat luokattoman huonoja paria positiivista poikkeusta lukuunottamatta ja toisen mielestä kaikki olivat hyviä muutamaa heikkoa lukuunottamatta, niin arvojen muuttaminen muuttaa heidän mielipiteitään.

Jos arvioijat ovat olleet sitä mieltä, että perunat ovat muutoin sangen tasaväkisiä, mutta toisen mielestä muutama peruna erottuu edukseen ja toisen mielestä muutama peruna on muita heikompi, tulee jakaumista kuvailemiasi. Jos arvostelijoiden mielipiteet eivät menneet pahasti ristiin, niin nämä muutama hyvä ja huono peruna erottuvat sitten massasta erityisen hyvinä ja kovin huonoina arvosanoina. Se on ihan oikea tulos, kun arvostelijoita on noin vähän.

Jos ei haluta noin selkeästi erottuvia hyviä ja huonoja tuloksia, niin arvioijat voi pakottaa käyttämään tasaisesti jakautunutta arvostelua (tai kuten perinteinen oppilaiden arvostelu, normaalijakaumaa) tai sitten voi vähentää mahdollisia arvosanoja. Jos arvostelijat voivat antaa perunalle vain arvosanat 1, 2 tai 3, niin heidän on pakko antaa enimmäkseen kakkosia, jotta muutamat hyvät ja huonot erottuisivat yhtään. Lopputuloksessa erot eivät pääse kasvamaan kovin isoiksi. Käytännössä noin vähillä arvosanoilla eroja tulee ehkä liiankin vähän, joten hieman laajempaa skaalaa kannattanee käyttää.

Arviointisysteemi on siis alunperin ollut pielessä tai arvioijia on ohjeistettu huonosti.

> potut olivat luokattoman huonoja paria positiivista poikkeusta

Ok!





entä jos A on arvioinut perunan rupisuutta (keskiarvo 0.7) ja B tyvimädän määrää (keskiarvo 0.3). Jos laskee ne yhteen, painottuu rupisuus?



ap